У Доктора Осьминога было четыре механических щупальца и, судя по всему, куда меньше бытовых забот. Учёные пока не выдали людям комплект дополнительных рук, но сделали шаг в эту сторону: разработали интерфейс «мозг — компьютер», который позволяет подавать команды двум роботизированным рукам, одновременно занимаясь делом собственными руками.
Главная новость не в том, что мозг способен управлять роботами. Это уже показывали. Важнее другое: участники эксперимента отдавали команды, пока обеими руками удерживали поднос и катали по нему шарик. После трёх дней тренировок разница в точности между выполнением задания в движении и в покое перестала быть статистически значимой. Иными словами, дополнительный канал управления можно освоить — хотя до мгновенной ловкости суперзлодея пока далеко.
Как мозг превращает прикосновение в команду
Интерфейс «мозг — компьютер» регистрирует электрическую активность мозга — обычно с помощью датчиков на коже головы — и переводит определённые сигналы в команды для внешних устройств. Такие системы часто разрабатывают, чтобы помочь людям восстановить утраченные движения после травмы или паралича. Например, в одном из предыдущих экспериментов мужчина с частичным параличом с помощью интерфейса координировал два протеза и накормил себя менее чем за 90 секунд.
Теперь исследователи изучают и другую задачу — не восстановление утраченных возможностей, а расширение имеющихся. Идея проста: если двух рук не хватает, можно добавить роботизированную конечность или даже палец. Правда, нервная система не держит в запасе свободные «каналы управления», как офис — лишний телефон на случай аврала.
Некоторые способы уже проверяли. В исследовании 2021 года здоровые добровольцы за пять дней научились управлять носимым роботизированным большим пальцем с помощью датчиков давления под пальцами ног. Но ноги при этом тоже оказывались заняты, а управление связывали с изменениями в том, как мозг представляет естественную кисть.
В эксперименте 2018 года участники запускали роботизированную третью руку, мысленно представляя, как сжимают кисть, и одновременно балансировали шарик двумя руками. Однако система предлагала только одну команду — включить или выключить. К тому же, когда человек уже двигается, воображаемое движение может смешиваться с сигналами от реального: датчикам на голове становится сложнее понять, где заканчивается одна команда и начинается другая.
Первый автор новой работы Тяньюй Цзя, постдокторант в области биоинженерии Имперского колледжа Лондона, рассказал, что на идею отчасти повлиял Доктор Осьминог из «Человека-паука». Исследователи хотели проверить пределы человеческого управления движениями и приблизить научную фантастику к реальности. Цзя также связан с Университетом Цинхуа; старший автор исследования — Дарио Фарина из Имперского колледжа Лондона.
Вместо сигналов, связанных с движением, команда использовала реакцию мозга на прикосновение — P300. Когда человек замечает редкий целевой стимул среди множества тех, на которые не обращает внимания, примерно через 200–500 миллисекунд возникает характерный положительный электрический сигнал. В обычных системах P300 внимание привлекают вспышками букв или символов на экране. Удобно, пока не нужно смотреть на что-то ещё: зрение занято, и многозадачность начинает напоминать попытку читать за рулём.
В этом исследовании зрение оставили в покое. На коже вызывали лёгкие вибрации: они тоже способны запускать P300, не занимая ни глаза, ни двигательные системы мозга. Более ранние исследования показывали, что после нескольких дней тренировки точность такой системы с четырьмя вариантами выбора может расти. Но помогло бы это при одновременной физической задаче, прежние данные убедительно не прояснили.
Четыре вибратора и шарик на подносе
В эксперименте участвовали десять здоровых правшей в возрасте от 23 до 37 лет: шесть мужчин и четыре женщины. Восемь из них раньше не работали с интерфейсами мозга. Авторы исследования также открыли доступ к данным и коду анализа.
На голову каждому участнику надевали электроэнцефалографическую шапочку с 64 датчиками, которые записывали мозговую активность. На обеих руках симметрично закрепляли четыре небольших вибратора — возле запястий и локтей. Ладони и пальцы оставались свободными, потому что поднос сам себя не удержит, как бы ни хотелось переложить ответственность на технику.
Каждый вибратор соответствовал отдельной команде. Устройство вибрировало 200 миллисекунд, затем делало паузу такой же длительности. Четыре точки стимулировались в случайном порядке; полный цикл занимал 1,6 секунды. Чтобы выбрать команду, участник мысленно сосредотачивался на вибрациях в одном месте и игнорировал остальные.
Программа не пыталась распознать четыре разных сложных рисунка мозговой активности. Она искала простой ответ «да или нет»: появился ли сигнал P300, и совпало ли его время с импульсом нужного вибратора. Поскольку отдельный сигнал тонул в электрическом шуме, программа усредняла реакции на четыре последовательных импульса. В каждом тестовом запуске было 80 импульсов: первая попытка распознавания происходила после 18-го, затем программа обновляла решение через каждые четыре импульса. Всего она могла сделать до 16 попыток.
В начале каждого дневного занятия участники проходили минутный тест координации. Они держали прямоугольный пластиковый поднос двумя руками и наклоняли его так, чтобы шарик последовательно побывал во всех четырёх углах. Камера сверху фиксировала как завершённые круги, так и незаконченные попытки.
Затем следовали 15 минут калибровки, во время которых программа подстраивалась под сигналы конкретного человека. После этого участники выполняли по 32 запуска в двух режимах: сидя неподвижно и одновременно катая шарик на подносе. Порядок режимов меняли, чтобы последовательность не влияла на результат.
Три дня практики — и руки перестали мешать мозгу
В первый день участники правильно выбирали нужную команду в 53,1% запусков, когда одновременно балансировали шарик. В неподвижном режиме точность составляла 68,1%. На второй день разрыв сохранялся: 56,3% против 77,2%.
К третьему дню точность в режиме двух задач выросла до 69,7% — примерно на 17 процентных пунктов по сравнению с первым днём. В неподвижном режиме она достигла 79,1%. При этом общий статистически значимый эффект тренировки для одиночного задания был связан с улучшением между первым и вторым днями. А к третьему дню разница между движением обеими руками и неподвижным положением уже не была статистически значимой.
«Управление таким интерфейсом не обязательно является неизменной способностью — его можно улучшить практикой», — отметил Цзя. Для технологии это хорошая новость: мозг, как выяснилось, способен освоить ещё один канал управления, если дать ему несколько дней и не требовать сразу дирижировать оркестром.
После начального периода усреднения система работала примерно с одинаковой скоростью в обоих режимах. В среднем ей требовалось около двух попыток распознавания — от 1,5 до 2,3 — чтобы определить целевую команду. Различия между днями и условиями не были статистически значимыми.
Записи с датчиков помогли понять, почему участники стали точнее. Обычно амплитуда P300 составляет около 5–10 микровольт, то есть миллионных долей вольта. В среднем высота сигнала в ходе трёх дней не менялась статистически значимо. При этом движение руками стабильно снижало его амплитуду: на третий день она составляла в среднем 4,7 микровольта при движении против 7,2 микровольта в покое.
Люди не могут по желанию «накачать» P300, как мышцу. Поэтому исследователи проверили не только высоту сигнала, но и точность его появления во времени. В первые два дня момент пика P300 колебался сильнее, когда участники одновременно выполняли задание с подносом. К третьему дню эта разница перестала быть статистически значимой.
Чем стабильнее сигнал возникал от импульса к импульсу, тем выше становился усреднённый пик — и тем легче программе было его распознать. Авторы предполагают, что практика помогла участникам устойчивее распределять внимание во время движения. Это могло частично компенсировать сенсорное «приглушение»: мозг естественным образом ослабляет обработку входящих прикосновений, когда человек активно двигается. Это явление называют сенсорным гейтингом.
Важно и то, что управление интерфейсом не ухудшило естественную координацию рук. Ни среднее время одного успешного прохождения шариком всех четырёх углов, ни общий темп попыток заметно не отличались от исходного теста, где участники занимались только подносом. То есть мозг не отдал роботу управление собственными руками — по крайней мере, в условиях этого эксперимента.
Роботы уже выполняли поручения, но пока по сценарию
В небольшом дополнительном тесте четыре участника удерживали внимание на одном вибраторе в нескольких последовательных временных окнах. По описательным данным, команда обнаруживалась в среднем в 91,1% окон в неподвижном положении и в 87,0% — при балансировке шарика. Ложные срабатывания происходили в 1,6% и 5,3% окон соответственно.
Эти цифры нельзя напрямую сравнивать с точностью 69,7% в основном эксперименте. В дополнительном тесте нужно было непрерывно распознавать одну удерживаемую команду, а не выбирать одну из четырёх.
Чтобы показать, как система работает при управлении четырьмя конечностями — двумя естественными и двумя роботизированными, — один участник направлял две настольные роботизированные руки. Они двигались по заранее заданным безопасным траекториям, а обе руки человека в это время оставались заняты отдельным заданием.
Сначала участник по очереди командовал каждой роботизированной рукой: та поднимала шарик и возвращала его на место. В других демонстрациях роботы действовали вместе: одна рука поднимала чашку, другая опускала внутрь соломинку; затем две руки передавали шарик друг другу в повторяющейся эстафете. В отдельном задании одна роботизированная рука пошагово перемещалась по плоской рабочей поверхности.
«Люди могут использовать интерфейс “мозг — компьютер”, чтобы отдавать команды дополнительным роботизированным конечностям, одновременно выполняя задачу обеими естественными руками», — сказал Цзя. По его словам, нервная система, возможно, способна справляться с дополнительным каналом управления — по крайней мере, в таком конкретном режиме многозадачности.
До повседневного помощника ещё далеко
У исследования есть ограничения, и они не из тех, что исчезают, если назвать робота «умным». Для отделения P300 от фонового шума программе требовалось усреднить несколько циклов вибраций, поэтому на первоначальную команду уходило несколько секунд. До скорости биологического рефлекса далеко.
Роботизированные руки выполняли заранее запрограммированные движения. Пользователь не управлял плавно их скоростью и углами суставов. Режим длительного удержания внимания проверили описательно всего на четырёх добровольцах. А задача с подносом была плавной и предсказуемой: в ней не нужно было менять хват, быстро реагировать или планировать сложные движения. Более трудная ручная работа могла бы сильнее конкурировать за внимание.
Есть и ещё один практический вопрос: вибрационные накладки вряд ли будут одинаково интересны коже часами. При длительной повторяющейся стимуляции кожа и нервная система могут привыкнуть к вибрациям и реагировать на них слабее. Тогда сигнал P300 тоже может ослабнуть.
Чтобы понять, пригодится ли такой интерфейс за пределами лаборатории, нужны исследования с большим числом участников, более длительной тренировкой, быстрым распознаванием одиночных импульсов и компактными носимыми датчиками. Пока это убедительная демонстрация того, что человек может одновременно управлять собственными руками и отдавать команды роботам. Но до рабочего дня с четырьмя руками — и без десятков датчиков на голове — технология ещё не дошла.
Исследование «Одновременное управление естественными и роботизированными конечностями с помощью интерфейса “мозг — компьютер”, кодирующего прикосновения» подготовили Тяньюй Цзя, Синчэнь Ян, Киаран Макгиди, Ифэн Ли, Цзиньчжи Лин, Кит Сан Хо, Фэйюй Пан, Линьхун Цзи, Чун Ли и Дарио Фарина. Статья опубликована в журнале Nature Communications.