Три исследовательские групп достигли прогресса в «переводе» показателей электродов, помещенных хирургическим путем в мозг и превращении их в компьютерно синтезированную речь. Для вычислений использовались нейронные сети, воссоздаюшие в некоторых случаях понятные слушателям слова и предложения, сообщаетScience Magazine.
Если искусственный интеллект обучится эффективной интерпретации сигналов мозга, это вернет способность разговаривать (общаться), например парализованным и пациентам с некоторыми другими заболеваниями.
Исследователи записывали карту активности мозга по нескольким сценариям, люди про себя читали текст или произносили его вслух, молчаливо слушали записанную речь или беззвучно произносили определенные слова.
Ученые (пока) не получили воссозданную полноценную речь, «надиктованую» в воображении пациента. Но Стефани Мартин, нейроинженер Женевского университета в Швейцарии оптимистично смотрит на результаты работы своей группы:
Это доказательство, что реконструированная речь может быть понятной
Потенциал разработки
Потерявшие возможность разговаривать люди могут использовать глаза или движения других мышц для управления курсором или выбора букв на экране. Знаменитому физику Стивену Хокингу приходилось управлять компьютером при помощи лицевой мышцы на скуле. Результаты исследований могут дополнить их возможности, разнообразить слова «эмоциями»: тонами, паузами и акцентами, а на следующем этапе развития — существенно ускорить ввод задуманного текста.
Идеальное будущее технологии выглядит так: «мозговой компьютер» научится воссоздавать речь пациентов напрямую из мозговых сигналов, позволяя им разговаривать едва отличимо от того, как было до или без болезни (синтезировав голос на основе записей), без заметных задержек и запинок. Это должно помочь людям не думать о техническом аспекте передачи информации, используя много длинных комбинаций действий, иногда еще и сложных по исполнению и требовательных к точности движений. Теоретически, благодаря искусственному интеллекту пациенты получат перспективу думать вместо того «как» — о том что именно сказать, и в какую интонацию завернуть предложение.
Препятствия
Идеалистическая картина пока натыкается на технические препятствия:
Мы пытаемся «нарисовать» схему нейронов описаную узлами, включающимися и выключающимися по временным закономерностям. Записать относительное расположение узлов сложно технически
— Нима Месгарани, исследователь компьютерных наук в Columbia University
Сигналы преобразовываются для пациентов по разному, это приводит к необходимости обучения компьютерных моделей индивидуально. Нейронная сеть для «перевода» требует очень точные данные мозга, которые сейчас можно получить лишь при открытии черепа.
Исследовательской группе приходится подстраиваться под другие операции, например снимать «карту» после удаления опухоли головного мозга, во время которой хирурги проверяют электрические показания импульсов для обнаружения ключевых областей, таких как речевые или моторные функции. Еще один вариант — операция по имплантации электродов на несколько дней для изучения поведения и лечения эпилепсии.
Эксперимент и результаты
Исследователи пока не обладают ресурсом для сбора большого массива статистических данных. Им приходится максимально эффективно использовать ценную информацию, обрабатывая множество сложных шаблонов нейронными сетями, пропуская информацию через несколько слоев схем нейронов. Сети обучаются, регулируя соединение и расстояние между узлами схемы.
Первая команда (под руководством Месгарани) опиралась на данные пяти человек с эпилепсией. Пациенты слушали и называли цифры от нуля до девяти. Произнесенное компьютером слушала тестовая группа и смогла распознать 75% слов.
Руководители второй команды Мигель Ангрик и Кристиан Херфф из университетов в Германии и Нидерландах опирались на данные шести человек после удаления опухоли головного мозга. Те читали вслух односложные слова, которые лишь в 40% случаев превратились в понятную для тестовой команды речь.
Еще один коллектив воссоздавал целые предложения в Калифорнийском университете по мозговой деятельности речевой и двигательной областей, пока три пациента с эпилепсией читали вслух. 166 человек слушали одно из предложений и выбирали из 10 предложенных вариантов. Некоторые сказанные про себя предложения правильно угадали до 80% людей.