Ученые создали нейросеть, способную считывать речь по мозговой активности. Разработка поможет людям с речевыми нарушениями, говорится в сообщении пресс-службы Национального исследовательского университета «Высшая школа экономики» (НИУ ВШЭ).
В настоящее время существуют нейрокомпьютерные интерфейсы (НКИ), способные восстанавливать речевые функции. Они получают команды напрямую от мозга человека. Однако широкому использованию НКИ мешает необходимость хирургического вмешательства.
Специалисты предложили создать безопасный нейропротез, который считывает сигналы активности с небольшого участка мозговой коры при помощи малого числа электродов.
Пациентов с эпилепсией попросили читать вслух предложения с разной грамматической конструкцией и созвучными словами (например, «Шура широко шагает в широких штанах»). Полученные аудиозаписи соотнесли с мозговой активностью, которую регистрировали датчики в ходе эксперимента, и передали информацию в модель машинного обучения. Нейросеть извлекала из записанных электродами данных внутренние речевые представления и на их основе предсказывала конкретное слово.
Модель смогла предсказать слова с точностью 55% для первого пациента и 70% для второго пациента. Аналогичные результаты демонстрируют устройства, требующие расположения электродов по всей поверхности мозга.
Использование подобных интерфейсов несет минимальные риски для пациента. В будущем устройство можно устанавливать под местной анестезией.
Работа выполнена при поддержке мегагранта правительства РФ в рамках нацпроекта «Наука и университеты».
