Раскрыты нейронные механизмы управления компьютером с помощью взгляда

Московские ученые впервые описали механизмы нейронной активности, которые позволяют человеку управлять компьютером с помощью намеренного удержания взгляда. Они выяснили, что при намеренной задержке взгляда в головном мозге сначала возникают сигналы, тормозящие движения глаз, после чего активируются височные области коры, управляющие пространственным вниманием. 

Полученные данные помогут улучшить технологии управления взглядом для людей с ограниченной подвижностью, а также сделать системы виртуальной и дополненной реальности удобнее и реалистичнее. 

В новых технологиях виртуальной и дополненной реальности, а также в компьютерах, адаптированных для использования людьми с ограниченной подвижностью, используется управление с помощью взгляда. Такие технологии основаны на том, что человек задерживает взгляд на экранных «кнопках», а взгляд отслеживается с помощью видеокамер. 

При достаточно длительной задержке (например, больше половины секунды или больше секунды) эта задержка распознается как нажатие кнопки. Однако до сих пор оставалось неясным, как при разных вариантах движения глаз меняется активность человеческого головного мозга. При этом, если понять, как мозг контролирует взгляд и какие процессы лежат в основе осознанного управления с его помощью, потенциально можно будет найти способы повысить точность систем управления взглядом, в частности снизить вероятность их срабатывания в ответ на непреднамеренные фиксации взгляда.

Ученые из Московского государственного психолого-педагогического университета, Московского государственного университета имени М.В. Ломоносова и Высшей школы экономики (Москва) исследовали механизмы намеренного удержания взгляда, используемого человеком для управления компьютером. Для этого авторы у 32 людей записали 306-канальные магнитоэнцефалограммы — сигналы, очень детально описывающие магнитные поля, которые возникают при работе нейронов головного мозга, сообщила пресс-служба Российского научного фонда.

Во время записи участники исследования играли в специально разработанную для подобных исследований игру EyeLines. Это игра, где человек с помощью взгляда должен перемещать предметы и создавать из них комбинации.

Параллельно с записью магнитоэнцефалограммы ученые отслеживали движения глаз игроков. Специально разработанная методика позволила выделить задержки взгляда, которые намеренно использовались для управления, и непреднамеренные, спонтанные задержки, происходившие, например, когда игрок изучал позицию. Сопоставив данные активности головного мозга и перемещения взгляда, исследователи определили различия между спонтанными и намеренными задержками.

Оказалось, что намеренные задержки взгляда связаны с двумя последовательно развивающимися процессами в мозге. Сначала в участках, отвечающих за движения глаз, возникает тормозящий сигнал, по-видимому, связанный с остановкой автоматического (бессознательного) перемещения взгляда. Затем активируются височные отделы коры, отвечающие за внимание к положению объекта в пространстве. Интересно, что эти процессы начинаются еще до полной фиксации глаз — в первые 0,2–0,3 секунды после перевода взгляда на объект. Спонтанные задержки такими процессами не сопровождались.

«Нам удалось получить представление о том, за счет каких процессов в головном мозге человеку удается произвольно задерживать взгляд, чтобы использовать его для управления электронными устройствами. Технологии для управления компьютером с помощью взгляда ранее разрабатывались без опоры на знание физиологических механизмов, делающих задержку взгляда в принципе возможной. Новые данные, полученные с помощью уникальной установки для регистрации многоканальной магнитоэнцефалограммы, находящейся в МЭГ-центре МГППУ, будут полезны для совершенствования подобных интерфейсов», — рассказал руководитель проекта Сергей Шишкин, кандидат биологических наук, ведущий научный сотрудник Научно-образовательного центра нейрокогнитивных исследований (МЭГ-центра) Московского государственного психолого-педагогического университета.

Но не исключено, что они пригодятся и исследователям из совсем других областей науки. Человек способен намеренно использовать взгляд в общении с другими людьми, например, мы можем показывать им на предметы, о которых говорим. 

«Такая коммуникация с помощью взгляда очень похожа на то, как человек выбирает объекты в нашей игре. Поэтому, возможно, и наши результаты, и разработанные нами методики сравнения намеренных и спонтанных задержек взгляда смогут использовать те, кто изучает взаимодействие между людьми», — объяснил ученый.

Результаты исследования, поддержанного грантом Российского научного фонда, опубликованы в журнале Cortex.