Парализованные люди, которые не могут выходить в интернет с помощью обычных устройств – тачскрина, клавиатуры, мыши, – все чаще используют управление с помощью взгляда. Для этого существует функция «управление глазами», входящая, например, в стандартный набор Windows 10. Чтобы воспользоваться ею, необходимо подключить к компьютеру устройство отслеживания взгляда – айтрекер. С помощью видеокамеры он определяет положение зрачка пользователя и вычисляет, в какое место на экране он смотрит. Задержки взгляда на клавишах экранной клавиатуры или интернет-ссылках используются как аналог «кликов» мышкой или касаний пальцем тачскрина.
Однако у технологии управления с помощью взгляда есть серьезный недостаток: она не умеет различать задержки взгляда, с помощью которых пользователь «кликает», и непроизвольные задержки взгляда, которые случаются, например, когда он пытается что-то рассмотреть. Избежать последних невозможно, из-за этого происходят ложные срабатывания – непреднамеренные «клики», которые мешают работе.
В эксперименте МГППУ участники играли в специально разработанную модификацию компьютерной игры «Линии» – ходы в ней делаются с помощью задержек взгляда. Используя метод магнитоэнцефалографии (МЭГ), исследователи регистрировали слабые магнитные поля, которые возникают при работе мозга. На основе анализа траекторий взгляда данные МЭГ, записанные во время задержек взгляда, были разделены на две группы: соответствующие задержкам, с помощью которых делались ходы, и соответствующие предположительно непроизвольным задержкам. К этим данным были применены искусственные нейронные сети, которые смогли различить те и другие задержки взгляда.
«Мы пытаемся научиться на лету определять, является ли задержка взгляда намеренной или непроизвольной, – объясняет руководитель исследования, ведущий научный сотрудник МЭГ-центра Сергей Шишкин. – Для этого мы применяем технологию «интерфейс мозг-компьютер» (ИМК). В ее основе – классификация сигналов мозгового происхождения, которые возникают, когда пользователь ИМК выполняет определенные мысленные действия. Многие исследователи пытались объединить ее с «глазоуправлением» – так мы для краткости называем управление с помощью взгляда. Действительно, взгляд очень подходит для того, чтобы указать место на экране – пользователь может с помощью взгляда навести на это место курсор. А с помощью ИМК удобно сделать «клик» – для этого можно вообразить движение рукой, ИМК распознает его, и результат будет подобен нажатию левой кнопки мыши. Но эта комбинация взгляда и ИМК оказывается крайне неудобной: ИМК работает медленно, и пользователю приходится надолго задерживать взгляд. К тому же мысленные действия, нужные для ИМК, довольно плохо сочетаются с намеренной задержкой взгляда. Мы используем гораздо более естественный подход: пользователю достаточно лишь задерживать взгляд, и само это действие, как оказалось, уже изменяет рисунок мозговых сигналов так, что намерение кликнуть удается распознать».
Пока, признаются исследователи, точность определения «намеренности» задержки взгляда еще недостаточна для практического использования технологии. Связано это, по-видимому, с тем, что во время эксперимента не удается записать достаточно данных для обучения нейросетей. Ученые пытаются решить эту проблему.
«Мы уже выяснили в наших предыдущих исследованиях, – говорит Сергей Шишкин, – что у намеренных задержек взгляда при “глазоуправлении” есть специфический портрет в электрических потенциалах, генерируемых мозгом, то есть в электроэнцефалограмме (ЭЭГ). Однако он не напрямую связан с намерением или с удержанием взгляда. То, что мы при “глазоуправлении” видим в ЭЭГ во время намеренных задержек взгляда, это так называемая волна ожидания. Она говорит о том, что человек чего-то ждет. Очевидно, в данном случае он ждет, когда компьютер сработает на «клик» – например, выделится шарик, на который смотрит участник эксперимента. Но в данных МЭГ мы видим совсем другой рисунок работы мозга. Мы готовим к публикации новую большую статью, где он будет подробно описан. По-видимому, он связан с намеренным удержанием взгляда в одном месте. Так или иначе, напрашивается возможность объединить данные ЭЭГ и МЭГ и за счет этого дополнительно повысить точность классификации. В итоге мы можем получить очень эффективный гибридный интерфейс для взаимодействия с компьютером. Возможно, он когда-нибудь окажется полезным не только для инвалидов».
Статья с результатами исследования опубликована в журнале Frontiers in Neuroscience.