Введение к работе
Актуальность проблемы. Интерфейс мозг-компьютер (ИМК) - это новая нейрокомпьютерная технология, позволяющая на основе регистрации и расшифровки электроэнцефалограммы (ЭЭГ) человека дать ему возможность управлять внешними исполнительными устройствами или осуществлять коммуникацию с внешними объектами без посредства нервов и мышц, напрямую от мозга (Wolpaw et al., 2002). Трудно сейчас переоценить теоретическую и практическую значимость технологии ИМК, которая, с одной стороны, становится совершенно новой экспериментальной парадигмой в психофизиологии, а, с другой стороны, все более ориентируется на применение в медицине для целей реабилитации пациентов с тяжелыми нарушениями двигательной сферы, например, путем создания нейропультов для информационного контакта со средой (набор текстов, командных символов и др.) или нейроманипуляторов для реальных физических манипуляций (протезы, экзопротезы, тренажеры и др.).
На сегодняшний день достигнутые значительные успехи в области теоретических, экспериментальных и практических разработок технологии ИМК касаются преимущественно инвазивных подходов (Collinger et al., 2012; Hochberg et al., 2012), т.е. связанных с вживлением электродных систем непосредственно в мозг пациентов. В неинвазивных ИМК каждый электрод регистрирует активность не отдельных нервных клеток, и даже не отдельных их функциональных кластеров, а суммарную активность сотен тысяч функционально различных нервных клеток. Произвольно вызвать специфические изменения в такой суммарной активности ЭЭГ становится для пациента или здорового пользователя не такой простой задачей. Однако при успешном решении этих проблем пользователи смогут работать с технологиями ИМК без необходимости обращаться к медперсоналу, непосредственно в домашних условиях, а сами технологии смогут найти более широкое применение в повседневной жизни, как пациентов, так и здоровых пользователей. Таким образом, именно неинвазивные подходы к построению эффективных ИМК могут быть востребованы в гораздо больших масштабах, чем инвазивные, и потому в настоящее время их разработка особенно актуальна. Настоящая работа посвящена теоретической и экспериментальной разработке именно неинвазивных ИМК.
Принципиальным в технологии ИМК является привязка того или иного паттерна ЭЭГ к определенной функции, например, функции включения/выключения внешнего электронного устройства. В этом заключается одна из главных трудностей технологии ИМК, поскольку исходно электроэнцефалограмма не имеет функции для организма и является всего лишь внешним отражением естественной работы мозговых механизмов. Поэтому использование показателей естественных физиологических процессов организма, в данном случае ЭЭГ, в эволюционно неестественную функциональную систему управления в контуре ИМК оказывается
затруднительным при разработке этой технологии. В связи с этим в нейрофизиологии и психофизиологии становится все более актуальной разработка новых экспериментальных парадигм и теоретических подходов для изучения механизмов приобретения новых навыков и возможности произвольных сдвигов в ЭЭГ при работе человека в контуре ИМК.
Одним из направлений в разработке неинвазивных ИМК является их построение на волне Р300 - кратковременной реакции ЭЭГ на ожидаемый стимул, но более редкий, чем другие стимулы, появляющийся в поле внимания человека (Sutton et al., 1965). Реакцию ЭЭГ на конкретный ожидаемый стимул, распознаваемую специальными алгоритмами, можно использовать в качестве сигнала для исполнения во внешней среде заранее ассоциированной именно с этим стимулом конкретной команды. Если иметь целый набор стимулов-команд, каждый из которых последовательно предъявляется пользователю, то назначая для себя тот или иной стимул «ожидаемым» пользователь может с помощью ИМК-Р300 подавать в среду те или иные командные сигналы (Farwell et al., 1988; Wolpaw et al., 2002; Mak et al., 2011). В частности, пользователь сможет набирать буквы из кратковременно подсвечиваемой по отдельным символам виртуальной клавиатуры, или выбирать символы-команды из точно так же подсвечиваемого пульта управления. Таким образом, выбор команды происходит за счет детекции фокусирования внимания оператора на одном из стимулов, которыми служат кратковременные подсветки символов.
Алгоритмическое распознавание сделанного человеком выбора в ИМК Р300 основывается на сравнении реакций мозга на разные стимулы из имеющегося набора: более высокая амплитуда волны Р300 на определенный стимул указывает на то, что именно он выбран пользователем в качестве командного на данный момент (Farwell et al., 1988, Shishkin et al., 2009, Mak et al., 2011,Wolpaw et al., 2002). В последние годы, в том числе и в нашей лаборатории, показано, что значительный вклад в детектирование фокуса внимания человека на основе анализа реакций ЭЭГ могут вносить и другие компоненты потенциалов, связанных с событиямии (ПСС), например, компонент N1 (Krusienski et al., 2008; Shishkin et al., 2009; Bianchi et al., 2010; Kaufmann et al., 2011; Kaplan et al., 2013) учет которых еще более повышает эффективность ИМК Р300.
Однако эти и многие другие достижения в разработках ИМК любых типов не привели еще к созданию нейроинтерфейсов, органично реализующих способность мозга к выработке нового навыка, если этот навык реализуется не на привычных сенсомоторных путях, а в контуре управления реакциями ЭЭГ. Несмотря на имеющиеся в этом направлении отдельные результаты, свидетельствующие, в частности, о возможности неосознаваемого управления внешними объектами в контуре ИМК (Kaplan et al., 2005), до настоящего времени все существующие регламенты ИМК требуют от пользователя значительных ресурсов внимания для
надежной работы. Это означает, что известные прототипы ИМК еще не достигли того уровня взаимодействия с мозгом, чтобы их можно было уверенно использовать в практической деятельности человека и в медицине.
Вот почему особенно актуальными в настоящее время становятся исследования возможности создания практичных технологий ИМК, во-первых, защищенных от отвлекающих стимулов среды, во-вторых, требующих минимального времени для получения обратной связи по результатам управления в ИМК, т.е. наименьшего числа повторений стимулов, в третьих, способных работать в более естественных условиях, когда стимулы и сами пульты их расположения могут перемещаться в пространстве и, наконец, в целом, не требующих значительных ресурсов внимания человека и, по возможности, обладающих привлекательными свойствами для пользователя.
Цель исследования. Целью настоящего исследования было создание эффективных регламентов предъявления стимулов в контуре ИМК-РЗОО для оптимизации работы пользователя.
Задачи исследования. В работе поставлены следующие конкретные задачи:
-
Выяснить возможность создания принципиально новых интерфейсов на волне Р300 с использованием подвижных стимулов и оценить их эффективность.
-
Изучить возможности регламентов ИМК с минимальным числом повторений подсветок одного и того же символа, чтобы обеспечить испытуемому наиболее быструю обратную связь как результат его мыслительных действий. Тем самым может возникнуть основа для автоматизации навыка работы в ИМК.
-
Изучить динамику поведенческих и электрофизиологических (амплитуды компонентов Р300 и N1) показателей работы испытуемых в ИМК-РЗОО при многократной тренировке и разной скорости обратной связи, чтобы выявить возможные эффекты обучения испытуемых навыку работы в контуре ИМК.
-
Изучить возможность создания гибридных интерфейсов на волне Р300 на основе совмещения подсветки и движения командных символов, а также оценить устойчивость таких интерфейсов к значительным вариациям пространственного расположения командных символов.
Научная новизна работы. В ходе данного исследования была разработана принципиально новая модификация ИМК-РЗОО с подвижными позициями стимулов. Несмотря на большое число работ, посвященных оптимизации этого ИМК, во всех из них, даже наиболее радикальных решениях, стимулы располагались в фиксированных позициях в пространстве. Напротив, в нашем ИМК-РЗОО позиции, где предъявлялись стимулы (подсветки объекта), были динамичными, т.е. находились в постоянном движении относительно друг друга. Результаты исследования имеют глубокий фундаментальный характер: известные до этого из литературы данные по исследованию процессов внимания и зрительного восприятия не давали возможности однозначно предсказать эффективность использования фактора движения в ИМК-
РЗОО. В ходе работы экспериментально была доказана эффективность такого нейроинтерфейса.
Кроме того, в первой части работы мы использовали минимальное число повторений стимулов (однократное и трехкратное) для выделения реакций внимания пользователя к целевой команде. Между тем, как правило, в ИМК-Р300 для надежного выделения реакций ЭЭГ применяется большое число предъявлений стимулов, что негативным образом может сказываться на внимании пользователя и, как следствие, результативности управления в ИМК. Помимо этого, минимальное число предъявлений стимулов обеспечивает наиболее быструю обратную связь для пользователя в виде выбранной команды, что может положительно влиять на процесс обучения навыку управления за счет более точной оценки пользователем своих действий. В исследовании показано, что применение в нашем ИМК минимального числа предъявлений целевого стимула обеспечило стабильный уровень управления в продолжение четырех сессий работы.
Научно-теоретическое и практическое значение работы.
Классический дизайн ИМК-Р300 со статичными стимулами не является оптимальным, поскольку не обеспечивает достаточной свободы для размещения в пространстве команд управления. Использование стимулов, предъявляемых на движущихся объектах, может значительно расширить внедрение ИМК-Р300, например, для управления подвижными роботами, являющимися вспомогательными устройствами для парализованного человека, или для создания и совершенствования видео игр на основе ИМК. Такие игры могут использоваться в том числе для тренировки внимания. Статичный интерфейс менее пригоден для игр, а внедрение движущихся управляющих команд позволяет поддерживать более высокий уровень интереса и внимания, что чрезвычайно важно при дальнейшей разработке и повышении эффективности ИМК.
Наше исследование также вносит весомый вклад в разработку «гибридных» ИМК, где сам момент начала движения символьной команды, наряду с подсветкой, используется в качестве управляющего стимула. Показанная нами эффективность такого ИМК представляется особенно высокой в условиях, где требуется применение компактного пульта управления с относительно небольшим числом команд (например, для управления подвижными роботами-манипуляторами). В этих случаях применение комплексных стимулов может быть компенсирующим фактором в условиях негативных эффектов внешней среды, ослабляющих внимание и затрудняющих управление.
В ходе работы также были выявлены особенности позиции целевого стимула в последовательностях их повторных предъявлений, обсуждаются возможности учета этих особенностей для оптимизации работы нейроинтерфейса.
Основные положения, выносимые на защиту:
-
Могут быть созданы интерфейсы мозг-компьютер на волне Р300 (ИМК-Р300), в которых командные стимулы располагаются на движущихся объектах, что существенно расширяет варианты различных приложений технологии.
-
Многократное применение здоровыми испытуемыми интерфейса с движущимися позициями стимулов не ухудшает со временем точности работы и не ведет к существенному снижению внимания при работе пользователей в нем.
-
Предложен новый «гибридный» ИМК-Р300, где в качестве стимула кроме подсветки используется также начало движения объекта. Такие комплексные стимулы могут быть более перспективными для применения в ИМК.
-
Режимы с минимальным числом повторений стимула могут обеспечить высокую скорость отклика интерфейса на действия пользователя, а компактность расположения командных символов позволяет создавать на основе ИМК мобильные пульты управления различными устройствами.
-
В парадигме ИМК-Р300 могут иметь место эффекты позиции целевых стимулов в последовательности их предъявления, проявляющиеся в более высокой амплитуде компонентов потенциалов мозга в ответ на первые стимулы. Учет этих эффектов может служить основой для разработки более совершенных алгоритмов распознавания в ИМК-Р300.
Апробация работы. Материалы диссертационного исследования в виде научных докладов были представлены на XVI Международной конференции студентов, аспирантов и молодых учёных «Ломоносов» (Москва, 2009); II International Symposium: Topical Problems of Biophotonics (Нижний Новгород, 2009); Второй всероссийской научно-практической конференции «Количественная ЭЭГ и нейротерапия» (Санкт-Петербург, 2009); XV Международной конференции по нейрокибернетике (Ростов-на-Дону, 2009); XIII Научной конференции молодых ученых ИВНД и НФ РАН (Москва, 2009); 49th Annual Meeting of Society for Psychophysiological Research (Берлин, Германия, 2009); III Научно-практической конференции "Перспективы развития инноваций в биологии" (У.М.Н.И.К.) (Москва, 2009); XIV выставке-конференции «Телекоммуникации и новые информационные технологии в образовании» (Москва, 2010); XVII Международной конференции студентов, аспирантов и молодых учёных «Ломоносов» (Москва, 2010); XIV Научной конференции молодых ученых ИВНД и НФ РАН (Москва, 2010); IV Научно-практической конференции "Перспективы развития инноваций в биологии" (У.М.Н.И.К.) (Москва, 2010); XIII Всероссийской научно-технической конференции «Нейроинформатика-2011» (Москва, 2011); Первой конференции «Когнитивная наука в Москве: новые исследования» (Москва, 2011); 5th International ВСІ Conference (Грац, Автрия, 2011); Международной научной конференции и молодежной школе «На пути к нейроморфному интеллекту: эксперименты, модели и технологии» (Нижний Новгород, 2011); XIV Международной телекоммуникационной
конференции молодых ученых и студентов «Молодежь и наука» (Москва, 2011); XVI Международной конференции по нейрокибернетике (Ростов-на-Дону, 2012); Второй конференции «Когнитивная наука в Москве: новые исследования» (Москва, 2013).
Диссертация апробирована на заседании кафедры физиологии человека и животных Биологического факультета МГУ имени М.В.Ломоносова 27 мая 2013 года.
Публикации.
По теме диссертации опубликовано 24 печатные работы, среди которых 5 статей в журналах, рекомендованных ВАК РФ, и в приравниваемых к ним периодических изданиях, входящих хотя бы в одну из библиографических баз цитирования (PubMed, Scopus, Web of Knowellege и др.), в том числе с международным импакт-фактором (IF).
Структура и объем диссертации.
Текст диссертации изложен на 190 страницах и состоит из введения, обзора литературы, глав с описанием методики исследования и полученных результатов, обсуждения результатов, выводов, списка литературы. Диссертация содержит 36 рисунков и 26 таблиц. Список литературы включает 147 источников, 7 из которых -на русском языке, 140 - на иностранных.
Список сокращений ИМК - интерфейс мозг-компьютер
ИМК-Р300 - ИМК на основе волны Р300 потенциалов мозга ПСС - потенциалы, связанные с событиями ЭЭГ - электроэнцефалограмма
