Содержание к диссертации
Введение
1 Современное состояние гибридно-интеллектуальных систем в интерфейсах человек-компьютер 17
1.1 Моделирование интерфейсов мозг компьютер 17
1.1.1 Общие вопросы моделирования эргатических систем 17
1.1.2 Моделирование в задачах прогноза поведения пользователя эргатическими системами 19
1.1.3 Эргатические системы гибридного интеллекта 20
1.2 Вейвлет- и Фурье-анализ в задачах обработки медико биологических сигналов, служащих командами для систем БОС и интерфейсов человек-компьютер 22
1.2.1 Анализ фоновой ЭЭГ и вызванных потенциалов с использованием вейвлет-преобразования 26
1.2.2 Фурье- и вейвлет-преобразование в задачах интерфейса мозг-компьютер 30
1.2.3 Спектральные методы в оценке ЭКГ и ВСР 33
1.2.4 Генетические алгоритмы в задачах цифровой обработки сигналов 35
1.3 Эмоционально-зависимые (стресс-зависимые) интерфейсы и вычисления 36
1.3.1 Роль эмоций в эргатических системах 36
1.3.2 Способы оценки эмоций и функционального напряжения пользователя. «Аффективные» вычисления 37
1.3.3 Характеристика методов анализа состояния пользователя на основе видеоизображений 45
1.3.4 Характеристика методов анализа состояния пользователя на основе кожно-гальванической реакции и паттернов дыхательной активности 47
1.3.5 Характеристика методов анализа вариабельности сердечного ритма 49
2 Метод анализа особенностей медико-биологических сигналов на основе локальных экстремумов их спектров 63
2.1 Спектральный анализ ЭЭГ на основе использования непрерывного вейвлет-преобразования 64
2.2 Локализованный спектральный анализ энцефалограмм 71
2.3 Обработка данных ЭЭГ на основе анализа частотных зависимостей и вейвлет-преобразования 79
2.4 Анализ электроэнцефалограмм на основе исследования изменяющейся во времени структуры локальных максимумов матрицы вейвлет-коэффициентов 85
2.5 Моделирование выделения и анализа цепочек локальных максимумов вейвлет-спектров на примере сигналов с известными свойствами 89
2.6 Моделирование процесса выделения частотных локальных минимумов в сигналах электроэнцефалограмм 101
2.7 Сравнение эффективности различных вейвлетов для анализа электроэнцефалограмм 107
2.8 Частотные параметры цепочек локальных максимумов 113
2.9 Энергетические показатели цепочек локальных максимумов 118
2.10 Динамика цепочек локальных максимумов спектров электроэнцефалограмм человека 124
2.11 Анализ энцефалограмм на основе исследования цепочек локальных максимумов скейлограмм 131
2.12 Исследование динамики максимумов локальных вейвлет-спектров вызванных зрительных потенциалов головного мозга 139
2.13 Заключение к главе 2 144
3 Разработка цифровых фильтров особенностей медико-биологических сигналов в системах человеко-машинных интерфейсов 149
3.1 Метод оценки взаимодействия локальных экстремумов для матриц коэффициентов непрерывного вейвлет-преобразования сигналов ЭЭГ 150
3.2 Выделение компонент сигнала ЭЭГ на основе анализа цепочек локальных экстремумов матрицы вейвлет-преобразования 160
3.3 Создание фильтров для анализа ЭЭГ-состояний на основе генетических алгоритмов 173
3.4 Оптимизация работы синхронного нейрокомпьютерного интерфейса на основе селекции каналов электроэнцефалограммы 184
3.5 Оценка активности участков головного мозга на основе классификации цепочек частотных локальных экстремумов в сигналах электроэнцефалограмм 192
3.6 Исследование вызванных потенциалов головного мозга на основе адаптивного варианта обратного вейвлет-преобразования 194
3.7 Заключение к главе 3 200
4 Моделирование нейрокомпьютерного интерфейса на основе активностной парадигмы и гибридного интеллекта 205
4.1 Оценка скорости работы нейрокомпьютерного интерфейса, основанного на технологии SSVEP 205
4.2 Увеличение скорости передачи информации по нейрокомпьютерному интерфейсу на основе оценки частот встречаемости последовательности символов в командах 220
4.3 Оптимизация работы нейрокомпьютерного интерфейса с учетом поведения человека 236
4.4 Математическая модель нейрокомпьютерного интерфейса на основе активностной парадигмы 241
4.5 Прогноз эффективности нейрокомпьютерного интерфейса, основанного на активностной парадигме 252
4.6 Оценка скорости работы нейрокомпьютерного интерфейса, реализованного с использованием гибридного интеллекта 264
4.7 Моделирование дополнительного канала обратной связи в нейрокомпьютерных интерфейсах 277
4.8 Заключение к главе 4 283
5 Особенности реализации системы распределённо-параллельных вычислений, обеспечивающей моделирование и функционирование человеко-машинных интерфейсов 289
5.1 Реализация численного вейвлетного преобразования на графических адаптерах архитектуры NVIDIA CUDA 290
5.2 Фактор времени при реализации непрерывного вейвлет-преобразования для анализа электроэнцефалограмм 293
5.3 Выбор анализирующих вейвлетов для системы с параллельной обработкой биомедицинских данных 299
5.4 Реализация системы распределённо-параллельных вычислений 307
5.5 Заключение по главе 5 307
6 Разработка систем непроизвольно управляемых человеко-машинных интерфейсов на основе оценки функционального напряжения пользователя 312
6.1 Применение систем биологической обратной связи для целей управления внешними устройствами 313
6.2 Особенности проектирования НФ-зависимого человеко-машинного интерфейса 319
6.3 Сравнительные характеристики непроизвольно управляемых функционально-зависимых человеко-машинных интерфейсов 332
6.4 Дополнительный канал для оценки эмоциональной динамики человека при работе с нейрокомпьютерным интерфейсом 346
6.5 Заключение к главе 6 353
7 Заключение 356
Список сокращений 360
Список литературы 361
- Анализ фоновой ЭЭГ и вызванных потенциалов с использованием вейвлет-преобразования
- Анализ энцефалограмм на основе исследования цепочек локальных максимумов скейлограмм
- Увеличение скорости передачи информации по нейрокомпьютерному интерфейсу на основе оценки частот встречаемости последовательности символов в командах
- Дополнительный канал для оценки эмоциональной динамики человека при работе с нейрокомпьютерным интерфейсом
Анализ фоновой ЭЭГ и вызванных потенциалов с использованием вейвлет-преобразования
Применяются разные подходы, учитывающие как энергетические, так и частотные характеристики сигнала. Можно выделить следующие направления дальнейшей обработки: анализ амплитудных характеристик сигнала, изменяющихся во времени в рамках стандартных или оригинальных, но постоянных частотных диапазонов; анализ изменений амплитуды вейвлет-коэффициентов при решении пользователем различных задач или при тех или иных физиологических состояниях; анализ амплитудно-частотных характеристик сигналов. Работы на основе дискретного вейвлет-преобразования для фильтрации и последующего сжатия сигнала находятся за пределами целей и задач данной диссертации.
В анализе амплитудных характеристик как фоновой ЭЭГ [59], так и вызванных потенциалов, схема исследований в целом достаточно стандартна: исследуются амплитуды коэффициентов вейвлет-преобразования. К примеру, изучалась динамика у-ритма энцефалограммы при когнитивном поведении [298]. При подобных подходах весьма большой популярностью пользуются исследования эпилептической ЭЭГ-активности или ЭЭГ-активности эпилептического мозга [308, 358, 375, 210, 388, 400, 393, 342]. Детекция спайков ЭЭГ активности или сонных веретён традиционно демонстрирует у авторов высокие показатели точности. Однако возникает вопрос относительно сравнения с уже существующими подходами. Действительно, эпилептическая активность существенно отличается по частоте и по амплитуде от активности здорового мозга [81] (рисунок 1.5), что делает её детекцию достаточно тривиального задачей, решенной в программно-аппаратных комплексах для рутинных ЭЭГ-исследований [407, 403, 405]. Следовательно, необходимо как минимум сравнение качества выделения тех или иных алгоритмов выделения исследуемой активности, что, к сожалению, довольно часто отсутствует в работах по вейвлет-преобразованию. В работах [269, 356] исследуются вызванные потенциалы человека и делается заключение об их кортикальной или таламической природе. Анализировались и вызванные потенциалы в различных частотных диапазонах [387] и компонент P300 совместно с другими компонентами зрительного вызванного потенциала [354]. Интерес в этой работе представляет попытка моделирования вызванного потенциала при разном отношении сигнал/шум, при этом сама детекция компонентов вызванного потенциала осуществляется по пороговому принципу, когда коэффициенты вейвлет-преобразования превышают те или иные значения. В [391] задача анализа вызванных потенциалов решена близким образом: исходный сигнал подвергается декомпозицией на основе вейвлет-фильтров. Аналогично решена задача и здесь [370, 341]. Таким образом, даже спустя без малого два десятилетия после внедрения вейвлет-преобразования в анализ ЭЭГ, основным подходом считается анализ амплитуд вейвлет-коэффициентов, по сути – значений сигнала после фильтрации соответствующим вейвлетом. Наиболее интересны в рамках темы диссертации подходы по анализу частотно-временных характеристик сигнала ЭЭГ, с точки зрения установления взаимосвязи и взаимовлияния нервных центров, их породивших. В [123] вейвлет-анализ использовался для оценки синхронизации активности различных участков коры головного мозга
Тема синхронизации электрических процессов ЭЭГ активно разрабатывается в [297, 366, 36]. В обзоре [36] упоминается анализ структур «хребтов» или «скелетонов», полученных как результаты вейвлет преобразования, однако не указаны ни правила их формирования, ни частотной области, что, например, видно и в рисунке 2 указанного обзора. Обращает на себя внимание и то, что указанный рисунок и его представление в оригинальной статье различаются в деталях: в наличии или отсутствии целого ряда «хребтов». Замечание относительно «разрыва» является тем более актуальным, что существует упомянутый в обзоре метод, основанный на вейвлет-анализе структуры «хребтов» [282]. В работе [301] продемонстрированы результаты вейвлет преобразования выходных данных с интерференционной микроскопии. В представленных рисунках видно наличие сложной структуры «хребтов», полученных в результате вейвлет-преобразования. Авторы указывают на проведение двойного вейвлет-анализа, однако в статье не сообщается как решалась ситуация с «разрывами» «хребтов». В более ранней работе этой группы [270] из представленных рисунков, иллюстрирующих давление в нефроне можно заметить, что выбираются только непрерывные «хребты» (они же – цепочки локальных максимумов – ЦЛМ). Остальные ЦЛМ не учитываются в анализе. В работе [225] двойной вейвлет-анализ применён для фотоплетизмограммы. Однако и в этом случае ряд ЦЛМ был проигнорирован, а выбрана только та, которая была непрерывна, по мнению авторов, в течение всей эпохи анализа.
Тот факт, что это направление не получила дальнейшего распространения показывает, что данный подход не смог удовлетворить исследователей. Действительно, крайне сложно обосновать, с точки зрения физиологии выбор частот не на основе знаний о формировании соответствующих частотных областей в рамках функционирования органов и систем, а на основе только наличия непрерывной выраженной частоты в спектре. Направление анализа локальных максимумов спектров продолжено в [372, 265, 374]. Нетрудно заметить, в этом случае, что «хребты» строятся не на основе свойств сигналов, а исходя из отрезков времени, на которых проходило то или иное событие. При этом начало и конец события определялись исходя из нераскрытых в публикациях критериев. Помимо этого, видно, что в каждый момент времени на вейвлет-диаграмме присутствует только один «скелетон» в диапазоне до 20 Гц, что с точки зрения физиологии сомнительно. Авторы не указывают, каким образом и на каких принципах они осуществляли селекцию «хребтов» для их демонстрации на иллюстрациях.
Однако, «скелетон» («хребты») далеко не всегда рассчитывается при постоянном времени, довольно часто – в постоянном частотном диапазоне [131, 11, 215]. Развития данный подход не получит, так как дальнейшие действия, извлекающие значимую информацию из скелетонов, построенных таким образом, неочевидно.
Попытки применить вейвлет-преобразование для анализа частотно-модулированных сигналов предпринимались и другими авторами [189, 24, 35]. Работы данной группы интересны в первую очередь тем, что используется оригинальный поправочный коэффициент, нормирующий энергию вейвлет-функции, отличающийся от общепринятого. Отметим, что все эти исследования, так или иначе были связаны с оценкой изменений частотных параметров электроэнцефалограммы во времени.
Таким образом, вейвлеты получили широкое признание в области анализа ЭЭГ и естественным образом привлекли внимание разработчиков интерфейсов мозг-компьютер.
Анализ энцефалограмм на основе исследования цепочек локальных максимумов скейлограмм
В новой серии экспериментов были использованы ЭЭГ, зарегистрированные у 36 здоровых испытуемых. В качестве функциональных проб проводилась фотостимуляция световыми сигналами различной частоты и интенсивности. Для 19 испытуемых были получены данные при их работе с нейрокомпьютерными интерфейсами, реализованными по технологии SSVEP (Steady-State Visual Evoked Potentials), основанной на выделении вызванных зрительных потенциалов головного мозга, частота которых соответствует частоте проводимой фотостимуляции.
Как видно из рисунка 2.33, где показано расположение ЦЛМ для матрицы W2(a,b) вейвлет-коэффициентов данных ЭЭГ, полученных после решения испытуемым логической задачи при демонстрации ему «черного» экрана монитора в соответствии со штатной процедурой, используемой при психофизиологических исследованиях, в общем случае получено, что as Clf , и, следовательно, имеет место дрейф локальных максимумов в частотном пространстве. Используя нейрофизиологические парадигмы, можно на их основе связать дрейф локальных максимумов с увеличением или уменьшением активности в частотном пространстве пулов нейронов, определяющих картину ЭЭГ. В ходе анализа полученных данных обнаружено, что распределение масштабов «частот» появления ЦЛМ в условиях, когда не требуется высокого уровня мозговой активности, сохраняется в виде индивидуальных испытуемого (см. рисунки 2.33–2.35).
При этом гистограмма распределения числа ЦЛМ по частотам (но не по масштабам) имеет полимодальный вид и содержит пики в диапазонах -, -, и - ритмов. Таким образом, установлено, что число ЦЛМ не увеличивается пропорционально уменьшению частоты. В тоже время, возрастает значение t (продолжительности ЦЛМ), что, вероятно, демонстрирует увеличение длительности активности пула нейронов, связанных с данной цепочкой. Важно отметить, что данная зависимость, являясь статистически значимой (р 0.001 расчеты проводились для всей группы испытуемых), сохраняется, в диапазоне частот от 3 до 50 Гц (при индивидуальных верхних и нижних границах такого диапазона для каждого испытуемого).
В то же время при частоте свыше 50 Гц данная зависимость не наблюдается, что, возможно, связано с низкой разрешающей способностью используемых вейвлетов при данной частоте дискретизации в конкретном диапазоне. Как следствие те ЦЛМ, которые при лучшем разрешении по частоте были бы разделены, теперь сливаются в одну цепочку, и, в итоге, установленная зависимость нарушается. Наряду с этим, относительно высокое разрешение по частоте можно использовать только при компьютерном offline-исследовании, поскольку при применении вейвлетов Morlet, обладающих одной из самых высоких разрешающих способностей среди популярных вейвлетов в медико-биологических исследованиях, невозможно проводить оперативный вейвлет-анализ сигналов ЭЭГ с задержкой менее 2–3 с, что, например, является проблемой при использовании таких вейвлетов в технологиях нейрокомпьютерного интерфейса или биологической обратной связи [460].
Следует отметить, что независимо от состояния испытуемого, ЦЛМ имеют преимущественно индивидуально однонаправленный дрейф в частотном пространстве либо в сторону уменьшения, либо в сторону увеличения частот. Иными словами, частота локальных максимумов, формирующих цепочки, или последовательно друг за другом непрерывно нарастала, или таким же образом уменьшалась. Доля ЦЛМ, для которых изменяется направление дрейфа (когда сначала происходит увеличение частоты, а затем – её спад или же наоборот), не превышает 18.5 % для всех испытуемых, их состояний или каналов регистрации ЭЭГ. Даже в состоянии покоя в каждом из «классических» диапазонов ЭЭГ (-ритм: 0.5-3 Гц; -ритм: 4-7 Гц; -ритм: 8-13 Гц; -ритм: 15-40 Гц; -колебания: 40 Гц) присутствуют ЦЛМ, дрейфующие как в сторону увеличения частот, так и их уменьшения (см. рисунок 2.36). Естественно, что ЦЛМ не разделяются по частотам в соответствии с “классическими” диапазонами ЭЭГ: начавшись в одном из диапазонов, ЦЛМ может прерваться в другом диапазоне. В ряде случаев цепочка после перехода в соседний диапазон может в дальнейшем вернуться в исходный [461].
Анализ динамики ЦЛМ показал, что в случае решения испытуемым логических или образных задач, при работе с системами биологической обратной связи или с нейро-компьютерными интерфейсами изменения ЦЛМ в частотном диапазоне носят стабильный характер, что отражается в меньшем изменении частотной локализации максимумов скейлограмм. Таким образом, изменение мозговой активности при различных функциональных состояниях испытуемого приводит к изменению (увеличению или уменьшению) частотных характеристик участков ЦЛМ. Можно сделать вывод, что основная часть динамики поведения ЦЛМ имеет индивидуально-специфический характер, то есть она определяется не столько типом задач, решаемых испытуемым, сколько исходной динамикой ЦЛМ в спокойном его состоянии.
Рассмотрим процесс картирования усреднённых значений динамики энергии ЦЛМ в зависимости от одного из 4-х описанных типов. Третий тип ЦЛМ, практически, не встречался в наших исследованиях по причинам, описанным выше, и поэтому он был исключен из картирования.
В качестве нагрузочных проб выступали решения образной и логической задач, в ходе которых испытуемый нажатием на правую или левую кнопку мыши выбирал одно из двух решений, которые так же, как и задачи, демонстрировались на экране жидкокристаллического монитора с диагональю 17 дюймов, расположенного на расстоянии не ближе 1.5 м от глаз испытуемого. Анализировался частотный диапазон от 3 Гц и выше.
Из рисунка 2.37 видно, что наиболее высокие значения AW2(a,b) соответствуют отведениям Fp1, Fp2, Fpz и отражают артефакты от движения глаз – электрокулограмму. Тем не менее, при удалении из расчетов этих отведений использование непараметрического аналога критерия Фишера -критерия Крускайла-Уоллеса - продемонстрировало достоверные различия (р 0.001) между средними энергетическими показателями ЦЛМ как в зависимости от типа отведения (канала ЭЭГ) и, следовательно, от области мозга, с которой регистрировался сигнал, так и от типа осуществляемой в ходе эксперимента деятельности.
Следует отметить, что ЦЛМ со статистически значимыми наименьшими значениями встречались в отведениях Т6 и P4, что, вероятно, отражает высокую долю низкоамплитудных десинхронизированных ритмов в данных областях, традиционно связываемых с когнитивной деятельностью человека.
На рисунках 2.38 и 2.39 представлена динамика поведения ЦЛМ для различных их типов с учетом используемого отведения. Результаты оценки распределений показали, что для большинства отведений ЭЭГ характерно наличие распределений ln(W2(a,b)), отличных от нормального (р 0.01 для критериев Шапиро-Уилка, Колмогорова-Смирнова), в первую очередь, за счет высоких значений эксцесса (значительно больших 3), отражающих островершинность распределений.
Увеличение скорости передачи информации по нейрокомпьютерному интерфейсу на основе оценки частот встречаемости последовательности символов в командах
Очевидно, что существует несколько способов увеличения скорости работы НКИ, равно как и ИЧМ, на классических парадигмах: это совершенствование выделения паттернов мозговой активности, несущих информацию о командах; совершенствование функционирования устройств эффекторов в виде, либо выделения индивидуальных паттернов, характерных для конкретного пользователя, либо выделения аналогичных, но популяционных паттернов, что более характерно для языковых систем. Рассмотрим подробно последний пункт.
Описание метода увеличения скорости передачи информации по НКИ. Оценим принципиальную возможность увеличения скорости передачи информации по НКИ. Пусть существует множество А элементов a}(K,i) стратегий, осознаваемых испытуемым, где К є R - траектория перемещения объекта для каждой из стратегий, так что находясь перед реализацией стратегии в точке с координатами (x1, y1, … , z1), после её осуществления объект окажется в точке с координатами (x2, y2, … , z2 ); t – время, которое испытуемый планирует затратить на реализацию алгоритма перемещения. Так, при наборе текста на компьютере один элемент множества A соответствует одной букве алфавита или одному символу (цифре, знаку пунктуации и т. д.). Размерность пространства, в котором осуществляется перемещение по траектории K, задается в соответствии с целями пользователя. Например, для перемещения курсора по экрану монитора она будет равна двум. Одиночная стратегия aj не всегда является той стратегией, которая будет достаточна для достижения поставленной цели и, пользователю для достижения полезного результата нужно создать цепочку последовательных стратегий aj.
В общем случае процесс реализации последовательных стратегий для получения необходимого результата можно выразить схемой оринтированного графа, перемещение по вершинам которого даёт возможность по-разному, достигнуть полезного результата (терминальных вершин) можно с использованием различных комбинаций стратегий aj. Испытуемый может выбрать для себя такое подмножество стратегий, какое, по его мнению, будет оптимальным. Иными словами, есть подмножество A , которое формирует последовательность применяемых стратегий для достижения поставленных целей, при этом k = 1,…,n – 1; l = k + 1,…,n; k + l n, где k – номер рассматриваемой стратегии, а l – количество принимаемых во внимание стратегий после k-й. Отсюда, зная апостериорно стратегии, выбираемые пользователем в ходе обучения, являющегося первой фазой работы с новым НКИ, можно попытаться сократить время обработки данных, поступающих от человека в компьютер и, тем самым, добиться ускорения функционирования НКИ.
Исследуем теперь работу НКИ, обеспечивающего стандартную реакцию устройства-эффектора при наборе текста на компьютере, что сводится к последовательному выбору человеком буквенных символов. Будем считать, что пользователь набирает текст с применением бифуркационного деления блока всех имеющихся букв на 2 примерно равные части. При этом из символов будет составляться только такое слово или выражение, которое имеет смысл, и это не будет произвольным набором букв, расположенных в случайном порядке. Очевидно, что для того, чтобы набрать конкретную букву для 32-буквенного алфавита, необходимо осуществить 5 последовательных выборов в массивах букв, каждый из которых получается делением пополам массива букв более высокого уровня (это в случае использования 32-буквенного алфавита вместо обычного кириллического, когда некоторые наиболее редко используемые буквы алфавита удалены из него для сведения общего числа символов к степени двойки). Иными словами, дерево выбора букв в данном случае имеет пять уровней U1,…,U5 , при этом выбор буквы на каждом уровне будет занимать одинаковое время t, необходимое, например, для накопления вызванного потенциала (ВП) в случае реализации для НКИ технологий Р300 или SSVEP [357].
Рассмотрим ситуацию, когда пользователь набирает на компьютере 4-буквенное слово, и при этом заранее неизвестно, какое это слово. Однако, если ясно, что первая буква слова – «а», то количество возможных вариантов выбора последующих букв может существенно сократиться по сравнению с простым их перебором. Проанализируем, для примера, частоту встречаемости второй буквы после первой буквы «а» и второй буквы после первой буквы «б» для 4-буквенных слов русского языка, результаты анализа представлены в таблицах 4.3 и 4.4. При этом анализировался массив из 2304 4-буквенных слов. Конечно, при бльшем числе слов в таком массиве представленные в таблице 4.3 результаты могут измениться, однако нашей задачей является показать принципиальную возможность использования таких данных для оптимизации НКИ, а не проведение детальных исследований частоты встречаемости разных букв в словах.
Как видно из таблицы 4.3, после первой буквы «а» для слов русского языка возможны 17 разных вторых букв. В этом случае увеличить скорость работы НКИ по сравнению со случаем выбора второй буквы из всего 32-буквенного алфавита не удастся, так как выбор одного из 17 символов требует столько же уровней бифуркации (а именно - 5), как и выбор из 32 символов, поскольку происходит последовательное деление начального множества символов на группы, состоящие из 16, затем из 8, 4, 2 и 1 символа.
Иная ситуация наблюдается, когда число последующих символов после определенной буквы равно 16 или меньше, например, когда первая буква русского слова - «б». Как видно из таблицы 4.4, в этом случае возможно только 11 содержательных вариантов сочетаний букв. Следовательно, в бифуркационном ряду можно сразу перейти к 16-символьным вариантам алфавита (группам из 16 символов), из которых будет выбираться следующая буква, а не начинать процесс выбора нужной буквы из всего 32-символьного алфавита.
Оценим выигрыш во времени P в работе НКИ применительно к обозначенному выше подходу в случае набора на компьютере 4-буквенных слов. Пусть s - количество состояний (букв, команд), которые надо распознать при использовании фотостимуляции по технологии SSVEP; Ъ -число различных частот (команд), которые может обеспечить применяемый фотостимулятор; t - время, в течение которого накапливается необходимое число суммаций для выделения управляющего ВП.
Пренебрегая временем, затрачиваемым на расчёты по данным ЭЭГ и классификацию полученных значений, время г, необходимое НКИ на передачу команд от мозга устройству-эффектору, можно представить следующим образом
Для алфавита из 32 символов при числе детектируемых состояний от 2 до 8 (и, соответственно, при использовании от 2 до 8 стимулирующих светодиодов в технологии SSVEP) будет выполняться условие s b.
Дополнительный канал для оценки эмоциональной динамики человека при работе с нейрокомпьютерным интерфейсом
Одним из путей повышения скорости работы нейрокомпьютерного интерфейса является возможность программно-аппаратными компонентами интерфейсов оценивать эффективность своей работы в плане достижения пользователем желаемых для него целей. В этом случае ПАК обеспечивает самообучение, выбирая те алгоритмы, которые обеспечивают наибольшую точность в условия работы пользователя. Очевидно, что в случае успешного управления пользователь будет испытывать положительные эмоции или не испытывать значимые эмоции вообще. В то время как при недостаточно качественной интерпретации интерфейсом генерируемых человеком команд эмоции будут отрицательными. Предложенная на основе данного подхода оригинальная модель существенно модифицирует формулу В. П. Симонова [179]. В предложенной в работе модели имеется функция ps(t) отражающая субъективную оценку пользователем вероятности корректной работы интерфейса применительно к конкретному шагу (номеру итерации) t его работы, т. е. к выбору очередной команды интерфейса. И имеется функция qi(t,c, ), отражающая истинную вероятность точного выполнения команд пользователя. Величина с учитывает конструктивные особенности интерфейса, характеризующие его работу, а - психофизиологическое состояния пользователя, в свою очередь, тоже зависящее от времени работы, а разность qit,c,) - ps(t) отражает процесс формирования эмоций у пользователя интерфейсом, учитывая психофизиологические особенности пользователя. Предложенная выше модель имеет существенный недостаток, связанный с невозможностью в ее рамках оценить реальное состояние эмоционального (функционального или стрессового) напряжения пользователя. Между тем оценка этого состояния может обеспечить интерфейс человек-компьютер новой информацией относительно состояния пользователя. Действительно, как следует из представленной модели, в случае, если какое-либо устройство (интерфейс мозг-компьютер или окулографический интерфейс) работает с ожидаемой скоростью и точностью с точки зрения пользователя, то в значительном числе случаев никаких эмоций не возникает. В случае же если устройство работает лучше, чем ожидалось, то возникают положительные эмоции, которые, однако, быстро затухают: оценка вероятности успешной работы устройства сдвигается в сторону увеличения. В то же время если устройство работает с меньшей точностью, чем ожидалось или требовалось, то отрицательные эмоции нарастают. Известно, что эмоции порождают выраженные изменения в вегетативной регуляции состояния человека [92]. Следовательно, используя известные в настоящее время методы оценки вегетативного статуса человека, можно сформировать представление об эмоциональном (функциональном) напряжении пользователя и, тем самым, сделать заключение об успешном или неуспешном взаимодействии человек-компьютер.
Оценка эффективности взаимодействия пользователя с интерфейсом человек-компьютер Рассмотрим ситуацию, описанную в [187], где необходимо обеспечить перемещение курсора в заданную область экрана монитора, при этом распознание команд, генерируемых человеком, осуществляется не одним, а несколькими алгоритмами. Выбор алгоритма осуществляется по правилу минимизации хода. То есть из всех алгоритмов выбирается тот, который при условии запрета на отсутствие перемещения, перемещает курсор на минимальное расстояние. Действительно, при перемещении в пространстве, в случае приближения к глобальной цели, каждая промежуточная цель будет отстоять на всё более и более меньшем расстоянии от конечной цели. И, наоборот, ошибочный ход уводит дальше от цели, требует на следующем шаге переместиться на большее расстояние. При этом было показано, что в ряде случаев возникает определённая синергия между программно-аппаратной частью интерфейса и пользователем: правильно распознанные команды пользователя (выигрыш пользователя) так же оказываются командами, соответствующими правилу минимизации (выигрыш интерфейса).
Воспользовавшись подходами, основанными на теории игр, в первом приближении будем рассматривать задачу вида q(t,c,t) - ps(t) min, т. е. задачу минимизации появления у пользователя любых эмоций, как положительных, так и отрицательных, каждая из которых негативно сказывается на точности работы интерфейса. Очевидно, что если имеется только один алгоритм обработки команд в программно-аппаратном комплексе интерфейса человек-компьютер, то тогда выбора нет. Однако если мы реализуем адаптивный интерфейс человек-компьютер, то в нём уже существует множество алгоритмов обработки полученных от пользователя сигналов и стратегий (последовательностей применения набора алгоритмов) L : зь = {LJ(S Є (0;ОО))}, где 3 - время реализации алгоритма; j - номер стратегии, применяемой ПАК.
Таким образом, приняв множество сигналов В состояний Ъ{ ЭЭГ, порождаемых при реализации мыслительных процессов, связанных с выбором и реализацией стратегии пользователя ah получаем: 3в = {bt(V є R,r Є (0;ОО))}, где V - вектор состояний сигналов, порождаемых пользователем; - время, в течение которого состояние сигналов принадлежит определённому пространству состояний.
Таким образом, для множества состояний В пользователя с определённой вероятностью имеется набор векторов сигналов V, которые должны быть распознаны одной из нескольких стратегий ПАК L. Применение для обработки вектора Vk стратегии L}- обеспечит вероятность распознавания состояния B, равную qn(t,L,B,V, ). В данном случае константа с, отражающая конструктивные особенности работы интерфейса, представлена в виде набора алгоритмов (стратегий) L, обрабатывающих векторы V, порождённые состояниями В.
Таким образом, модифицируя указанный выше подход, мы можем изменить матрицу игры таким образом, что ПАК будет выбирать только те ходы, которые приводят к минимизации разности qt(t,c,g) - ps(t)\, и, следовательно, выбрать такие ходы, которые не приведут к отклонению параметров вариабельности сердечного ритма от фоновых значений, зарегистрированных при обучении ПАК.