Содержание к диссертации
Введение
ГЛАВА 1 Анализ биотехнических систем, применяемых для мониторинга эмоций человека 13
1.1 Мониторинг эмоций для диагностики заболеваний на ранних этапах 13
1.2 Компьютерные технологии и технические решения, применяемые для выявления эмоций на основе анализа речи 18
1.2.1 Одноканальные системы 19
1.2.2 Многоканальные системы 26
1.3 Модели эмоций и их применение для анализа эмоционально окрашенной речи 32
1.4 Признаки эмоционально окрашенной речи 41
1.5 Постановка задач дальнейшего исследования 45
Выводы по главе 1 48
ГЛАВА 2 Разработка методики исследования эмоций на основе анализа речевого сигнала 51
2.1 Концепция интегрированной БТС для мониторинга эмоций человека 51
2.2 Методика проведения экспериментов 57
2.3 Разработка мультимодальной базы эмоций 64
Выводы по главе 2 75
ГЛАВА 3 Разработка модели и алгоритмов интерпретации эмоций человека по естественной речи ... 77
3.1 Влияние эмоционального состояния на спектральную плотность мощности биомедицинских сигналов 77
3.2 Изменение морфологии аттракторов биомедицинских сигналов, зарегистрированных при различных эмоциональных реакциях 83
3.3 Алгоритмы для оценки морфологических признаков аттрактора 96
3.3.1 Максимальные векторы аттрактора 96
3.3.2 Плотность траекторий аттрактора 101
3.4 Модель интерпретатора эмоций на основе нечетких оценок характеристик биомедицинских сигналов 105
Выводы по главе 3 118
ГЛАВА 4 Разработка методического и программного обеспечения БТС EEG/S. 121
4.1 Структура БТС EEG/S 121
4.2 Программные модули БТС EEG/S 124
4.3 Испытания БТС EEG/S 128 Выводы по главе 4 145
Заключение 146
Список сокращений 148
Список литературы 149
- Компьютерные технологии и технические решения, применяемые для выявления эмоций на основе анализа речи
- Методика проведения экспериментов
- Максимальные векторы аттрактора
- Программные модули БТС EEG/S
Компьютерные технологии и технические решения, применяемые для выявления эмоций на основе анализа речи
Эмоции непрерывно сопровождают человека на протяжении всей его жизни, их значение трудно переоценить. Эмоции имеют огромное значение - они являются мощными стимулами при достижении людьми социальных и биологических потребностей. От эмоционального состояния во многом зависит душевное и физическое здоровье человека [10, 12, 33, 38, 42].
В настоящее время не существует общепринятого определения понятия «эмоция». При любых попытках его формализации мы натыкаемся на многообразие теорий эмоциональных процессов, демонстрирующих различные модели описания эмоций человека. На настоящий момент известно более 2-х десятков различных теорий эмоций (психологических, нейрофизиологических, когнитивистских, эволюционных, системных и т.д.), предложенных известными психологами и физиологами (например, C. Darwin, W. Wundt, W. James-C. Lange, J. Deway, H. Spencer, G. Maranon, W. Cannon-P. Bard, S. Freud, J. Papez, G. Lindsey-G. Hebb, L. Festinger, M. Arnold-R. Lazarus, S. Schachter, П.К. Анохин, П.В. Симонов, C. Izard, R. Plutchik, R. Zajonc, J. Gray и др.) [12, 33, 57].
Эмоции - одна из наиболее важных сторон психических процессов, которая характеризует переживание человека. Эмоции описывают интегральное выражение тонуса нервно-психической деятельности, которое отражается на различных системах организма человека (дыхательной, кровеносной, опорно-двигательной и др.) и оказывает влияние на его психику. Эмоции ориентированы на выполнение функций по регулировке активности человека на основе отражения степени значимости при различных внешних и внутренних ситуациях (стимулах) для активизации его жизнедеятельности [5, 12, 26, 27, 42, 57]. Согласно проанализированным современным психофизиологическим теориям, подчеркивающим дифференцированную структуру эмоциональной реакции (например, Lazarus, 1984; Афтанас, 2000 и др.), выделяют следующие этапы возникновения и развития эмоций [58, 62, 67, 108]:
1. Перцептивный этап (восприятие) - декодирование внешних (речевых, экспрессивных, поведенческих) и внутренних (когнитивных, интероцептивных) эмоциональных раздражителей (стимулов); определение знака поступающей информации и оценка ее значимости для человека.
2. Переживательный этап (переживание) - субъективные реакции человека на внешние и внутренние раздражители, которые проявляются в виде страха или гнева, удовольствия или неудовольствия, грусти или радости и т.д. Эмоции оказывают активное влияние на церебральные системы, которые регулируют поведение и набор вегетативных (соматических) функций организма.
3. Экспрессивный этап (переживание) - лицевые (мимические), постуральные, речевые и вегетативные изменения, возникающие во время генераций эмоций (эмоциональных состояний).
Для исследования (диагностики и мониторинга) эмоций человека применяют различные экспериментально-статистические методики экспертного оценивания эмоций и дифференциации методов обработки сигналов по доступным каналам регистрации откликов человека. Предложенные решения позволяют генерировать описания закономерностей и формировать правила, характеризующие отдельные виды эмоций путем анализа: 1) РС (речевых сообщений) [2, 14, 18, 19, 21, 29, 37, 39, 46, 54, 55, 57, 95, 96, 104, 105, 112, 113. 114, 116, 117, 119, 127, 141, 143, 149, 156, 157]; 2) видеофрагментов, отображающих мимику и жесты человека [6, 111, 115, 139, 140, 154]; 3) физиологических сигналов (ЭЭГ, ЭКГ, ЭМГ и др.) [28, 36. 38. 58, 62, 67, 93, 108, 109, 121, 137, 140]; 4) биохимических показателей (параметры функционирования кровеносной и дыхательной систем и др.) [16, 47, 86, 122, 150, 151]; 5) параметров клавиатурного и рукописного текста [24]; 6) психологических тестов [11, 40]. Для большинства подходов выявлен один существенный недостаток, заключающийся в том, что регистрация сигнала (отклика) требует установки контактных датчиков (биосенсоров). Каналы формирования эмоциональных откликов человека отличаются «тонкостью» в передаче оттенков эмоционального состояния. Для каждого канала предусматривается свой специализированный алфавит эмоций. С нашей точки зрения, очевидно, что на современном этапе для передачи эмоций у человека наиболее развит его речевой аппарат.
В рамках диссертационной работы предлагается в качестве диагностического критерия для оценки эмоционального состояния человека использовать изменения в структуре его РС, что упрощает аппаратную поддержку методов диагностики.
Несмотря на то, что эмоции сопровождают человека на протяжении всего периода бодрствования, степень и характер их проявления может существенно меняться. Следует отметить, что этот процесс может протекать не вполне осознанно, т.е. человек может пытаться скрыть какую-то информацию от собеседника, но эмоциональная реакция его выдаст. Учитывая способности человека контролировать и управлять своей мимикой и жестами, наиболее важным источником сведений об его эмоциональном состоянии становится речь. Обычно человек использует эмоции как дополнительный источник информации (невербальной), которую он хочет передать собеседнику [8, 13, 22, 23, 55, 57].
Исследования РС проводились многими учеными с целью описания различных характеристик речи (акустических, просодических, лингвистических и т.п.). Огромный вклад по развитию науки в сфере речевой акустики принадлежит таким ведущим ученым как Г. Фант, Н.В. Витт, Дж. Фланаган, В.Н. Сорокин, Н.Ю. Секунов, Б.М. Лобанов, М.А. Сапожков, В.И. Галунов, Е.Л. Чойнзонов, Л.В. Златоустова, Т.К. Винцюк, Н.Г. Загоруйко, Ю.А. Косарев, А.В. Аграновский, А.Л. Ронжин, Р.К. Потапова, В.К. Иоффе, М.В. Хитров, В.Г. Михайлов, С.Л. Коваль, В.П. Бондаренко, Л.Н. Балацкая и др. [2, 64, 106].
Методика проведения экспериментов
Необходимость исследования и мониторинга эмоциональных состояний определяется их вкладом в обеспечение эффективности и надежности состояния пациента и человека-оператора при выполнении им его профессиональных обязанностей. Несмотря на большое разнообразие автоматизированных систем и т.н. «тренажеров», позволяющих моделировать различные проблемные ситуации, в настоящее время требуется разработка БТС, позволяющих исследовать эмоции и проводить оценку (контроль) адаптации пациента и человека-оператора к воздействию различных факторов.
В последние годы в области информационных технологий и психофизиологии появляется много исследований, посвященных проблеме построения модели эмоций, в которой количественно согласуется интерпретация сигналов, связанных с функционированием одного и группы органов человеческого организма (Y) и полученных от эмоциональных реакций, проявляющихся в изменениях электрической активности головного мозга человека (E), и вопросу изучения механизмов формирования эмоциональных откликов субъекта на некоторые внешние и внутренние раздражители (X) (см. рисунок 1.14). Интерес к этому направлению вполне оправдан, так как позволяет выявить и формализовать операции передачи и дешифровки невербальной информации.
При построении модели эмоций, в которой количественно согласуется интерпретация сигналов E и Y, необходимо построение формализованного описания этих сигналов на основе общего признакового пространства или хотя бы с использованием одинаковых признаков. Наиболее перспективным путем, по-видимому, является создание специализированных БТС, позволяющих использовать различные каналы предъявления стимулов X и осуществлять регистрацию сигналов E и Y. Идейной основой для этого может служить парадигма построения систем, ориентированных на обработку компьютером сигналов от биосенсоров, например, на основе технологии Affective Computing [148]. Примером подобной системы является разработка (рисунок 2.1), представленная в работе [119].
Учитывая, что наиболее чувствительным к дифференциации оттенков эмоций, переживаемым человеком, является РС [43], а все остальные (мимика, жесты, физиологические и биохимические показатели и т.п.) обеспечивают более «грубые» реакции, исходя из этого допущения, в предлагаемой концепции БТС целесообразно ограничиться созданием как минимум 2-х канальной системы. Подобная система позволит пользователю выбирать канал предъявления и восприятия стимулов для формирования у испытуемого соответствующего эмоционального состояния.
В работе [100] рассмотрен способ регистрации образцов речи, основанный на объективных данных, характеризующих состояние источника речевых сообщений (рисунок 2.2). Для контроля эмоционального состояния человека применяется регистрация ЭЭГ, характеризующая электрическую активность головного мозга диктора. Это позволяет повысить точность и достоверность правил интерпретации эмоций по образцам речи.
Учитывая индивидуальные особенности испытуемых в восприятии информации по разным каналам, различную значимость стимулов для каждого из них, в предлагаемой БТС необходимо включить несколько каналов предъявления стимулов. Каждый канал необходимо связать с соответствующим типом биосенсора. Вариация каналов предъявления позволит использовать в качестве каналов зрительный, акустический, тактильный или обонятельный анализаторы, что позволит создавать сложные интегрированные эмоционально значимые стимулы и соответствующие реакции испытуемых, что дает возможность приблизить модельные эксперименты к реальным условиям обработки эмоционально значимой информации.
Развитием этого предложения является концепция БТС EEG/S (electroencephalogram / speech signal), предназначенная для исследования проявлений (ярко выраженных, слабо выраженных) эмоциональных реакций человека на внешнее воздействие (рисунок 2.3). К особенностям концепции этой БТС относится четыре независимых канала подачи стимулов (визуальных (V), акустических (A), тактильных (Т) и обонятельных (О)) и два канала регистрации откликов испытуемого (канал регистрации ЭЭГ сигналов (E) и канал регистрации РС (Y)). Информация, получаемая при обработке сигналов E, отображает эмоциональные реакции человека, которые он сознательно не корректирует. Оценки эмоционального состояния человека на основе сигналов Y могут быть искажены в силу субъективных причин, например, сознательным желанием испытуемого не демонстрировать явно своих оценок предъявляемого стимула. Главное преимущество 2-х канальной БТС связано с возможностью регистрации речевого сообщения только после регистрации изменений в ЭЭГ, вызванных восприятием соответствующего стимула. Такой подход повышает доверие к выборкам образцов речи, которые в дальнейшем используются для формирования правил распознавания (интерпретации) классов эмоций.
Работа БТС осуществляется следующим образом. Оператор, используя блок управления, должен осуществить выбор режимов работы системы (U1 - U6), тем самым определить каналы для предъявления испытуемому соответствующих стимулов (V, A, О или Т).
Максимальные векторы аттрактора
Наблюдается различная зависимость форм и размеров аттракторов, реконструированных по БМС, показывающих изменение эмоционального состояния человека, причем эти изменения тем значительнее, чем сильнее реакция испытуемого на предъявляемые стимулы.
В диссертационной работе разработана система по количественной оценке двухмерных проекций аттракторов БМС [69, 70, 81, 82]. Для оценки вариаций проекций аттракторов предлагается использовать новые признаки: 1) длины максимальных векторов R, описывающих контуры двухмерных проекций аттракторов и характеризующих БМС по амплитудному составу; 2) плотность траекторий двухмерных проекций аттракторов у , отражающих варьирование частотного состава в БМС.
Алгоритм определения максимальных векторов двухмерных проекций аттрактора R позволяет существенно снижать размерность описаний БМС (фраз, фонем или паттернов ЭЭГ) и позволяет осуществлять количественно сравнение самих аттракторов, оценивая изменения их контуров (форм, морфологий).
Для формализованного описания двухмерных проекций аттракторов БМС будет достаточно четырех однородных признаков ( Іm ,a x, z = 1, 3, J = 1, 4 ), каждый из которых можно рассматривать как длину вектора, описывающего фрагмент контура аттрактора в пределах 7-го квадранта в z-ой проекции. Модель может быть расширена дополнительным признаком, характеризующим среднюю по четырем квадрантам оценку векторов ( m ax) [69].
Алгоритм нахождения максимальных векторов R основан на разбиении трехмерного аттрактора на три двухмерных проекции хп - хп+т , хп - хп+2т , хп+т - хп+2т . Для определения размеров контура проекции аттрактора его двухмерная проекция условно разделяется на четыре квадранта, в каждом из которых определяется вектор максимальной длины (рисунок 3.15). На основе таких оценок по 4-м квадрантам находится усредненный вектор для одной (/-ой) максимального вектора j -го квадранта / -ой проекции; max - длина усредненного вектора / -ой проекции аттрактора; Z - номер объекта РС; Z = 1, 266 (фразы) или Z = 1, 2660 (гласные фонемы); S - номер объекта ЭЭГ; S = 1, 240; / -номер отведения ЭЭГ; / = 1, 8. Анализ паттернов ЭЭГ проводился по наиболее информативным отведениям (8 отведений правого полушария, глазное отведение Fp2-A2 не анализировалось) (см. рисунок 3.1).
Таким образом, в соответствии с (3.3), каждый объект РС вида A(z) ch описывается 15 признаками ((i?max, max) или (R1-R15)), а каждый объект ЭЭГ вида A(s) - 120 признаками (R]-R]2o).
Переход в новое признаковое пространство ( Rm .ax , max ) позволяет получить оценки образцов РС, которые количественно иллюстрируют тенденции в изменении морфологий (размеров контуров) проекций аттракторов при изменении валентности эмоций. Аналогичные результаты получаются при анализе выборки моделей аттракторов, построенных по сигналам ЭЭГ.
Исследования проекций искусственных гармонических сигналов, а также реальных БМС позволили выявить изменения значений векторов ( Rmi.ajx , Rmi ax ) проекций аттрактора в зависимости от амплитуды и частоты сигнала (рисунок 3.16).
На рисунке 3.16 приведены примеры проекции аттрактора (хп-хп+т) гармонического сигнала временного ряда функции у = sin х с постоянной единичной амплитудой на 4-х интервалах сигнала (L1-L4) с соответствующими частотами 100, 1000, 2000 и 5000 Гц (рисунок 3.16, а) и с различной амплитудой на всех интервалах сигнала (рисунок 3.16, б). Для интервалов сигнала (L2-L4) (рисунок 3.16, б), на которых произошло снижение амплитуды сигнала, визуально наблюдается закономерность уменьшения значений векторов ( i?m .ax , max ) в проекции ( хп - хп+т ) аттрактора. Аналогичные изменения характерны и для проекций (хп -хп+2т, хп+т -хп+2т).
Временной ряд РС содержит два интервала (L1, L2), отличающихся амплитудой. Для интервала L2 с малой амплитудой, визуально характерны минимальные значения максимальных векторов (Rm .ax, Rmax).
Количественная оценка изменения значений векторов ( i?m .ax , max ) в зависимости от амплитуды и частоты проведена на примерах искусственного гармонического сигнала функции y = sinx (приложение 2, рисунок 5.2, рисунок 5.3). Продемонстрированы изменения значений векторов (Rm .ax, Rlmax) проекций аттрактора для двух синусоидальных сигналов с постоянной частотой 100 Гц и произвольной амплитудой (рисунок 5.2) и для двух синусоидальных сигналов с постоянной амплитудой и произвольной частотой (100 Гц и 400 Гц) (рисунок 5.3).
Таким образом, в ходе исследований экспериментально установлено, что значения максимальных векторов (im .ax , max) проекций аттрактора (хп — xn+t, хп - xn+2t, xn+t - xn+2t) прямо пропорционально зависят от амплитуды исходного временного ряда БМС, на основе которого осуществляется реконструкция аттрактора. На значения векторов (im .ax , max ) почти не оказывает влияние варьирование сигнала в частотном диапазоне.
Программные модули БТС EEG/S
Испытания БТС EEG/S для мониторинга эмоциональных состояний испытуемых на основе анализа БМС показали эффективность предлагаемой МИЭ.
Для независимой оценки работоспособности (достоверности) БТС EEG/S применена база Emo-DB [110]. Данная база, в силу открытой доступности, весьма популярна у многих исследователей, она неоднократно использовалась при формировании и разработке систем мониторинга эмоционального состояния человека. База представляет собой собрание речевых образцов (фраз), записанных на немецком языке, полученных с помощью профессиональных актеров. База состоит из 535 фраз речи от 10 дикторов (5 женщин, 5 мужчин). Актеры имитировали 7 эмоциональных состояний (нейтральное состояние, радость, страх, гнев, скука, отвращение, печаль).
В таблице 4.8 приведены результаты интерпретации образцов немецкой речи из базы Emo-DB с применением МИЭ, а также результаты работ аналогов по данной тематике. Испытания проведены авторами публикаций с использованием различных подмножеств речевых паттернов из указанной базы.
Полученные результаты (таблица 4.8) по интерпретации эмоций на основе анализа речевых образцов, взятых из базы Emo-DB, позволяют утверждать, что по J7_N pat ошибке интерпретации ( г — 100% , где Npat - количество неправильно all классифицированных объектов; NaU - общее количество объектов по всем классам) МИЭ не уступает известным аналогам, но и даже позволяет добиться уменьшения ошибки F по сравнению с указанными аналогами.
При использовании МИЭ интерпретация объектов базы Emo-DB существенно различается от экспертной оценки (в основном это сказывается на объектах, оказавшихся на границах пересечения кластеров эмоций). Различие в большинстве случаев заключается в определении уровня эмоционального отклика, но существуют также ситуации, когда есть разногласия при нахождении знака эмоций. Экспериментально доказано, что при экспертной оценке уровня эмоционального отклика (при применении бальной системы) характерны случаи, когда два образца с одинаковым знаком эмоций и различным уровнем эмоционального отклика могут интерпретироваться экспертом как совершенно идентичные друг другу. Применение же МИЭ при мониторинге эмоций позволяет избежать подобных ситуаций, что дает возможность описывать и исследовать слабо выраженные эмоциональные реакции испытуемых.
Таким образом, сходимость результатов интерпретации эмоций на множестве паттернов ЭЭГ и на множестве образцов РС из мультимодальной базы эмоций, а также на записях речи, взятых из базы Emo-DB, подтверждает достоверность и эффективность предложенной МИЭ для БТС EEG/S.
Теоретико-методические, экспериментальные и прикладные результаты диссертации подробно изложены в работах [30, 56, 59, 63, 69 - 86, 97-103].
Дополнительно испытания БТС EEG/S проведены в рамках комплексной программы оценки психического здоровья специалистами кафедры нервных болезней и восстановительной медицины Тверской государственной медицинской академии, а также сотрудниками организации ООО «МУ МГСС» (г. Москва) для задач мониторинга психофизиологического состояния (приложение 6).
Верификация полученных положительных результатов свидетельствует о целесообразности применения разработанной БТС EEG/S для задач мониторинга эмоций человека по РС и ЭЭГ.
1. Предложена БТС EEG/S для мониторинга эмоций человека по РС и ЭЭГ. Подробно разобраны и указаны все режимы функционирования системы. На разработанное устройство получен патент на полезную модель.
2. Разработаны программное и методическое обеспечения для БТС EEG/S. Программное обеспечение для исследования БМС включает 18 модулей с определением их соответствующих функций. Модули программного обеспечения для БТС EEG/S реализованы в среде MATLAB и на языке C# 3.0 для среды исполнения .NET Framework 3.5 и выше.
3. Оригинальность разработанного программного обеспечения подтверждена тремя свидетельствами о государственной регистрации программ для ЭВМ (приложение 5).
4. Испытания БТС EEG/S для мониторинга эмоциональных состояний испытуемых на основе анализа БМС (РС и ЭЭГ) показали эффективность предлагаемой модели интерпретатора эмоций (МИЭ). Сходимость результатов интерпретации эмоций на множестве паттернов ЭЭГ и на множестве образцов РС подтверждает достоверность и адекватность предложенной модели.
5. Цели, поставленные на начальных этапах разработки БТС EEG/S, в полном объеме достигнуты.
6. Оценка ошибок интерпретации эмоций БТС EEG/S проведена с использованием выборок РС, сформированных их базы Emo-DB. Верификация полученных результатов свидетельствует о целесообразности использования разработанной БТС EEG/S для мониторинга эмоций человека по РС и ЭЭГ.
Разработчикам технических средств и приложений, которые могут быть направлены на человека в лечебных, терапевтических и профилактических целях, для бесконтактной диагностики и мониторинга эмоционального состояния человека по речевому сигналу рекомендуется при создании подобных систем учитывать предложенные в работе теоретические и практические наработки, направленные на повышение достоверности и эффективности мониторинга эмоций человека. Для специалистов, занимающихся проблемой исследования эмоций, рекомендуется использовать предложенные в работе: методику исследования эмоций на основе анализа речи и ЭЭГ; концепцию интегрированной БТС EEG/S; алгоритмы оценки морфологических признаков аттрактора и модели паттерна биомедицинского сигнала и интерпретатора эмоций, с тем, чтобы повысить достоверность оценки эмоционального состояния человека.
Перспективы дальнейшей разработки темы исследования.
Для более значимой и углубленной диагностики эмоций человека по речевым сигналам и ЭЭГ существует потребность в более длительном и детальном изучении третьей составляющей модели интерпретатора эмоций -динамики эмоциональных реакций испытуемых. Это позволит прогнозировать развитие эмоциональных реакций человека. С учетом использования предложенных в работе технических решений, существуют благоприятные перспективы для разработки средства экспресс-диагностики и мониторинга эмоций человека в профилактических или лечебных целях (например, при оценке психосоматических, психомоторных и соматовегетативных нарушений; неврозоподобных и невротических синдромов; эмоционально-аффективных и депрессивных расстройств у взрослых и детей).
Проведенное исследование открывает перспективы для создания дикторо-независимой системы детектирования эмоциональных состояний человека по речевому сигналу. Подобная система будет инвариантна к национальным особенностям языка и позволит работать со спонтанной речью.