Содержание к диссертации
Введение
1 Аналитический обзор 14
1.1 Подходы к распознаванию эмоциональных реакций 14
1.2 Автоматизированные технологии определения эмоций 18
1.3 Автоматизированное распознавание движений человека 30
1.4 Моделирование динамической информации 39
1.5 Методы грануляции информации 47
1.6 Постановка задачи автоматизированного определения эмоционального состояния человека по телодвижениям и позам 58
2 Методика автоматизированной идентификации эмоционального реагирования на основе анализа характерных телодвижений и поз 61
2.1 Метод выделения на видеоизображении отдельных поз и телодвижений по двигательной активности человека 62
2.2 Метод определения базовых эмоциональных состояний человека по телодвижениям и позам 70
2.3 Модель движений тела человека на основе нечетких темпоральных высказываний 70
2.4 Модель идентификации характерных телодвижений человека 80
2.5 Модель идентификации позы человека и эмоциональной реакции на основе гранулярной структуризации 88
2.6 Выводы 106
3 Алгоритмическое и программное обеспечение для определения эмоциональной реакции человека 110
3.1 Архитектура программного комплекса распознавания эмоциональных реакций по видеоряду 110
3.2 Структура базы данных характерных телодвижений 113
3.3 Алгоритм распознавания эмоциональной реакции человека 114
3.4 Алгоритмы идентификации телодвижений 116
3.5 Алгоритмы предварительной обработки видеоинформации 119
3.6 Анализ и оценка разработанных алгоритмов 122
4 Апробация методики автоматизированного определения эмоционального состояния человека по видеоизображению 127
4.1 Экспериментальное исследование программного комплекса 127
4.2 Оценка эмоциональной реакции при переговорах 128
4.3 Выводы 131
Заключение 133
Список использованных источников 137
Приложение А. Динамическое описание последовательности движений в виде нечеткого гиперграфа 157
Приложение Б. Примеры видеофрагментов телодвижений, характерных для эмоциональных реакций 161
Приложение В. Примеры гранул поз, характерных для эмоциональных реакций 163
Приложение Г. Акт о внедрении результатов диссертации 170
- Автоматизированные технологии определения эмоций
- Модель движений тела человека на основе нечетких темпоральных высказываний
- Анализ и оценка разработанных алгоритмов
- Оценка эмоциональной реакции при переговорах
Введение к работе
Актуальность работы
Эмоции играют важную роль в человеческой жизни. Анализ эмоционального состояния человека даёт возможность отслеживать изменение поведения людей, их отношение к происходящим событиям. Эмоции влияют на когнитивные процессы и принятие решений. Поэтому потребность в определении эмоциональных реакций приобретает всё большее значение. Основной вклад в развитие теории эмоций внесли: З.Фрейд, Ч.Дарвин, Г.Спенсер, Т.Рибо, У.Джеймс, К.Ланге, У.Кэннон, Ф.Бард, Л.Фестингер, К.Изард, Р.Лазарус, А.Н.Леонтьев, П.В.Симонов, Е.П.Ильин и др. Проявление эмоций через телодвижения также остаётся всё ещё слабо изученной областью психологии, которая активно развивается в настоящее время.
Недостаточно разработаны и методы формального описания эмоций. Обычно в психологии эмоциональные реакции описываются текстом на естественном языке. В работах М.Коулсона и Дж.Ван дер Стока показано, что можно эффективно определять эмоции по движениям и позам человека, как и по другим показателям, в частности, по мимике. Данная задача тесно связана с анализом динамической нечеткой и неполной информации, полученной при помощи видеокамер. Поэтому для моделирования и формализации описания эмоциональных реакций по движениям и позам целесообразно использовать методы нечеткой математики. Нечеткие системы и вычисления, в частности, методы анализа нечетких временных рядов и нечетких темпоральных высказываний, грануляции информации были рассмотрены в работах Л.Заде, Д.А.Поспелова, В.Педрича, А.П.Еремеева, А.В.Заболеевой-Зотовой, Н.Г.Ярушкиной, С.М. Ковалева, В.Б.Тарасова и др.
Отсутствие моделей и методов, обеспечивающих идентификацию эмоциональных реакций по телодвижениям, не позволяет пока эффективно автоматизировать этот процесс. Вместе с тем автоматизированная обработка информации об эмоциональном состоянии даст возможность решения производственных, экономических, социальных и бытовых проблем. Программные комплексы, осуществляющие интеллектуальную обработку потока видеоданных, могут оказаться полезными везде, где требуется анализ поведения человека, в том числе и его эмоциональной составляющей – в организациях, на транспортных узлах, в крупных магазинах и других местах скопления людей. Таким образом, ограниченные возможности существующих средств распознавания эмоций по видеоинформации и практическая потребность в автоматизированной идентификации эмоциональной реакции по движениям и позам человека определяют актуальность диссертационного исследования.
Цель и задачи работы
Разработка моделей, методов и средств автоматизированной обработки и анализа видеоинформации, позволяющих определить эмоциональное состояние человека по характерным телодвижениям и позам.
Для достижения поставленной цели были сформулированы и решены следующие задачи:
проанализированы модели, методы и системы автоматизированной обработки информации об эмоциональных реакциях человека; технологии
и системы распознавания движений человека по видеоинформации; методы моделирования динамической информации на основе временных рядов;
разработана методика автоматизированного определения эмоционального реагирования человека на основе анализа характерных телодвижений и поз;
разработан метод выделения на видеоряде диапазонов поз и телодвижений
по анализу двигательной активности, позволяющий учитывать индивидуальные особенности субъекта;
разработан метод определения базовых эмоциональных состояний человека
по телодвижениям и позам;
разработана и исследована модель идентификации движений, соответствующих базовым эмоциональным реакциям человека;
разработана гранулярная структуризация описания характерных поз человека;
разработанные модели, методы и алгоритмы реализованы в виде программного комплекса, автоматизирующего определение эмоционального состояния человека по видеоинформации.
Объектом исследования являются телодвижения и позы человека при различных эмоциональных реакциях.
Предмет исследования – методы и средства автоматизированной идентификации эмоциональной реакции человека по видеоинформации.
Методы исследования. Методы системного анализа, теории нечетких множеств и грануляции информации, нейронных сетей, моделирования динамической информации на основе нечетких временных рядов.
Положения, выносимые на защиту
-
Методика автоматизированного определения эмоций человека
по его телодвижениям и позам. -
Метод выделения на видеоизображении отдельных поз и телодвижений по двигательной активности человека.
-
Метод определения базовых эмоциональных состояний человека
по телодвижениям и позам. -
Модель движений тела человека на основе нечетких темпоральных высказываний.
-
Модель идентификации характерных телодвижений человека.
-
Модель идентификации позы человека и эмоциональной реакции
на основе гранулярной структуризации. -
Алгоритмы, реализующие модели и методы определения эмоциональной реакции по телодвижениям и позам.
-
Программный комплекс, автоматизирующий определение эмоционального состояния человека по видеоинформации.
Научная новизна
-
Разработан и обоснован новый подход к автоматизированному
определению эмоциональных реакций человека по видеоряду, основанный
на моделировании телодвижений нечеткими временными рядами. -
Разработан новый метод выделения поз, микро и макродвижений, включающий векторную модель тела человека, КС грамматику для её построения
и модель двигательной активности человека. -
Разработан новый метод определения базовых эмоциональных состояний человека по телодвижениям и позам, включающий модель телодвижений,
модели идентификации эмоциональных реакций по характерным движениям и позам. -
Разработана модель телодвижений человека на основе нечетких темпоральных высказываний, описывающих движения на ограниченном естественном языке.
-
Разработана модель идентификации эмоциональной реакции человека
по критерию сходства исходного движения с эталонным описанием. -
Разработана нейросетевая модель для оценки вероятности
отнесения анализируемой позы человека к гранулам характерных поз
и соответствующим им базовым эмоциональным реакциям.
Практическая значимость работы
Разработанный программный комплекс определения эмоциональных реакций человека на основе анализа характерных движений и поз внедрен и успешно применяется для конкурсного отбора соискателей и заключения сделок в отделах по работе с персоналом и клиентами в крупнейшей в Волгоградской области франчайзинговой компании ООО «ВЦ Айлант», распространяющей программный продукт «1С».
Создана база данных эмоциональных телодвижений и поз, подсистема их просмотра, которые могут использоваться в качестве учебного пособия в образовательном процессе по направлениям подготовки специалистов по обеспечению безопасности, 3-d моделированию и анимации.
Подсистема идентификации характерных движений и поз на видеоизображении может быть использована для классификации больших объёмов видеоданных, поиска определенных телодвижений, автоматического проставления меток на видеоизображениях с целью ускорения дальнейшей обработки данных.
Разработанный программный комплекс может найти применение в крупных организациях, торговле, робототехнике, сфере обеспечения безопасности.
Достоверность выводов и рекомендаций подтверждается теоретическим обоснованием разработанных подходов, отсутствием противоречий с известными теоретическими положениями, согласованностью разработанных моделей, методов, алгоритмов и результатов, полученных при их апробации и практической реализации.
Область исследования. Содержание диссертации соответствует паспорту специальности 05.13.01 «Системный анализ, управление и обработка информации» по следующим областям исследований:
5. Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации;
12. Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации;
13. Методы получения, анализа и обработки экспертной информации.
Связь с научными и инновационными программами
Результаты диссертационного исследования использованы при выполнении проектов РФФИ: 10-01-00165-а «Анализ и синтез интеллектуальных систем на основе логико-лингвистических моделей принятия решений», 10-01-90012-Бел_а «Исследование фундаментальных проблем формализации подмножества естественного языка для информационно-справочных систем с естественным языковым интерфейсом», 11-01-97023-р_поволжье «Разработка методов генерации новых идей в проектировании, бизнесе и рекламе на основе математического моделирования лингвистических феноменов естественного языка», 12-07-00270-а «Разработка методов идентификации модели эмоционального поведения человека», 13-07-97042-р_поволжье «Разработка методов анализа и синтеза знаний при проектировании новых технических и программных систем».
Исследование поддержано программой «Участник молодежного научно-инновационного конкурса» (УМНИК), г. Волгоград, 2011 г.; отмечено дипломом победителя смотра-конкурса научных, конструкторских и технологических работ студентов Волгоградского государственного технического университета в 2010 году; благодарственным письмом ВолгГТУ «Гордость Политеха XXI века».
Апробация работы
Основные результаты исследования доложены на Всероссийской конференции с элементами научной школы для молодёжи «Проведение научных исследований в области обработки, хранения, передачи и защиты информации» (Ульяновск, 2009г.), Всероссийской научной конференции «Нечёткие системы и мягкие вычисления» (Волгоград, 2009 г.), Конгрессе по интеллектуальным системам и информационным технологиям (Дивноморское, 2010, 2011, 2012 гг.), Всероссийской научно-практической конференции с международным участием «Информационные технологии в профессиональной деятельности и научной работе» (Йошкар-Ола, 2010 г.), Международной научной конференции «Инновационные технологии в управлении, образовании, промышленности» (Астрахань, 2010 г.),
XXXVII Международной конференции «Информационные технологии в науке, образовании, телекоммуникации и бизнесе» (Ялта-Гурзуф, Украина, 2010 г.), Международной научно-технической конференции «Открытые семантические технологии проектирования интеллектуальных систем» (Минск, Белоруссия, 2011, 2012, 2013 гг.), VI международной научно-практической конференции «Интегрированные модели и мягкие вычисления в искусственном интеллекте» (Коломна, 2011, 2013 гг.), Конгрессе по интеллектуальным системам и информационным технологиям (Москва, 2011, 2012 гг.), Х международной конференции «Operations Research» (Гавана, Куба, 2012 г.), Международном семинаре «Operations Research and Data Mining» (Канкун, Мексика, 2012 г.),
XXV международной научной конференции «Математические методы в технике и технологиях» (Волгоград, 2012 г.), V международной конференции по когнитивной науке (Калининград, 2012 г.), XXIV международной конференции по системному анализу, информатике и кибернетики «Advances in Decision Technology and Intelligent Information Systems» (Баден-Баден, Германия, 2012 г.), II международной конференции по нечетким вычислениям (Баку, Азербайджан, 2012 г.), Международной конференции «Interfaces and Human Computer Interaction and Game and Entertainment Technologiess» (Прага, Чехия, 2013 г.), I конгрессе стран БРИКС и ХI Бразильской конференции по вычислительному интеллекту «1st BRICS Countries Congress and 11th Brazilian Congress on Computational Intelligence» (Порто де Галиньяс, Бразилия, 2013 г.), а также на научных семинарах центра «Разработка интеллектуальных систем и психолингвистического моделирования» Волгоградского государственного технического университета (2008-2013 гг.).
Публикации. По теме диссертационной работы опубликовано 33 печатные работы, в том числе 7 статей в изданиях, входящих в перечень ведущих рецензируемых научных журналов и изданий ВАК РФ, из них 1 работа в журнале, индексируемом в базе Scopus, 1 работа в журнале, индексируемом в Web of Science.
Личный вклад соискателя. Все изложенные в диссертации результаты исследования получены либо соискателем лично, либо при его непосредственном участии. Личный вклад состоял в разработке и апробации новой методики автоматизированного определения эмоционального реагирования на основе анализа телодвижений человека, метода определения интенсивности двигательной активности для выделения участков поз и телодвижений, метода определения базовых эмоциональных состояний по телодвижениям, модели идентификации телодвижений человека по описаниям на ограниченном естественном языке, модели идентификации позы человека и эмоциональной реакции, гранулярной структуризации описания характерных поз человека, программного комплекса, реализующего разработанные модели, методы и алгоритмы.
Структура и объем диссертационной работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Диссертация содержит 156 страниц основного текста, 31 рисунок, 30 таблиц. Библиографический список включает 163 наименования. Общий объем работы 170 страниц.
Автоматизированные технологии определения эмоций
В настоящее время существует множество автоматизированных технологий и программных систем, пытающихся идентифицировать эмоциональное состояние человека.
Наиболее распространены программно-аппаратные комплексы распознавания эмоций по мимике. Кратко охарактеризуем основные из них.
FaceReader запустили сервис [129] распознавания эмоций по выражению лица на фотографии. Лицо должно быть фронтально и равномерно освещено. Определяются нейтральное выражение, грусть, удивление, отвращение, счастье, злость, испуг.
Исследователи департамента по изучению искусственного интеллекта из Политехнического университета мадридской вычислительной школы разработали программную систему [31], которая на скорости 30 кадров в секунду анализирует выражение лица человека и классифицирует его в соответствии с шестью заложенными в нее шаблонами: гнев, отвращение, страх, счастье, печаль и удивление. Анализу может подвергаться как лицо целиком, так и его часть. Для идентификации выражения лица система использует базу данных Cohn-Kanade, содержащую 333 варианта выражения лиц различных людей. Вероятность совпадения с базой - 89 процентов. Система может работать и в неблагоприятных условиях, на нее не влияет ни изменение освещенности, ни движение пользователя.
Компания GfK разрабатывает автоматизированную систему для записи движений лицевых мышц. Программа работает в режиме реального времени и используется в сфере коммуникативных исследований. При разработке новых продуктов система может обнаружить, что человек в действительности чувствует, когда смотрит рекламу; как коммуникация влияет на эмоциональный образ бренда; какие эмоции человек испытывает, когда тестирует новый продукт. В дальнейшем разработчики предполагают интеграцию фиксации мимических выражений и голосового анализа для определения эмоционального состояния.
Auto Smiley - это приложение для платформы Мае, которое автоматически генерирует набор эмотиконов в тексте, набираемом в окне текстового редактора или интернет-мессенджера. Работает через web-камеру.
Media Lab состоит из миниатюрной камеры, прикрепленной к очкам и соединенной с карманным компьютером. Прибор будет сообщать о реакции аудитории или собеседника и подаст сигнал, если у того проявятся признаки скуки, раздражения или других негативных эмоций .
TruMedia - система видеонаблюдения, способная определить реакцию человека на просматриваемую рекламу. Система представляет собой небольшую видеокамеру, прикрепляемую к корпусу транслирующего рекламу монитора. Система отслеживает, насколько долго взгляд человека был направлен на монитор и определяет его пол, примерный возраст и расовую принадлежность.
Программа Face.com [95] по положению лицевых мышц идентифицирует счастье, печаль, удивление, раздражение и нейтральное настроение. Face.com бесплатно предлагает АРІ для разработки приложений, позволяющих распознавать лица, и плагины для сайтов. Количество изображений, обработанных Face.com менее чем за полтора года работы, превышает 18 млрд; услугами Face.com пользуются около 20 тысяч разработчиков. Следующим направлением автоматизированной идентификации эмоционального состояния является определение эмоций по физиологическим показателям. Рассмотрим наиболее известные из таких аппаратно-программных систем.
Продукт NeuroSky — устройство [142], надеваемое на голову и содержащее один датчик мозговой активности. Данная система определяет степень концентрации, расслабления или беспокойства человека, оценивая их по шкале от 1 до 100. Устройство подключается к игровым приставкам или компьютеру. Сфера применения - видеоигры. В частности, система может ухудшать поведение гоночной машины, если её пилот отвлекается, и улучшать его — при концентрации внимания.
Система контроля психоэмоционального состояния человека (Vibralmage) предназначена для выявления агрессивных и потенциально опасных людей, ориентированных на совершение преступлений и террористических актов, с помощью бесконтактного дистанционного сканирования с целью обеспечения безопасности в аэропортах и других охраняемых объектах. Виброизображение -это изображение, отражающее параметры движения и вибрации объекта. Технология виброизображения относится к области биометрии и может быть использована для преобразования, получения, обработки и анализа электронных изображений живых биологических объектов, относительно неподвижных в пространстве, например, стоящих или сидящих на одном месте. Психологический мониторинг и определение эмоционального состояния человека происходит за 10 секунд. С 2007 года в петербургском аэропорте "Пулково" успешно работают 5 систем виброизображения [90].
Группа исследователей из Токийского университета разработала технологию, ключевым элементом которой является специальный датчик и элемент Пельтье. Такие эмоции, как гнев или волнение, сопровождаются непроизвольным выделением пота. Эта информация фиксируется датчиком, который непрерывно измеряет электрическое сопротивление кожи рук и мгновенно обнаруживает любые изменения. Собранные устройством данные передаются на сотовый телефон собеседника вместе с обычным телефонным сигналом. После этого установленный на втором телефоне элемент Пельтье начинает нагреваться, давая абоненту понять, что собеседник рассержен, возбужден или удивлен.
Affective Computing Research Group (лаборатория Массачусетского технологического университета) разработала проект AffQuake на базе продукта ID Software Quake II. Игра реагирует на эмоциональные сигналы игрока, обвешенного датчиками. Если ему становится страшно, модифицированный Quake получает сигналы от датчиков и заставляет точно так же бояться виртуальное воплощение игрока, т.е. отступать.
Продукт компании Siemens - сотовый телефон СХ70 Emoty [152], который предоставляет возможность наделять трех трехмерных персонажей эмоциональным состоянием, соответствующим настрою владельца телефона в данный момент. Персонажи способны передавать 10 эмоциональных состояний человека. Наделить одного из них эмоцией можно посредством нажатия функциональных клавиш и поглаживания или встряхивания телефона.
Проект системы исследователя Кристиана Питера, выставленный в марте 2006 на всемирной выставке CeBIT [41], сканирует лицо человека в поисках признаков злости или расстройства, добавляется информация с анализатора колебаний тембра голоса, затем, с помощью специальной перчатки система измеряет сердцебиение, кровяное давление и температуру кожи.
Биологическая обратная связь (БОС) используется для клинического определения эмоций [97]. Суть БОС-метода состоит в «возврате» пациенту на экран компьютерного монитора или в аудио-форме текущих значений его физиологических показателей, определяемых клиническим протоколом: электроэнцефалограмма головного мозга (ЭЭГ), вегетативная активация (проводимость кожи, кардиограмма, частота сердечных сокращений, дыхание, электромиограмма, температура, фотоплетизмограмма и др.). Используются те же подходы и принципы, что и в когнитивной терапии, которая обучает человека набору определенных навыков и позволяет бороться с такими нарушениями, как депрессия, патологическая тревога, панические атаки и др. Неклиническая сфера применения связана с использованием БОС-технологий в эффективном стрессменеджменте, позволяющем повысить показатели эффективности в большом спорте, искусстве, а также в любой деятельности, требующей длительных усилий и большой ответственности.
Рассмотрим наиболее известные программные системы для определения эмоций по голосу.
В лаборатории Массачусетского технологического университета коллектив Affective Computing Research Group разработал программу Emotive Alert, которая распознает эмоции по голосу. Программа устанавливается непосредственно на автоответчик владельца и индексирует входящие сообщения. Анализируются первые 10 секунд. На данный момент программа способна классифицировать сообщение по шести параметрам: официальный-неофициальный, грустный-счастливый, взволнованный-спокойный, а также определить степень срочности [127].
Разработана технология Affective Media, которая позволяет постоянно следить за эмоциональным состоянием водителя во время движения, анализируя его интонацию, тембр голоса во время его запросов к системе навигации автомобиля.
Сотовый оператор KTF предоставляет услугу анализа речи на лживость, заинтересованность в разговоре собеседника.
Модель движений тела человека на основе нечетких темпоральных высказываний
Для того чтобы разработать модель идентификации характерных для эмоциональных состояний телодвижений, которая агрегирует в себе знания экспертов и оперирует с описаниями движений на ограниченном естественном языке, формализовано описания длительности и скорости движения [107, 124].
Продолжительность движения анатомического узла в векторной модели скелета измеряется в кадрах. Переход с единиц измерения продолжительности в кадрах к секундам осуществляется при помощи параметра FrameTime в исходных данных, полученных с сенсора, равного числу секунд в одном кадре.
Для формализованного описания длительности движения на ограниченном естественном языке введена нечеткая темпоральная переменная D. «Продолжительность», которая определена на следующем модельном множестве термов: DQ «Нулевая», D\ «Очень короткая», 2 «Короткая», D} «Умеренная», D4 «Длительная», D5 «Очень длительная» (рисунок 3). Функции принадлежности термов представлены функцией Гаусса.
График функций принадлежности к термам переменной «Продолжительность» для скорости анимации 30 кадров в секунду представлен на рисунке 2.4.
Формализация движений анатомических узлов осуществляется с помощью группы лингвистических переменных (ЛП) .«Скорость изменения угла» [2, 25]. Модельное множество термов ЛП «Скорость изменения угла» состоит из следующих элементов: В 5 «Очень быстрое уменьшение», В_4 «Быстрое уменьшение», В_3 «Среднее уменьшение», В_2 «Медленное уменьшение», ZL/ «Очень медленное уменьшение», В0 «Нулевая», 5/ «Очень медленное увеличение», В2 «Медленное увеличение», В3 «Среднее увеличение», В4 «Быстрое увеличение», В5 «Очень быстрое увеличение». Функции принадлежности термов представлены функцией Гаусса.
Графики функций принадлежности термов переменной В. «Скорость изменения угла» представлены на рисунке 2.5.
Каждая лингвистическая переменная характеризует движение определённого сустава (точки сгиба) в модели тела человека. В предложенной модели точки сгиба сгруппированы в зависимости от значений максимальной подвижности суставов. Число лингвистических значений (ЛЗ) в лингвистических переменных постоянное, но сами значения могут различаться. Это зависит от максимальной подвижности (МП) и типа сустава или другой части тела (с тремя, с двумя, с одной осью вращения), в которой происходит изменение угла поворота.
Для определения ЛП, описывающих 22 точки векторной модели тела, найдено соответствие между узлами и анатомическими местами изменения углов при движении человека. Проанализировав [86], требуемое соответствие было разработано, оно представлено и на рисунке 2.6.
Таким образом, было выявлено, что местами сгиба являются суставы и отделы позвоночника (таблица 2.2).
Для корректного составления функция принадлежности для ЛЗ, которые принимает переменная .«Скорость изменения угла», был проведен анализ нормальной подвижности, которая не считается отклонениями у людей, не занимающихся спортом:
- показатели из лечебной физкультуры [12],
- положения из воєнно - врачебной экспертизы [76],
- инструкции из врачебно - страховой медицины[54].
Для определения МП у спортсменов нами были использованы результаты исследований о подвижности суставов пловцов, гимнастов, легкоатлетов и др. [1,36,40,63,66,87].
В медицинских исследованиях величины подвижности измеряются в терминах углов разгибания-сгибания, приведения-отведения, внутренней-наружной ротации.
Исходя из эмпирических данных и литературных источников, мы определили МП для суставов в следующем виде (2.4):
МПсустава- Мах(Сгиб + Разгиб, Прив + Отвед, Вн + Нар). (2.4)
Сводные результаты МП суставов в градусах представлены в таблице 2.3. Также было выявлено, что максимальная подвижность отделов позвоночника может быть рассчитана как сумма углов МП поворота налево и направо вокруг продольной оси тела человека (таблица 2.4). В свою очередь, МП для суставов пальцев ног равна 115 градусов.
Каждая группа узлов со схожими величинами максимальной подвижности описывается при помощи ЛП, максимум функции принадлежности которой достигается каждые Д градусов за секунду. Данный набор ЛП может настраиваться в зависимости от того, какой вид движения человека описывается. Например, для малых периодических колебаний (постукивание по столу пальцами руки, покачивание, «переминание» с ноги на ногу) было экспериментально установлено, что наиболее подходящее значение Д равно 1/18 от максимальной подвижности сустава. Так, например, для локтевого сустава, максимальная подвижность которого равна 180 градусов, А= я/18 [23, 24, 28,29].
Используя введенные выше лингвистические переменные, представим движение сустава вокруг одной из осей в виде нечеткого темпорального события (НТС). Так как события расположены на временной оси последовательно друг за другом, то движение можно описать последовательным нечетким темпоральным высказыванием (ПНТВ).
Движения человека можно представить как последовательный набор событий. Элементарное движение описывается в виде нечеткого темпорального события которое имеет следующий смысл: "В течение продолжительности lq наблюдается нечеткий признак q=q". Событие описывает часть тела, которой совершено движение, продолжительность движения и скорость [60]. В простейшем случае, если движение совершено одной частью тела, события расположены на временной оси сразу друг за другом, и телодвижение представляется в виде последовательного нечеткого темпорального высказывания [59]. Например, на графике (рис. 2.7) изображено положение угла поворота вокруг оси X для узла «правая ступня». Опишем движение узла на отрезке [t4;tl2] в виде: «Наблюдается среднее уменьшение угла очень короткой продолжительности, за которым следует практически нулевая стабилизация изменения угла, за которой следует среднее увеличение угла очень короткой продолжительностью».
Анализ и оценка разработанных алгоритмов
Проведен анализ разработанных алгоритмов, реализованных в виде программного комплекса определения эмоционального состояния человека на основе автоматизированной обработки и анализа видеоинформации. Для каждого алгоритма указана входная, выходная информация, общее описание и границы применимости и корректной работы.
Алгоритм распознавания эмоциональной реакции человека.
Вход: распознанное движение (файл в формате bvh).
Выход: найденные эмоциональные реакции в виде психологической интерпретации характерных поз и телодвижений; словесное описание позы или телодвижения; визуальное представление (изображение или видео фрагмент).
На данный алгоритм накладываются ограничения, свойственные алгоритмам идентификации поз и телодвижений. Ограничения обусловлены форматом файла, который поступает на вход системы. Модель тела человека, которая представлена во входном файле, должна содержать 22 узла. В случае если модель содержит больше или меньше узлов, то алгоритмы анализа телодвижений, характерных для базовых эмоциональных состояний могут работать некорректно. Значения, характеризующие канал, должны быть разделены пробелами. Каждый кадр с новой строки. Для корректного формирования графика активности телодвижения необходимо, чтобы для каждого узла, описывающего часть тела, была проставлена его доля в общей массе человека.
Алгоритм идентификации характерных поз
Вход: массив диапазонов в исходном движении, где наблюдается поза.
Выход: наименование характерной для эмоционального состояния позы.
Получение каналов, которые отвечают за позу, осуществляется благодаря извлечению данных из векторной модели. В основе алгоритма идентификации позы лежат нейросетевые методы. Обученная нейронная сеть распознаёт 6 гранул поз. Качество работы нейронной сети напрямую зависит от качества и характеристик обучающей выборки. Границы применимости, которые накладываются на алгоритм идентификации поз, обусловлены ограничениями методов классификации с помощью нейронных сетей. На вход нейронной сети подаётся 63 значения, характеризующие позу. Каждое значение равно углу поворота вектора вокруг оси X,Y или Z, связанному с узлом векторной модели тела человека. В случае, если необходимо перенастроить программный комплекс на работу с векторной моделью тела человека, которая содержит число узлов отличное от 22, то нейронную сеть, которая лежит в основе подсистемы классификации характерных для эмоциональных состояний поз человека, надо переобучить. Задача нейронной сети - оценка вероятности отнесения анализируемой позы человека к гранулам характерных поз и соответствующим им базовым эмоциональным реакциям. Отображение полной информации о распознанной грануле характерных поз выполняется успешно в случае успешной идентификации позы. Это означает, что вероятность отнесения нейронной сети анализируемой позы человека к грануле характерных поз больше, чем порог для принятия решения о корректно найденной позе.
Алгоритм идентификации характерных телодвижений.
Вход: массив диапазонов в исходном движении, где наблюдается движение.
Выход: наименование характерных для эмоционального состояния телодвижений.
В основе алгоритма лежит интерпретирующая модель, основанная на анализе нечетких-темпоральных высказываний. Сложность алгоритма равна Ofk g ), где к - число элементарных движений в эталонном описании; g -размер окна анализа, равный длине реализации эталонного описания. Во время расчета критерия сходства для НТВ происходит отсечение графов, которые доставят значение принадлежности меньшее, чем порог для принятия решения о корректно найденном движении. Это происходит за счет сравнения каждого критерия сходства для элементарного события в процессе вычисления общего критерия сходства для НТВ. Если хоть для одного элементарного события критерий сходства меньше, чем порог, то расчет данного графа дальше не происходит. Для корректной работы алгоритма необходимо, чтобы всем словам, которые используются для описания продолжительности и скорости движений, были поставлены соответствия в виде термов лингвистических переменных «Скорость изменения угла», «Продолжительность». Также необходимо, чтобы было поставлено соответствие между словом, обозначающим часть тела, которое описывается НТВ, и узлом в векторной модели человека. Данный функционал доступен в режиме настройки системы. В случае если программный комплекс надо перенастроить на векторную модель тела человека, в которой число узлов не равно 22, то необходимо изменить соотношение узлов векторной модели и мест сгиба на теле человека. Отображение полной информации о распознанном движении выполняется успешно в случае успешной идентификации характерного телодвижения. Это означает, что описание высказывания доставило значение критерия сходства большее, чем порог для принятия решения о корректно найденном движении.
Алгоритм формирования обучающей выборки
Вход: имя каталога, содержащее распознанное телодвижение; направляющая таблица.
Выход: результирующая выборка.
Алгоритм работает корректно при условии, что файл, указанный в таблице, существует в файловом хранилище. При этом путь к файловому хранилищу задан правильно. Если файл с распознанным движением формата Biovision Hierarchy(bvh) существует, то осуществляется поиск кадра, в котором присутствует характерная поза. Если кадр с номером, указанным в таблице, отсутствует, то данная запись игнорируется. Получение каналов, которые отвечают за позу, а не за расположение тела в пространстве осуществляют алгоритмы фильтрации. В связи с этим, на алгоритм формирования обучающей выборки накладываются все ограничения алгоритмов фильтрации. Формировать направляющую таблицу должен эксперт, так как именно по ней составляется выборка, на основе которой обучается модель идентификации характерных для эмоциональных реакций поз, и заполняется база данных характерных поз. Направляющая выборка представляется файлом в формате csv с разделяющим символом «;». Первое значение в строке - имя файла в файловом хранилище, содержащее характерные позы, остальные - номера кадров в этом файле.
Алгоритмы предварительной обработки видеоинформации.
Вход: распознанное движение (bvh), номер кадра.
Выход: каналы, характеризующие позу субъекта.
Ограничения, накладываемые на оба алгоритма фильтрации, обусловлены форматом файла, который поступает к ним на вход. Модель человека, которая представлена во входном файле, должна содержать 22 узла. В случае если модель содержит больше или меньше узлов и при этом не было донастройки профаммного комплекса, алгоритмы идентификации поз и телодвижений могут работать некорректно. Значения, характеризующие канал, должны быть разделены пробелами. Каждый кадр с новой строки. Номер кадра для анализа не должен превышать количества кадров в выбранном файле.
Оценка эмоциональной реакции при переговорах
Программный комплекс был использован в ООО «ВЦ Айлант» при ведении переговоров сотрудников отдела продаж с поставщиками и клиентами организации. Одним из ключевых показателей эффективности отдела продаж является число продлённых или впервые подписанных договоров на информационно-технологическое сопровождение. Анализируя реакцию партнера на отдельные условия договора, менеджер отдела продаж предлагал альтернативы с целью успешного завершения сделки. Автоматизация процесса определения эмоционального реагирования по телодвижениям позволила существенно повысить число подписанных договоров (рисунок 4.2).
Система применялась также отделом по работе с персоналом при проведении собеседований с соискателями. Сотрудники отдела получали не только ответы на тесты, которые заполняли соискатели на должность в компании, но и оценку эмоционального реагирования кандидатов на те или иные вопросы теста. Процесс отбора и его характеристики в среднем за месяц представлены в таблице 4.1. Характеристики подобранного персонала представлены в таблице 4.2.
Оценка эмоциональных реакций соискателей проводилась на втором этапе конкурсного отбора. Применение системы позволило сократить время, которое тратит сотрудник отдела кадров на втором этапе, на 37,5% за счет передачи части тестов на самостоятельное выполнение. В абсолютном значении, при учете, что в среднем за месяц второй этап проходят 7 человек, данный показатель уменьшился с 280 минут до 175 минут. Однако, эта разница во времени компенсировалось затратами сотрудника отдела кадров на дополнительную обработку информации, полученную с применением автоматизированной системы распознавания эмоциональных реакций по телодвижениям.
Дополнительные данные по оценке эмоциональной реакции соискателей, полученные при выполнении тестов, позволили провести более глубокий анализ и дать более точные характеристики соискателей. Время, затраченное начальниками профильных отделов, проводящих финальный этап, сократилось на 35%; конкурсный отбор персонала стал эффективнее, что выражается в увеличении числа соискателей, прошедших испытательный период, на 50% и в увеличении плановых показателей, выполняемых вновь набранными сотрудниками на 17%. Применение программного комплекса существенно повысило качество подбираемого персонала, сократило расходы на обучение неуспешных кандидатов.
Акт о внедрении разработанного программного обеспечения приведен в приложении Г.
