Введение к работе
В настоящее время операторская деятельность широко востребована в самых различных областях человеческой деятельности. Частично автоматизированные производства, управление транспортными средствами, работа диспетчеров – только несколько примеров, по которым, однако, можно оценить её распространённость. Уровень развития техники в настоящее время не позволяет полностью автоматизировать большинство сфер жизни, поскольку для адекватного управления ими требуется гибкость и адаптивность. В системе оператор-техническое устройство необходимый уровень адаптивности устройства обеспечивает человек. Однако очевидно, что в такой системе человеческий фактор является слабым звеном. Состояние оператора не является постоянным: на него влияет множество факторов, начиная от физического состояния самого оператора и заканчивая сигналами, поступающими из окружающей среды. Это приводит к изменениям таких важных для успешной операторской деятельности показателей, как уровень внимания и время реакции. Одним из самых известных негативных факторов, снижающих уровень внимания оператора, является депривация сна. Для операторской деятельности часто характерна монотонность, которая также негативно влияет на уровень внимания и время реакции. Было неоднократно показано [kerstedt, Gillberg, 1990; Ingre at al., 2006], что субъективная оценка оператором собственного состояния не может служить объективным критерием работоспособности оператора. В то же время цена ошибки или даже промедления оператора (например, в случае управления транспортным средством) может оказаться очень высокой. В связи с этим оказывается актуальной разработка автоматизированных систем контроля состояния оператора, которые могли бы заблаговременно оповещать о потенциально опасном снижении уровня бодрствования.
Электроэнцефалограмма (ЭЭГ) является одним из наиболее привлекательных физиологических показателей для создания такого рода систем [Kaplan F., 1998); Lal, Craig, 2000; Baumgarten, Karrer, Briest, 2005], поскольку, в отличие от других физиологических параметров, таких, как электрокардиограмма (ЭКГ), электромиограмма (ЭМГ), кожно-гальваническая реакция (КГР) и так далее, отражает непосредственно активность мозга в реальном времени с высоким временным разрешением. В то же время регистрация ЭЭГ не требует сложных и дорогостоящих установок. Распространение беспроводных электродов делает ЭЭГ ещё более перспективным показателем, поскольку такие электроды не ограничивают оператора в движении.
Недостатком ЭЭГ является её большая индивидуальная вариабельность, что может быть преодолено только индивидуальной настройкой классификатора под конкретного оператора. Однако в математической статистике уже давно существуют методы общего характера, позволяющие разделять классы измерений на основе обучающих выборок [Fukunaga, 1990]. Такие классификаторы позволяют автоматически определять, по каким признакам должна производиться классификация, непосредственно из сравниваемых выборок и, таким образом, являются гораздо более гибкими и адаптивными, чем параметрические классификаторы. Широкое распространение всё более сложных вычислительных систем позволяет надеяться, что использование таких методов, более сложных, чем обычные пороговые параметрические классификаторы, в обозримом будущем может стать доступным для широкого внедрения.
Целью данной работы являлось исследование возможности эффективного распознавания сниженного уровня бодрствования по физиологическим показателям оператора статистическими методами, позволяющими распознавать состояние оператора по индивидуальным критериям, и сравнение их с простым параметрическим классификатором на основе анализа альфа-активности, уже применявшимся в этой области ранее [Tietze, 2000].
Задачи работы:
1. Оценить межиндивидуальную вариабельность ЭЭГ операторов при сниженном уровне бодрствования.
2. Сопоставить результаты распознавания сниженного уровня бодрствования по ЭЭГ испытуемого универсальными методами и методами, основанными на индивидуальных особенностях ЭЭГ испытуемого.
3. Сопоставить результаты распознавания сонливости двумя различными методами, основанными на индивидуальных особенностях ЭЭГ испытуемого.
4. Проанализировать вклад электрической активности различных областей мозга в распознавание сниженного уровня бодрствования по ЭЭГ.
5. Сопоставить результаты распознавания сниженного уровня бодрствования для одних и тех же испытуемых, по двум различным физиологическим показателям: 1) ЭЭГ и 2) движениям глаз (методика видеотрекинга).
Научная новизна работы:
1. Проведено сравнение ранее применявшегося для распознавания дремотного состояния метода Титце с ранее не применявшимися в этой области методами общих пространственных паттернов (Common Spatial Patterns, CSP) и Байеса (классификатор, основанный на ковариационных матрицах). Показана более высокая эффективность методов Common Spatial Patterns (CSP) и Байеса, учитывающих индивидуальные характеристики ЭЭГ испытуемых.
2. Проанализирована корреляция экспертной оценки, усреднённой по минутному интервалу, с классификациями соответствующими методами. Показана более низкая корреляция с экспертной оценкой классификатора, полученного методом Титце, по сравнению с методами CSP и Байеса.
3. Проанализирована эффективность выявления дремотного состояния методами CSP, Байеса, спектральной энтропии Шеннона, а также вариабельности сердечного ритма. Показано, что корреляция с экспертной оценкой является достаточно высокой для методов Байеса, значительно ниже – у спектральной энтропии Шеннона и ниже всего – у вариабельности сердечного ритма.
4. Пространственный анализ ЭЭГ показал, что в распознавание дремотного состояния наибольший вклад вносит электрическая активность фронтальных областей мозга.
5. Проанализирована возможность распознавания уровня бодрствования оператора по различным параметрам движения глаз: средний радиус фиксации, среднее время фиксации, средняя длина саккады, средний диаметр зрачка, расфокусировка взгляда. Показано, что корреляцию с состоянием дремоты имели показатели средней длины саккады и расфокусировки взгляда. Показано, что эффективность распознавания дремоты по этим показателям движения глаз несколько ниже, чем у методов CSP и Байеса по показателям ЭЭГ
Научно-теоретическое и практическое значение работы:
Полученные результаты могут представлять интерес для понимания механизмов возникновения состояния со сниженным уровнем бодрствования у операторов. Большое значение, как нам представляются, имеют данные о значительной межиндивидуальной вариабельности физиологических параметров и динамики их изменения при снижении уровня бодрствования. Представляет интерес тот факт, что наибольший вклад в распознавание снижения уровня бодрствования вносит ЭЭГ, регистрируемая фронтальными электродами, а следовательно, наиболее заметные изменения в мозговой активности при снижении уровня бодрствования происходят во фронтальных областях. Это может свидетельствовать о том, что существенный вклад в общую картину снижения уровня бодрствования вносит снижение внимания.
Анализ изменений, происходящих в спектре ЭЭГ при снижении уровня бодрствования, демонстрирует тенденцию к усилению низкочастотного альфа-ритма и снижению высокочастотного альфа-ритма. Это может свидетельствовать о том, что различные ритмы альфа-семейства имеют разную этимологию и по-разному реагируют на снижении уровня бодрствования. Данный факт может быть использован как для создания систем онлайн-контроля состояния оператора, так и для понимания механизмов возникновения дремотного состояния.
Для разработчиков систем, контролирующих состояние оператора, может представлять интерес сравнительный анализ методов CSP и Байеса, а также параметров движений глаз оператора. Показано, что метод Байеса при достаточной длине обучающей выборки превосходит по эффективности метод CSP, а исследованные параметры движений глаз уступают по эффективности распознаванию состояния оператора по ЭЭГ.
Анализ параметров движений глаз показывает, что при изменении состояния оператора изменяются некоторые проанализированные параметры – средняя длина саккады и расфокусировка взгляда. Остальные проанализированные параметры не показывают существенных изменений при снижении уровня бодрствования. Эти факты также может быть интересны разработчикам систем онлайн-контроля состояния оператора.
Полученные результаты хорошо согласуются с имеющимися научными данными.
Положения, выносимые на защиту:
Автором защищаются следующие положения:
1. Применение математических методов CSP и Байеса для анализа индивидуальных характеристик ЭЭГ испытуемого, показывают лучший результат при распознавании дремотного состояния, чем основанный на выявлении альфа-веретён в ЭЭГ метод Титце.
2. По совокупности критериев метод Байеса является потенциально более эффективным для распознавания дремотного состояния, чем метод CSP.
3. Из исследованных параметров движений глаз только расфокусировка взгляда и средняя длина саккады потенциально могут быть рекомендованы для распознавания дремотного состояния, однако они показывают меньшую эффективность, чем анализ ЭЭГ, основанный на методах CSP и Байеса.
4. Наибольший вклад в распознавание состояния испытуемого методом CSP вносит электрическая активность фронтальных областей головного мозга.
5. Все исследованные параметры демонстрируют существенную межиндивидуальную вариабельность, что свидетельствует о необходимости создания гибких методов контроля состояния оператора, учитывающих индивидуальные особенности.
Апробация работы:
Отдельные результаты и работа в целом доложены на III и IV международной конференции по когнитивным наукам в 2008 и 2010 годах (Москва, 2008 г.; Томск, 2010 г.); на международном молодёжном научном форуме «Ломоносов» (Москва, 2008, 2010 г.г.); на конференциях молодых учёных в ИВНД и НФ РАН (Москва, 2008-2009 г.г.); на 6-й Российской (с международным участием) молодежной школе-конференции «Сон - окно в мир бодрствования» (Москва, 2011 г.).
Публикации:
По теме диссертации опубликовано 3 статьи.
Структура и объём работы:
Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложения. Основное содержание изложено на 106 страницах. Диссертация содержит 8 рисунков, 7 таблиц и список литературы на 10 страницах из 108 наименований.
Общий экспериментальный подход
Экспериментальный подход состоял в том, что испытуемые в состоянии частичной депривации сна (не более 4 часов сна в ночь перед экспериментом по договорённости с экспериментатором) управляли компьютерным симулятором автомобиля посредством игрового руля. Испытуемым давалось указание придерживаться центра дороги, который был помечен белой пунктирной линией. Периодически на руль подавались случайные возмущения, отклоняющие автомобиль от центра дороги, которые испытуемый должен был своевременно корректировать. В силу монотонной деятельности и предшествующей депривации сна у них снижался уровень бодрствования и наблюдались эпизоды «микросна»: кратковременной, но полной утраты бдительности. Во время таких эпизодов испытуемые не могли успешно скорректировать положение руля и отклонялись от центра дороги.
На протяжении всего эксперимента производилась видеозапись лица испытуемого. Впоследствии видеозапись независимо друг от друга просматривали три эксперта и согласно инструкции определяли состояние испытуемого по визуальным признакам (инструкция экспертам приведена в Приложении) с временным разрешением, равным одной секунде. Оценки затем суммировались и служили основным критерием состояния испытуемого на протяжении эксперимента.
Также на протяжении эксперимента регистрировался ряд параметров автомобильного симулятора, в том числе отклонение автомобиля от центра дороги, которое служило дополнительным критерием состояния испытуемого. Поскольку возмущения на руль подавались нечасто (приблизительно раз в минуту), этот параметр имел достаточно медленную динамику изменений, а также непрогнозируемое запаздывание реакции после возникновения эпизода микросна: проснувшийся испытуемый не может вернуться к центру дороги мгновенно. Эти соображения не позволили нам выбрать отклонение от центра дороги основной характеристикой состояния испытуемого.
Подсистема для эмуляции вождения состояла из игрового руля, закреплённого на столе перед испытуемым, и специально разработанной для эмуляции вождения программы Car Simulator (автор Прокопенко Р.А.). Программа определяет ориентацию и положение автомобиля относительно дороги, осуществляя, соответственно, интегрирование и двойное интегрирование отклонения руля от среднего положения, и отображает результат на мониторе. Также программа производит запись на диск данных о текущем положении руля, ориентации и положении автомобиля на дороге.
Руль подключён к USB-порту компьютера через USB-порт.
Также на протяжении эксперимента регистрировались ЭЭГ и различные физиологические параметры. Подробно принципиальные схемы экспериментальных установок рассмотрены в разделах, посвящённых первой и второй сериям экспериментов.
Выбор испытуемых
Снижение уровня бодрствования за рулем определяется многими внутренними и внешними факторами: индивидуальный циркадный ритм, длительность ночного сна, качество сна, длительность и качество предшествующей работы, прием медицинских препаратов, возраст, опыт вождения, монотонность дороги, индивидуальные типологические характеристики и т.д. Кроме того, увеличение сонливости за рулем не является монотонным пассивным процессом, водители активно борются с сонливостью с помощью различных неосознаваемых индивидуальных приемов. При этом периоды сонливости сменяются периодами бодрствования и увеличение сонливости наблюдается лишь в виде некоторого статистического тренда. Соответственно проявления сонливости в ЭЭГ также очень индивидуальны и для классификации проявлений ЭЭГ в зависимости от индивидуальных особенностей требуется очень большая статистика испытуемых с разделением на группы по многим показателям, включая возраст, время проведения эксперимента, продолжительность сна перед экспериментом. В наиболее авторитетных исследованиях число испытуемых достигает нескольких сотен [Caldwell, Wesensten, 2005], что требует многолетних экспериментов.
Мы ограничились единственной возрастной группой испытуемых в возрасте от 18 до 35 лет (средний возраст 26±4), имея в виду, что операторы именно этого возраста наиболее подвержены влиянию депривации сна [Knipling, Wierwille, 1994]. Мы ограничились двумя состояниями: без депривации сна - нормальный ночной сон накануне эксперимента и с частичной депривацией сна - сон не более четырёх часов. Соответственно, каждый испытуемый тестировался на симуляторе вождения дважды. Длительность одного эксперимента составляла 2 часа в первой серии и 1.5 часа во второй.
Перед началом каждого эксперимента с вождением испытуемые тестировались на выраженность и реактивность альфа-ритма. Для этого проводилась регистрация ЭЭГ в сериях с открытыми, закрытыми и произвольно открываемыми и закрываемыми глазами. Длительность записи в каждом из этих состояний составляла одну минуту. Во второй серии экспериментов к этому также были добавлена регистрация морганий и движения глаз для последующего удаления глазодвигательных артефактов.
Всего в экспериментах первой серии участвовало двадцать испытуемых (тринадцать мужчин и семь женщин). В экспериментах второй серии приняли участие десять испытуемых в возрасте от 20 до 35 лет, из них четыре женщины и шестеро мужчин. Испытуемые были информированы о процедуре эксперимента и подписывали письменное согласие на участие в нём
Первая серия экспериментов
Принципиальная схема экспериментальной установки в первой серии экспериментов представлена на рис. 1 . Она состоит из трёх подсистем:
- система регистрации ЭЭГ,
- система записи видеоизображения лица испытуемого,
- компьютерный эмулятор вождения.
Все три подсистемы работают в среде Windows XP на одном персональном компьютере, оснащённом двумя мониторами, первый из которых используется для эмуляции вождения, а второй - как консоль управления экспериментом.
Подсистема регистрации ЭЭГ построена на основе компьютерной системы сбора данных NBL140/DigiScope производства фирмы НейроБиоЛаб, которая представляет собой прибор, совмещающий в себе 4-канальный АЦП с малошумящими универсальными усилителями на входе и многоканальный стимулятор для электрической стимуляции и управления внешним оборудованием. Специальное устройство входных каскадов усилителей позволяет проводить регистрацию ЭЭГ в неэкранированном помещении. NBL140 подключается к компьютеру через USB-порт. ЭЭГ регистрируется при помощи программы DigiScope, которая обеспечивает управление аппаратурой, визуализацию ЭЭГ на мониторе в реальном времени и запись данных на диск. Также эта подсистема используется для синхронизации, как описано ниже.
Регистрация ЭЭГ осуществлялась по 4 каналам с частотой дискретизации 200 Гц. Два электрода были установлены симметрично относительно центральной линии головы на затылке и два - на темени. Референтный электрод был установлен на левом ухе. Сохранение файлов производилось в формате EDF.
Для записи видеоизображения лица испытуемого использовалась компьютерная камера низкого разрешения с USB-интерфейсом фирмы Creative. Запись производилась со скоростью 10 или 15 кадров в секунду.
Подсистема для эмуляции вождения состояла из игрового руля, закреплённого на столе перед испытуемым, и программы Car Simulator.
Перед началом каждого эксперимента с вождением испытуемые тестировались на выраженность и реактивность альфа-ритма. Для этого перед основным экспериментом проводилась регистрация фоновой ЭЭГ с открытыми, закрытыми глазами и закрываемыми и открываемыми по команде экспериментатора глазами. Длительность фоновой записи для каждого из состояний составляла одну минуту.
Рис. 1. Принципиальная схема организации первой серии экспериментов. В нижней части представлено аппаратное обеспечение, в средней – программное обеспечение, вверху – выходные данные. Остальные пояснения в тексте.
Вторая серия экспериментов
Во второй серии экспериментов регистрация ЭЭГ производилась посредством многоканального полисомнографа и программного обеспечения «LEONARDO BRAINMAP EEG and Sleeplab PC Software» производства фирмы SAGURA.
Регистрация осуществлялась по стандартной системе 10-20 с частотой дискретизации 200 Гц. Для регистрации использовалась шапочка «Electro-Cap Surgical Style» производства фирмы «Electro-Cap International». Референтные электроды были расположены на мастоидных костях черепа. Сохранение файлов производилось в формате EDF.
Помимо ЭЭГ, во второй серии экспериментов регистрировались ЭОГ от одного горизонтального и одного вертикального отведений, а также ЭКГ от электрода, расположенного на левой части грудной клетки испытуемого, с частотой опроса 200 Гц.
Для записи видеоизображения лица испытуемого в течение эксперимента использовалась компьютерная камера низкого разрешения с USB-интерфейсом «Logitech quickcam pro 9000». Запись производилась со скоростью 10-15 кадров в секунду.
Также во второй серии экспериментов была задействована бесконтактная видеосистема, осуществляющая регистрацию движения глаз испытуемого (Eyegaze Development System, LC Technologies, USA), основанная на отражении инфракрасного света от роговицы глаза и позволяющая определять координаты направления взора. Система EyeGaze позволяет зарегистрировать направление взгляда испытуемого на монитор и радиус зрачка испытуемого. Частота опроса системы EyeGaze составляет 120 Гц.
Во время эксперимента испытуемый находился в звукоизолирующей камере, перед компьютером, на котором были установлены программа эмуляции вождения и система определения направления взгляда. Запись видео и электрофизиологических показателей при этом производилась на компьютере, установленном в соседней комнате.
Длительность основного опыта во второй серии экспериментов составляла полтора часа. В начале и конце каждой экспериментальной сессии также записывалась ЭЭГ во время функциональных проб. Пробы включали: фоновую запись с открытыми глазами в течение одной минуты, фоновую запись с закрытыми глазами в течение одной минуты, запись морганий с частотой приблизительно один раз в секунду в течение тридцати секунд, а также запись движений глаз вверх, вниз, влево и вправо по командам экспериментатора – три серии по двадцать секунд. Записи с морганиями и движениями глаз в дальнейшем использовались для удаления из ЭЭГ глазодвигательных артефактов.
Рис. 2. Принципиальная схема организации второй серии экспериментов. Внизу представлено аппаратное обеспечение, в средней части рисунка – программное обеспечение, в верхней – выходные данные.
Обработка данных
Данные ЭЭГ второй серии очищались от артефактов глазодвигательных движений методом линейной регрессии. Для этой процедуры использовались записи глазодвигательных движений в начале опыта и каналы отведения ЭОГ. Для данных первой серии процедура очистки от глазодвигательных артефактов не производилась по причине отсутствия данных ЭОГ. Также на этом этапе помечались участки с артефактами записи, которые впоследствии исключались из анализа.
Затем производилась фильтрация данных ЭЭГ в диапазоне 7-15 Гц для первой серии экспериментов и 3-40 Гц – для второй серии экспериментов.
Полученные данные синхронизировались посредством специально разработанного программного обеспечения, написанного в программной среде Matlab 7.3. В синхронизированные данные входила также усреднённая экспертная оценка всех трёх экспертов.
Для классификаторов, требующих обучающей выборки, в качестве обучающих выбирались интервалы, идентифицированные всеми экспертами как состояние с нормальным (2 по пятибалльной шкале) и существенно сниженным (4 по пятибалльной шкале) уровнем бодрствования, соответственно. Участки, оцененные хотя бы одним экспертом как заметное движение (1) или засыпание (5), исключались из анализа (см. Приложение).
Длительность интервалов, по которым вычислялись все параметры, выбиралась в диапазоне 5-120 секунд для испытуемых с хорошо выраженной мимикой и высоким уровнем соответствия поведенческого критерия (отклонение автомобиля от центра дороги) и экспертной оценки. Критерием оптимальной длительности интервала являлось наилучшая (в среднем) корреляция поведения классификаторов и экспертной оценки. Для четырёхэлектродных записей первой серии экспериментов удовлетворительная классификация стала возможна на двухминутном интервале, для многоэлектродных записей второй серии этот интервал составил 15 секунд.
На последнем этапе обработки все показатели уровня бодрствования усреднялись на последовательно следующих друг за другом интервалах соответствующей длительности (2 минуты в первой серии и 15 секунд во второй серии) и сравнивались с экспертной оценкой, усреднённой по тем же интервалам, на всём протяжении опыта.
Метод Байеса
Методы Байеса [Fukunaga, 1990] являются оптимальными с точки зрения минимизации ошибки классификации. Однако для их успешной работы необходимо знание условных функций плотности вероятности для каждого класса событий. В большинстве практических приложений эти функции нужно установить, исходя из конечного набора измерений. Процедуры, позволяющие сделать это с достаточной строгостью, сложны и трудоёмки, а также требуют большого количества измерений.
Даже если функции, описывающие плотности вероятностей, удастся получить, при попытке применить правило Байеса в исходной формулировке они могут оказаться очень ресурсоёмкими для классификации каждого последующего измерения. Поэтому зачастую целесообразно определить, к примеру, математический вид правила классификации и оптимизировать его параметры. Однако нужно помнить, что по самому определению строгого правила Байеса ни один параметрический классификатор не сможет превзойти по эффективности [Fukunaga, 1990].
В данной работе использовался основанный на ковариационных матрицах линейный классификатор, который предполагает, что обе вероятностных функции имеют нормальное распределение.
Метод общих пространственных паттернов (Common Spatial Patterns, CSP)
Метод CSP [Fukunaga, 1990] – метод анализа данных, разделённых на два класса (состояния).
CSP-анализ успешно применяется для разделения ментальных состояний, характеризующихся вызванной синхронизацией либо десинхронизацией ЭЭГ [Koles, 1991]. Исходный сигнал умножается на матрицу, полученную из ковариационных матриц обучающих выборок. Для последующего анализа выбираются одна или несколько компонент полученной таким образом матрицы. Мы использовали классификацию по последней, главной компоненте, значения вариации которой в различных состояниях должны различаться сильнее всего. Итоговые значения классификатора на каждом анализируемом отрезке вычислялись как вариация компоненты на соответствующем интервале
Модифицированный метод Титце (Tietze)
В оригинальной работе Титце [Tietze, 2000] учитывались два параметра – продолжительность эпизода повышенной альфа-активности и расстояние между ними. В настоящей работе используются ещё два параметра – средняя мощность альфа-ритма на выделенном интервале и его средняя частота. Для некоторых испытуемых это помогает существенно улучшить качество распознавания.
Таким образом, усовершенствованный метод Титце представляет собой линейный параметрический классификатор, входными параметрами для которого являются четыре вышеуказанных величины – продолжительность эпизода повышенной активности в альфа-диапазоне, расстояние до предыдущего такого эпизода, средняя амплитуда сигнала на рассматриваемом интервале и средняя частота. Впоследствии эти величины усредняются на анализируемом промежутке времени. Для них определяются статистические веса, обеспечивающие оптимальное распознавание, и выходной параметр, использованный для классификации состояний сна и бодрствования, представляет собой сумму этих величин с соответствующими стат. весами.
Спектральная энтропия Шеннона
Спектральная энтропия является мерой, которая из общих соображений должна увеличиваться при десинхронизации рассматриваемого сигнала и уменьшаться при его синхронизации [Papadelis, 2007]. Она вычисляется по спектральным мощностям сигнала в различных частотных диапазонах. В данной работе для вычисления спектральной энтропии по ЭЭГ использовались следующие частотные диапазоны: тета (5-7 Гц), альфа (8-14 Гц), нижний бета (15-20 Гц), верхний бета (21-30 Гц) и гамма (31-40 Гц). Таким образом, можно было бы ожидать значимых изменений этого показателя, если выполнено предположение, что при снижении уровня бодрствования происходит синхронизация ЭЭГ на некоторой частоте.
Методы анализа данных о движениях глаз
Система EyeGaze позволяет регистрировать направление взгляда испытуемого, а также радиус его зрачка с частотой опроса 120 Гц. Ниже изложены способы получения из этих данных параметров, использованных в нашей работе для определения состояния испытуемого.
Из записей предварительно удалялись артефакты, соответствующие морганиям и закрытию глаз, во время которых система не может определить направление взгляда испытуемого.
Фиксации взгляда испытуемого определялись как периоды, во время которых координаты взгляда испытуемого находились внутри круга заданного радиуса, не меньше заданного промежутка времени, а скорость не превышала заданной величины. Размер круга и предельная скорость определялись индивидуально для каждого испытуемого, исходя из распределений этих параметров в течение эксперимента.
Саккада определялась как участок, на котором скорость смещения взгляда испытуемого хотя бы в одной точке превышала пороговую. Начало и конец саккады определялись как моменты, соответственно, увеличения скорости движения взгляда до 10% от максимальной скорости на участке и снижения скорости движения взгляда до 10% от максимальной скорости на участке.
По найденным фиксациям и саккадам для каждого из анализируемых 15-секундных интервалов вычислялись: средний радиус фиксации на анализируемом интервале (R фиксации); среднее время фиксации на анализируемом интервале (T фиксации); средняя длина саккады на анализируемом интервале (L саккады). Также по данным системы EyeGaze о радиусе зрачка испытуемого вычислялся средний радиус зрачка на рассматриваемом интервале.
Параметр расфокусировки взгляда определялся следующим образом. Поскольку система EyeGaze регистрирует попеременно направления взгляда каждого глаза (частота опроса, соответственно, составляет 60 Гц для каждого глаза), мы рассматривали участки фиксаций взгляда, во время которых скорость смещения направления взгляда была мала, и вычисляли для них разность между координатами соседних точек, или направлениями взгляда левого и правого глаза испытуемого. Эта величина впоследствии усреднялась для каждого из анализируемых 15-секундных интервалов.
Вариабельность сердечного ритма
Некоторые исследователи указывают на связь наступления состояния микросна и изменения вариабельности сердечного ритма. Во второй серии эксперимента мы регистрировали ЭКГ и вычисляли вариабельность сердечного ритма на её основе.
В ЭКГ посредством программного обеспечения, написанного в среде Matlab 7.3, выделялась характерный паттерн сердечного сокращения, после чего в нём идентифицировался пиковый момент R-зубца. Для каждого такого момента времени, кроме первого, вычислялось время, отделяющее его от пика предыдущего R-зубца (в секундах). Вариабельность сердечного ритма на каждом из анализируемых временных интервалов вычислялась как вариация множества значений этой величины на анализируемом интервале.
Критерии оценки качества классификации
Очевидно, что для оценки эффективности классификатора требуются независимые критерии. Подчеркнём, что ни один из них в отдельности не является однозначным индикатором состояния оператора, поскольку потеря внимания и наступление дремотного состояния являются сложными, комплексными процессами, затрагивающими состояние испытуемого в целом. Утомление оператора, колебания уровня внимательности, имеющие место даже без предварительной депривации сна, и, наконец, переход из бодрствующего состояния в дремотное в комплексе вносят независимый вклад в понижение эффективности выполнения поставленной задачи. Также индивидуальной является реакция испытуемого на изменение собственного состояния в процессе эксперимента: известно, что некоторая часть операторов меняет стратегию выполнения задания, основываясь на субъективно отслеживаемых изменениях собственного состояния (Belz, Robinson, Casali, 2004). В особенности это касается людей, чьи профессиональные навыки связаны с долгосрочной операторской деятельностью, в частности, водителей с большим стажем. В связи с этим ни один из критериев независимой оценки не может считаться полностью релевантным, и все они должны рассматриваться в комплексе.
Физиологических параметров, подходящих на роль не зависящих от электрической активности мозга оценок состояния испытуемых, довольно много (см. обзор литературы). Однако их эффективность, за исключением окуломоторных критериев, до сих пор однозначно не подтверждена.
В данной работе использовались следующие методы оценки состояния испытуемых:
1. Экспертная оценка состояния по видеозаписи. В течение всего эксперимента производилась видеозапись лица испытуемого. Впоследствии производился её анализ тремя независимыми экспертами, которые для каждой секунды видеозаписи определяли состояние испытуемого в баллах от 1 до 5.
Участки, оцененные хотя бы одним экспертом как состояние 1 или 5, исключались из анализа, а оценки экспертов в состояниях 2-4 впоследствии суммировались. Итогом такого анализа являлась ломаная линия, которая использовалась в качестве независимой экспертной оценки.
Для определения параметров классификатора впоследствии используется не вся продолжительность экспериментальной записи, а только состояния, оцененные хотя бы двумя из трёх экспертов как спокойное бодрствование и наивысший уровень сонливости, соответственно, что обеспечивает более чёткую кластеризацию состояний в пространстве измерений. Далее с учётом полученных параметров вычисляются классификаторы на протяжении всего эксперимента и оценивается уровень их соответствия экспертной оценке.
2. Абсолютное значение отклонения виртуального автомобиля от центра дороги. Каким бы многообещающим ни казался этот критерий, напрямую связанный с операторской ошибкой, он гораздо хуже коррелирует с уровнем внимания испытуемого, чем предыдущий критерий. Отчасти это связано с уже упомянутым феноменом изменения испытуемыми стратегии выполнения задания при снижении уровня бодрствования. С другой стороны, не всякое, даже значительное отвлечение внимания от выполняемой задачи приводит к грубым ошибкам, даже если оно объективно имеет место. Также, если испытуемый временно утратил контроль за дорогой, а затем решил исправить совершённую ошибку, уровень отклонения автомобиля от центра дороги ещё некоторое время будет указывать на ошибку, хотя уровень внимания уже вернулся к типичному для бодрствования. Исходя из этого, целесообразно определить временное смещение этого вида оценки относительно экспертной, при котором корреляция между ними максимальна, и проводить сравнение с учётом этого временного лага. Несмотря на перечисленные трудности, для части испытуемых (но не для всех) абсолютное отклонение от центра дороги хорошо коррелирует с экспертной оценкой состояния по видеозаписи.
