Содержание к диссертации
Введение
Глава 1. Анализ проблемы и постановка задачи создания бесконтактного интеллектуального интерфейса оператора диспетчерского пункта дефектоскопии на непрерывной производственной линии 15
1.1. Анализ информационных технологий автоматизированных систем управления 15
1.2. Особенности деятельности оператора в автоматизированных системах управления
1.3 Анализ работы оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии 19
1.4 Анализ существующих методов компьютерного зрения для создания бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии 25
1.5 Общее описание методов моделирования изображения глаз для создания бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии 30
1.6 Аппаратные и программные средства компьютерного зрения 34
1.7 Постановка задачи создания компьютерного зрения для оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии 47
1.8 Выводы 48
Глава 2. Распознавание биометрических точек лица и глаз на изображении для бесконтактного управления в специальных программно-технических системах 51
2.1 Алгоритм идентификации глаза 51
2.1.1 Описание тренировки и применения активной модели внешнего вида на примере изображения лица 52
2.1.2 Классическая активная модель внешнего вида 59
2.1.3 Адаптация активной модели внешнего вида 60
2.1.4 Активная модель внешнего вида обратной композиции 61
2.2 Выбор биометрических точек лица и глаз 62
2.2.1. Точное обнаружение центра зрачков и радиуса радужной оболочки 66
2.2.2. Обнаружение точных контуров глаз 2.3 Выбор обучающего множества для системы распознавания биометрических точек 73
2.4 Алгоритм отслеживания положения зрачка глаза 78
2.5. Выводы 79
Глава 3. Разработка модели нечеткого нейросетевого классификатора компьютерного зрения 82
3.1 Математическая модель движения глаз и выделение групп переменных
3.1.1 Модель детекции фиксаций, базирующийся на определении дисперсии и продолжительности фиксации 90
3.1.2 Определение групп переменных математической модели выделения команд 92
3.1.3 Шкалирование значений переменных математической модели выделения команд 94
3.2 Продукционная модель выделения классов команд управления специальной программно-технической системой на основе нечеткой геперрезолюции 99
3.2.1 Методика определения групп переменных команды и логические операции над ними 99
3.2.2 Продукционная модель на основе нечеткой геперрезолюции 102
3.2.3 Метод нечёткой гиперрезолюции 103
3.2.4 Структура нечеткого нейросетевого классификатора 109
3.3 Система распознавания (детектирования и идентификации) команд управления на основе нечеткого нейросетевого классификатора 113
3.4 Выводы 117
Глава 4. Реализация и апробация бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии 118
4.1 Методика обнаружения и отслеживания положения зрачка глаза для бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии 118
4.2 Описание программного обеспечения интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии 139
4.3 Структура Базы Данных бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии 142
4.4 Программное обеспечение бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии 146
4.5 Апробация бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии 147
4.6 Выводы 149
Заключение 151
Список используемых источников
- Особенности деятельности оператора в автоматизированных системах управления
- Описание тренировки и применения активной модели внешнего вида на примере изображения лица
- Шкалирование значений переменных математической модели выделения команд
- Описание программного обеспечения интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии
Введение к работе
Актуальность работы.
Необходимость автоматизации управления привела к появлению широкого класса человеко-машинных АСУ различного назначения, без которых невозможно представить современное промышленное производство. Дальнейшее повышение организационной и технической гибкости управления различными технологическими процессами при решении конкретных задач связано с возрастанием роли человека в современных системах, что обуславливается интеллектуализацией АСУ ТП и возрастанием сложности решаемых задач.
Существует ряд профессий, предъявляющих к своим работникам -«операторам» специальные требования. Это, в первую очередь, способность переработки значительных объемов поливариантной информации, поступающей от разнородных источников по независимым каналам, мгновенного принятия решения на основе полученных данных и совершения в крайне короткий промежуток времени значительного числа операций с электронной техникой (компьютером) преимущественно манипулятивного характера.
Разработка и реализация современных АСУ требует организации взаимодействия человека и ЭВМ. Структура взаимодействия оператора и ЭВМ при решении задач оперативного управления в зависимости от сложности решаемых задач, квалификации операторов, уровня автоматизации процессов управления может быть достаточно гибкой.
Основными характеристиками оператора являются безошибочность, быстродействие, точность, надежность. Оценкой быстродействия оператора является время решения задачи, которое, вместе с аналогичными показателями информационно-программно-технической части, определяет быстродействие всей системы "человек-машина".
Эффективность работы всей системы зависит от того, как будет организовано участие человека в процессе управления.
Данное диссертационное исследование посвящено решению научно-технической задачи разработки моделей, способов и инструментария создания бесконтактного интерфейса для оператора диспетчерского пункта дефектоскопии на непрерывной производственной линии и непосредственно базируется на результатах исследований следующих ученых:
в области информационных технологий и автоматизированных систем управления: Николаев А.Б., Строганов В.Ю., Суэтина Т.А., Алексахин СВ., Советов Б.Я., Цехановский В.В., Рыбина Г.В., Афанасьев А.П., Фомичев В.В., Ильин АВ. (МГУ), и др.;
в области теории бесконтактного управления: Архангельский В.И., Каштан А.Я., Визильтер Ю.В., Каратеев С.Л., Бекетова И.В. Зарубежные ученые: Масатоси Исикава (Masatoshi Ishikawa), Такаси Комуро (Takashi Komuro), Тим Кутес, Крис Тейлор и др.
Актуальность тематики подтверждается исследованиями таких крупных российских компаний как НІЖ «ТЕКО», Компании "Амфилада" (Россия); научных организаций: Институт системного анализа РАН, институт проблем информатики РАН; ведущих ВУЗов страны МГУ, МАДИ, ФИМИ, ЛЭТИ, МФТИ; зарубежных компаний: Компания Tobii (Швеция), Компания Lenovo (Китай), Компания Microsoft (США), Компания Google (США), Компания Apple (США), Фраунгоферский институт (Германия), Elliptic Labs (Норвегия), Sony Corporation (Япония), Samsung Group (Южная Корея), Ethertouch (США) совместно с фирмами Nokia, Bang&Olufsen и Microsoft.
Крупные мировые ведомства NASA и DARPA так же ведут исследования и разработки в данной области. Эксперты этих научных центров и компаний оценили направление создания бесконтактных интерфейсов как одно из приоритетных.
На конвейерных линиях часто применяются многоуровневые системы дефектоскопии, в том числе и рентгеновской. На оператора ложится большая информационная нагрузка, при этом оператор должен отслеживать информацию на нескольких дисплеях с несколькими диалоговыми окнами. Часть действий по контролю, возможно, переложить на систему управления с помощью глаз, в том числе действия переключения между окнами и управления информационными потоками.
Вместе с тем проблемой, остается отсутствие интеллектуальной системы, интегрирующей разнородную информацию об окружающей обстановке в реальном масштабе времени. Решение указанных проблем возможно с применением универсальных бесконтактных интерфейсов, не требующих использования устройств ввода для рук и любых контактирующих элементов.
Рассмотренные аспекты организации бесконтактного управления подтверждают актуальность диссертации. Данная тематика так же соответствует Указу Президента Российской Федерации от 7 июля 2011 г. № 899 «Об утверждении приоритетных направлений развития науки, технологий и техники в Российской Федерации.
Задача разработки бесконтактного управления непрерывным технологическим процессом (НТП) является своевременной и актуальной.
Целью настоящей работы является повышение качества проектирования и организации функционирования НТП за счет создания и внедрения бесконтактного интегрального интерфейса.
В работе решались следующие основные задачи:
-
Анализ методов и средств компьютерного зрения, используемых при управлении НТП.
-
Разработка алгоритма идентификации и направления взгляда для бесконтактного управления в НТП, который состоит из двух частей: тренировка активной модели внешнего вида области глаз; применение активной модели внешнего вида области глаз и оценка направления взгляда.
-
Разработка алгоритма слежения за взглядом на основе анализа данных о положении глазного яблока, обрабатываемых подсистемой плавного слежения и подсистемой саккад.
-
Определение групп переменных для математической модели выделения команд управления НТП.
-
Разработка модели нечеткого нейросетевого классификатора компьютерного зрения.
-
Разработка, программная реализация и апробация интегрального интерфейса для бесконтактного управления НТП.
Объектом исследования является деятельность оператора диспетчерского пункта дефектоскопии НТП. Научная новизна работы.
-
Алгоритм идентификации взгляда, который состоит из двух частей: тренировка активной модели внешнего вида области глаз; применение активной модели внешнего вида области глаз и оценка направления взгляда.
-
Метод решения задачи нормализации положения изображения лица на основе Прокрустова анализа, для компенсации различия в масштабе, наклоне и смещении лица. Использование Прокрустова анализа для обработки компьютерных изображений дал начало новому направлению в биометрии.
-
Метод решения задачи динамической идентификации компьютерного изображения глазного яблока, в котором для исключения ошибочно обнаруженных точек идентификации применялось преобразование Хаара, используемое для выделения главных осей точек правой и левой (относительно центра зрачка) половины контура глаза.
-
Продукционная модель выделения классов команд управления специальной программно-технической системой на основе нечеткой геперрезолюции.
Положения, выносимые на защиту.
-
Алгоритм идентификации взгляда, на основе активной модели внешнего вида.
-
Метод решения задачи нормализации и стабилизации положения изображения лица на основе видеопотока, полученного с веб-камеры.
-
Математическая модель решения задачи динамической сегментации и идентификации компьютерного изображения глазного яблока.
-
Математическая модель выделения команд управления для оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии.
Теоретическая значимость исследования обоснована тем, что: - доказана возможность осуществления обнаружения не всего контура, а нескольких основных точек контура глаза - уголки глаза, границы зрачка, обеспечивающая стабильность и устойчивость алгоритму обнаружения для построения алгоритма управления НТП;
проведена модернизация существующих деформируемых контурных моделей, позволяющая обеспечить решение задачи оптимизации (определение локальных минимумов) и использование системы правил и ограничений на возможные значения каждого из параметров контура;
доказано наличие прямого соответствия между элементами структуры нейронной сети и компонентами нечеткой модели, что распространяет свойство интерпретируемости, присущее нечетким системам, на нейросетевую нечеткую модель и дает возможность представить результат обучения в форме гибких логических конструкций - лингвистических правил.
Применительно к проблематике диссертации результативно использован комплекс существующих базовых методов исследования, в т.ч. вероятностно-статистических методов, активной модели внешнего вида, элементов теории распознавания образов, искусственных нейронных сетей, современных технологий разработки алгоритмов и программного обеспечения, объектно-ориентированного программирования.
Значение полученных результатов исследования для практики подтверждается тем, что:
разработан и внедрен в промышленную эксплуатацию пакет прикладных программ, использование которого позволило внедрить бесконтактное управление НТП;
определены пределы и описаны перспективы применения предлагаемых методов бесконтактного управления НТП;
даны методические рекомендации по совершенствованию и модернизации построения ЗО-модели лица и системы управления данными на её основе, а также отслеживания жестов на основе использования активных моделей внешнего вида (ActiveAppearanceModels, ААМ);
проведена апробация предлагаемой системы бесконтактного управления, которая дает точность локализации области глаз с точностью 1 см.
Оценка достоверности результатов исследования выявила:
экспериментальные результаты получены с использованием лицензионного программного обеспечения с применением разработанного программного модуля на различных аппаратных платформах;
теоретические изыскания построены на известных методах теории распознавания образов, методов стереозрения, оптимизации, Прокрустова анализа, искусственных нейронных сетей;
идея базируется на проведенном анализе практики и обобщении передового опыта построения информационно-управляющих систем;
использованы современные средства и методики проведения исследований, доказывающие обоснованность применения разработанного метода бесконтактного управления ввиду согласованности данных эксперимента и научных выводов.
Личный вклад автора состоит в: проведении анализа существующих способов разработки интегральных интерфейсов; создании математической
модели бесконтактного управления НТП; непосредственной разработке алгоритма на основе метода деформируемых моделей для анализа данных при принятии решений при управлении НТП; разработке алгоритма формирования команд управления от человека; личном участии во внедрении разработанного пакета прикладных программ в эксплуатацию в АСУ ТП; непосредственной подготовке основных публикаций по выполненной работе.
Реализация результатов. Разработанные программные средства входят в состав программного обеспечения модернизируемых информационно-управляющих систем, используемых для управления НТП.
Разработанные методы, алгоритмы и программное обеспечение для бесконтактного управления программно-техническими системами использованы:
в учебном процессе кафедры «Управление и моделирование систем» ФГБОУ ВПО «Московский государственный университет приборостроения и информатики» при реализации образовательной программы по направлению подготовки (специальности) 230105 в дисциплинах «Человеко-машинное взаимодействие», «Интеллектуальные системы»;
в ОАО «КБ «ЭлектронСистема» - при совершенствовании системы управления комплекса, предназначенного для радиоскопического контроля в реальном масштабе времени и рентгеновской микротомографии объектов, требующих высокого пространственного разрешения при дефектоскопии и исследовании внутренней структуры промышленной продукции, что позволило снизить нагрузку на оператора.
Достоверность полученных результатов подтверждена:
экспериментальными данными и математическим моделированием предложенных алгоритмов и методов повышения эффективности АСУ ТП;
апробированием программных средств в АСУ ТП при внедрении бесконтактного управления.
Апробация работы. Наиболее важные результаты докладывались на международных конференциях «Перспективные инновации в науке, образовании, производстве и транспорте, 2012» (Украина, г. Одесса),
XIV Всероссийской научно-технической конференции «Новые
информационные технологии» (Москва, 18-20 апреля 2011г.),
XV Всероссийской научно-технической конференции «Новые
информационные технологии» (Москва, 17-19 апреля 2012 г.).
Основные положения и результаты докладывались и обсуждались на научных семинарах кафедр «Автоматизированные системы управления и информационные технологии» и «Электротехника и электроника» ФГБОУ ВПО «Московский государственный университет приборостроения и информатики».
Публикации. По материалам диссертационной работы опубликовано одиннадцать научных работ, в том числе, пять - в научных рецензируемых изданиях, рекомендуемых ВАК.
Структура диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы и четырех приложений.
Основная часть диссертации содержит 166 страницы машинописного текста, включая 45 рисунков и 10 таблиц.
Особенности деятельности оператора в автоматизированных системах управления
С развитием автоматизации управления современными сложными системами на основании информационной модели, т.е. с появлением операторской деятельности, возникла необходимость учитывать психологические и другие особенности оператора, участвующего в процессе управления.
Система "человек-машина" есть система, состоящая из оператора (группы операторов) и машины (комплекса технических устройств и информационных технологий), посредством которой оператор осуществляет трудовую деятельность.
С внедрением АСУ существенным образом изменился характер труда оператора. Преобладающими теперь стали не энергетические, а информационные его функции, т.е. функции управления и контроля технологических (производственных) процессов. Изменение характера трудовой деятельности по-иному поставило проблему взаимодействия оператора и техники [88, 92]. Возможности оператора расширились благодаря развитию техники, но техника в свою очередь стала настолько сложной, что человеку уже трудно управлять ею [80]. Возникла задача согласования конструкций машин с психологическими и физиологическими возможностями оператора.
На сегодняшний день для оптимизации условий сложной трудовой деятельности уже недостаточно использовать частные рекомендации, необходимо облегчить труд оператора и определить принципиально новый подход к деятельности оператора. 1.3 Анализ работы оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии.
На конвейерных линиях часто применяются многоуровневые системы дефектоскопии в том числе и рентгеновской. На оператора ложится большая информационная нагрузка, при этом оператор должен отслеживать информацию на нескольких дисплеях с несколькими диалоговыми окнами. Часть действий по контролю возможно переложить на систему управления с помощью глаз, в том числе действия переключения между окнами и управления информационными потоками.
Большая информационная нагрузка ложиться на оператора при работе с комплексом, предназначенным для радиоскопического контроля в реальном времени и рентгеновской микротомографии объектов, требующих высокого пространственного разрешения при дефектоскопии и исследовании внутренней структуры промышленной продукции
Микрофокусная система рентгеновского контроля с функцией компьютерной томографии FILIN СТ-300/225 представлена на рисунке 1.2. Система является автоматизированной системой с развитыми средствами отображения информации, в которых основными функциями человека-оператора является контроль за работой системы и принятие решений в самых сложных и непредвиденных ситуациях. Система имеет иерархическую структуру и характеризуется наличием многочисленных информационных потоков, как между уровнями, так и между элементами одного уровня. В рамках единой информационной структуры системы выделены две информационно-вычислительные подсистемы, обеспечивающие необходимой информацией все вычислительные процессы в ходе решения задач контроля и диагностики. Комплекс построен на базе микрофокусного рентгеновского аппарата с рентгеновской трубкой открытого типа и высокоразрешающего полупроводникового плоскопанельного детектора.
Микрофокусная система рентгеновского контроля с функцией компьютерной томографии FILIN СТ-300/225 Комплекс построен на базе микрофокусного рентгеновского аппарата с рентгеновской трубкой открытого типа и высокоразрешающего полупроводникового плоскопанельного детектора.
Сечения в 3D моделях (информационные диалоговые окна) Рис. 1.7. Движение режущих плоскостей по 3D модели с последовательной дефектоскопией всех сечений (информационные диалоговые окна). Изучение развития дефектов в 3D модели.
Оперативная информация о значениях основных дефектоскопических периметрах и видео поступает потоком от объекта в блок допускового контроля с интервалом времени около 0,5 с. Выбор интервала обусловлен минимальным временем сканирования. Текущая информация представляется оператору-технологу в виде цветных графических фрагментов мнемосхемы комплекса и таблиц, в которые введены расчетные показатели, а так же трехмерных изображений.
Каждые четыре цикла опроса, что соответствует 2с, значения параметров, необходимые для дальнейшего использования на вышестоящем уровне, записываются в информационную базу. Там же хранится априорная статическая информация, а именно двоичная диагностическая таблица. Эта информация подается на вход блока диагностирования технического состояния комплекса, активизируемого по результатам допускового контроля. В этом же блоке переданная информация с объекта дополняется информацией о значениях технологических параметров для двоичного вектора состояния. Результаты решения задачи в этом блоке передаются на верхний уровень для представления оператору в текстовой форме, видео и снимках. Каждые две секунды оперативная информация с блока допускового контроля передается в блок контроля стабильности процесса реформирования, где сравнивается с поступающими из информационной базы данными, записанными восемь циклов назад. Вычисленные показатели стабильности технологического процесса проверяются на допустимость. В случае выявлений факта дестабилизации оператор оповещается звуковой индикацией и ему предоставляется информация об изменениях в ходе технологического процесса. В случае нарушения стабильности необходимые сведения о дефектах передаются на вышестоящий уровень в блок диагностирования, в котором реализован алгоритм диагностирования. Для работы алгоритма в блок диагностирования вызывается априорная экспертная информация. Она, как и другие необходимые данные, записывается предварительно в память. Обмен информацией между блоками технологического диагностирования и оператором осуществляется в диалоговом режиме. У оператора запрашивается необходимая информация о его действиях по управлению технологическим процессом. В зависимости от ответа выбирается та или иная ветвь алгоритма в соответствии с выбранной стратегией диагностирования. Ввиду наибольшей ответственности за принимаемое системой решение верхний уровень отведен оператору-технологу, которому принадлежит наивысший приоритет в системе. Оператор может прекратить или возобновить работу системы. Ему предоставлена возможность инициировать прерывание работы в течение цикла опроса для перехода в диалоговый режим.
Описание тренировки и применения активной модели внешнего вида на примере изображения лица
Адаптация рассматриваемой активной модели внешнего вида к анализируемому изображению происходит, в общем случае, следующим образом: а) на основе начального приближения вычисляются все параметры модели и аффинные преобразования формы; б) вычисляется вектор ошибки St. Извлечение текстуры из анализируемого изображения происходит с помощью его кусочной деформации; в) вычисляется вектор возмущений Sp = RSt; г) проводится обновление вектора комбинированных параметров и аффинных преобразований путем суммирования текущих их значений с соответствующими компонентами вектора возмущений; д) проводится обновление формы и текстуры; е) переходим к выполнению пункта «б» до тех пор, пока не достигнем сходимости.
Были предложены различные модификации и улучшения этого алгоритма, но его общая структура и суть остаются прежними.
Приведенный выше алгоритм достаточно эффективен, однако он имеет достаточно серьезный недостаток, который ограничивает его применение в приложениях реального времени: он медленно сходится и требует большого объема вычислений. Для преодоления указанного недостатка в [19, 20] был предложен новый тип активных моделей внешнего вида, о которых пойдет речь в следующем разделе.
Мэтьюс и Бейкер [50, 51, 52, 70] предложили эффективный в вычислительном плане алгоритм адаптации активной модели внешнего вида, который зависит только от параметров формы (так называемая «project-out» модель). За счет этого удалось существенно повысить его быстродействие. Алгоритм адаптации, в основу которого был положен подход Лукаса-Канаде, использует метод Ньютона для поиска минимума функции ошибки.
Алгоритм Лукаса-Канаде пытается найти локально наилучшее соответствие в смысле минимум среднеквадратичной ошибки между шаблоном и реальным изображением. При этом шаблон подвергается деформации (аффинной и/или кусочной) задаваемой вектором параметров р, которая отображает его пиксели на пиксели реального изображения.
Непосредственное нахождение параметров р является задачей нелинейной оптимизации. Для ее решения линейными методами алгоритм Лукаса-Канаде предполагает, что начальное значение параметров деформации известно и затем итеративно находит приращения параметров 8р, обновляя на каждой итерации вектор р.
Активная модель внешнего вида обратной композиции использует аналогичный подход для обновления собственных параметров во время процесса адаптации за исключением того, что деформации подвергается не базовая текстура t0, а анализируемое изображение.
На этапе обучения активной модели внешнего вида обратной композиции вычисляются так называемые изображения наискорейшего спуска и их гессиан. Адаптация модели происходит сходным с классической моделью внешнего вида образом за исключением того, что в данном случае происходит только обновление параметров формы и (опционально) параметров расположения.
Стоит отметить, что Мэтьюс и Бейкер предложили большое количество возможных вариаций, обладающих различными свойствами разработанных ими моделей [50, 51, 52, 70] .
Для определения правил расстановки биометрических точек на изображении области глаз, было проведено исследование, для обнаружения наиболее характерных точек минимума и максимума.
Первым шагом в распознавании антропометрических точек лица является обнаружение координат центров глаз внутри области лица.
Большинство описываемых в литературе методов опираются на предположение, что область зрачка и радужной оболочки резко отличается по своим яркостным характеристикам и цветовому распределению от окружающей их области белка глаза и кожи. Подобные методы используют интегральные проекции [74], морфологическую фильтрацию [51] и карту областей резкого изменений [40] полутонового изображения лица. Часть методов используют резкое отличие цвета глаз от цвета кожи как признак для обнаружения глаз [36, 37]. Как показали проведенные испытания, использование перечисленных признаков приводит к серьезным ошибкам в обнаружении в большом количестве случаев. Анализ областей резких изменений яркости требует хорошей карты краев изображения, построение которой является весьма непростой задачей, поскольку операторы выделения краев чрезвычайно чувствительны к шуму и требуют высокой контрастности и качества исходного изображения для успешной работы. В работе предлагается метод обнаружения положения глаз с помощью поиска областей резкого изменения интенсивности красного канала изображения. Как показали испытания, этот метод дает более устойчивый и точный результат для широкого класса изображений различного качества и уровня контрастности. Красный канал используется потому, что даже для светлых глаз (голубых, зеленых) красная компонента у пикселей радужной оболочки и зрачка значительно меньшей интенсивности, чем у белка глаза или кожи. Поиск осуществляется путем фильтрации изображения функцией специального вида:
Здесь, / - красный канал исходного изображения, риг- координаты пикселей, Rn x y - прямоугольник размера (п х 7) с центром в точке (х,у), а Рпг - эллипс с размерами осей (n х п/3), ориентированный по осям изображения, с центром в точке г. Фильтр регулируется следующими параметрами: коэффициентом а и масштабом фильтра п. Результатом фильтрации является карта вариации красного канала (рисунок 2.9).
Шкалирование значений переменных математической модели выделения команд
В результате исследования доступных баз биометрических данных был сделан вывод о необходимости разработки правил создания аннотированной базы биометрических данных области глаз по рекомендациям, изложенным в пункте 2.2. Для этого разработаны правила по получению изображений добровольцев. Требования к оборудованию для съемки лиц добровольцев: разрешение камеры - не менее 640 480; матрица размером - не менее 1,5 10 пикселей скорость съемки - не менее 25 кадров/с; цветопередача - нормальная.
Для получения изображений доброволец располагается на расстоянии, при котором его лицо занимало около 80% кадра изображения. Камера находится на уровне глаз, примерно по центру переносицы (как показано на рисунке).
Освещение обеспечивалось от двух и более источников света в соответствии с требованиями к освещенности, указанными в СНиП 23 05-95. «Естественное и искусственное освещение». Добровольца снимают в девяти положениях головы: лицо направлено в сторону камеры, шея прямая, голова расположена вертикально; из положения 1 голова поворачивается влево на угол 35-40; из положения 2 голова поворачивается вправо на угол 70-80; голова возвращается в положение 1 и поворачивается вверх на угол 15-20; из положения 4 голова поворачивается влево на угол 35-40; из положения 5 голова поворачивается вправо на угол 70-80; голова возвращается в положение 1 и поворачивается вниз на угол из положения 7 голова поворачивается влево на угол 35-40; из положения 8 голова поворачивается вправо на угол 70-80; В каждом положении доброволец должен зафиксировать положение головы и выполнить указанные ниже движения глазами с фиксацией положения взгляда в крайних положениях на 1-2 с, и держа веки как можно шире раскрытыми. Движения глазами: положение взгляда прямо в направлении положения головы; перевести взгляд влево; перевести взгляд вправо; перевести взгляд вправо вверх; перевести взгляд вверх; перевести взгляд влево вверх; перевести взгляд влево вниз; перевести взгляд вниз; перевести взгляд вправо вниз; возврат в положение 1.
Это движение похоже на вращательное движение глазом, но с фиксациями в крайних положениях. Из полученного видео файла выбираются ключевые кадры, на которых имеются наиболее качественные изображения зрачка глаза (по 2-3 кадра на каждое положение взгляда).
От каждого добровольца в базу биометрических данных добавляется 180 - 270 изображений. После чего из изображений лица вырезаются области левого и правого глаза с бровями, и размечаются, по правилам указанными в пункте 2.2. По таким правилам были получены 350 изображений левого и правого глаза от двух добровольцев. К этому множеству добавлены 62 фронтальных, аннотированных по правилам из пункта 2.2, изображения левого и правого глаз из найденных примеров различных биометрических баз данных. Эти данные добавлены для более лучшей тренировки компоненты внешнего вида.
Зрачок глаза представляет собой окружность. Это видно на изображении области глаз в том случае, если центр зрачка глаза находится на оптической оси камеры или близко к ней. В любом другом положении - это овал.
В крайних положениях радужная оболочка, а возможно и часть зрачка, скрыта веками. В случае чрезмерно яркого освещения, когда возможности аккомодации исчерпаны, или если человек плохо видит объект, зрачок становится практически невидимым овалом, усеченным сверху и снизу веками.
Для определения направления взгляда используется не четкий алгоритм, который на входе получает эйлеровские углы поворота лица и биометрические точки от процедуры идентификации области глаз. После этого оценивается положение зрачка относительно век и «углов» глаза по правилам, указанным ниже. Правила оценки положения зрачка: разворачивают фигуру из биометрических точек по известным углам в нормальное фронтальное положение; определяется пересечение точек (т. 0, т. 1) и (т. 3, т. 6); находится центр фигуры, образованной т. 8 - т. 15; вычисляется угол разворота центра зрачка глаза; углы вектора направления взгляда и угол разворота головы складываются и получается вектор взгляда.
Описание программного обеспечения интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии
Когда глаз распознан и осуществляется регистрация положения зрачка или светового маркера, необходимо уметь распознать команды и перевести их в код, который будет обрабатываться непосредственно программным приложением, которое отвечает непосредственно за управление компьютерной системой.
Поворот глаза в определенную сторону может вызвать неоднозначность при формировании команды для обработки на компьютере. В процессе обработки данных средствами нечеткого вывода и нечетких нейронных сетей формируется команда, адекватная управляющему воздействию с помощью положения глаз.
Распознавание глаза и направления движения зрачка или световой метки необходимо для дальнейшего формирования команд специальному интерфейсу. Глаз имеет хаотические движения и точное слежение за ним затруднит позиционирование курсора. Одним из вариантов распознавания является обработка параметров положения световой метки или зрачка с помощью методов нечеткой логики и нейросетевых подходов.
Система, выполняющая нечеткую обработку, обладает двумя основными особенностями: во-первых, нечеткий фильтр вычисляет нечеткое приращение таким образом, чтобы оно было менее чувствительно к локальным изменениям метки.
Фаззификация входного изображения выполняется с использованием значений положения метки. Так положение зрачка может рассматриваться как нечеткое разделение на определенные наборы или классы качественных понятий, как показано на рисунке 3.10.
Таким образом, чтобы определить нечеткое смещение, нужно рассмотреть его качественное понятие малое, среднее и большое. Этим понятиям в рамках теории нечетких множеств соответствуют нечеткие множества малое, среднее и большое.
При разработке нечеткой нейронной сети для прогнозирования рассматривалось применение следующих алгоритмов нечеткого вывода: алгоритм Мам дани и алгоритм Сугено.
Алгоритм Мамдани описывает несколько последовательно выполняющихся этапов (рисунок 3.16). При этом каждый последующий этап получает на вход значения, полученные на предыдущем шаге.
Основой для проведения операции нечеткого логического вывода является база правил (знаний). Под базой знаний принято понимать совокупность знаний о предметной области, используемых для построения систем интеллектуального управления объектами. Используемый в различного рода экспертных системах механизм нечётких выводов имеет в своей основе базу знаний, формируемую специалистами предметной области в виде совокупности нечётких предикатных правил. Для построения продукционной модели на основе нечёткой нейронной сети надо определить лингвистические переменные.
Задача распознавания может быть рассмотрена так: предположим, что существует проблема распознавания С - классов объектов в 2-D пространстве. Каждый класс состоит из экземпляров, которые представляют этот класс. Вначале необходимо описать экземпляры класса в виде нечеткого представления. Затем для каждого класса с, с = 1...С строится нечеткая модель класса с. Когда неизвестный объект (положение глаза) и должен быть распознан, то сравнивается нечеткое представление и с каждой нечеткой моделью с путем определения меры схожести. Неизвестный объект считается распознанным в том случае, когда он принадлежит классу с наивысшей мерой схожести [91]. Результатом нечеткого вывода является четкое значение переменной у на основе заданных четких значений хк, к=\,2,...,п.
При этом должны соблюдаться следующие условия[83]: 1. Существует хотя бы одно правило для каждого лингвистического терма выходной переменной. 2. Для любого терма входной переменной имеется хотя бы одно правило, в котором этот терм используется в качестве предпосылки (левая часть правила). В последствии, на основе тестирования сетей, созданных с применением этих алгоритмов, была выбрана нечеткая нейронная сеть, в которой реализуется алгоритм Сугено. Это связано с тем, что нечеткая нейронная сеть с алгоритмом Сугено имеет меньшую ошибку обучения и ошибку прогнозирования.
