Оптико-электронное устройство для бесконтактного управления автоматизированными подсистемами автомобиля Болецкий Евгений Борисович

Содержание к диссертации

Введение

1 Анализ методов и средств бесконтактного управления 13

1.1 Анализ методов 13

1.2 Анализ оптико-электронных устройств 18

2 Математическая модель оптико-электронного устройства для бесконтактного управления автоматизированными подсистемами автомобиля 27

2.1 Математическая модель ввода изображения 30

2.2 Модель коррекции блуминга ОЭД 36

2.3 Модель фильтрации изображения 39

2.4 Модель классификации и поиска объектов типа «лицо», «глаза» 41

2.5 Модель вычисления трехмерных координат объектов «глаз» в пространстве 44

2.6 Модель уточнения значения пространственных координат глаз

2.7 Модель поиска бликов на областях изображения, содержащих глаза 46

2.8 Модель поиска зрачка 50

2.9 Модель вычисления векторов взгляда 50

2.10 Модель уточнения векторов взгляда 51

2.11 Модель вычисления точки пересечения векторов взгляда 51

2.12 Модель временной фильтрации результатов 52

3 Метод, алгоритм обработки изображений и оптико электронное устройство для бесконтактного управления подсистемаи автомобиля 53

3.1 Оценка погрешности вычисления пространственных координат объектов 53

3.2 Метод вычисления векторов взгляда и координат точки фокусировки взгляда в пространстве 56

3.3 Алгоритм вычисления векторов взгляда и координат точки фокусировки взгляда в пространстве 59

3.4 Обоснование выбора типа оптико-электронного датчика 69

3.5 Оптико-электронное устройство для бесконтактного управления автоматизированными подсистемами автомобиля 71

3.6 Анализ быстродействия устройства для бесконтактного управления автоматизированными подсистемами автомобиля 75

3.7 Инженерная методика выбора параметров разработанного оптико-электронного устройства 77

4 Экспериментальные исследования 79

4.1 Аппаратно-программный стенд для проведения испытаний 79

4.2 Методика проведения экспериментальных исследований 80

Основные результаты работы 93

Список использованной литературы

• Анализ оптико-электронных устройств
• Модель классификации и поиска объектов типа «лицо», «глаза»
• Алгоритм вычисления векторов взгляда и координат точки фокусировки взгляда в пространстве
• Методика проведения экспериментальных исследований

Введение к работе

Актуальность темы.

В различных областях науки, промышленности и социальной сферы применяются различные сложные электронные устройства, требующие непрерывного контроля и управления. В большинстве случаев оператору приходится взаимодействовать одновременно с множеством органов управления и устройств индикации и производить при этом ряд вспомогательных, но необходимых действий, которые не должны отвлекать внимание оператора от основного процесса управления или его иной деятельности, что обуславливает необходимость разработки и использования систем управления на основе анализа визуальной информации о движениях, действиях и реакциях оператора, или же распознавания другой информации - например, голосовых команд. Типичным примером реализации бесконтактного управления является использование устройств, базирующихся на определении направления взгляда оператора относительно управляемых объектов.

На решение проблем в этой области направлены исследования российских и зарубежных ученых и научных школ, в частности, В.А.Сойфера^Р.Харалика, В.В.Найханова, Р.Вудса, Р.Гонзалеса, П.Ванга, Я.А.Фурмана, С.Тсаи, проводимые множеством научных и коммерческих организаций в Российской Федерации и за рубежом, а именно, институтом систем обработки изображений РАН, Московским авиационным институтом, Московским государственным университетом, НИЦ «Курчатовский институт», городским университетом Нью-Йорка (City University of New York), Копенгагенским университетом (University of Copenhagen), компаниями Tobii, Apple, Samsung, BMW, Opel и рядом других. Так, например, на сегодняшний день известен ряд систем управления персональным компьютером, вооружением на военной технике, устройствами в автомобиле и множеством других исполнительных механизмов² на основе отслеживания направления взгляда в пространстве, основанных как на контактном, так и бесконтактном способах вычисления направления взгляда³.

Выполненный анализ показал, что в задачах бесконтактного управления подсистемами автомобиля наиболее перспективными являются бесконтактные способы, использующие в своей основе обработку изображений лица, глаз, и вычисление управляющего воздействия и его параметров на основе направления взгляда или иных особенностей и движениях лица оператора, однако, способы, основанные на оптическом определении направления взгляда на сегодняшний день обладают рядом существенных недостатков, основные из которых низкая точность и достоверность в условиях сложной, динамически меняющейся световой обстановки при быстрых перемещениях головы.

Таким образом, объективно сложилось противоречие, заключающееся в том, что существующие устройства управления подсистемами автомобиля, основанные на бесконтактном определении направления взгляда и точки фокусировки в пространстве, не обеспечивают корректное функционирование в сложных условиях освещения и быстрых перемещениях лица оператора, тогда как практическое применение подобных систем обуславливает необходимость стабильного вычисления направления взгляда и координат точки фокусировки

¹ Сойфер В.А. Компьютерная обработка изображений. Часть 2. Методы и алгоритмы / В.А. Сойфер // Соровский образовательный
журнал: 1996, - Вып.З

² Ріггі F., Pizzoli М., Rudi A., A general method for the point of regard estimation in 3D space. Computer Vision and Pattern Recognition
(CVPR), 2011 ШЕЕ Conference on, 921-928

³ Duchowski A. T. Eye Tracking Methodology: Theory and Practice. Springer, 2007,22

взгляда в пространстве в условиях сложной светотеневой обстановки и перемещений головы.

Целью работы является разработка математической модели, метода, алгоритма и оптико-электронного устройства на их основе, обеспечивающих повышение точности, в задачах бесконтактного управления подсистемами автомобиля в условиях сложной светотеневой обстановки и быстрых перемещениях головы.

Научно-технической задачей является разработка математической модели, метода и алгоритма для повышения точностных параметров оптико-электронного устройства для бесконтактного управления на основе вычисления направления взгляда в условиях сложной светотеневой обстановки и произвольных перемещениях головы относительно элементов управления.

Цель работы и научно-техническая задача декомпозирована на следующие частные задачи исследования:

- анализ существующих методов и устройств определения направления
взгляда и распознавания лицевых движений человека в интересах реализации
бесконтактного человеко-машинного интерфейса для управления подсистемами
автомобиля;

разработка математической модели обработки данных и изображений при функционировании оптико-электронного устройства бесконтактного управления подсистемами автомобиля;

разработка метода и алгоритма вычисления координат точки фокусировки взгляда в пространстве и распознавания визуальной команды пользователя в условиях сложной светотеневой обстановки при случайных движениях головы;

разработка структурно-функциональной организации оптико-электронного устройства для бесконтактного управления подсистемами автомобиля;

- проведение экспериментальных исследований, анализ полученных
результатов, оценка точностных характеристик и эффективности работы.

Методы исследования

В работе для решения поставленных задач использованы методы цифровой обработки, анализа и распознавания изображений, математического моделирования, обработки результатов измерений, разработки вычислительных устройств.

Новыми научным результатами и положениями, выносимыми на защиту являются:

1. Математическая модель процесса обработки данных и изображений при функционировании оптико-электронного устройства, отличающаяся возможностью вычисления направления взгляда и координат точки фокусировки в пространстве с высокой точностью при произвольном взаимном положении оптико-электронных датчиков (ОЭД) оптико-электронного устройства (ОЭУ) и оператора в сложных условиях освещения при быстрых перемещениях головы оператора.

2. Метод вычисления вектора взгляда и координат точки фокусировки в пространстве, основанный на одновременной обработке изображений от нескольких ОЭД и оценке вектора случайных перемещений головы на основе данных о ускорениях, получаемых от инерционного модуля, позволяющий повысить точность и достоверность вычисляемых значений инвариантно к внешним условиям, и отличающийся введением дополнительных операций по адаптации к динамически меняющейся освещенности, уточнением трехмерных координат глаз, предсказанием траектории перемещений головы оператора, вызванными перемещениями рабочего места.

3. Алгоритм вычисления направления вектора и точки фокусировки взгляда
человека в трехмерном пространстве, применимый в системах управления, и
обладающий высокой точностью в условиях динамически меняющейся
освещённости и быстрых движениях головы.

4. Структурно-функциональная организация оптико-электронного
устройства для бесконтактного управления подсистемами автомобиля,
отличающаяся введением модулей адаптации к освещенности, уточнения
координат, предсказания перемещения траектории головы, фильтрации
результатов, и связей между этими модулями, позволяющего производить
управление техническими подсистемами в сложных условиях изменения
освещенности и быстрых движениях головы оператора.

Объект исследований - вычислительные средства обработки изображений и трехмерного зрения на основе оптико-электронных устройств для автоматических и автоматизированных систем управления.

Предмет исследований - методы и алгоритмы обработки цифровых изображений в вычислительном устройстве для вычисления пространственных координат точки фокусировки взгляда в пространстве.

Практическая ценность работы заключается в том, что разработан и экспериментально проверен новый метод вычисления направления взгляда и координат точки фокусировки взгляда в пространстве на основе оптико-электронного устройства, применимый в системах помощи водителю для управления вспомогательным оборудованием транспортного средства, при произвольном взаимном положении ОЭУ и человека в сложных, изменяющихся условиях освещённости быстрых движениях головы, связанных с передвижением автомобиля;

Выполнена экспериментальная проверка разработанной математической модели, подтвердившая:

1. ее адекватность экспериментально полученным в ходе исследований созданного многоканального оптико-электронного устройства результатам;

2. возможность использования для решения других задач в системах контроля и управления.

На основе передоложенных алгоритмов разработано специализированное программное обеспечение, которое может быть использовано на персональной вычислительной машине с целью управления различными подсистемами на основе анализа пространственных координат точки фокусировки взгляда оператора в пространстве.

Результаты работы внедрены в ЗАО «Эврика» г. Санкт Петербург, ООО «НІШ «Технологии и системы радиомониторинга», г. Москва и используются в учебном процессе Юго-западного государственного университета по направлению подготовки «Информатика и вычислительная техника».

Соответствие паспорту специальности.

Согласно паспорту специальности 05.13.05 - Элементы и устройства вычислительной техники и систем управления, проблематика, рассмотренная в диссертации, соответствует: п.1 «Разработка научных основ создания и исследования общих свойств и принципов функционирования элементов, схем и устройств вычислительной техники и систем управления» в части разработки вычислительных моделей для обработки и трехмерного анализа визуальных данных, поступающих с оптико-электронного устройства управления вспомогательным оборудованием транспортных средств и п.2 «Теоретический анализ и экспериментальное исследование функционирования элементов устройств вычислительной техники и систем управления в нормальных и специальных

условиях с целью улучшения технико-экономических и эксплуатационных характеристик» паспорта специальности 05.13.05 - Элементы и устройства вычислительной техники и систем управления в части создания новых математической модели, алгоритмов и устройств для вычисления направления взгляда и точки фокусировки взгляда оператора в пространстве для обеспечения бесконтактного управления подсистемами транспортного средства, а также улучшения эксплуатационных характеристик оптико-электронного устройства посредством увеличения точности вычисления координат.

Апробация работы.

Основные положения диссертационной работы докладывались и получили положительную оценку на международных и российских конференциях, семинарах, симпозиумах: на региональных научно-технических конференциях: «Информационно-измерительные диагностические и управляющие системы, Диагностика - 2016» г. Курск, на Всероссийских научно-технических конференциях: «Медико-экологические информационные технологии» - 2011 (г. Курск), на Международных научно-технических конференциях: «Распознавание -2010» (г. Курск), Информационные технологии и математическое моделирование систем 2010, 2012, 2013, 2015, 2016» (г. Москва), «Проблемы автоматизации. Региональное управление. Связь и автоматика. - Паруса-2013» 2013г. г. Геленджик, «Информационные технологии в науке, образовании, телекоммуникации и бизнесе», 2014, г. Ялта-Гурзуф, на научно-технических семинарах кафедры «Вычислительная техника» Юго-западного государственного университета с 2009 по 2016гг.

Публикации.

Результаты проведенных исследований и разработок опубликованы в 10 печатных работах, в том числе 3 статьях в ведущих рецензируемых журналах и изданиях. Получены патент на полезную модель, патент на изобретение. Результаты апробированы на российских и международных научно-технических конференциях.

Личный вклад автора

Все выносимые на защиту научные результаты получены соискателем лично. В работах, опубликованных в соавторстве, лично соискателем разработаны: в [1] - математические основы вычисления пространственных координат объекта по стереопаре изображений, для решения задачи определения пространственного положения объекта, [2] - аппаратно-ориентированные алгоритмы сегментации изображений, предназначенные для поиска зрачков и бликов на изображении глаз, [3] - метод получения детализированных изображений объектов посредством дополнительной обработки отдельных участков изображения, используемый для повышения точности измерений, [5] - математические основы метода сегментации изображения глаза в задачах поиска зрачка и бликов, [6] - алгоритм вычисления параметров зрачков глаз, оптимизированный для работы в реальном масштабе времени, [7] - обнаружение и измерение параметров зрачков глаз в реальном времени в условиях ограниченных вычислительных ресурсов, [8] - структурно-функциональная организация модуля ПЛИС для определения пространственных координат объектов, в частности глаз, [9] - алгоритм фильтрации изображений, [10] -геометрическая схема и математическая модель вычисления взаимного положения оптико-электронной системы и элемента управления.

Структура и объем работы.

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, включающего 106 наименований, изложена на 109 страницах и поясняется 34 рисунками и 2 таблицами.

Анализ оптико-электронных устройств

Microsoft Kinect – представляет особой специализированный контроллер, предназначенный для бесконтактного управления игровой консолью Xbox 360, разработанной компанией Microsoft. Корпус устройства приставляет собой вытянутый в горизонтальной плоскости модуль, имеющий размеры около 250 мм в длину и 40 мм в высоту. В состав устройства входит набор специализированных сенсоров [26], а именно: - двух бесконтактных измерителей глубины, - цветного оптико-электронного датчика, - микрофонной решетки. Такой набор датчиков обеспечивает распознавание движений тела в пространстве, их анализ и отслеживание. Также, с использованием микрофонной решетки производится как распознавание голосовых команд, так и определение направления прихода голосовой команды. Из недостатков рассмотренного устройства следует отметить: - невозможность отслеживания направления взгляда, - необходимость адаптации и калибровки под конкретного пользователя. Внешний вид устройства представлен на рисунке

TrackIR – это специализированное устройство вводу управляющих команд, разработанное и поддерживаемое компанией NaturalPoint, предназначено для создания условий псевдо-виртуальной реальности с использованием персональных вычислительных машин. Это устройство позволяет производить отслеживание движений головы оператора по всем пространственным направлениям и координатам. Данные о положении головы оператора предполагается использовать в системах виртуальной реальности, в том числе и различный компьютерных играх, например симуляторах автомобилей, летательных аппаратов и других средств перемещения. Например, в симуляторах автомобиля оператор может осматривать сало автомобиля, контролировать происходящее слева и справа от него. Устройство предполагает возможность настройки чувствительности, для предотвращения случайных реакций, обусловленных движениями головы, не относящимися к управлению виртуальными объектами. [27]

Из недостатков этого устройства можно отметить возможность использования только в стационарных условиях, отсутствие отслеживания направления взгляда, необходимость калибровки под конкретного пользователя.

Трекер RUCAP UM-5 – это беспроводной джойстик для управления обзором в компьютерных играх и манипуляции мышью без использования рук. RUCAP UM-5 в реальном времени и с высокой точностью определяет положение и поворот головы человека относительно монитора [28].

Решения, использующие только веб-камеру. В основе данных решений лежит компьютерная программа, использующая изображение с обычной веб-камеры без каких-либо дополнительных аппаратных средств. В качестве примеров можно привести программы Enable Viacam, FaceTrackNoIR и Cam2Pan. Все они осуществляют отслеживание головы оператора. Помимо очевидного преимущества, заключающегося в отсутствии дополнительных сенсоров, данные решения обладают рядом недостатков, в частности, низкой скоростью обработки изображения и большой долей ошибок распознавания.

Известно устройство вычисления направления взгляда человека SMI HighSpeed.

Приведем его описание от разработчика «Ай-трекер SMI HighSpeed реализует принцип видеорегистрации движений глаз. Направление взгляда определяется на основе вектора смещения между позициями центра зрачка и роговичного блика (Pupil – CR метод). Частота регистрации в монокулярном режиме составляет1250 Гц или500 Гц; в бинокулярном режиме– 500 Гц. Разрешающая способность0.01; рабочая точность определения направления взгляда– 0.25 - 0.5; диапазон линейности±30 по горизонтали, 30 вверх, 45 вниз.» [29] Недостатком этого устройства является невозможность применения при наличии большого числа посторонних источников света.» [30]

Нашлемные системы индикации. Система осуществляет слежение за взглядом пилота по положению его головы, глаз, и непрерывно передает информацию о текущем направлении взгляда прицельно-навигационному комплексу или непосредственно сенсорам летательного аппарата [31]. Однако такие системы функционируют только в составе экипировки пилота, а именно установлены на его шлеме, что не подразумевает использование таких систем в условиях гражданского применения.

Модель классификации и поиска объектов типа «лицо», «глаза»

Очевидным достоинством пространственных фильтров является снижение шумов изображения, однако при этом происходи размыти изображение и вследствие чего уменьшаются значения градиентов [54][55].

Фильтры с возможностью адаптации. Для того чтобы при фильтрации изображения происходило снижение уровня высокочастотных шумов, однако при этом не происходило разрушения и размытия контуров применяются т.н. адаптивные методы фильтрации [56]. Суть этого заключается в том что, фильтр может подстраиваться под тип обрабатываемого изображения за счем изменения значений матрицы коэффициентов. Обычно в фильтрах с возможностью адаптации используют локальную обработку, которая имеет следующий вид: J# =(п1,П2)= X КЪ,Щ; Кк (п1 + к1; п2+к2) (2.63) где и1Д1е [0,7V1 ], п2,к2є [0,N2] - значения области изображения; Я -коэффициент нормализации яркости изображения; D -двумерное дискретное изображение имеющее размер МА2; h(n1, п2) - импульсная характеристика; g(m, п2) = f(m, n2)h(m, п2) + v(m, п2) - видимое изображение;/ , п2) - исходное изображение; v(n1,n2) - шумовая составляющая [57].

Коэффициенты матрицы h(n1,n2;k1,k2) изменяются в зависимости от яркости точек изображения, попадающего в скользящее окно D. Вычислить значения коэффициентов фильтра можно по следующему выражению: h(n1,n2;k1,k2) = 1-g(n1,n2)- g(n1 + к1,п2 + k2), (264) при этом коэффициент матрицы фильтра, нормализующий его значения будет иметь вид: н= H1-s(n1,n2)- g(n1 + к1,п2 + к2) (2.65) (k1,k2)GD В более простом виде формирование матрицы коэфиициентом можно представить выражением: к(п1,п2;к1,к2) = еg(n1 ,n2)-g(n1 +к1,п2 +к2) г, (266) где у - специальная константа, представляющая СКО яркости изображения, также она может задаваться пользователем.

Основным недостатком таких фильтров является необходимость наличия априорной информации о поступающих сигналах и помехах, что в большинстве случаем невозможно.

Одним из возможных решений, дающих возможность избавиться от вышеизложенных недостатков, является разработка адаптивных алгоритмов фильтрации, используя методы так называемого алгоритмического конструирования. Основным достоинством таких методов является оптимизация фильтров по определенным параметрам. Коэффициенты фитра определяются на основе алгоритмов, основанные на условиях, необходимых и достаточных для достижения необходимого результата. Алгоритмы адаптации фильтров могут быть основаны на применении уравнения Винера-Хопфа.

Поиск объектов на изображении производится путем сканирования изображения модифицированными окнами Хаара различного размера и обработкой результатов сканирования функцией классификатора, представляющую собой каскадную систему принятия решений, результатом работы которой является множество объектов [58, 59, 60], характеризующихся типом, размерами и координатами на изображении. Sobjn =Mobj0fuml

Применение такого решения является показывает хорошие характеристики относительно скорости работы и качества распознавания лиц [61]. К тому же использование классификатора, основанного на признаках Хаара имеет низкую вероятность ложных срабатываний, что особенно важно в задачах, где дальнейшая обработка производится с помощью других способов распознавания объектов на изображениях. Также, еще одним важным достоинством является инвариантность к повороту головы на углы до 35 градусов, и низкая чувствительность к изменениям уровня освещенности, что особенно важно для условий применения со сложной свето-теневой обстановкой.

На данный момент времени использование вейвлетов Хаара является одним из наиболее перспективных направлений в задачах распознавания образов, и особенно лиц и частей лица.

Для обработки распознаваемого изображения вейвлетами Хаара производится вычисление интегральной формы матрицы точек изображения [62].

Интегральная форма изображения представляет собой матрицу, имеющую равные с исходным изображением размеры. Каждый элемент матрицы имеет суммарное значение всех элементов матрицы исходного изображения, расположенных выше и левее текущего элемента и имеет вид где I(i, j) – уровень яркости точки исходного изображения. Признак Хаара есть отображение некоторого участка изображения на множество значений, входящих в допустимый интервал [63], т.е. X = Df, где X – участок исходного изображения, в котором производится вычисление признака, Df – множество значений, входящих в допустимый интервал Для обнаружения лица на изображении применяется набор стандартных и дополнительных признаков Хаара, имеющих прямоугольную форму (рис. 2.2).

При проведении расчётов признак будет получать значение равное S = L – D, где L – суммарное значение пикселов изображения, расположенных под светлой частью признака, а D – соответственно под темной. Для ускоренного вычисления сумм применено представление изображения в интегральной форме, позволяющее находить сумму области путем нахождения разности значений элементов интегральной матрицы, имеющих координаты левого верхнего и правого нижнего углов суммируемой области изображения.

Вектор признаков имеет вид x=(f1(x),…,fn(x)) и является одной из форм характеристики объекта.

Для вычисления вектора признаков применяется сканирующее окно. Далее результаты поступают в классификатор, для принятия решения о наличии или отсутствии лица или глаз на изображении (рис. 2.3).

Алгоритм вычисления векторов взгляда и координат точки фокусировки взгляда в пространстве

Основным элементом СТЗ - распознавания объектов является матричный приемник изображения, в качестве которого применяется прибор с зарядовой связью (ПЗС) [101] или матричные КМДП-приемники изображения.

Достоинство ПЗС заключается в простой организации считывания информации, возможности совмещения технологии изготовления прибора и схем управления, в выполнении на одном кристалле регистров, формирователя тактовых импульсов, дифференциальных усилителей. ПЗС имеют низкую потребляемую мощность, малые габариты, вместе с тем обеспечивают высокое пространственное разрешение и жесткий растр, низкий уровень шумов. Принцип работы ПЗС заключается в преобразовании распределения освещенности изображения в распределение неосновных носителей заряда, хранении их в потенциальных ямах и передаче зарядов к выходному усилителю.

Однако ОЭД на базе ПЗС обладает и недостатками. Основной из них – невозможность управления процессами, происходящими при преобразовании оптического сигнала в электрический у отдельно взятого элемента (пиксела) или группы пикселов ОЭД, что существенно снижает уровень адаптации СТЗ, построенной с использованием ПЗС. Кроме этого, в большинстве случаев ПЗС характеризуются меньшим быстродействием (частотой формирования кадров изображения) по сравнению с ОЭД на базе КМДП приемников изображения (ПИ).

В КМДП ПИ по сравнению с приборами с зарядовой связью (ПЗС) существует несколько дополнительных источников шумов. К тепловому, дробовому и токовому шумам добавляются шумы транзистора сброса пиксела, транзистора-повторителя тока и транзисторов доступа. Данные шумы принято относить к так называемым временным шумам ОЭД. Кроме этого, существуют еще так называемые пространственные шумы – геометрический и шум фиксированной разводки. Источником шума фиксированной разводки в КМОП ПИ является не только выходная усилительная схема, как в ПЗС ПИ, но и столбцовые и внутрипиксельные усилители.

Таким образом, на сегодняшний момент времени нельзя в общем случае однозначно выбрать какой из типов ОЭД лучше. Выбор типа ОЭД должен определяться задачей СТЗ и может зависеть от множества условий и параметров. Тем не менее очевидно, что перcпективным ОЭД является ОЭД на базе КМОП приемников изображения. Данный факт подтверждается уже сейчас – в современных профессиональных цифровых фотоаппаратах и цифровых видеокамерах в большинстве случаев лидеры рынка – Сanon, Nikon, Sony – применяют КМОП приемники изображения. 3.5 Оптико-электронное устройство для бесконтактного управления автоматизированными подсистемами автомобиля

Структурно-функциональная организация оптико-электронного устройства бесконтактного управления представлена на рис. 3.6. Устройство содержит группу отдельных модулей [102], выполняющих операции, согласно разработанным алгоритмам. Все модули, за исключением ОЭД, точечного источника света (ТИС) и инерциального датчика, ориентированы на реализацию в ПЛИС. Аналого-цифровые преобразователи, интегрированы в ОЭД.

Структурно-функциональная организация оптико-электронного устройства бесконтактного управления Устройство состоит из: - трех оптико-электронных датчиков; - трех точечных источников света; - инерциального датчика; - аппаратного вычислительного модуля, реализованного на ПЛИС. Аппаратный модуль, реализованный на плис, в свою очередь, в соем составе имеет следующие модули: три модуля ввода изображения; модуль адаптивной фильтрации; три модуля поиска объектов типа «лицо», «глаз»; модуль вычисления трехмерных координат объектов; три модуля поиска зрачка и бликов; три модуля уточнения пространственных координат глаз; три модуля вычисления векторов взгляда в пространстве; ОЗУ; модуль приведения систем координат; модуль весового усреднения векторов взгляда; модуль вычисления координат точки фокусировки взгляда в пространстве; модуль временной адаптивной фильтрации; модуль управления внешними устройствами; модуль управления подсветкой; модуль обработки инерциальных данных; управляющий контроллер;

Структурная организация модуля поиска объектов «Лицо», «Глаз» Новизной предлагаемого устройства является введение модулей поиска объектов «лицо», «глаз», инерциального датчика и блока обработки инерциальных данных, позволяющих как обнаруживать объекты, так и отслеживать, прогнозировать положения объектов при их перемещениях, что существенно ускоряет их обнаружение при обработке непрерывного потока кадров, модулей уточнения трехмерных координат глаз [103], позволяющих существенно повысить точность вычисления пространственных координат глаз в условиях сложной светотеневой обстановки, модуля временной фильтрации, производящий фильтрацию с предсказанием, что позволяет существенно снизить влияние ошибочных результатов, вызванных быстрыми случайными перемещениями лица и глаз в пространстве, что в итоге позволяет существенно повысить точность вычисления координат точки фокусировки взгляда в пространстве. В процессе синтеза устройства на ПЛИС был проведен анализ быстродействия и ресурсоемкости отдельных блоков, в результате чего удалось добиться равномерной, близкой к максимальной загрузке блоков решением задач, при этом оптимизировав затраченные ресурсы ПЛИС.

Устройство функционирует следующим образом. Потоковые данные кадров от трех ОЭД одновременно поступают на соответствующие модули ввода изображения, в которых производится формирование изображений во внутреннем ОЗУ модуля для последующей обработки [104], одновременно с этим модуль управления подсветкой активизирует внешние точечные источники света (ТИС), далее модуль фильтрации производят обработку изображений специализированными адаптивными фильтрами и передает в модули поиска объектов «лицо», «глаз», в эти же модули управляющий контроллер передает данные, полученные от модуля обработки инерциальных данных о предполагаемом перемещении головы, к которому в свою очередь подключен внешний инерциальный датчик, далее данные обнаруженных объектов передаются в модуль вычисления трехмерных координат объектов, который выбирает объекты типа «глаз» и производит соответствующие вычисления и передает результаты в модули поиска зрачков и бликов [105]. Затем значения трехмерных координат глаз в пространстве и координаты зрачков и бликов левого и правого глаза на изображении поступают в модули уточнения трехмерных координат глаза, в результате чего в модули вычисления векторов взгляда поступают уже уточненные координаты глаза совместно с координатами зрачков и бликов, результатом работы которых являются три пары векторов для левого и правого глаза соответственно в системах координат, привязанных к положениям соответствующих ОЭД. Эти векторы через шину данных записываются в ОЗУ и становятся доступными для других модулей на шине данных. Модуль приведения СК (системы координат) производит преобразование систем координат отдельных ОЭД в единую СК, на основе запрограммированных данных о положениях ОЭД и обновляет данные в ОЗУ. Далее модуль весового усреднения, основываясь на информации о взаимном расположении глаз и каждого ОЭД вычисляет весовые коэффициенты векторов взгляда и производит их взвешенное усреднение. Модуль вычисления трехмерных координат точки фокусировки производит оценку пересечения векторами областей интереса и, в случае положительного результата, вычисляет точку «пересечения» векторов в пространстве. В случае достоверного обнаружения, результат также записывается в ОЗУ и передается в модуль временной фильтрации, производящий фильтрацию ложных выбросов, и далее в модуль управления внешними устройствами, формирующий управляющие сигналы внешним устройствам. Задачи синхронизации, контроля и управления через шину управления обеспечивает управляющий контроллер, выполненный на базе специализированного микропроцессорного ядра, оптимизированного для реализации на ПЛИС.

Методика проведения экспериментальных исследований

Новизной предлагаемого устройства является введение модулей поиска объектов «лицо», «глаз», инерциального датчика и блока обработки инерциальных данных, позволяющих как обнаруживать объекты, так и отслеживать, прогнозировать положения объектов при их перемещениях, что существенно ускоряет их обнаружение при обработке непрерывного потока кадров, модулей уточнения трехмерных координат глаз [103], позволяющих существенно повысить точность вычисления пространственных координат глаз в условиях сложной светотеневой обстановки, модуля временной фильтрации, производящий фильтрацию с предсказанием, что позволяет существенно снизить влияние ошибочных результатов, вызванных быстрыми случайными перемещениями лица и глаз в пространстве, что в итоге позволяет существенно повысить точность вычисления координат точки фокусировки взгляда в пространстве. В процессе синтеза устройства на ПЛИС был проведен анализ быстродействия и ресурсоемкости отдельных блоков, в результате чего удалось добиться равномерной, близкой к максимальной загрузке блоков решением задач, при этом оптимизировав затраченные ресурсы ПЛИС.

Устройство функционирует следующим образом. Потоковые данные кадров от трех ОЭД одновременно поступают на соответствующие модули ввода изображения, в которых производится формирование изображений во внутреннем ОЗУ модуля для последующей обработки [104], одновременно с этим модуль управления подсветкой активизирует внешние точечные источники света (ТИС), далее модуль фильтрации производят обработку изображений специализированными адаптивными фильтрами и передает в модули поиска объектов «лицо», «глаз», в эти же модули управляющий контроллер передает данные, полученные от модуля обработки инерциальных данных о предполагаемом перемещении головы, к которому в свою очередь подключен внешний инерциальный датчик, далее данные обнаруженных объектов передаются в модуль вычисления трехмерных координат объектов, который выбирает объекты типа «глаз» и производит соответствующие вычисления и передает результаты в модули поиска зрачков и бликов [105]. Затем значения трехмерных координат глаз в пространстве и координаты зрачков и бликов левого и правого глаза на изображении поступают в модули уточнения трехмерных координат глаза, в результате чего в модули вычисления векторов взгляда поступают уже уточненные координаты глаза совместно с координатами зрачков и бликов, результатом работы которых являются три пары векторов для левого и правого глаза соответственно в системах координат, привязанных к положениям соответствующих ОЭД. Эти векторы через шину данных записываются в ОЗУ и становятся доступными для других модулей на шине данных. Модуль приведения СК (системы координат) производит преобразование систем координат отдельных ОЭД в единую СК, на основе запрограммированных данных о положениях ОЭД и обновляет данные в ОЗУ. Далее модуль весового усреднения, основываясь на информации о взаимном расположении глаз и каждого ОЭД вычисляет весовые коэффициенты векторов взгляда и производит их взвешенное усреднение. Модуль вычисления трехмерных координат точки фокусировки производит оценку пересечения векторами областей интереса и, в случае положительного результата, вычисляет точку «пересечения» векторов в пространстве. В случае достоверного обнаружения, результат также записывается в ОЗУ и передается в модуль временной фильтрации, производящий фильтрацию ложных выбросов, и далее в модуль управления внешними устройствами, формирующий управляющие сигналы внешним устройствам. Задачи синхронизации, контроля и управления через шину управления обеспечивает управляющий контроллер, выполненный на базе специализированного микропроцессорного ядра, оптимизированного для реализации на ПЛИС.

Анализ быстродействия устройства для бесконтактного управления автоматизированными подсистемами автомобиля

Для определения быстродействия устройства используется анализ временных характеристик. Время выполнения операций измерют в тактах рабочего времени устройства выполнения. Оценку временных затрат производят в условия с известными калибровочными коэффициентами, т.к. такой режим работы устройства предполагается основным.

Для определения характеристик устройства формирования панорамных изображений применяется анализ временных зависимостей. Длительность операций измеряют в условных единицах, полученных на основе экспериментов. Оценку быстродействия проводят в режиме известного коэффициента радиальной дисторсии, т.к. данный режим предполагается