Содержание к диссертации
Введение
1 Анализ методов и систем технического зрения обеспечения безопасности дорожного движения наземных подвижных объектов 10
2 Математическая модель системы технического зрения наземных подвижных объектов
2.1 Математическая модель ввода изображения 28
2.2 Математическая модель выделения контуров объектов
2.3 Математическая модель адаптации системы технического зрения наземного подвижного объекта к изменяющимся погодным условиям 32
2.4 Математическая модель компенсации размытости изображения и обнаружения движущихся объектов 37
2.5 Математическая модель определения пространственных координат объектов системой технического зрения наземного подвижного объекта 41
2.6 Математическая модель обнаружения препятствия перед наземным подвижным объектом 44
2.7 Математическая модель идентификации объекта на различных кадрах изображения 47
2.8 Математическая модель обнаружения глаз водителя и определения их состояния 50
2.9 Обобщенный алгоритм функционирования системы технического зрения наземного подвижного объекта 51
3 Алгоритмы обработки изображения и синтез системы технического зрения наземного подвижного объекта 54
3.1 Калибровка системы технического зрения наземного подвижного объекта 54
3.1.1 Калибровка фокусных расстояний системы технического зрения наземного подвижного объекта 56
3.1.2 Коррекция оптических искажений оптико-электронного датчика 62
3.1.3 Калибровка положения оптико-электронных датчиков системы технического зрения наземного подвижного объекта 66
3.1.4 Алгоритм калибровки системы технического зрения наземного подвижного объекта 3.2 Метод и аппаратно-ориентированный алгоритм компенсации размытости изображения и обнаружения движущихся объектов 82
3.3 Метод адаптации системы технического зрения наземных подвижных объектов 3.4 Аппаратно-ориентированный алгоритм обнаружения глаз водителя 88
3.5 Анализ точности обнаружения и определения координат объектов системой технического зрения наземного подвижного объекта 90
3.5.1 Точность калибровки фокусных расстояний 90
3.5.2 Точность калибровки угловых отклонений оптико-электронных датчиков системы технического зрения наземного подвижного объекта 93
3.5.3 Точность коррекции радиальной дисторсии оптической системы оптико-электронного датчика 94
3.5.4 Оценка погрешности измерения пространственных координат объекгов 95
3.6 Синтез структуры адаптивной многофункциональной системы технического зрения наземного подвижного объекта 98
3.6.1 Модуль компенсации размытости изображения и обнаружения объектов 98
3.6.2 Модуль определения состояния водителя по изображению глаз 100
3.6.3 Устройство ввода изображения в систему технического зрения наземного подвижного объекта 104
3.6.4 Структурно-функциональная организация системы технического зрения наземного подвижного объекта 106
3.7 Инженерная методика выбора параметров системы технического зрения наземного подвижного объекта 107
Выводы 108
4 Экспериментальные исследования адаптивной многофункциональной системы технического зрения наземного подвижного объекта 109
4.1 Аппаратно-программный стенд для проведения испытаний 109
4.2 Методика проведения испытаний адаптивной многофункциональной системы технического зрения наземного подвижного объекта 111
Заключение
- Математическая модель адаптации системы технического зрения наземного подвижного объекта к изменяющимся погодным условиям
- Калибровка фокусных расстояний системы технического зрения наземного подвижного объекта
- Анализ точности обнаружения и определения координат объектов системой технического зрения наземного подвижного объекта
- Структурно-функциональная организация системы технического зрения наземного подвижного объекта
Введение к работе
Актуальность темы. Одной из актуальных задач в условиях постоянного роста количества наземных подвижных объектов (НПО), в частности автомобилей, является развитие вычислительной техники и средств обработки изображений в составе систем технического зрения. В условиях постоянного увеличения плотности автомобилей особую актуальность приобретает создание автоматических средств достоверной оценки расстояния между автомобилем и препятствием в процессе движения или парковки.
Серийно выпускаемые технические средства обеспечивают частичное решение указанной задачи или характеризуются ограниченными функциональными возможностями. Так, известны ультразвуковые радары и системы предупреждения столкновений, применяемые для оценки расстояния до препятствия при парковке, недостатками которых является возможность обнаружения только объемных препятствий, низкая селективность. Известны также системы технического зрения для предупреждения столкновений, характеризуемые возможностью работы только в условиях хорошей освещенности и не обеспечивающие своевременное обнаружение встречного подвижного объекта при высокой скорости движения.
Другим важным фактором в условиях большой плотности дорожного потока существенную роль приобретают технические средства оценки состояния водителя. Вместе с тем анализ зарубежных систем распознавания состояния водителя выявляет избыточную вычислительную сложность алгоритмов, затрудняющую использование стандартных вычислительных средств для построения таких систем.
Таким образом, объективно имеет место противоречие между необходимостью повышения безопасности дорожного движения путем снижения рисков, связанных с действиями водителя, а также рисков, обусловленных внешними факторами, и ограниченными функциональными возможностями существующих средств соответствующего назначения вследствие их узкой специализации.
В этой связи актуальной научно-технической задачей является повышение точности и дальности обнаружения препятствий на пути движения наземного подвижного объекта и оценка состояния глаз водителя на основе разработки многофункциональной системы технического зрения подвижного объекта, обеспечивающей повышение безопасности участников дорожного движения.
Диссертационная работа выполнена в рамках фундаментальных исследований с госбюджетным финансированием, которые велись и ведутся в Курском государственном техническом университете (госбюджетная НИР: 11.1.05 «Исследование теоретических основ, методов и алгоритмов повышения качества обработки изображений в системе технического зрения» (№ гос. регистрации 01200508819, 2005 г.).
Целью работы является разработка адаптивной многофункциональной системы технического зрения, повышающей безопасность дорожного движения за счет анализа ситуации на дороге и состояния водителя.
В соответствии с указанной целью в работе решаются следующие основные задачи:
1) анализ существующих методов и алгоритмов обработки изображений в современных СТЗ НПО;
2) разработка математической модели многофункциональной СТЗ НПО с учетом изменения характеристик внешних условий (освещенность, визуальные помехи) и параметров движения объекта;
3) разработка методов адаптации и обнаружения движущихся объектов многофункциональной СТЗ подвижного объекта, с учетом изменения освещенности и компенсации размытости изображения, а также аппаратно-ориентированного алгоритма оценки состояния глаз водителя;
4) разработка структурно-функциональной организации многофункциональной адаптивной СТЗ подвижного объекта;
5) экспериментальная оценка качества функционирования СТЗ по реальным изображениям и путем имитационного моделирования.
Методы исследования. Для решения поставленных в работе задач используются теория распознавания образов, теория проектирования устройств ЭВМ, теория нечеткой логики, методы обработки и анализа дискретных изображений.
Новыми научными результатами и положениями, выносимыми на защиту, являются:
-
математическая модель многофункциональной СТЗ подвижного объекта, особенностью которой является комплексный учет влияния внешней среды, параметров движения объектов и признака состояния водителя, позволившая синтезировать структурно-функциональную организацию СТЗ;
2) метод адаптации СТЗ, особенностью которого является использование логико-лингвистического описания характеристик внешней среды, позволяющий учесть влияние визуальных помех;
3) метод и аппаратно-ориентированный алгоритм обнаружения движущихся объектов, особенностью которых является компенсация размытости изображения, обусловленной движением объектов, обеспечивающие повышение точности определения его трехмерных координат;
4) аппаратно-ориентированный алгоритм оценки состояния водителя по признаку «открытые/закрытые» глаза, особенностью которых является обработка изображений лица водителя в различных спектральных диапазонах излучения, позволяющие обнаружить закрытие глаз водителем;
5) структурно-функциональная организация СТЗ подвижного объекта, особенностью которой является разработка и введение специализированных вычислительных устройств и связей с другими элементами системы, обеспечивающая требуемую точность обнаружения препятствий на пути движения объекта и оценка состояния водителя.
Объект исследований – автоматические средства повышения точности функционирования СТЗ НПО.
Предмет исследований – процессы обработки изображений СТЗ подвижных объектов.
Практическая ценность работы состоит в следующем:
– разработан метод компенсации эффекта размытия изображения и предложена его схемотехническая реализация при движении объектов, отличающийся возможностью его исполнения на ПЛИС и создания однокристальных средств повышения точности изображений;
– разработана адаптивная многофункциональная система технического зрения, повышающая безопасность дорожного движения посредством одновременного анализа нескольких факторов риска.
Основные результаты, полученные в теоретической части диссертации, доведены до уровня инженерных формул, алгоритмов и методик, что позволяет их использовать при проектировании систем технического зрения различного назначения.
Апробация работы. Основные положения диссертационной работы докладывались и получили положительную оценку на международных и российских конференциях, семинарах, симпозиумах: 7-ой, 8-ой Международных конференциях «Распознавание», Курск, 2005, 2008; 4-th International Conference «Information and Telecommunication Technologies in Intelligent Systems», Katania, Italy, 2006; Всероссийской научно-технической конференции «Интеллектуальные и информационные системы», Тула, 2007; Международном симпозиуме «Новые информационные технологии и менеджмент качества», Турция, 2008; на научно-технических семинарах кафедры «Вычислительная техника» Курского государственного технического университета с 2005 по 2008 гг.
Результаты работы внедрены в ОАО «Счетмаш» г. Курска и используются в учебном процессе Курского государственного технического университета.
Публикации. Результаты проведенных исследований и разработок опубликованы в 9 печатных работах, в том числе 3 статьи в журналах, рекомендованных перечнем ВАК. Получено свидетельство на регистрацию программы для ЭВМ.
В работах, опубликованных в соавторстве, лично соискателем разработаны: в [1] – метод обнаружения глаз на изображении лица; в [2] – метод устранения шумов на изображении; в [3, 4] – алгоритм выделения контуров на изображении; в [5, 6, 7] – математические модели ввода изображения рабочей сцены, адаптации к изменению освещенности; в [8, 9] – методика проведения диагностики бортового компьютера наземного подвижного объекта.
Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, включающего наименований, изложена на страницах и поясняется рисунками и таблицами.
Математическая модель адаптации системы технического зрения наземного подвижного объекта к изменяющимся погодным условиям
Для звуковой сигнализации и осветительных сигнальных ламп предусмотрены электронно-лучевой блок, фотоэлектронный умножитель, блок распознавания, шаговый искатель и блок электронного переключения. В памяти блока распознавания на каждой пластине шагового искателя расположен эталон дорожного знака или линии дорожной разметки, или формы и цвета светофильтра. При помощи электрических цепей зажигания автомобиля, указателей поворотов и электронных переключателей шаговый искатель соединяется со звуковой сигнализацией и сигнальными лампами светового табло. Изобретение повышает эффективность контроля соблюдения водителем правил дорожного движения.
Недостаток изобретения аналогичен предыдущему. Автор не предлагает конкретных технических решений, а лишь описывает их как «черные ящики». На практике реализация предложенного устройства будет фактически заключаться в создании достаточно сложной интеллектуальной системы, требующей знания разработчиков в различных областях наук. Кроме того, подобная система является крайне ресурсоемкой с вычислительной точки зрения, что приводит к ее высокой стоимости или же при реализации на недорогой элементной базе - низкому быстродействию.
Способ предотвращения столкновений автомобиля и устройство для его осуществления представлены также в [19]. Способ за ключается в том, что принимают, фильтруют и преобразовывают оптическое излучение отдельно от п участков, расположенных один за другим в опасной зоне, причем по разности сигналов от соседних участков судят о наличии на них препятствий. Устройство содержит оптико-электронный преобразователь, включающий оптический элемент, оптический фильтр и чувствительные элементы, добавочные сопротивления, дифференциальные усилители, коммутатор, блок определения опасного расстояния и генератор сигналов тревоги.
Инженеры японской компании Nissan Motor разработали автомобильную систему «Biomimetic car robot drive» [20], которая должна помочь водителям избегать столкновений на дорогах. Корнями она уходит в разработку Университета Токио, где также велись разработки перспективных систем автомобильной безопасности. В Nissan рассказывают, что инновационная система будет поставляться со всеми моделями автомобилей компании уже до 2015 года. Инженеры начали изучать пчел в качестве природного аналога из-за того, что эти насекомые способны довольно быстро летать, однако они никогда не сталкиваются ни с одним из предметов на своем пути. В итоге было заключено, что пчелы, опираясь на свою сложную систему зрения, создают на 300 градусов вокруг себя некую буферную зону, опираясь на которую они поддерживают траекторию полета, и в том случае, если какой-то объект попадает в эту зону, насекомое уходит в наиболее безопасное положение. В случае с роботизированной системой использовать угол обзора в 300 градусов нет нужды, достаточно и 180 градусов для обнаружения потенциальных препятствий. В Nissan сообщают, что система также виртуально создает буферную зону около автомобиля, когда какой-то объект в нее попадает, то бортовой компьютер мгновенно оценивает дистанцию и опасность, а потом в течение долей секунды пытается отклонить автомобиль от опасного столкновения.
С технической точки зрения, виртуальная буферная зона, создаваемая вокруг авто, состоит из 6 зон опасности, самая дальняя информирует водителя об опасности, а ближайшая просто пытается минимизировать ущерб внутри салона, когда авария уже неизбежна. Однако у системы есть и ограничения. Она не работает со слишком низкими (бордюры, тротуары) или со слишком высокими (крыши, навесы) объектами. Кроме того, в случае резкого поворота автомобиля система на несколько секунд блокируется, и наконец последнее ограничение - это скорость движения, если автомобиль движется быстрее установленного лимита, то система откшочается.
Отдельно следует рассмотреть систему предупреждения столкновений, разработанную отечественными организациями ГосНИИАС и «Модуль». Система распознавания дорожной разметки должна устанавливаться на машину и выполнять функции базового элемента системы помощи водителю. В круг задач системы так называемого круиз-контроля будут входить задачи мониторинга дистанции между данной машиной и другими машинами в потоке (впереди, сзади и сбоку) и информирование водителя об опасности столкновения. Особого внимания по праву заслуживают технология и действующий прототип системы предотвращения дорожно-транспортных происшествий [21]. В основу этой перспективной системы (рис. 1.1) заложен бинокулярный видеодатчик. Он расположен на транспортном средстве и решает в режиме реального времени следующие задачи: стереомопиторинг дорожного полотна с целью обнаружения статических препятствий, стереомопиторинг разметки и окружающих транспортных средств.
Следует отметить, что демонстрировавшийся на международных выставках макетный образец данной системы получил высокие оценки специалистов, разрабатывающих интеллектуальные транспортные системы будущего. Более того, согласно имеющейся информации, ряд автомобильных гигантов выразил готовность приступить к тестированию пилотных образцов такой системы.
Однако и эта система не лишена недостатков, снижающих безопасность дорожного движения. Так система обеспечивает анализ дороги только в пределах текущей полосы движения, не способна обнаруживаться препятствие сзади, не способна рассчитывать траекторию движения НПО, приближающегося сбоку.
Калибровка фокусных расстояний системы технического зрения наземного подвижного объекта
При изменении контраста производится обработка небольших участков изображения «скользящим окном». При этом «окно», в котором изменяется контраст, определяется координатами верхнего левого и нижнего правого углов «окна» - (хІН,уі,і) и (хік,уік), соответственно, но коэффициенты а и Ъ определяются по изображению в «окне» с начальными и конечными координатами (хн,у„) и (хк,ук), соответственно, что позволяет избежать резких перепадов яркости на границах «окон». Координаты {хІН,уі„), (х{к,уік), (хн,у„), (хк,ук) удовлетворяют условию: х, л; In и У, У " . (2.24) Уы Ук В зависимости от параметров изображения 1этах выбирается в диапазоне [l,07max;l,5-/max], а 1эпйп - в диапазоне [-0,57mflX;0] [32,33,34].
Результатом яркостной нормализации изображения является изображение li(x,y), подготовленное для дальнейшей обработки. Математическая модель яркостной нормализации изображения, полученная в соответствии с выражениями (2.15), (2.22), (2.23), записывается в виде Мн(1(х,у)) = Щярк {1кор(1{х,у)))) \х - у -, (2.25) М„а(х,у)) = /И( )х_ _.
Вследствие того, что обнаружение объектов производится на основе анализа контуров изображения, наличие в воздухе между видеокамерами и анализируемым объектом мелких частиц, таких как капли дождя, снег, пыль будет в первую очередь влиять на точность выделения контуров. В этой связи разработана математическая модель восстановления контуров изображения, обеспечивающая адаптацию СТЗ НПО к изменяющимся погодным условиям. Восстановление контуров объектов производится путем сопоставления контуров на разных кадрах изображения и коррекции множества точек, составляющих контур (рис. 2.1а), а также удаления «двойных» контуров (рис. 2.16), образовавшихся в результате выделения контуров методом Лапласа [39].
На рисунке 2.1 показаны точки контуров на разных кадрах изображения (цифры обозначают точки контура на первом и втором кадре) и восстановленные точки контура (показаны символом «#»).
Для коррекции множеств точек, составляющих контура, введена ЛП «точка кон іура» с функцией принадлежности /л12, определяющей принадлежность анализируемой точки изображения контуру или фону (2.32) №=v//w v \л 1ЭКСТРк ,, Мв к={1+{0,5- ф1к -Х/1кУ+(Уп -Уну - 0,5)У, Мжстрк = (1+0,5- ( (хэк хНкУ+(уэк-утУ - 0,5// , где q - количество используемых для восстановления контура кадров изображений, к - номера кадра, /лВк — функция принадлежности, определяющая степень принадлежности анализируемой точки с координатами (хнк, уик) контуру по се удалению от ближайшей точки с координатами (xik, yik) анализируемого контура, /Лжстрк - функция принадлежности, определяющая степень принадлежности анализируемой точки с координатами (х„к, у„к) контуру по ее удалению от экстраполируемой точки контура с координатами (хэк, уэк). После определения с помощью функции принадлежности jU/2 новых точек строится аппроксимирующая кривая, и в множестве точек, входящих в контур, остаются точки, которые принадлежат аппроксимирующей кривой (рис. 2.1а, пикселы серого цвета). Для каждого кадра изображения производится коррекция контура путем расчета координат точек контура (х, j/,) ХІ= 0,5-0 +х12,), УІ= 0,5 (у рі+У]2і), (2.33) где Хрі - абсцисса точки контура на исходном изображении, хщ - абсцисса точки восстановленного контура, урі - ордината точки контура на исходном изображении, упі - ордината точки восстановленного контура.
«Двойные» контура, определяемые по наличию двух идентичных контуров на расстоянии трех пикселей друг от друга, корректируются путем построения двух аппроксимирующих кривых (рис. 2.16) и расчета координат (xh у,) точек откорректированного контура как среднего значения между значениями координат соответствующих точек двух аппроксимирующих кривых xi = 0,5-(x,_l + ,_2), Уі = 0,5-(у +у„2), (2.34) где х 1, у-, 1 - абсцисса и ордината точки первой кривой, х,_2 УІ 2 - абсцисса и ордината точки второй кривой. Математическая модель МВост восстановления контуров К К= МВОсст(Мв) (2.35) повышает точность дифференциальных методов выделения контуров применительно к нескольким кадрам стереоизображения путем сопоставления контуров на разных кадрах и коррекции множеств точек, составляющих контура.
Таким образом, математические модели, определяемые выражениями (2.25), (2.35) позволяют выполнить адаптацию СТЗ НПО к различным погодным условиям.
При движении НПО вследствие конечного времени получения кадра изображения возникает «смаз» изображения, обусловленный как движением НПО, на котором установлена СТЗ, так и движением встречных ему транспортных средств.
Математическая модель компенсации размытости изображения позволяет адаптивно изменить выходные значения яркости изображения текущего кадра в зависимости от входных значений яркости пикселей текущего и предыдущего кадров и повысить точность определения параметров объектов. Математическая модель также позволяет обнаружить на изображении движущиеся объекты, измерить их двумерные координаты. Пусть Y() И Y(&-l) - матрицы размера их/ яркостей изображения текущего и предыдущего кадра соответственно, Y(k) = Yjc", Y(A;-l) = Y "1. Направление перемещения каждого пикселя относительно текущего к-го кадра определяется по принципу межкадрового вычитания. Расчет производится для окрестности каждого пикселя (рис. 2.2).
Анализ точности обнаружения и определения координат объектов системой технического зрения наземного подвижного объекта
В связи с тем, что калибровка производится по изображению рабочей сцены с неизвестными параметрами объектов, расположенными в поле зрения ОЭД, необходим автоматический выбор калибровочного объекта, проводимый в условиях априорной неопределенности параметров изображения рабочей сцены. В указанных условиях наиболее целесообразно проводить выбор калибровочного объекта на основе математического аппарата нечеткой логики, специально предназначенной для решения задач в условиях, когда параметры обстановки оказываются неопределенными, и когда они, в то же время, влияют на результаты решения [51].
Для выбора калибровочного контура, который должен быть четким, достаточно длинным, располагаться в центре кадра и неизменным во времени, введена лингвистическая переменная (ЛП) «калибровочный контур», характеризующая контуры объектов рабочей сцены. Выбор калибровочного контура производится на основе расчета значений функций принадлежности //у контуров, находящихся в кадре, и выбора контура с максимальным /л/ /ю значением функции принадлежности (ФП) /jf, равной М/ко = тах (///(К)), (3.5) jUf (К) = jUgAjUp AjUc A jUh где jUg— ФП терма «четкий», jup— ФП терма «длинный периметр», /лс - ФП терма «центр кадра», /и, - ФП терма «неизменный». ФП jUg терма «четкий контур» определяется на основе расчета первой производной изображения: /h=(l+(a b-g)f)-1, (3.6) где a=2, 6=1, c=5, g — среднее значение перепадов яркости по всем точкам контура: 2 = XG(W,), (3-7) /VW =1 Nki - количество составляющих контур точек. ФП /лр терма «длинный периметр» позволяет селектировать контуры по длине периметра Мр=(1+(а-(Ь Р))7!, (3.8) где Р - периметр контура в пикселах, а — 0,03, Ъ - 100, с — 3. ФП /лс терма «центр кадра» позволяет выбрать объекты, расположенные близко к центру кадра Мс= (1+(0.5-(5- )еХ!, (3.9) где dc - удаление центра контура от центра кадра в долях кадра, а=0,5, Ь=5, с=4. Функция принадлежности jut терма «неизменный» позволяет отделить контуры неподвижных объектов от контуров, изменяющихся во времени объектов щ=(1+ (а{АК-Ъ))су\ при а = 0,5; Ъ = 1; с= 2,5, (3.10) где ЛК — количество несовпадающих точек контура через фиксированный промежуток времени.
После выбора контура на изображении с одного из ОЭД осуществляется идентификация этого же контура на изображении другого ОЭД. При этом контур описывается совокупностью внутренних и внешних по отношению к контуру параметров [52].
Для описания контура ЛГ/ определяется множество векторов v{j с /-ой точки ТІ(ХІ,УІ) контура нау -ую точку Tj(xj,yj) этого же контура vy ={dij, ay}, i=L. Nkhy=7.. Nkh Щ, (3.11) где dij - расстояние между точками T, и 7}, ay - направление с /-ой точки контура на/-ую точку. Расстояние d,j с учетом пропорционального увеличения контура d- Р -ХУ+Ь"-УУ N (3 п) UU NU Nkl 1Wkl \- -lZ-J л=І m-l Углом с /-ой точки контура на у -ую точку считается угол между вертикальной осью кадра и направлением нау -ую точку. По теореме косинусов из треугольника ATfTfTj Gtjj — arccos 2-yr-Jyf-(.x,-xj)2 (3.13) Внешние параметры, аналогично внутренним, представляют множество векторов V[, определяемых расстоянием dt и направлением at на Nnr соседних контуров, которые, в свою очередь, также выбираются на основе формулы (3.5) Vi {du a,},l=\,Nnr (3.14) где dh ai определяются по формулам, аналогичным (3.12), (3.13), из треугольника ATfTfTj (рис. 3.2); точки Г/, 7} являются центрами координат калибровочного и соседнего контуров. Значение Nnr выбирается в зависимости от значений ФП jU/ соседних контуров.
Поиск калибровочного контура на втором кадре изображения осуществляется на основе функции принадлежности /лр терма «калибровочный контур 2»:
Млко = гпах(/л/2(К)), (3.15) где jUyd - функция принадлежности терма «внутренняя идентичность», по которой производятся сравнения контуров по расположению составляющих каждый контур точек; /j tdeH — функция принадлежности терма «внешняя идентичность», характеризующая схожесть контуров по взаимному расположению с соседними контурами; /лзр — функция принадлежности «яркостная идентичность», характеризующая идентичность контура по гистограмме распределения частот яркостей пикселов в прямоугольных областях, ограничивающих контур на изображениях. Функция принадлежности /V) Mil = (]+(a-(\dij- dij2\ - b)) ) , при a = 0,5, b = l,c= 2,5, May = (l+(a-(]aij- ccij2\ - b))c) , при a = 0,5, b = 0,1, c= 2,5, где \djj - dij2\ - разность расстояний между точками контура на разных кадрах изображения; \ац - aij2\ - разность величин углов между точками контура на разных кадрах изображения. ФП [лидвт характеризующая идентичносгь контура по множеству векторов внешних параметров, определяется как Nnr Nnr Миден=\ f}xMdl]NAMal (3.17) Mdi = (l+(a-(\di - di2[ - bf) \ при a — 0,5, b = 1, c= 2,5, Mai= (l+(a-(\ai- cci2\ - bf) 1, при a — 0,5, b = 0,1, c— 2,5, где \dj - di2\ - разность расстояний между контурами на разных кадрах изображения;а/- щ2\ - разность величин углов на разных кадрах.
Структурно-функциональная организация системы технического зрения наземного подвижного объекта
Сформированное контурное описание изображения используется для формирования эталона зрачка водителя. Для этого на основе априорной информации об изображении зрачка и глаза (зрачок овальный, на его изображении выделяются две области - радужная оболочка и непосредственно сам зрачок, зрачок имеет цвет, отличный от кожи и глазного яблока, уголки глаз имеют острый угол) контроллер производит распознавание зрачка (блок 7). Сформированный эталон зрачка в дальнейшем используется для быстрого распознавания зрачка вычислителями СТЗ.
Следующей операцией (блок 8) является определение границ области движения зрачка, выполняемое для сокращения объема вычислений при последующем обнаружении зрачка. Сокращение вычислений производится за счет дальнейшего поиска зрачка только в небольшой области изображения.
В блоках 9, 10 алгоритма производится анализ контраста зрачка на изображении и контроллер устанавливает такую мощность инфракрасного освещения, при которой контраст максимальный. Для обеспечения получения изображения с максимальным контрастом и, как следствие, наибольшей точности локализации зрачка, контроллер производит плавное изменение мощности инфракрасного осветителя в заданном диапазоне значений и выбор такой мощности, при которой контраст максимальный. Контраст Кт оценивается по сумме значений двух параметров: отношению К{ максимальной /„, и минимальной /min яркостей пикселей глаза и четкости Kg контура зрачка, обратно пропорциональной количеству разрывов Ndij контурной линии зрачка и прямо пропорциональной значению первой производной G/( изображения контура зрачка по вертикальному и горизонтальному направлению Kr=k,K,+kKKg, k min где k], kg - весовые коэффициенты.
Следующей операцией является операция быстрого распознавания зрачка (блок 11), обеспечивающая возможность отслеживания движений глаз с целью повышения точности определения состояния водителя. Распознавание зрачка производится путем сравнения изображения в области движения зрачка с ранее сформированным эталоном. Распознавание выполняется на основе метода, основной операцией которого является поэлементное вычитание изображения эталона (сформированного в блоке 7) из анализируемого изображения. Распознавание и локализацию зрачка выполняют вычислители, реализованные на программируемой логической интегральной схеме. В процессе распознавания контролер считывает из ОЗУ изображения областей возможных движений каждого зрачка и передает их на вычислители, которые определяют положение зрачков глаз (каждый вычислитель распознает зрачок по изображению только одного глаза) и формируют на своих выходах координаты зрачков, поступающие в контроллер. Контроллер записывает в ОЗУ координаты зрачков и время, в которое зрачки занимали данное положение.
Применение двух различных методов распознавания для обнаружения зрачка позволяет достоверно обнаруживать зрачок любого человека за счет использования общего описания эталона зрачка и глаза, а затем, по сформированному эталону зрачка конкретного человека, зрение которого анализируют, на основе метода, характеризующегося низкой вычислительной сложностью, достоверно обнаруживать его зрачки на основе алгоритмов, характеризующихся низкой вычислительной сложностью и возможностью реализации не в микропроцессорном устройстве, а на логической схеме. На достоверность и скорость распознавания зрачка также влияет использование его изображения в инфракрасном диапазоне, при котором темным является только зрачок, а радужная оболочка и остальная часть глаза - светлыми.
Устройство ввода изображения является неотъемлемой частью любой системы технического зрения или оптико-электронного устройства. Как правило, данные устройства выполняют только одну функцию - ввод изображения в ЭВМ или другое вычислительное устройство.
Предлагаемое устройство (рис. 3.16) обеспечивает не только ввод изображения — преобразование аналогового сигнала, характеризующего распределение яркости рабочей сцены, в цифровую форму, но и коррекцию искажений изображения, вызванных радиальной дисторсией оптической системы ОЭД непосредственно в процессе получения изображения, что позволяет снизить загрузку вычислительного средства оптико-электронного устройства.
Устройство работает следующим образом. В процессе настройки устройства из ЭВМ в контроллер устройства подается коэффициент радиальной дисторсии ki и размеры X, Y обрабатываемых кадров изображения. Контроллер рассчитывает исправленные координаты (х у7) позиции для каждого пиксела изображения с координатами (х, у) и заносит их в ОЗУ таблиц коррекции по адресу А, равному
При вводе изображения в ЭВМ от ОЭД поступает аналоговый сигнал на вход АЦП и управляющие сигналы на вход схемы управления. Схема управления выделяет импульсы начала строки и столбца и подает их на соответствующие счетчики. С выходов счетчиков строки и столбца координаты текущего обрабатываемого пиксела поступают на вход формирователя адреса. Формирователь адреса определяет адрес в ОЗУ с таблицей коррекции, где ранее записаны исправленные координаты текущего пикселя. На выходе ОЗУ таблицы коррекции формируются значения (х у7), которые вторым формирователем адреса преобразуются в адрес А7
