Содержание к диссертации
Введение
ГЛАВА 1 Сравнительный анализ существующих методов распознавания образов 13
1.1 Роль методов распознавания и классификации образов в системах охранного телевидения 13
1.2 Классическая постановка задачи распознавания образов 19
1.3 Анализ методов распознавания образов
1.3.1 Методы, основанные на шаблонах 23
1.3.2 Методы с использованием контурных моделей 25
1.3.3 Нейросетевые методы 28
1.3.4 Метод Виолы-Джонса 31
1.3.5 Метод опорных векторов 34
1.4 Нерешенные задачи для СОТ 36
Выводы по первой главе 40
ГЛАВА 2 Синтез алгоритма локализации и рапознавания номерных знаков транспортных средств на основе метода виолы-джонса и каскада нейронных сетей 41
2.1 Аналитический обзор методов локализации номерных знаков 41
2.2 Постановка задачи локализации НЗ ТС 44
2.3 Модифицированный алгоритм локализации НЗ
2.3.1 Локализация НЗ на основе метода Виолы-Джонса 45
2.3.2 Адаптивна предобработка 47
2.3.3 Модификация алгоритма локализации НЗ ТС добавлением адаптивной предобработки 55
2.3.3.1 Обучение классификатора для локализации номерных знаков 57
2.3.4 Модификация алгоритма локализации НЗ добавлением второго классификатора 57
2.3.5 Результаты эксперимента по локализации НЗ
2.3.6 Анализ результатов моделирования алгоритма локализации НЗ и
выработка рекомендаций 63
2.4 Модифицированный алгоритм оптического распознавания символов НЗ 64
2.4.1 Сегментация символов 64
2.4.2 Использование нейронных сетей в задачах оптического распознавания текста 67
2.4.3 Формирование обучающего множества 72
2.4.4 Сравнение методов распознавания символов 73
2.4.5 Формирование каскадной модели нейронных сетей для распознавания символов НЗ 74
2.4.6 Результаты эксперимента 76
Выводы по второй главе 77
ГЛАВА 3 Синтез алгоритма локализации и рапознавания лиц с применением методов онлайн обучения 78
3.1 Задача детекции лица на изображении 78
3.2 Постановка и решение задачи детекции лица в кадре видеопотока традиционным методом 79
3.3 Недостатки классического алгоритма детекции лиц 82
3.4 Постановка и решение задачи детекции лица в кадре видеопотока с использованием модифицированного алгоритма 3.4.1 Формирование обучающей выборки с учетом условий съемки 85
3.4.2 Способы определения условий съемки 92
3.4.3 Последовательное обучение 98
3.4.4 Синтезированный алгоритм детекции объектов с использованием метода Виолы-Джонса и последовательного обучения S VM 101
3.4.5 Результаты эксперимента 103
3.4.6 Обсуждение результатов моделирования 106
Выводы по третьей главе 107
ГЛАВА 4 Реализация интеллектуальной системы биометрической идентификации и учета рабочего времени 109
4.1 Существующие решения на рынке интеллектуальной видеоаналитики. 109
4.2 Технические требования к системе 111
4.3 Разработка интеллектуальной системы GarmVIS
4.3.1 Выбор средств разработки 115
4.3.2 Архитектура системы GarmVIS
4.3.2.1 Платформа 119
4.3.2.2 Модуль распознавания автомобильных номеров 120
4.3.2.3 Модуль распознавания лиц 120
4.3.2.4 Модуль управления энергосбережением 123
4.3.3 Принципы работы системы GarmVIS 126
4.4 Показатели эффективности разработки 131
4.5 Практическое применение предложенных алгоритмов в других приложениях оптического распознавания образов 133
Выводы по четвертой главе 136
Заключение 138
Список сокращений и условных обозначений 140
Список литературы
- Анализ методов распознавания образов
- Локализация НЗ на основе метода Виолы-Джонса
- Постановка и решение задачи детекции лица в кадре видеопотока традиционным методом
- Модуль управления энергосбережением
Анализ методов распознавания образов
Различные подходы к решению задачи распознавания образов в настоящее время получили дополнительный толчок к дальнейшему развитию решения разнообразных проблем, связанных с проектированием охранных систем. Безопасность может обеспечиваться только сложными интегрированными комплексами мероприятий и технических средств. За счет чего большую роль в интеллектуальных системах охранного телевидения играют методы оптического распознавания и классификации образов. Объектами распознавания в таких системах являются:
Локальная система - система, область действия и применения которой ограничена географически территорией здания, предприятия, организации и т. п. Централизованная система имеет один центр и некоторое количество видеокамер. Децентрализованная система представляет собой совокупность нескольких централизованных систем, объединенных логически в одну структуру, но физически разделенных и способных функционировать независимо [95].
При охране больших территориально-распределенных объектов, мест скопления людей, а также при решении задач предотвращения террористической угрозы, розыска преступников и угнанного автотранспорта чрезвычайно важным становится использование интеллектуальных возможностей современного программного обеспечения систем охранного видеонаблюдения, в том числе функций поддержки принятия решений; оперативного анализа ситуации; распознавания лиц в потоке людей; распознавания регистрационных номеров, моделей и цвета автотранспорта; детекции движения; детекции оставленных предметов; слежения за перемещением предметов; детекции беспорядков в общественных местах и пр.
Все интеллектуальные системы видеонаблюдения используют видеоаналитику - технологию, использующую методы компьютерного зрения для автоматизированного получения различных данных на основании анализа последовательности изображений, поступающих с видеокамер в режиме реального времени или из архивных записей [97]. Видеоаналитика представляет собой программное обеспечение (ПО) для работы с видеоконтентом. В основе программного обеспечения лежит комплекс алгоритмов машинного зрения, позволяющих вести видеомониторинг и производить анализ данных без прямого участия человека. Алгоритмы видеоаналитики могут быть интегрированы в различные бизнес-системы, так как они чаще всего используются в видеонаблюдении и других сферах безопасности.
Все четыре функции выполняются многократно, обеспечивая непрерывное уточнение гипотез о количестве, местоположении и типах объектов в контролируемой зоне, а также устранение избыточности в результатах. Периметральная видеоаналитика выполняет все четыре функции: обнаружение, слежение (для исключения повторных срабатываний по одному объекту), распознавание (для минимизации ложных срабатываний, вызываемых животными и другим «шумом» окружающего мира) и прогнозирование (для слежения при временном пропадании объекта из поля). Под распознаванием можно понимать широкий спектр задач: от классификации объекта на цель/шум, до идентификации или верификации объекта по биометрическим признакам.
Технология распознавания лиц на основе биометрии является «вершиной» видеоаналитики: она ставит наиболее сложные задачи и задействует широкий спектр математических инструментов. С одной стороны, биометрическая система реализует функцию распознавания, устанавливая вероятностную связь изображения с идентификаторами людей, зарегистрированных в базе данных. С другой стороны, биометрическая система требует безукоризненной работы функций обнаружения и слежения [97]. Примеры успешно решаемых задач с помощью функций видеоаналитики: 1. Распознавание с целью подсчёта людей и транспорта. 2. Распознавание номеров (на транспорте, на денежных купюрах, документах и т.п.). 3. Детектирование событий (перемещения, движения, пересечение допустимых линий и границ, нахождение в зонах, перебрасывание предметов через ограждение и т.п.). 4. Обнаружение опасных ситуаций (скопления людей, оставленные предметы, возгорания и задымления и т.п.). 5. Распознавание человеческих лиц и поиск их в базах данных.
Одним из наиболее частых требований к системам видео наблюдения является возможность узнать человека, определить нарушителя или, например, группу людей, совершающих противоправные действия. Вторым по значимости требованием является возможность распознавать автомобильные номера.
Основными потребителями данных систем являются банки, культурные учреждения, муниципальные объекты, склады, стратегические объекты, промышленные объекты и другие объекты, работающие с использованием пропускной системы, организации, использующие системы охранного телевидения, предприятия с повышенным уровнем безопасности.
Локализация НЗ на основе метода Виолы-Джонса
Адаптивная предобработка включает следующие этапы: 1) использование программного детектора для локализации ТС (в случае получения не отдельных кадров, а видеопоследовательности); 2) коррекция изображения на основе ограничения экстремальных значений яркости и видоизменение распределения гистограмм яркости по каждому из цветовых каналов, использующая информацию об освещенности сцены; 3) устранение эффекта смазывания и повышение контраста изображения; 4) бинаризация изображения и анализ «зашумленности». Обнаружение границ с использованием оператора Собеля [77]. Выбор порога осуществляется на основе яркостной гистограммы и отношения уровня освещения к зашумленности сцены.
На этапе поиска областей интереса выполняется проход по изображению сканирующим окном, в результате которого происходит выделение НЗ ТС и дальнейшая передача его системе распознавания символов. Кроме того, на данном этапе происходит сохранение информации о размерах найденных НЗ.
Таким образом, новизна предлагаемого подхода состоит в использовании блока адаптивной предобработки с учетом параметров ранее найденных НЗ, что позволяет уменьшить количество проходов сканирующего окна, повышая тем самым скорость работы алгоритма. 2.3.3.1 Обучение классификатора для локализации номерных знаков
Для обучения классификатора необходимы положительные и негативные образы. Положительные образы - изображения НЗ, извлеченные с кадров, снятых камерой наблюдения (Рисунок 2.8), а негативные - различные изображения, не содержащие НЗ и их частей. При обучении использовалось 5000 положительных и 4000 отрицательных образов, нормированных к формату 79 17 пикселей, что соответствует пропорциям НЗ.
При тестировании обученного классификатора использовались понятия ошибки первого и второго рода, которые замерялись по отдельности. За основный класс нами была принята правильная локализация НЗ, то есть наличие НЗ в сканирующем окне, за вторичный класс было принято отсутствие НЗ в сканирующем окне. Ошибка первого рода равна вероятности принять основной класс за вторичный, а ошибка второго рода равна вероятности принять вторичный класс за основной.
Модифицированный алгоритм локализации НЗ ТС с использованием адаптивной предобработки и признаков Хаара показал высокий процент локализаций и скорость работы, но был обнаружен высокий процент ошибок второго рода (Рисунок 2.9), когда НЗ обнаруживался там, где он отсутствует (табл. 2.2).
Для решения данной проблемы была предложена следующая модификация алгоритма локализации НЗ с использованием двухпроходного алгоритма классификации для корректировки результата (Рисунок 2.10). В данном случае второй проход осуществляется классификатором, обученным на новых положительных образах (Рисунок 2.11), представляющих собой символы, используемые в НЗ и регламентированные ГОСТ 3489.2-71. Все области, найденные первым классификатором, передаются на анализ второму классификатору. В случае, если в сканируемой области вторым классификатором были найдены 5 и более образов-символов, расположенных горизонтально относительно друг друга, эта область считается НЗ. Это позволило улучшить корректность работы алгоритма, снижая количество ложных локализаций без значительного увеличения вычислительных затрат (табл. 2.2).
Кроме того, для повышения качества локализации, нами предлагается использовать и параллельную обработку данных (Рисунок 2.12). В этом случае вторым каскадом проверяются не только области интереса первого каскада, а все изображение. После прохода обоих классификаторов найденные области сопоставляются.
Возможны следующие события и принятие решения при параллельной работе классификаторов: 1) область изображения не является номером, если она локализована каскадом 1 и не локализована каскадом 2; 2) область изображения является номером, если она локализована каскадом 1 и содержит образы каскада 2; 3) область изображения является номером, если каскад 1 не нашел областей, каскад 2 нашел от 5 до 8 образов, расположенных горизонтально на расстоянии не более 20% от их размера.
Использование второго классификатора в качестве корректирующего блока увеличивает показатель правильных локализаций до 97,8% за счет снижения ошибок второго рода с 3,84% до 0,87%, незначительно снижая время обработки на 0,013 с. При последовательном использовании двух классификаторов время обработки кадра составляет 0,06 с.
Использование параллельной работы двух классификаторов незначительно увеличивает время обработки до 0,074 с, но при этом позволяет достичь показателя правильной локализации свыше 98,56%, что позволяет успешно применять предложенный алгоритм в реальных условиях.
При сравнении модифицированного алгоритма с существующими методами локализации НЗ с помощью сопоставления таблицы 2.4 и таблицы 2.1, по каждому из критериев нами выявлены следующие особенности: 1) среднее время обработки 1 кадра составляет 0,07 с, что уступает нейросетевым методам, но при этом остается достаточным для систем видеофиксации, работающих в РВ; 2) показатель правильных обнаружений равен 98%, что совпадает с результатом работы нейросетевых методов; 3) показатель правильных обнаружений на зашумленных изображениях равен 84%, что уступает на 1% нейросетевому подходу; 4) минимальная освещенность сцены, необходимая для работы алгоритма, составляет 30 лк, что является наилучшим показателем из рассмотренных методов; 5) максимальный крен НЗ составляет 45 градусов, что на 5 меньше методов, основанных на использовании цветовой информации. Несмотря на то, что по некоторым показателям предложенный алгоритм уступает рассмотренным ранее методам, преимуществом предложенного модифицированного подхода является возможность его использования при реальных, изменчивых условиях съёмки, что позволяет внедрить данный алгоритм в систему контроля въезда-выезда ТС или систему управления дорожным трафиком.
Постановка и решение задачи детекции лица в кадре видеопотока традиционным методом
Основной проблемой при детекции лиц является присутствие на анализируемом изображении большого количества мешающей либо несущественной шумовой информации. Для решения этой проблемы был предложен алгоритм двухпроходной классификации, особенностью которого являлась параллельная работа 2-х классификаторов [99]. Алгоритм обладал устойчивостью к изменчивым условиям съемки и качеству кадра, за счет чего показал высокие результаты при детекции номерных знаков транспортных средств.
Изображение лица человека может отличаться по таким критериям, как условия съёмки (расстояние до камеры, ракурс, освещённость), эмоциональное состояние (выражение лица - нейтральное, напряжённое, весёлое, грустное и т.д.), параметры оцифровки (разрешение, количество уровней яркости, контраст, насыщенность (интенсивность)), шум (вносимый как во время фотопроцесса, так и на стадии оцифровки изображения). Все эти факторы снижают процент правильной классификации.
Классический алгоритм детекции лица предполагает наличие предварительно обученного классификатора, а эффективность классификации будет зависеть от его обобщающей способности, под которой понимают способность классификатора выдавать правильные результаты не только для образов, участвовавших в процессе обучения, но и для любых новых, которые отсутствуют в обучающей выборке. Чем ближе вектор образа а к одному из векторов обучающей выборки, тем выше вероятность правильной классификации. Способность к обобщению классификатор может приобрести только за счет большого числа разнообразных комбинаций входных и целевых значений в примерах обучающего множества. При этом необходимо, чтобы выборка была репрезентативной относительно поступающих изображений с конкретной камеры наблюдения, то есть учитывала множество вариаций изменения признаков объекта а в зависимости от влияющих на него факторов.
Так как формирование такой обучающей выборки, которая содержала бы все возможные вариации объекта, невозможно, то для соблюдения вышеуказанного условия возникает потребность формировать обучающее множество с учетом конкретных условий съемки. Несмотря на то, что такой подход позволит получить наиболее эффективный классификатор, он влечет следующие трудности: 1) необходимо заранее знать условия съемки и характеристики объектов, что не всегда бывает выполнимо; 2) зная характеристики объектов, необходимо сформировать обучающую выборку под конкретную камеру наблюдения, что является довольно трудоемким процессом; 3) на сформированной выборке необходимо обучить классификатор, при этом процесс обучения может занимать до нескольких недель.
Применение такого подхода в системе охранного видеонаблюдения не только неудобно, но и неприемлемо, так как конечный пользователь системы не станет измерять углы наклона камеры или освещенность, а также не будет формировать обучающую выборку, а тем более обучать классификатор.
Нами предлагается совместное использование двух классификаторов: первый из них построен на основе метода Виолы-Джонса, предварительно обучен и хорошо зарекомендовал себя в большинстве программных продуктов [56]; второй классификатор должен поддерживать онлайн обучение. Обучение второго классификатора будет происходить следующим образом: 1. Выполняется внешняя калибровка камеры, которая позволяет определить такие параметры как: углы наклона камеры, высоту установки, условия освещения. 2. Если параметры изображений соответствуют или близки идеальным, то есть углы наклона незначительны, освещение яркое, то необходимость в использовании второго классификатора отсутствует. Детекция выполняется только классификатором, построенном на основе метода Виолы-Джонса. 3. Если условия съемки отличны от идеальных, то на основании параметров выбираются из предварительно сформированной базы эталонов изображения, наиболее близкие к данным условиям, таким образом формируется обучающая выборка с учетом условий съемки.
Введем следующие обозначения для ряда показателей обрабатываемого изображения: ан - боковой наклон лица относительно вертикальной оси, av -поворот лица относительно вертикальной оси, az - фронтальный угол наклона головы (зависит от высоты установки и угла наклона камеры), Lux - уровень освещённости сцены, Noise - уровень зашумленности изображения (0 - идеальное изображение, 1- бесконечно испорченное изображение).
Для удобства расчетов перейдем к относительным величинам {0;1}, для этого необходимо установить пороговые значения для каждой из характеристик. Учитывая, что объект детекции обладает симметрией, для параметров, характеризующих наклоны и повороты лица, допустимо брать значения по модулю. Детекция лица является первым шагом при решении более сложной задачи - идентификации (распознавания) лица. При этом пороговые значения должны быть установлены таким образом, чтобы детектированное лицо могло
Модуль управления энергосбережением
Был получен патент на полезную модель №138401 от 18.07.2013 г. [108]. Полезная модель относится к области высоковольтной техники, а более конкретно к изоляторам и устройствам грозозащиты. Интеллектуальная изоляционная система, состоит из изолятора-разрядника для высоковольтной линии электропередачи и системы наблюдения.
Недостатком классических изоляторов является низкая надежность работы из-за возможности снижения сопротивления при попадании в зону действия изолятора посторонних биологических объектов, например, птиц.
Задача предложенной полезной модели - повышение надежности работы изолятора за счет исключения возможности попадания в зону действия изолятора посторонних биологических объектов. Технический результат достигается интеграцией изолятора в интеллектуальную систему в качестве объекта управления (ОУ).
Общий вид интеллектуальной изоляционный системы приведен на Рисунке 4.12. Кроме объекта управления, в состав системы входят камера наблюдения (КН), блок нормализации (БН), блок анализа освещенности (БАО), блок адаптации фона (БАФ), блок детекции движения (БДД), устройство анализа сцены (УАС), блок проверки рейтинга (БПР), базовый блок распознавания (ББР), блок памяти признаков объектов (БППО), адаптированный блок распознавания образов (АБРО), блок обучения (БО), блок коррекции рейтинга (БКР), подсистема адаптации и распознавания образов (ПАИРО), интеллектуальный блок принятия решений (ИБПР), устройство управления (УУ), цель управления (ЦУ), исполнительный элемент (ИЭ).
Работа интеллектуальной изоляционный системы сводится к следующему. Основное назначение всех элементов за исключением ОУ - фиксация появления посторонних биологических объектов в зоне действия изолятора и активизация исполнительного элемента. В качестве системы измерений могут использоваться камеры наблюдения, данные с которой отправляются на устройство анализа сцены, состоящее из блоков нормализации, анализа освещенности адаптации фона и детекции движения. При обнаружении движения в зоне действия ОУ данные отправляются на подсистему адаптации и распознавания образов, в противном случае происходит обновление фона в БАФ, благодаря чему исключаются ложные срабатывания при изменении условий освещенности или изменении погодных условий. Блок проверки рейтинга анализирует степень адаптированности системы распознавания образов к данной КН. При низком рейтинге адаптированного блока распознавания образов, проверка корректности работы проверяется базовым блоком распознавания (ББР), который извлекает признаки для классификации из блока памяти признаков объекта. В БППО могут храниться признака для любых объектов, распознавание которых необходимо в данной системе. В блоке коррекции рейтинга происходит проверка работы системы, и, в случае ошибки происходит ее дообучение (адаптация) к условиям сцены, с перерасчетом рейтинга доверия. Результат работы ПАИРО передается интеллектуальному блоку принятия решений, который оказывает управляющее воздействие на исполнительный элемент, обеспечивающий защиту объекта управления. ИБПР, получая цель управления, оказывает влияние на БО и БППО, для выбора объектов распознавания.
Таким образом, использование изолятора совместно с интеллектуальной системы управления приводит к повышению надежности работы изолятора. Применение в программе распознавания отпечатков пальцев.
Алгоритмы предварительной обработки изображений были использованы при разработке программы для ЭВМ. «Интеллектуальная программа для автоматической идентификации личности по отпечаткам пальцев FinPrint ID» [111] предназначена для автоматизации деятельности криминалистических, правительственных и гражданских приложений, в которых широко используется система распознавания личности по отпечатку пальца. Программа позволяет: загружать новые отпечатки пальцев в базу данных; вести поиск распознанных отпечатков; распознавать личность по отпечаткам пальцев; сравнивать введенный отпечаток пальца с «зарегистрированным» отпечатком. Входными данными системы является введенный отпечаток пальца. Программа состоит из нескольких модулей: модуль ввода изображения в систему; модуль устранения шумов и искажений изображения; модуль выделения особенностей отпечатка; модуль распознавания отпечатка пальца, модуль работы с базой данных, модуль вывода распознанных отпечатков. Данные модули были разработаны в виде отдельных функций, что способствует более удобному использованию данной системы, т.к. при желании некоторые функции можно отключить или модифицировать. Наличие модулей делают интеллектуальную программу FinPrint ID более удобным решением идентификации личности по отпечаткам пальцев. Получено свидетельство о государственной регистрации программы для ЭВМ №2014615049 от 15.05.2014 г.
Применение в программе распознавания рукописной подписи. «Интеллектуальная программа для автоматической верификации личной подписи SignRE verification» [112] предназначена для автоматической верификации личной подписи по статическому образцу. Программа позволяет определять подлинность / не подлинность подписи; подтверждать / отрицать соответствие личности участника коммуникации заявленному имени; предотвращать мошеннические действия (подделку документов, несанкционированное использование бан 136 ковских карт, неправомерное пользование средствами на счетах). Входными данными являются графические файлы, содержащие изображение личной подписи. Как правило, такие файлы поступают с камеры мобильного устройства, а значит, подвержены влиянию внешних условий. В целя повышения уровня распознавания, используется блок анализа освещенности для выбора оптимальных значений фильтров предварительной обработки. В основе программы лежит нейронная сеть Хоп-филда: получая образец личной подписи сеть сопоставляет его с эталоном (эталонами), имеющимся в памяти в результате обучения. Если итерации сети прекращаются при соответствии искомому эталону, программа предоставляет эталонный образец, что означает подлинность подписи, если сеть зацикливается или предоставляет несуществующий эталон, это означает, что подпись подделана. Получено свидетельство о государственной регистрации программы для ЭВМ №2014615047 от 15.05.2014 г.
