Содержание к диссертации
Введение. 4
Глава I Методы и средства цифровой компьютерной идентификации человека по изображению лица
1.1 КЛАССИФИКАЦИЯ ЗАДАЧ 13
1.1.1 Контроль доступа 13
1.1.2 Поиск фотопортретов заданного человека и похожих на заданного человека людей в базе фотоизображений 14
1.1.3 Идентификация человека по предъявляемому документу 15
1.2 МАТЕМАТИЧЕСКИЕ ОСНОВЫ ОБРАБОТКИ ИЗОБРАЖЕНИЙ 18
1.3 МЕТОДЫ ИДЕНТИФИКАЦИИ ФОТОПОРТРЕТОВ 29
1.3.1 Метод главных компонент 30
1.3.2 Линейный дискриминантный анализ 34
1.3.3 Синтез объектов линейных классов 37
1.3.4 Гибкие контурные модели лица 38
1.3.5 Сравнение эластичных графов 39
1.3.6 Методы, основанные на геометрических характеристиках лица 43
1.3.7 Сравнение эталонов 44
1.3.8 Оптический поток 45
1.3.9 Скрытые Марковские модели 48
1.3.10 Нейросетевые методы распознавания изображений лица 55
1.4 АППАРАТ, ПРИМЕНЯЕМЫЙ ПРИ НОРМАЛИЗАЦИИ ФОТОПОРТРЕТОВ 61
1.5 АНАЛИЗ СИСТЕМ ИДЕНТИФИКАЦИИ ЧЕЛОВЕКА ПО ФОТОПОРТРЕТУ 62
1.5.1 Достоинства и недостатки перечисленных методов 62
1.5.2 Выбор подхода для решения задач контроля удостоверений личности и контроля доступа 65
1.6 ВЫВОДЫ 70
Глава II Предварительная обработка исходных фотопортретов 71
2.1 ТРЕБОВАНИЯ К ИСХОДНЫМ ИЗОБРАЖЕНИЯМ, ОБЕСПЕЧИВАЮЩИЕ КОРРЕКТНОСТЬ СТАТИСТИЧЕСКОГО ЭКСПЕРИМЕНТА 71
2.1.1 Размер лица на изображении 72
2.1.2 Ракурс 72
2.1.3 Освещённость -~
2.1.4 Яркостные характеристики цифрового изображения 73
2.1.5 Эмоциональное выражение лица 73
2.2 ПОНЯТИЕ КАЧЕСТВА ИЗОБРАЖЕНИЯ В КОНТЕКСТЕ МОДЕЛИ ЗРЕНИЯ ЧЕЛОВЕКА 73
2.2.1 Фундаментальные законы зрительного восприятия ^
2.2.2 Характеристики изображения и количественные критерии оценки качества изображения 78
2.2.3 Обзор методов цифровой обработки исходных изображений для улучшения их качества „п
2.3 ИССЛЕДОВАНИЕ ВЛИЯНИЯ РАЗЛИЧИЙ ПОКАЗАТЕЛЕЙ КАЧЕСТВА И ГЕОМЕТРИЧЕСКИХ ХАРАКТЕРИСТИК, СРАВНИВАЕМЫХ ИЗОБРАЖЕНИЙ, НА ЭФФЕКТИВНОСТЬ КРОССКОРРЕЛЯЦИОННОЙ ИДЕНТИФИКАЦИИ 10i
2.3.1 Методика выполнения экспериментов и условные обозначения Ю1
2.3.2 Результаты исследований 107
2.4 ВЫВОДЫ 110
Глава III Формализация задачи распознавания ш
3.1 ФОРМАЛИЗАЦИЯ ЗАДАЧИ РАСПОЗНАВАНИЯ МЕТОДАМИ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ 111
3.1.1 Основные понятия и критерии проверки статистических гипотез 112
3.1.2 Построение эмпирических распределений исходной статистик.. R Ц4
3.2 ОПИСАНИЕ МЕТОДИКИ ДЛЯ РЕШЕНИЯ ЗАДАЧИ РАСПОЗНАВАНИЯ 129
3.2.1 Принципы выбора границы критической области для решения конкретной задачи распознавания 129
3.2.2 Описание методики для решения задачи распознавания 130
3.3 ВЫВОДЫ 131
Глава IV Система корреляционной компьютерной идентификации изображений лица і33
4.1. АЛГОРИТМЫ И ПРОГРАММЫ КОМПЬЮТЕРНОЙ НОРМАЛИЗАЦИИ И ИДЕНТИФИКАЦИИ 133
4.1.1 Регулировка масштаба
4.1.2 Регулировка ракурса
4.1.3 Регулировка яркости и контрастности 136
4.1.4 Поиск целевого изображения в базе данных 137
4.2. ОПИСАНИЕ ПРОГРАММНЫХ СРЕДСТВ СИСТЕМЫ ДЛЯ ИДЕНТИФИКАЦИИ ЧЕЛОВЕКА ПО ИЗОБРАЖЕНИЮ ЛИЦА 142
4.2.1 Состав программных средств 142
4.2.1.1 Программные средства нормализации и добавления изображений в базу данных
4.2.1.2 Программные средства нормализации фотоизображении по показателям качества и идентификации изображений
4.3. ИНТЕРФЕЙС ПОЛЬЗОВАТЕЛЯ И МЕТОДИКА ПРИМЕНЕНИЯ 15\
4.4. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТАЛЬНОЙ ПРОВЕРКИ СОЗДАННОЙ СИСТЕМЫ 161
4.5. ВЫВОДЫ 165
ЗАКЛЮЧЕНИЕ 166
СПИСОК ЛИТЕРАТУРЫ 168
ПРИЛОЖЕНИЕ! 178
Введение к работе
В настоящее время активно развиваются биометрические технологии -«методы и технические средства получения и использования биометрических данных человека в целях его идентификации» [30, стр. 230].
Под термином «биометрический признак человека - подразумевается некоторая присущая конкретному индивиду автоматически измеряемая характеристика. Биометрические признаки делятся на два класса -физические и поведенческие. К первому классу относятся характеристики, выделяемые на основе отпечатков пальцев и губ, геометрии кисти, изображений радужной оболочки глаза, лица, ушей и иные. Ко вторым, -манера работы на клавиатуре компьютера, динамика воспроизведения подписи или рукописного текста, артикуляция губ и т.п [30].
Одной из причин повышенного внимания к биометрическим технологиям является существование обширного круга социальных и коммерческих приложений, где возможные решения названной проблемы будут восприняты весьма успешно. Например, изображения лиц, полученные с помощью видеокамер наружного наблюдения, являются сегодня важным элементом документальной базы при расследовании преступлений, наблюдения и расследования криминальных событий (автоматическое наблюдение за подозреваемыми, розыск людей, активное видеонаблюдение при чрезвычайных происшествиях и т.д.), а также в банковской сфере (банкоматах, системах удалённого управления счётом), идентификация людей по лицам применяется в системах контроля удостоверений личности (паспортов, водительских прав, иммиграционных карт), информационной безопасности (доступ к ЭВМ и отдельным программам, базам данных, криптографическим приложениям, медицинским сведениям, Интернету, системам электронной торговли и т.д.), [30,69,93,112,131,139,147].
По данным Международной ассоциации по компьютерной безопасности, ожидается, что идентификация человека по изображению его лица будет наиболее используемой биометрической технологией, поскольку она может быть достаточно точной, быстрой, бесконтактной.
Из всех биометрических подходов, таких, как распознавание по отпечаткам пальцев, губ, геометрии кисти, изображению радужной оболочки глаза, голосу и т.п., идентификация людей по изображениям лиц наиболее привычна, так как основывается на естественной способности человека узнавать окружающих. И, несмотря на то, что идентификация человека человеком осуществляется по комплексу признаков, включающему голос, запах, походку или одежду, именно лицо наиболее важно для опознания индивида. Существенным преимуществом распознавания по лицу перед большинством из указанных подходов, является отсутствие физического контакта проходящего процедуру идентификации человека с устройством или, иными словами, возможность идентификации на расстоянии. Аналогичным свойством на данный момент обладает лишь идентификация по радужке глаза, но расстояние между видеокамерой и человеком значительно меньше, и что ещё хуже, регулярное воздействие направленного пучка света на глаз может вызывать неприятные ощущения у человека, проходящего данную процедуру.
С точки зрения обмана системы, современные методы идентификации по лицу пока проигрывают в надёжности по сравнению с идентификацией по радужной оболочке глаза, но уже считаются более надёжными, чем распознавание по отпечаткам пальцев или геометрии кисти.
Проблема формализации и автоматизации процесса идентификации человека по изображению лица, была затронута ещё на самых ранних стадиях развития систем распознавания образов, т.е. в начале 70-х [93, 103] и остается актуальной сегодня. Это можно объяснить тем, что проблема идентификации человека по фотографии относится к разряду легко формулируемых словесно, но плохо формализуемых и трудно разрешимых.
В течение последних 15 лет количество научных исследований и публикаций по данной тематике за рубежом постоянно растёт, что также свидетельствует об актуальности этой проблемы [66, 73, 93, 96, 100, 101, 103, 105, 107, ПО, 112, 113, 118, 125, 127]. В русскоязычной литературе интерес к ней лишь начинает проявляться [30, 31, 48]. При этом возникают естественные затруднения в терминологии, так как понятие «распознавание лиц», являющееся дословным переводом английского термина «face recognition». За рубежом «face recognition» трактуется очень широко - от непосредственно идентификации человека по изображению его лица, до таких задач, как анализ его эмоционального состояния по выражению лица, прослеживание положения головы в видеопоследовательности, «чтение» по губам и других связанных с анализом изображений лица человека задач. Проблема, рассматриваемая в данной диссертационной работе, - это автоматизация процесса предварительной обработки фотографического изображении лица для последующего «узнавания» человеком (и ЭВМ) другого человека, а также автоматизация самого процесса «узнавания» человеком другого человека.
Само понятие «распознавание» может быть трактовано как «отнесение исследуемого объекта, задаваемого в виде совокупности наблюдений, к одному из взаимоисключающих классов» [55, стр.4]. В таком смысле «распознавание образов является одной из разновидностей классификации» [9,стр.7], а «в тех случаях, когда каждый класс содержит только один объект, классификация эквивалентна идентификации» [9, стр.8]. Из этого следует, что, распознавание человеком лиц других людей правильно называть идентификацией, под которой в данном случае понимается «присвоение рассматриваемому объекту ... однозначного названия» [9, стр.7]. Понятие верификации, применительно к случаю распознавания человека, ещё уже оно соответствует частному случаю идентификации при двух классах «этот человек» и «не этот человек» (например, требуется заключить - на паре сравниваемых фотографий изображён один человек или разные люди).
Первые коммерческие приложения с функциями идентификации человека по оцифрованным фото появились в конце 90-х годов. Однако, несмотря на повышенный интерес к проблеме, за последующее время не было найдено надёжных решений. Так, по данным систематически проводимых с 1996 г. тестов коммерческих и экспериментальных систем распознавания лиц -FERET, коэффициент правильного распознавания лучших систем резко падает с 98% до 60%, если им на вход поступают снимки одного человека, период времени между датами съёмки, у которых составляет более года [118].
В то же время появилось много новых теоретических работ посвященных данной проблеме. Так, например, активно применяется распознавание на основе нейронных сетей [80, 106, 130, 133], нечёткой логики [146], геометрических преобразований [94, 100, 101, 143], локального дискриминантного анализа [90] и других [ПО, 114, 138, 141].
На основании проведенного исследования различных методов по литературным источникам системы, разработанные на основе перечисленных выше методов идентификации, являются весьма сложными и дорогими, в тоже время широко используемый для распознавания образов в широком смысле корреляционный метод не был детально исследован в применении для фотопортретов. Кроме того, авторы этих систем отмечают, что «сравнение корреляции ... часто дает ту же точность»[38].
За последние два года возможности компьютерной обработки изображений резко возросли. Во-первых это связано с повышением более чем на порядок быстродействия компьютеров, и во-вторых с разработкой фирмой Intel Открытой библиотеки системы технического зрения «OpenCV» для работы с изображениями максимально учитывающей особенности процессора Intel за счет чего скорость обработки изображений выросла в среднем в 5 раз.
По этим причинам в основу разрабатываемой нами системы идентификации фотоизображений положен корреляционный способ сравнения.
Поскольку существует много задач, связанных с анализом изображений лица (например, поиск лиц на групповой фотографии, прослеживание движений губ/головы на видеопоследовательности, определение эмоционального состояния и иных характеристик человека по его изображению, диагностика болезней, распознавание по профилю лица и т.д.) следует определить тип данных, поступающих на вход алгоритмов идентификации. Под термином «фотопортрет» в настоящей работе будет подразумеваться фотографическое изображение лица человека в фас (например, фото для документов) без головных уборов, украшений, солнечных очков и прочих предметов, которые могут закрывать или искажать части лица.
Целью диссертационной работы является развитие методического, алгоритмического и программного обеспечения систем автоматизированной идентификации человека по изображению лица.
развитие методического, алгоритмического и программного обеспечения систем автоматизированной идентификации человека по изображению лица, с целью построения системы более доступной с точки зрения реализации и цены с сохранением скорости и вероятности распознавания.
Для достижения поставленной цели необходимо было решить следующие задачи:
• выполнить анализ текущего состояния и направлений развития систем идентификации человека по изображению лица и выбрать способ сравнения фотопортретов в соответствии с целью;
• сформулировать ограничения на входные изображения, обеспечивающие корректность статистического эксперимента;
• разработать алгоритм предварительной обработки и нормализации цифровых фотопортретов;
• формализовать задачу распознавания методами математической статистики;
• сформулировать принципы выбора границы критической области исходя из допустимых значений вероятностей ошибочных решений конкретных задач распознавания;
• реализовать систему автоматизированной идентификации человека по фотопортрету на основе решения перечисленных выше задач.
В работе теоретические методы исследования основываются на методах:
• цифровой обработки изображений в пространственной области;
• распознавания цифровых изображений;
• дискретных преобразований и системного анализа.
Экспериментальная часть исследования основана на обработке и анализе цифровых изображений с помощью ЭВМ с последующей численной и визуальной оценкой результатов.
Для экспериментальной программной реализации разработанных алгоритмов использовались методы создания программных систем и программирование на языках высокого уровня, моделирование с помощью системы пакетов MATLAB.
Научная новизна
1. Детально исследованы возможности компьютерной идентификации человека на основе анализа корреляции данных, представляющих центральные части лиц сравниваемых фотоизображений, с позиций количественного влияния параметров масштаба, ракурса, яркости, контрастности фотопортрета на эффективность корреляционной идентификации.
2. Разработан алгоритм предварительной обработки и нормализации сравниваемых цифровых фотопортретов, основанный на выравнивании параметров масштаба, ракурса, яркости, контрастности. Масштаб фотопортрета и угол наклона головы выравниваются по расстоянию между зрачками и линии, соединяющей центры зрачков соответственно.
3. Определена и математически обоснована методика корреляционной идентификации человека по фотопортрету.
4. Сформулированы принципы выбора границы критической области исходя из допустимых значений вероятностей ошибочных решений задач: «Контроль доступа» и «Поиск фотопортретов заданного человека и похожих на заданного человека людей в базе фотоизображений».
5. Построена система корреляционной идентификации. Определена область рационального использования разработанной системы корреляционной компьютерной идентификации людей по фотоизображениям в органах уголовного розыска и прокуратуре для сбора доказательной базы при расследовании преступлений, а также в системах автоматического контроля доступа (к необходимому ресурсу) в аэропортах, банках, универсамах.
Практическая значимость работы
Результаты диссертационной работы в виде системы программ идентификации внедрены в Прокуратуре г.Санкт-Петербурга.
Разработанные алгоритмы могут быть использованы в автоматизированных системах проведения криминалистической фотопортретной экспертизы и автоматических контрольно-пропускных устройствах, в системах расследования криминальных происшествий и в банковских системах (банкоматах, системах удаленного управления счетом).
В результате проведенного диссертационного исследования на защиту выносятся следующие результаты:
• Методика корреляционной идентификации человека по фотопортрету.
• Методика нормализации.
• Принципы выбора границы критической области исходя из допустимых значений вероятностей ошибочных решений задач: «Контроль доступа» и «Поиск фотопортретов заданного человека и похожих на заданного человека людей в базе фотоизображений».
Апробация работы
Основные результаты диссертационной работы обсуждены на научной конференции студентов и аспирантов «XXXII Неделя науки СПбГПУ», межвузовской конкурс-конференции студентов и молодых ученых Северо-Запада 4-5 марта 2004 года «Технологии Microsoft в теории и практике программирования», II Всероссийской конференции «Математические и инженерные разработки в MATLAB 6.5», политехнических симпозиумах «Молодые ученые - промышленности Северо-Западного региона» в 2004 и 2005гг.
Публикации
По материалам диссертации опубликовано 8 работ. Структура и объем работы
Диссертация содержит 187 страниц основного текста, 64 иллюстрации, 30 таблиц и состоит из введения, 4-х глав, заключения, списка литературы и 1 приложения.
