Введение к работе
Актуальность темы. Задача распознавания печатных и рукопечатных символов весьма актуальна для различных видов современных наукоемких технологий, использующих оптический ввод документов. Рукопечатные символы – написанные от руки согласно стандартному начертанию букв (заглавные печатные буквы некоторого алфавита) и цифр.
Существующие классы распознающих систем (программы ввода текстов, системы потокового ввода структурированных документов, видеорегистраторы текстовых объектов) имеют различные стратегии распознавания, но опираются на общие алгоритмы распознавания символов.
С расширением области применения систем распознавания ужесточаются предъявляемые к ним требования. Это стимулирует разработку новых эффективных методов распознавания символов. Характеристики качества включают не только традиционные точность и быстродействие, но также свойства оценок распознавания, на основании которых определяется надежность алгоритмов более высокого уровня и всей системы в целом.
Появление и распространение технологий nVidia CUDA, ATI Stream, OpenCL и Microsoft DirectCompute порождает интерес к разработке методов, вычислительная структура которых удобна для распараллеливания.
Данная работа посвящена созданию обеспечивающих возможность распараллеливания эффективных приложений полиномиальной регрессии к задаче распознавания печатных и рукопечатных символов, обучению и проверке разработанного метода на различных базах символов (печатные прямые буквы и цифры, печатные прямые и курсивные цифры, рукопечатные цифры), теоретическому и численному анализу характеристик качества и свойств разработанного метода распознавания, а также разработке и реализации приложений метода распознавания в исследовании статистических свойств обучающих и распознаваемых множеств символов. В диссертации представлены все перечисленные направления.
Конкретные побудительные мотивы проведения исследований, представленных в диссертации, следующие.
1. Фундаментальной проблемой является разработка и программная реализация метода распознавания символов ввиду недоступности документации по существующим решениям. Открытые публикации содержат недостаточно информации для создания метода распознавания печатных и рукопечатных символов на основе полиномиальной регрессии.
2. В последние годы большое значение придается распараллеливанию численных алгоритмов с целью решения задач распознавания на многопроцессорной вычислительной технике. Особая эффективность метода, основанного на полиномиальной регрессии, определена тем, что решение исходной задачи легко сводится к решению серии более простых задач.
3. При разработке нового метода распознавания необходимо исследование свойств выставляемой им оценки для различных типов символов, а также сопоставление характеристик качества данного метода (быстродействие, точность распознавания, монотонность оценок) с другими известными методами.
4. Актуальным является изучение статистических свойств обучающих и распознаваемых множеств символов. Для этого годится далеко не каждый метод распознавания. В основе данного вероятностного метода распознавания лежит достоверно восстановленный неизвестный вероятностный закон, по которому распределены элементы обучающей последовательности символов, моделирующей датчик случайных векторов. Степень достоверности этого приближения соответствует точности распознавания на обучающем множестве. Ее высокий уровень позволяет использовать данный метод для анализа статистических свойств множеств символов.
Предметом исследований является:
1. Программная реализация методов распознавания печатных и рукопечатных символов; обучение и использование этих методов на различных базах символов (печатные прямые буквы и цифры, печатные прямые и курсивные цифры, рукопечатные цифры).
2. Теоретический и численный анализ характеристик качества и свойств разработанных методов распознавания.
Целями диссертации являются:
1. Разработка и реализация в виде библиотеки программ метода, основанного на полиномиальной регрессии, для численного решения задачи распознавания печатных и рукопечатных символов.
2. Численное исследование характеристик качества (быстродействие, точность распознавания, монотонность оценок) программной реализации метода на различных базах графических образов символов с известными границами (прямые печатные буквы и цифры, прямые и курсивные печатные цифры, рукопечатные цифры).
3. Сопоставление с характеристиками качества известных алгоритмов распознавания символов, таких как искусственные нейронные сети и алгоритм сравнения с эталонными образами.
4. Разработка методик и численные исследования на базах печатных и рукопечатных цифр:
- закономерностей в поведении оценок распознавания;
- особенностей взаимного расположения правильно, неправильно распознанных изображений символа, а также образов «чужих» символов (отличных от данного).
5. Разработка методик и численные исследования зависимости точности и оценок распознавания от степени различия между множествами обучения и распознавания.
Методология исследования. В работе был использован байесовский вероятностный прецедентный подход для задачи классификации на K непересекающихся классов. Ответом распознавателя считается K-мерный вектор вероятностей в принадлежности объекта к каждому из классов, по которому можно найти номер класса. Тем самым, классификация превращается в специальный случай регрессии, что отражено в названии работы.
Научная новизна заключается в следующем.
Введены новые величины (среднестатистический растр и полиномиальный вектор), являющиеся характеристиками множества изображений символов, и изучены особенности их распознавания. По разработанной методике в контексте этих величин найдены закономерности поведения средней оценки распознавания.
С использованием предложенного подхода на основе немонотонного поведения средней оценки распознавания изучена структура базы обучения.
Выполнено исследование механизма формирования средней оценки из оценок отдельных образов.
Найдены закономерности в расположении правильно, неправильно распознанных изображений символов, а также образов «чужих» символов.
Автор диссертации разработал методику и провел численные исследования зависимости точности и оценок распознавания от степени различия между обучающим множеством и полученной путем его модификации распознаваемым множеством для предложенных моделей затемнения – засветления и дискретизации. Установлены корреляционные соотношения с динамикой среднестатистических растров и векторов. Для рукопечатных и печатных цифр проведен сравнительный анализ полученных результатов.
Достоверность численных результатов проверена сопоставлением с данными, полученными аналитически.
Впервые введены понятия мелко-, средне- и крупномасштабных явлений при описании данного метода распознавания. Показано наличие организационных структур на средне- и крупномасштабном уровнях.
Практическая ценность и реализация результатов работы.
В диссертации разработан метод распознавания печатных и рукопечатных символов, основанный на полиномиальной регрессии. Выполнено обучение метода и проверка точности распознавания, быстродействия и монотонности оценок на базах печатных прямых букв и цифр, печатных прямых и курсивных цифр, рукопечатных цифр.
Проведенное в данной работе сравнение с другими методами распознавания символов, а также многолетняя практика использования метода показали, что разработанный и реализованный метод распознавания удовлетворяет высоким требованиям по точности распознавания, быстродействию, монотонности оценок. Метод хорошо зарекомендовал себя при распознавании сильно зашумленных (загрязненных и в значительной степени разрушенных) изображений.
Вычислительная структура метода обеспечивает возможность глубокого мелкозернистого распараллеливания. Это является неоспоримым преимуществом метода при распараллеливании как средствами CPU (центрального процессора), так и с помощью GPU (средств графических карт). Относительное увеличение скорости достигает 25 - 28 раз.
Разработанный алгоритм распознавания печатного и рукопечатного написания на базах графических символов с известными границами оформлен в виде библиотеки программ, состоящей из двух частей: обучение (с возможным дообучением) и распознавание для платформ Windows2000 / WindowsXP / Windows Vista / Windows 7.
Результаты диссертационной работы были использованы при реализации систем ввода документов в компьютер.
Данный метод в течение ряда лет применяется для распознавания рукопечатных цифровых реквизитов в системе массового ввода сложноструктурированных документов Cognitive Forms.
Высочайшая монотонность генерируемых оценок позволяет использовать метод в промышленной технологии тестирования распознавания печатных и рукопечатных документов как с известным заранее описанием структуры, так и без него. На этом основано его применение в алгоритмах адаптивного распознавания печатных символов на базе OCR Cuneifrom.
Апробация работы. Результаты диссертационной работы докладывались на семинарах ИСА РАН под рук. чл.-корр. РАН проф. В. Л. Арлазарова и д.т.н. проф. Н. Е. Емельянова, Международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (2009); Международной конференция «Системный анализ и информационные технологии» (2009, 2011); Международной научно-практической конференции «Фундаментальные и прикладные исследование, разработка и применение высоких технологий в промышленности» (2011); Международной конференции по Вычислительной механике и современным прикладным программным системам (2011).
Личный вклад автора. Основные научные результаты диссертационной работы принадлежат лично автору. Ряд экспериментальных данных получен при участии сотрудников Института системного анализа РАН. Автор являлся инициатором и исполнителем разработок, формулировал теоретические и экспериментальные задачи, намечал пути решения и решал их, разрабатывал и реализовывал методики исследований, разрабатывал программное обеспечение.
Положения, выносимые на защиту:
1. Новый вероятностный метод распознавания печатных и рукопечатных символов, основанный на полиномиальной регрессии, обладающий большим быстродействием, высокой точностью и монотонностью оценок, вычислительная структура которого обеспечивает возможность распараллеливания.
2. Способ представления полиномиальных векторов для печатных и рукопечатных символов.
3. Метод получения матрицы распознавания без обращения матрицы большой размерности.
4. Приложения метода распознавания в исследовании статистических свойств обучающих множеств символов.
5. Приложения метода распознавания в исследовании статистических свойств распознаваемых множеств символов.
По теме диссертации опубликовано 25 работ, в том числе 1 монография и 10 статей из Перечня рецензируемых научных изданий, рекомендованных ВАК РФ. Основные результаты диссертации представлены в публикациях, список которых приведен в конце автореферата.
Российский фонд фундаментальных исследований поддержал работы, определившие значительную часть содержания диссертации (грант РФФИ №10-07-0700374-а). Издана монография, обобщившая полученные результаты (грант РФФИ №11-07-07006-д).
Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы. Работа изложена на 257 страницах, содержит 48 иллюстраций и 29 таблиц. Библиография включает 192 наименования.
