Введение к работе
Актуальность темы: Рост научно-технического прогресса и его успехи в компьютерной отрасли привели к качественным изменениям обработки документов, содержащих текстовую информацию. Современные возможности сканирования документов и реализации трудоемких алгоритмов распознавания делают возможным автоматический ввод документов в компьютер. Программы распознавания текстовых документов являются сложными программными средствами, реализующими большое число наукоемких алгоритмов. Настоящая диссертация посвящена проблемам распознавания текстов в рамках создания и функционирования персональных и профессиональных программных систем ввода документов в компьютер.
Главной задачей, стоящей перед системами ввода документов является распознавание образов символов для представления их в текстовом (цифровом) виде в условиях временных ограничений. Критерии качества распознавания различаются в зависимости от назначения системы ввода. Например, персональным программам распознавания текстов с бумажных носителей свойствен естественный и объективный критерий качества, оцениваемый числом исправлений, необходимых для приведения результатов распознавания к приемлемому для последующей обработки виду. Для профессиональных систем массового ввода документов с проверкой результатов операторами не менее важным является критерий надежности распознавания. Объективные критерии качества распознавания документов требуют от алгоритмов распознавания символов возможности оценки их результатов на различных этапах функционирования. В настоящей работе делается попытка осмысления накопленных к настоящему моменту времени алгоритмов распознавания как частей программных продуктов ввода документов, ориентируясь на объективные критерии качества распознавания документов.
Цель работы состоит в построении алгоритмов распознавания различного уровня и создания методик комбинирования распознающих механизмов для программ распознавания текстов и систем массового ввода структурированных документов в условиях реального искажения сканирующими устройствами исходных документов, а также оптимизация характеристик алгоритмов распознавания с точки зрения критериев качества.
Научная новизна работы.
В процессе работы получены следующие новые результаты.
Сформулированы критерии качества базовых алгоритмов распознавания символов; произведен анализ существующих классов базовых алгоритмов распознавания символов, проведено тестирование алгоритмов распознавания символов на базах графических образов большого объема.
Исследованы возможности комбинирования базовых алгоритмов распознавания символов для различных типов распознаваемых образов (печатные тексты, рукопечатные символы, почтовые индексы); характеристики качества предложенных схем комбинирования оценены на базах графических образов большого объема; введены ограничения характеристик качества, специфичные для распознавания отдельных символов.
Исследованы вопросы сегментации границ печатных и рукопечатных символов для известных ориентировочных рамок символов и случая их отсутствия; предложена модель сегментации символов, базирующаяся на оценках распознавания символов, описаны принципы комбинирования методов распознавания символов и эвристического анализа геометрических характеристик образов.
Выделены специфические задачи распознавания групп символов: классификация больших и малых букв, нахождение атрибутов текста (наклон, жирность); предложены оригинальные алгоритмы классификации групп символов и нахождения их характеристик; описан режим распознавания многоязычных текстов; приведен алгоритм обучения особенностям шрифтов распознаваемого документа и схемы адаптивного дораспознавания страницы.
Практическая ценность и реализация результатов работы. Основным практическим результатом работы является применение подхода к построению систем распознавания, базирующегося на оптимизации характеристик качества алгоритмов распознавания различного уровня (базовых и комбинированных методов распознавания символов, группового адаптивного распознавания текстовых строк и документов в целом). Алгоритмы распознавания, оформленные в виде отдельных библиотек, используются в различных технологических схемах ввода документов, как профессиональных, так и персональных.
Реализованные алгоритмы входят в состав программного продукта OCR Cognitive Cuneiform*, предназначенного для распознавания печатных текстов и реализованного в сотнях тысяч экземпляров (в частности, распространяемого в России в комплекте со сканерами фирмы Hewlett-Packard). Также распознающие библиотеки входят в состав комплекса автоматизированного массового ввода пенсионных анкет, созданного на основе ICR Cognitive Forms* и внедренного в Московском пенсионном фонде.
Публикации. По теме диссертации опубликовано 6 работ.
Структура работы. Диссертация состоит из введения, четырех глав, заключения списка литературы и приложений. Объем основного текста составляет 128 страниц.
Глава 1 содержит обзор и анализ известных к настоящему времени алгоритмов и принципов распознавания, в ней рассматриваются границы применимости известных механизмов к распознаванию символов текста.
Глава 2 посвящена рассмотрению критериев качества базовых методов распознавания символов в приложении к алгоритмам различной природы, а также
обсуждению применимости различных распознающих алгоритмов к образам различных классов.
Глава 3 посвящена комбинированным алгоритмам распознавания символов печатного и рукопечатного типа в ситуациях автономного распознавания и в процессе сегментации границ символов.
В главе 4 приводятся различные алгоритмы адаптивного распознавания строк символов и страниц, а также задач определения атрибутов текстовых символов
В заключении приводятся основные результаты работы.
Приложения содержат технические характеристики современных сканирующих устройств, описание применяемой для хранения символов графической базы данных, рассмотрение характеристик двух дополнительных базовых методов распознавания символов и двух комбинированных методов, описание оптимизации программной реализации распознающих алгоритмов и контейнера хранения данных.
