Содержание к диссертации
Введение
1. Теоретические обоснования методов коррекции пространственных искажений изображений 13
1.1. Классификация искажении изображений и методов их устранения 13
1.2. Методы построения системы признаков, инвариантных к пространственным искажениям изображений объектов 25
1.3. Методы коррекции пространственных искажений изображений, описываемых групповыми преобразованиями 31
Выводы 40
2. Методы коррекции пространственных искажений, описываемых групповым преобразованием 43
2.1. Коррекция искажений, описываемых полной аффинной группой 43
2.2, Коррекция искажений при наличии реперных точек 51
2.3 Коррекция нелинейных искажений путем аффинной или проеісгивной аппроксимации 55
2.4. Методы построения системы инвариантов для групп вращения плоскости 67
Выводы 78
3. Методы предварительной обработки изображений 80
3.1.. Улучшение качества изображений 80
3.2. Бинаризация изображений 88
3.3. Сегментация изображений 94
Выводы 104
4. Компьютерная реализация методов коррекции и распознавания изображений 105
4.1. Особенности компьютерной реализации алгоритмов коррекции и распознавания изображений 105
4.2. Распознавание объектов по спектральным аэрофотоснимкам 117
4.3 Восстановление карты местности для выбора маршрутов мобильного робота 130
Выводы 135
Основные результаты диссертационной работы 136
Список использованных источников 138
Приложение 148
- Классификация искажении изображений и методов их устранения
- Коррекция искажений, описываемых полной аффинной группой
- Улучшение качества изображений
- Особенности компьютерной реализации алгоритмов коррекции и распознавания изображений
Введение к работе
В настоящее время в различных сферах человеческой деятельности используется большое количество моделей нового класса машин, называемых роботами- Большая часть из них эксплуатируется в сфере производства, для автоматизации различных операций: штамповки, механической обработки, окраски, сварки, сборки. В этих моделях роботов, которые точнее было бы называть манипуляторами с программным управлением, применяются простые сенсорные системы в виде контактных или бесконтактных датчиков, силомоментных устройств, датчиков проскальзывания [1,2] и только в некоторых случаях применяются более сложные сенсорные системы на основе обзорных ультразвуковых, радиолокационных, телевизионных, сканирующих лазерных и т.п. датчиков [3]. Имеется опыт использования более сложных моделей роботов с полуавтоматическим и далее с автоматическим управлением для выполнения нестандартных работ [4У5]. Наиболее перспективным представляется применение роботов с телеуправлением или полностью автоматическим управлением без участия человека (с ограниченным участием) для выполнения работ в так называемых экстремальных условиях.
Под экстремальными условиями обычно понимается [6]:
выполнение работ под водой, на космических объектах,
работы по разборке завалов после экологических катастроф,
работы на опасных объектах химического производства или на атомных станциях,
спасательные, строительные и другие виды работ в городских кварталах,
ведение боевых действий в условиях с ограничением видимости, при наличии непредусмотренных препятствий и т.п.
Во многих из вышеперечисленных случаев представляется целесообразным использование роботов с телеуправлением, когда решение о выполняемых действиях принимает оператор, наблюдающий за обстановкой в зоне действия
робота. Для успешного функционирования таких роботов важным вопросом является создание комфортных условий для оператора, в частности объемное воспроизведение обстановки в зоне действия. Однако, имеется немало работ, где оператор хотя бы на время должен переходить на автоматический режим работы робота В частности, это необходимо в случаях, когда скорость изменения обстановки не соответствует возможностям оператора отслеживать эти изменения и принимать правильные решения- Кроме того, в некоторых случаях оператор может попасть в зону радио тени и потерять контроль над роботом. В этих случаях робот сам должен принимать решение об изменении программы функционирования или о продолжении работы по начатой программе. Широкие возможности использования полностью автоматических роботов имеются в случаях функционирования их в частично или полностью недоступных для человека местах. Для этих работ целесообразно использовать роботы, которые хотя бы относительно короткое время могли бы функционировать Б полностью автономном режиме. Такие роботы должны иметь развитые сенсорные системы, как правило, использующие несколько датчиков разного типа, высокопроизводительную систему комплексной обработки информации с этих датчиков, а также систему эффективного принятия решений.
Другим примером роботоподобной системы с развитой сенсорной системой может служить информационно-измерительная летающая лаборатория [7], оснащенная как цифровыми фотокамерами высокого разрешения, так и многополосным щелевым спектрометром боковою обзора. Подобные аппаратно-программные комплексы позволяют проводить в полуавтоматическом режиме, а в некоторых случаях и полностью автоматическом, экспресс-анализ земной поверхности с целью проведения экологического мониторинга [8?9], выявления различных аномалий и решения других природоохранных задач [10,11].
Необходимо отметить, что эти и другие роботоподобные устройства (адаптивные роботы, робототехнические комплексы, роботизированные системы) имеют общую структурно-функциональную схему. Подобные устройства состоят из системы распознавания или сенсорной системы, системы управле-
6 ния, приводов и исполнительных механизмов. Система распознавания после получения, обработки и анализа сенсорной информации, поставляет системе управления данные об окружающей среде, на основании анализа которых последняя вырабатывает управляющие сигналы для приводов исполнительных механизмов, а они совершают целенаправленные движения в соответствии с обшей задачей, поставленной перед системой. Можно сказать, что именно система распознавания (сенсорная система), являясь непременной составляющей адаптивного робота, превращает программно управляемое устройство в интеллектуального робота, совершающего целесообразные действия в условиях изменяющейся внешней среды [12],
Сенсорная система интеллектуального робота существенно зависит от ограничений, которые накладываются на перемещения объектов в пространстве, от ограничений на форму объектов и от требуемого быстродействия транспортного или манипуляционного робота. Если известно, что вес объекты, с которыми может взаимодействовать робот, перемещаются с ограничениями в пространстве, то часто удается обойтись либо плоским изображением (получаемым с помощью одной телекамеры или любого другого датчика, формирующего плоскую проекцию сцены), либо с помощью распределенных в пространстве датчиков относительно простого типа (например, фотопар). При ограничениях на форму объектов, например, в случае, когда заранее известны форма плоскостей объектов, также часто можно обойтись плоской проекцией и использовать так называемые процедуры устранения перспективных искажений [13]. В первых моделях интеллектуальных роботов [14] были представлены основные технические решения, которые по замыслу авторов могли быть использованы в качестве полностью автономных роботов. Так, большое число научно-исследовательских институтов как за рубежом, так и в бывшем СССР использовали телевизионные датчики обстановки и программы анализа объемных сцен из объектов, ограниченных плоскими гранями. Еще 12 лет назад работы в этом направлении продолжались в институте Кибернетики им. Глушкова (Украина) и Институте проблем передачи информации. Однако, еще ранее [15],
была показана бесперспективность этого направления, поскольку вопреки мнению авторов необходимо было накладывать существенные ограничения на перемещения объектов в пространстве, а при переходе от объектов с плоскими гранями к произвольным объектам, размерность решаемой задачи росла катастрофически быстро. В первых моделях адаптивных роботов предпринимались попытки формального моделирования принципа человеческого зрения с использованием двух (или более) телевизионных камер с триангуляционным способом определения объемных координат видимой точки на объекте. Этот метод широко известен и описан в ряде работ [16Д7]. К сожалению, он может быть использован только в случаях, когда на двух смещенных телевизионных изображениях можно надежно выделить проекции одной и той же точки, что принципиально невыполнимо при произвольных формах объектов. Выходом из создавшегося положения может быть добавление к двум датчикам телевизионного типа подсвечивающего лазера [18], либо облучение сцены специальным образом (системы со структурируемым подсветом). Однако даже в этих случаях препятствием является значительное время формирования объемной сцены. Другим подходом является использование для формирования объемной модели дальномерных систем различного типа (ультразвуковых, лазерных, радиолокационных и т.п,). В сложных случаях можно использовать перемещение дальномерных датчиков вокруг или даже внутри сцены с пересчетом видимых фрагментов в единую систему координат для формирования полной объемной модели [19]. Ограничением на использование таких сенсорных систем может служить только необходимое быстродействие системы обработки получаемой информации. Применение высокопроизводительных вычислительных систем, многопроцессорных систем обработки информации [20]? гибридных преобразователей оптических изображений позволяет обеспечить универсальность интеллектуального робота с такой сенсорной системой, поскольку в построенной объемной модели имеется вся необходимая информация для распознавания объектов, определения их параметров положения, выбора маршрутов движения
транспортных роботов с учетом различных ограничений (на вид движителя, габаритных размеров транспортного средства и т.п.).
В последние годы появились работы (Будапештский университет, Технический университет им.Н.Баумана) [21], в которых сенсорная система использует один датчик, облучающий объект и воспринимающий отраженный от него свет на основе картин Муара, что позволяет получать и обрабатывать изображения объемных сцен. К сожалению, эксперименты показывают, что такие сенсорные системы могут быть использованы в относительно простых случаях, при существенных ограничениях на форму объектов и на их перемещения в пространстве,
Известны попытки построения сенсорной системы транспортного робота, автоматически перемещающегося по дорогам с заранее неизвестным маршрутом движения, В этих моделях сенсорная система ориентируется на кромку дороги. При перемещениях на плоских участках достаточно использовать одну телевизионную камеру. При движении по дорогам с подъемами и спусками можно использовать лазерный дальномер с ограничением угла сканирования. Значительное сокращение времени формирования объемной модели и обработки получаемых изображений может быть достигнуто при использовании ком-плексирования датчика телевизионного типа (обзор) и дальномерной системы, определяющий объемные координаты не всех видимых точек объекта, а только точек, находящихся, например, на пути движения робота [22].
Таким образом, тип сенсорной системы необходимо выбирать исходя из класса решаемых задач, с точки зрения вариативности объектов манипулирования, необходимости использования полной или частично объемной модели обстановки и требуемого быстродействия. В работах [23,24] рассмотрены задачи формирования исходной модели внешней среды и преобразование построенной модели в форму, удобную для оптимизации последующих этапов обработки.
Представляется целесообразным привести основные этапы распознавания объектов по их изображениям с указанием основных проблем, возникающих на каждом этапе и пояснением используемых в дальнейшем терминов и понятий.
Процесс распознавания в общем случае принято разделять па следующие
этапы [25];
1. Получение с помощью одного или нескольких устройств изображения или изображений некоторой сцены (проблема - выбор устройств, оптимальных с точки зрения качества распознавания). Под сценой понимается расположение в трехмерном пространстве группы объектов, т.е. физических тел произвольной формы, имеющих возможность изменять свое положение. В простейшем случае сцена - это расположенные на плоскости, не перекрывающие друг друга плоские тела. Изображение с математической точки зрения можно представить как неотрицательную непрерывную функцию двух аргументов /(хі9у;)9 д. є {Q^xm}zyi е {0,ун}, заданную в прямоугольной области, где хт, уп - размеры изображения. Тогда яркость /-ой точки изображения с координатами (х^у\) есть значение функции в этой точке. В данном случае естественно использовать термин «точка изображения», подчеркивая тем самым, что речь идет о не имеющем собственного размера элементе изображения. Представление изображения в компьютере носит принципиально дискретный характер. Под изображением понимается матрица B(iJ) (*=1Э...,Л^7=1, ,М) размером N строк наМ столбцов, значение элемента которой соответствует яркости некоторой области поля зрения сенсорного устройства и, следовательно, носит интегральный характер. Естественно, номер элемента матрицы может быть только целым числом, да и значения элемента, хотя и могут представляться в действительной форме, как правило, представляются в целочисленной форме в пределах 0 - 255 (один байт). В таком случае представляется более оправданным использовать термин «пиксел» изображения, подчеркивая тем самым наличие конечных размеров у «точки» дискретного изображения.
Следует отметить, что в сенсорных системах роботизированных комплексов, как правило, используются монохромные (многоградационные, полутоновые) изображения, т.к. использование цветных (полихромных) изображе-
ний в большинстве случаев приводит к существенному усложнению алгоритмов обработки без заметного повышения качества распознавания.
2. Обработка изображения, которая, как правило, включает в себя следующие
операции:
предварительная фильтрация изображения с целью удаления яркостных помех и выделения наиболее информативных участков изображения, например, контура (проблема - выбор из большого числа разнообразных линейных и нелинейных фильтров тех, которые могут обеспечить в дальнейшем максимальную надежность распознавания);
бинаризация изображения с постоянным или адаптивным порогом (проблема - выбор способа определения порога);
сегментация изображения, возможно, с последующим возвратом к много градационному изображению отдельных фрагментов (проблема - выбор параметров сегментации, например, типа связности пикселов). Результатом всех этих операций является преобразованное тем или иным
образом изображение. Устранение перспективных искажений можно представить как отдельную операцию, т.к., в отличие от перечисленных операций, она требует пространственного, а не яркостного преобразования изображения,
3. Формирование трехмерной модели видимой сцены с определением про
странственного расположения отдельных фрагментов и объединения их в
объемные образы с описанием свойств поверхности. Далее производится
собственно распознавание объектов по построенной модели и определение
их пространственных параметров положения. Естественно, в случае плоских
объектов о формировании трехмерной модели говорить не приходится. То
гда данный этап сводится к двум операциям:
- вычисление признаков для каждого фрагмента изображения (проблема -
выбор наиболее информативных признаков, инвариантных к не устра
ненным пространственным и яркостным искажениям);
11 - распознавание фрагментов одним из известных методов, например, по расстоянию в пространстве признаков (проблема - выбор метода распознавания, дающего наилучшие результаты для имеющейся совокупности классов объектов при значительной вариативности признаков). Следует отметить, что результатом первой операции будет, в отличие от предыдущих операций, не изображение, а набор значений некоторых признаков. Этот набор, представленный в виде вектора X = {х{^.^хк}9 где к - число
признаков, можно назвать «образом» распознаваемого объекта. Результатом последней операции должен быть номер классар, к которому относится данный образ, из множества сформированных на этапе обучения классов />={1> j)i}9 где і - число классов, что и является результатом распознавания.
В случае систем роботоподобного типа кроме собственно распознавания объекта в большинстве случаев необходимо еще определить его геометрические характеристики и положение в пространстве. Кроме этого алгоритмы системы распознавания робототехнического комплекса должны обладать высоким быстродействием (0.01 - 1с) и точностью (99,5 - 98%), что значительно сужает круг возможных методов обработки на всех этапах распознавания.
Таким образом, на этапе распознавания фактически производится сравнение изображения распознаваемого объекта с эталоном по некоторому набору признаков. К сожалению, в подавляющем большинстве случаев два изображения одного и того же объекта существенно отличаются друг от друга. Это отличие вызывается, во-первых, техническими погрешностями аппаратуры, во-вторых, изменением освещенности, в-третьих, изменением взаимного положения объекта и устройства получения изображения. Именно последняя причина, определяющая пространственные искажения изображения, вызывает основные трудности при создании систем технического зрения для робототехнических комплексов и, следовательно, одной из актуальных задач является поиск методов компенсации (восстановления) изображения при различных пространственных искажениях или набора признаков, инвариантных к данным искажениям.
Основной целью диссертационной работы является анализ существующих и разработка новых методов и средств коррекции пространственных искажений сложных полутоновых изображений, обусловленных изменением взаимного положения устройства получения изображения и плоских объектов, с целью их распознавания и определения геометрических параметров в робототех-нических комплексах.
В соответствии с поставленной целью в работе решаются следующие задачи;
1,Проведение анализа искажений сложных многоградационнътх изображений плоских объектов, способов их математического описания, существующих методов и средств их устранения, используемых в сенсорных системах ро-бототехнических комплексов.
Разработка новых методов коррекции пространственных искажений, обусловленных изменением взаимного положения устройства получения изображения и объектов распознаваемой сцены.
Разработка алгоритмов и программного обеспечения для проведения компьютерного моделирования и экспериментальных исследований методов коррекции пространственных искажений и предварительной обработки растровых монохромных изображений с целью выявления последовательностей операций, наиболее эффективных с точки зрения улучшения распознаваемости объектов и определения их геометрических характеристик, для робототехничс-ских комплексов.
Практическое применение некоторых решений поставленных задач демонстрируется на примере программного обеспечения специализированной информационно-измерительной системы летающей лаборатории [7] и построения кусочно-плоскостной объемной модели поверхности с последующим анализом возможности достижения мобильным роботом заданной точки поверхности [26].
Классификация искажении изображений и методов их устранения
Задача распознавания объектов, составляющих некоторую сцену, может быть сформулирована следующим образом. Имеется некоторая совокупность объектов различных форм, произвольным образом расположенных в пространстве. Известна также начальная форма (эталонная форма) каждого из возможных объектов в сцене. Требуется по изображению сцены распознать все объекты и определить их параметры положения в пространстве (в более общем случае - параметры преобразований, которым подверглись объекты относительно их эталонов). Впервые такая постановка задачи распознавания с точки зрения робототехники появилась в работе 1973г [27], При распознавании объектов по искаженным изображениям после выделения изображений отдельных объектов возможны три основных подхода: 1. Попытаться найти признаки инвариантные к имеющимся пространственным искажениям изображения и по этим признакам производить сравнение распознаваемого объекта с эталонными. 2. Попытаться нормализовать изображение, устранив все имеющиеся пространственные искажения, и свести задачу распознавания объекта к последовательному сравнению изображения распознаваемого объекта в заданном положении с изображениями эталонов, например, с помощью метода "масок" 3. Комбинация 1-го и 2-го подхода, при котором устраняется часть пространственных искажений, а затем находятся более простые признаки, инвариантные к оставшимся пространственным искажениям.
Хорошо известный метод «плавающих масок» [28] и его модификации [29] может применяться для окончательного сравнения с эталонами при использовании 1-го и 3-го подхода. Процесс распознавания объектов по их изображениям включает в себя формирование в устройстве регистрации некоторого внутреннего представления изображения, например, формирование в памяти компьютера матрицы значений яркости элементов изображения, и передачи этой информации системе распознавания, В процессе формирования и передачи изображения, как правило, возникают те или иные помехи, приводящие к искажению изображения. Появление искажений ухудшает визуальное качество изображения, усложняет анализ и распознавание объектов. Методы распознавания образов по их изображениям в подавляющем большинстве случаев предполагают проведение некоторой предварительной обработки изображений для повышения вероятности распознавания- В настоящее время известно значительное число разнообразных методов обработки изображений, а также классификаций как самих изображений [30], так и методов их обработки [31,32].
Следует отметить, что в литературе по обработке и анализу изображений можно найти различные определения термина «изображение». Многие исследователи рассматривают изображения, как обязательно многомерные сигналы, специфической особенностью которых является сложное статистическое поведение [33], Для систем распознавания робототехнических комплексов наиболее подходящим представляется именно такое определение понятия изображение, что позволяет отнести к изображениям не только собственно изображения, т.е. результат воздействия на устройство регистрации электромагнитного потока в видимой части спектра, но и результаты работы многополосных спектрометров, устройств радиолокационного обзора, температурные поля и карты высот местности.
В результате освещения сцены, состоящей из отдельных объектов, отраженный от них поток электромагнитного излучения (радиоволны, инфракрасное излучение, видимый свет и т.п.) проходит через среду распространения и попадает на устройство формирования изображения (камеру), объектив которой проецирует этот поток на фиксирующую поверхность. Изображением можно назвать зафиксированный тем или иным образом в некоторый момент времени результат воздействия электромагнитного потока на поверхность проецирования [34].
В математической форме процесс формирования изображения можно описать как отображение пространства R в іг, т.е. F \КЪ — R2. Сцена может быть задана в пространстве #3 как функция Ч (а\р9&)9 тогда изображение есть результат отображения где ху - координаты пространства Д25 єур,в- координаты пространства R. Значение функции ftx y) принято называть яркостью изображения в точке (х,у) плоской декартовой системы координат. Отображение F описывает процесс прохождения электромагнитного потока от объектов сцены до поверхности проецирования и может быть представлено в виде системы уравнений. Однако в процесс получения изображения на практике всегда вносятся искажения, обусловленные свойствами среды распространения, ее флуктуациями и турбулентностью, движением камеры и ее вибрацией, несовершенством оптики (неточная фокусировка, дифракция), нелинейностью характеристик и шумом системы формирования изображения и каналов передачи. Как следствие, в систему распознавания поступает искаженное изображение f\x\yr) = A[f(x,y)]7 где А - оператор, описывающий искажения вносимые в изображениеУ(Х УХ которое в свою очередь можно назвать эталонным. Таким образом, задача устранения искажений сводится к нахождению обратного оператора /Г1 и применению его к искаженному изображению.
Коррекция искажений, описываемых полной аффинной группой
Для проективного преобразования (1.22), являющегося дробно-линейным, можно предложить использование всевозможных сочетаний из четырех реперов для определения коэффициентов преобразования и статистическую обработку полученных результатов.
Теоретической основой этого способа является то, что преобразование всех точек изображения производится группой с одними и теми же коэффициентами. В результате при наличии, например, всего 12 реперов на изображении, искаженном проективной группой, можно вычислить вариантов коэффициентов преобразования, комбинируя все возможные сочетания по четыре точки из двенадцати [64]. Соответственно для 12 реперов на изображении, искаженном аффинной группой можно вычислить 220 вариантов коэффициентов преобразования.
Основное ограничение данного метода, заключается в том, что тройка (четверка) реперов в каждом из возможных сочетаний не должна лежать на одной прямой. В противном случае система уравнений (2.8) оказывается вырожденной. Чтобы избежать этого следует или проверять степень близости к прямой реперов каждого из к сочетаний на этапе отбора реперов на эталонном изображении и отбрасывать неподходящие сочетания, или уже на этапе вычисления коэффициентов группового преобразования автоматически пропускать сочетания реперов, для которых система уравнений (2.8) оказывается вырожденной.
В таблице 2.2 приведены результаты компьютерного моделирования изложенного метода при различных значениях d - ошибки координат реперов для определения а\, «з, а% а / ь bi - коэффициентов аффинной группы, а также А -средняя ошибка преобразованных координат реперов, вычисленных в соответствии с полученными коэффициентами группы. Координаты реперов назначались случайным образом в пределах 1000 - 2000, параметры группы соответствовали неравномерному масштабному преобразованию сгі=2.0, 32=0.0, #3=0.0, (?4=l-5, и смещению йі=500, й2=800, на преобразованные координаты реперов накладывалась случайная помеха с равномерным законом распределения, общее число реперных точек -12. Для сравнения ниже приведены результаты применения при тех же условиях метода наименьших квадратов.
Из таблицы 2.2 видно, что применение метода перебора сочетаний реперов дает худшие результаты, чем метод наименьших квадратов. Хотя погрешность в определений коэффициентов а\ - щ в обоих методах примерно совпадает, но погрешность в определении Ь\, Ьг в первом методе несколько меньше, что, скорее всего, и приводит к сокращению А. Аналогичные результаты получаются и при сокращении числа реперов, например, до шести.
Определенный интерес представляет вопрос о величине ошибки определения координат точек внутри каждой области при преобразовании изображения методом кусочно-аффинной аппроксимации. Как сказано выше, от точности определения координат реперов зависит точность определения параметров аффинной группы, аппроксимирующей искажения области. Даже при условии абсолютно точного определения этих координат ошибка для координат точек внутри области все равно будет присутствовать. Естественно, она зависит от степени искажения изображения, размеров и формы треугольной области, расположения точки относительно ее границ.
Простейшим случаем кусочно-аффинной аппроксимации является аппроксимация проективных искажений кусочно-аффинными. Рассмотрим ее более подробно. Представим исходное изображение в виде четырехугольника, исказим его некоторой проективной группой и проведем обратное преобразование искаженного изображения кусочно-аффинной аппроксимацией. Для чего представим четырех угольник в виде двух треугольников, которые и будем считать областями аппроксимации. Произведя несложные, но довольно фомоздкие преобразования, можно убедиться, что при условии точного преобразования вершин треугольной области, величина погрешности преобразования точек внутри нее A=j(x у ) и, следовательно, имеет максимум на наиболее протяженной фанице области. На рисунке 2.5 показан результат компьютерного моделирования искажения изображения квадрата (900 на 900) проективной группой и его нормализация кусочно-аффинной аппроксимацией. Параметры проективной фуппы: щ =5.0, 2 =0.02, = 0.01,ЙГ4 = 2.0,ЙГ5 = 0.0003,я6 =0.0003. Координаты вершин после искажения: 1 - (15,1225), 2 - (3116,1248), 3 - (3543,7).
Улучшение качества изображений
К методам улучшения качества изображения можно отнести: - методы, устраняющие яркостньге помехи различного типа; - методы выделения контура; - методы, повышающие резкость и контрастность изображения. Как отмечено в разделе 1.1, из всего многообразия методов улучшения качества изображений можно ограничиться теми, которые оказывают существенное влияние на результаты сегментации и имеют сравнительно простой алгоритм.
Последовательное сжатие и растяжение шкалы яркости (линейное точечное преобразование) [72]. Метод позволяет подавить слабые по яркости и про-извольные по размерам помехи. Эффект достигается за счет дискретного представления значения яркости. В результате при сжатии шкалы яркости пикселы имеющие близкие значения яркости получают одинаковое значение, т.е. происходит сглаживание, а при растяжении шкалы информация о яркости помех не восстанавливается. В качестве примера результат применения метода приведен на рисунке 3.1. Основная проблема - подбор коэффициента сжатия шкалы яркости таким образом, чтобы, с одной стороны, в результате подавить помехи, а с другой, не удалить полезную информацию. Метод может быть эффективен для удаления локальных помех.
Наряду с последовательным сжатием и растяжением шкалы яркости для подавления помех можно использовать аналогичную операцию в пространственном преобразовании. Последовательное уменьшение и увеличение масштаба позволяет за счет его дискретности удалить мелкие точечные и линейные помехи, сохранив форму и размеры изображения распознаваемых объектов практически без изменений. Данный метод может приводить к уничтожению текстуры, что далеко не всегда полезно.
Многократное наложение с последующим усреднением изображений одной и той же сцены друг на друга позволяет компенсировать случайные помехи с нулевым средним шумом, как яркостные, так и пространственные. Метод предельно прост в реализации и дает хорошие результаты при наличии статической сцены и наличии достаточного времени для обработки. Примером может служить обработка изображений звездного неба, для которых данный метод позволяет эффективно подавить случайные помехи и подчеркнуть яркость малоразмерных фрагментов, являющихся в данном случае искомыми объектами эффективны при удалении ярких (импульсных) точечных и линейных помех. Результат применения медианного фильтра приведен на рисунке 3.2. Основная проблема - подбор коэффициентов для взвешенного фильтра (3.1) может быть решена только экспериментально на основе набора изображений с заданными характеристиками искажений. Известна литература [39] с подробным описанием различных модификаций медианного фильтра, анализом его свойств и эффективности применения для различных типов помех и классов изображений.
Последовательное применение минимального и максимального фильтров в принципе позволяет восстановить разрывы в контуре бинаризованного изображения. Однако основная сложность заключается в том, что одновременно с «затягиванием» разрыва при работе, например, минимального фильтра происходит увеличение толщины линии контура, так что последующее применение максимального фильтра для ее уменьшения требует постоянного контроля сохранения связности соседних точек контура. Корме этого медианный фильтр обладает одной неприятной особенностью - в результате его применения вершины контура сглаживаются, что можно заметить на рисунке 3.2.
Хорошо известный [38] усредняющий фильтр (1.6), применяемый для подавления слабых точечных помех, приводит к их размыванию (см. рисунок 3.2), но в качестве побочного эффекта вызывает и размывание контура, что нежелательно. Близкие по качеству результаты дает применение Гауссиана [13].
Особенности компьютерной реализации алгоритмов коррекции и распознавания изображений
Рассмотренные в разделах 2,1 - 2.3 методы компенсации пространственных искажений описываемых групповыми преобразованиями после определения коэффициентов обратного преобразования последовательно применяют это преобразование к точкам искаженного изображения, приводя его тем самым к исходному виду. Непосредственная реализация этих методов яа компьютере приводит к некоторым проблемам.
Представление изображения как непрерывной функции фактически означает наличие взаимно однозначного соответствия между точками исходного и искаженного изображения, которое и описывается групповым преобразованием. Естественно, следует исключить вырожденные случаи - преобразование изображения в точку или линию, как не имеющие практического значения. Представление изображения в виде матрицы не дает возможности в общем случае говорить о взаимно однозначном соответствии между пикселами исходного и преобразованного изображений. Как следствие, применение обратного преобразования к искаженному изображению часто вызывает появлеииа на восстановленном изображении пропусков в виде незаполненных пикселов. Применение тех или иных методов аппроксимации для их заполнения, приводит с одной стороны к усложнению алгоритма восстановления, а с другой - к уменьшению резкости восстановленного изображения, хотя и без изменения контрастности, что может в дальнейшем снизить надежность распознавания. Понятно, что чем выше резкость изображения, тем точнее можно определить контур изображения, а, как отмечалось в разделе 1.1, именно контур несет максимум информации о распознаваемом объекте.
Представляется более оправданным при компьютерной реализации процесса компенсации пространственных искажений, описываемых групповым преобразованием, находить коэффициенты именно прямого преобразования. После их вычисления следует найти для всех пикселов восстанавливаемого изображения соответствующие им пикселы на искаженном изображении и присвоить им найденные значения яркости. В таком случае никаких пропусков в восстановленном изображении не будет и, следовательно, не потребуется их заполнение. Соответственно и перепад яркости, фактически определяющий резкость изображения, для любых соседних пикселов восстановленного изображения не будет меньше, чем на искаженном изображении. Практическая реализация данного алгоритма показала вполне удовлетворительное качество восстановления изображения с точки зрения надежности распознавания имеющихся на нем образов. В качестве иллюстрации на рисунке 4.1 приведен фрагмент сечения функции яркости исходного изображения, включающий в себя границу объект-фон. Увеличение масштаба с коэффициентом 4 произведено как путем прямого преобразования с последующей линейной аппроксимацией яркости пикселов, не имеющих соответствия на исходном изображении, так и обратного преобразования с коэффициентом 0.25, при котором каждому пикселу результирующего изображения поставлен в соответствие пиксел исходного изображения. Из рисунка 4.1 видно, что величина градиента яркости на границе объект-фон результирующего изображения при втором методе соответствует исходному изображению. При первом методе величина градиента на результирующем изображении явно меньше, т.к. ширина контурной линии увеличилась. Следует отметить, что как аффинное, так и проективное преобразование дискретного изображения, строго говоря, нельзя полагать групповым. В самом деле, групповое преобразование предполагает выполнение следующего условия. Если gn = g{ g2 9g\9g2 8n є( s где & " группа преобразования точек плоскости, и = ( 0 = ( 2( ,)), то выполняется равенство х =х". Для преобразования дискретного изображения последнее выполняется не всегда, например, многократное применение масштабного растяжения по одной из осей с коэффициентом 1. ] для пиксела с координатой 4 не приводит к его смещению.
Аналогично обстоит дело и при последовательных поворотах на малый угол вокруг начала координат для пикселов, расположенных вблизи от точки вращения. Ясно, что расстояние от пиксела до центра вращения г, при котором данный пиксел минимально смещается при повороте на некоторый угол а зависит от величины этого угла следующим образом: tga = -. При реализации алгоритмов пространственного преобразования дискретных изображений следует учитывать данную зависимость.
Необходимо отметить и еще одну проблему возникающую при реализации алгоритмов яркостной обработки пространственными фильтрами с маской различного размера. Так как изображение имеет конечные размеры, то для пиксела, расположенного на границе изображения, возникает вопрос - каковы значения яркости тех пикселов его окрестности, координаты которых лежат вне изображения. Хотя в некоторых источниках [38] предлагается решать проблему, сокращая результирующее изображение на половину размера маски, но представляется более целесообразным принимать яркость этих пикселов равной яркости ближайших к ним пикселов на изображении. Такое решение с одной стороны не приводит к изменению размеров изображения в процессе обработки, а с другой - оправдывается тем, что яркость соседних пикселов на изображении существенно отличается только на границе объекта, а вероятность совпадения границы объекта и изображения мала.
