Содержание к диссертации
Введение
Глава 1 Целевые функции качества и подходы к решению задачи привязки изображений 11
1.1 Оценивание взаимных геометрических деформаций изображений 11
1.2 Меры подобия изображений 19
1.3 Меры различия изображений 32
1.4 Безыдентификационные псевдоградиентные процедуры оценивания параметров привязки изображений 39
1.5 Выводы и постановка задачи исследования 42
Глава 2 Синтез и анализ псевдоградиентных процедур оценивания параметров привязки изображений на базе взаимной информации 45
2.1 Постановка задачи 45
2.2 Синтез псевдоградиентной процедуры оценивания параметров привязки изображений на базе взаимной информации 47
2.3 Сокращение вычислительных затрат при оценке энтропии изображений 55
2.4 Анализ эффективности использования взаимной информации в качестве целевой функции псевдоградиентных процедур 58
2.5 Анализ вычислительных затрат на расчет псевдоградиентов взаимной информации 70
2.6 Основные результаты и выводы 77
Глава 3 Оптимизация псевдоградиентных процедуроценивания параметров привязки изображений по критерию максимума взаимной информации 78
3.1 Постановка задачи
3.2 Оптимизация конечных разностей, используемых для оценки производных по базовым осям изображений 82
3.3 Оптимизация базы формирования квадратов разностей яркостей отсчетов изображений 87
3.4 Оптимальное евклидово расстояние рассогласования по критерию максимума скорости сходимости оцениваемых параметров 93
3.5 Методика определения оптимальной области взятия отсчетов локальной выборки 104
3.6 Основные результаты и выводы 115
Глава 4 Алгоритмическое и программное обеспечение для реализации и оценки эффективеости разработанных процедур 116
4.1 Постановка задачи 116
4.2 Структура и состав комплекса исследовательских программ 119
4.3 Модули вычисления псевдоградиента и статистического моделирования псевдоградиентных процедур 126
4.4 Пример использования разработанных процедур для измерения рассогласования прихода радиоимпульсов с элементов фазированной антенной решетки 137
4.5 Основные результаты и выводы 141
Заключение 143
Литература
- Меры различия изображений
- Синтез псевдоградиентной процедуры оценивания параметров привязки изображений на базе взаимной информации
- Оптимизация конечных разностей, используемых для оценки производных по базовым осям изображений
- Пример использования разработанных процедур для измерения рассогласования прихода радиоимпульсов с элементов фазированной антенной решетки
Меры различия изображений
Тип используемых элементов изображений В качестве информационных элементов, применяемых для оценки деформаций изображений, используются их характерные элементы [67, 86, 87, 88, 89, 103, 144], элементы, полученные при сегментации изображений [2], а также непосредственно интенсивности отсчетов (пикселей). Характерные элементы представляют собой некоторые типовые элементы изображения. Этими элементами могут быть яркие (темные) точки [1,21,65], а также и более сложные структуры, такие как углы, края [99], пересечения линий [121], контуры [96] и др. Существенным недостатком характерных элементов является ограниченность возможности их применения, поскольку одни из них чувствительны к шумам и яркостным искажениям, другие являются результатом предварительной грубой обработки изображений. Возможно также отсутствие характерных элементов на исследуемых изображениях или же их недостаточное количество. Примером методов оценки пространственных деформаций изображений, также основанных на характерных признаках, являются методы, использующие сравнение отрезков [3], обнаружение прямых линий с помощью преобразования Хафа (Hough) [6, 74]. Последние используют только информацию о найденных прямых линиях, но применимы только для сцен, содержащих прямые линии. Методы, основанные на сегментации, используют сопоставление двоичных структур (кривых, поверхностей), полученных сегментацией [2]. Данные методы считаются менее трудоемким с вычислительной точки зрения, так как размерность входных данных в этом подходе сильно снижена [124]. Поскольку структурные элементы не используют напрямую значения интенсивностей, они гораздо более устойчивы к таким отличиям совмещаемых изображений, как изменение освещения, сезонные изменения, изменение типа сенсора и другие, что делает их гораздо более робастными в ряде приложений. Однако само выделение подобных признаков на изображении является трудной задачей [72]. Для многих классов изображений это является серьезным недостатком, поскольку точность регистрации может оказаться не лучше, чем точность, достигаемая при первоначальном выборе опорных точек. Число структурных элементов и точность положения соответствующих им опорных точек обычно ограничены. Поэтому структурные элементы не несут информации о локальных смещениях, а глобальное преобразование с их помощью может определяться достаточно грубо.
Наконец методы, основанные на анализе интенсивности отсчетов, оперируют с яркостями всех или части отсчетов изображения [124]. Такие методы более гибкие и универсальные по сравнению с рассмотренными выше, так как могут использовать всю доступную информацию. Они предпочтительнее в условиях интенсивных помех [143].
Целевая функция Целевая функция отражает меру сходства или различия изображений. В качестве таких мер могут быть использованы, например, коэффициент межкадровой корреляции (КМК), средний квадрат межкадровой разности (СКМР), взаимная информация (ВИ), коэффициент Танимото, средний модуль разности, стохастическая смена знака и т.д. Меры подобия или различия, которые в задаче привязки изображений могут быть использованы в качестве целевых функций, весьма разнообразны [72]. Для каждой конкретной ситуации, выбор целевой функции зависит от класса изображений, характера деформаций, требований и условий решаемой задачи. Подробный анализ наиболее используемых в качестве целевых функций мер подобия приведен в п. 1.2, а мер различия в п. 1.3 данной главы.
Стратегия поиска оптимального решения Поиск явного аналитического решения для нелинейного уравнения (1.1) является сложной задачей даже при наличии полной априорной информации [5, 23, 32]. Поэтому обычно решение ищется численно, как правило, с помощью рекуррентных процедур [43]. При этом на каждой t -ой итерации текущие оценки а параметров деформаций изменяются на некоторую величину в направлении d , которую будем называть шагом изменения оценки,:
Как подход к формированию матрицы Л можно выделить поиск по направлению [100], при котором целевая функция на каждой t-й итерации максимизируется (минимизируется) вдоль направления поиска d : Л, =argmax J(Z(1),Z(2),a, + Adt) . (1.4)
Недостаток такого подхода заключается в том, что для точного решения (1.4) требует дополнительных многократных вычислений целевой функции и/или ее производных. Известны приемы приближенного решения, например, метод Море-Туанте [97], требующий меньших вычислительных затрат, которые тем не менее остаются весьма существенными.
Широко используемым подходом оценивания деформаций является динамическое программирование, предполагающее разбиение глобальных задач на более мелкие [93]. Преимуществом динамического программирования является возможность достижения высокой точности оценивания нелинейных геометрических деформаций, что обусловило его использование, в частности, при решении задач верификация подписи [104], совмещения контуров объектов на картах со спутниковыми снимками [94], оценке параметров изменения форм объектов [95], совмещении стереоснимков [101], отслеживании перемещения [73]. Однако к недостаткам подхода можно отнести требование достаточно больших вычислительных затрат, что затрудняет его применение в системах реального времени.
Еще одним подходом при поиске оптимальных оценок деформаций изображений является использование итеративной релаксации [77, ПО]. Данный метод является модифицированным методом последовательных приближений для решения систем линейных уравнений [26]. Его отличительной особенностью является введение параметра релаксации для управления итерационным процессом сходимости оценок. Главным преимуществом метода является возможность получения точных оценок параметров деформаций при наличии локальных деформаций. Однако с увеличением размеров изображений этот метод обусловливает неприемлемый рост объема вычислений. Еще одной проблемой применения этого метода является сложность выбора оптимального значения параметра релаксации.
Синтез псевдоградиентной процедуры оценивания параметров привязки изображений на базе взаимной информации
При нахождении псевдоградиента ВИ наиболее затратной с вычислительной точки зрения является оценка производной энтропии (а также совместной энтропии) исследуемых изображений, которая производится на каждой итерации псевдоградиентного оценивания в соответствии с формулой (2.3). Поэтому сокращение вычислительных затрат при оценке производной энтропии позволит добиться ощутимого увеличения быстродействия процедуры оценивания параметров привязки изображений.
Для решения поставленной задачи воспользуемся процедурой скользящего контроля, используемой в задачах машинного обучения при оценке распределений вероятностей объектов по методу окна Парзена [105]. В соответствии с указанной процедурой из исходной локальной выборки объемом д формируется д возможных разбиений. Каждое такое разбиение делится в свою очередь на две части, одна из которых состоит из единственного отсчета, который используется для оценки энтропии, рассчитываемой в соответствии с (2.2), а вторая - из всех оставшихся отсчетов, которые используются для оценки ПРВ яркостей изображения по соотношению, аналогичному (2.1). Отметим, что оценка энтропии в данном случае ищется исходя из анализа каждого получившегося разбиения. Выигрыш в вычислительных затратах при этом достигается за счет того, что на каждой итерации используется одна и та же выборка, как для оценки распределения, так и для оценки энтропии изображений. Применяя данный подход к решаемой задаче оценку энтропии изображения на наибольшего значения, если яркость zt ближе к zy, чем к любой другой яркости элементов локальной выборки. Заметим, что при уменьшении энтропии уменьшается и разница между значениями яркостей, для которых Wz имеет значение, близкое к единице.
В п. 1.4 первой главы данной диссертационной работы с учетом дискретности цифровых изображений (которая приводит к необходимости оценки производных через конечные разности [127]) описано четыре различных подхода к вычислению псевдоградиента целевой функции по локальной выборке и текущим оценкам измеряемых параметров. Показано, что с точки зрения вычислительных затрат предпочтительным является способ, который базируется на оценке производных целевой функции по базовым осям изображения через конечные разности и аналитическом нахождении производных модели привязки изображений по оцениваемым параметрам. С учетом сказанного производную d\Zj - Zj J/da можно найти как
Таким образом, применение при оценке энтропии (совместной энтропии) исследуемых изображений метода скользящего контроля, используемого в задачах машинного обучения при оценке распределений вероятностей объектов по методу окна Парзена [105], позволяет получить оценку псевдоградиента ВИ без дополнительной локальной выборки, что на каждой итерации оценивания дает сокращение объема выборки до двух раз. При этом экспериментальные исследования, проведенные на имитированных изображениях с ПРВ яркостей и корреляционной функцией близкими к гауссовым, синтезированных на основе волновой модели, при использовании в качестве модели привязки модели подобия a = [hx,hy,(p, к) с различным набором значений параметров (hx,hy сдвиг, ф - угол, к - масштаб), показали, что по сравнению с алгоритмом EMMA [139] вычислительные затраты на нахождение энтропии изображений сокращаются примерно на 10-15 %, а дисперсия погрешности при этом увеличивается в среднем лишь на 2,5 %. Следует отметить, что уменьшение требуемого объема локальной выборки очень существенно в ситуациях, когда обрабатываемые изображения не хранятся в оперативной памяти вычислительных устройств или обработка изображений проводится в реальном времени, в частности, по мере поступления отсчетов изображений с фотоприемных устройств.
Заметим также, что предложенный подход можно использовать и для оптимизации ширины аппроксимирующей функции. Используя рассуждения, аналогичные приведенным при описании предложенного выше способа оценки производной энтропии изображений (2.8). Отличием является то, что производная энтропии вычисляется не по вектору параметров деформации а, а по параметру ширины аппроксимирующей функции о:
Приведем результаты исследований эффективности использования целевой функцией на базе ВИ в псевдоградиентных процедурах [36, 132, 140]. Исследования проводились с использованием имитированных и реальных спутниковых изображений при различных яркостных искажениях. Для расчета численной характеристики ВИ применялось выражение (1.7). Для сравнительного анализа в качестве целевых функций исследовались также СКМР и КМК, для расчета оценок которых использовались выражения (1.8) и (1.6) соответственно. Необходимо отметить, что целевые функции, выбранные для исследования, имеют разную размерность, поэтому для упрощения сравнительного анализа их численные значения нужно нормировать. В приведенных ниже результатах в качестве критерия нормировки был выбран максимальный диапазон изменения численных значений каждой целевой функции. Кроме того, для наглядности приведенных в этом разделе экспериментальных графиков, в качестве исследуемого параметра привязки использован взаимный сдвиг h изображений вдоль одной из координатных осей. Заметим, что выбор в качестве а параллельного сдвига, незначительно ограничивает общность рассмотрения, поскольку для каждой точки пространства оцениваемых параметров приведенные ниже рассуждения справедливы и для евклидова расстояние рассогласования [131], комплексно характеризующего произвольный набор параметров модели привязки изображений.
Исследуем эффективность выбранных целевых функций при различных видах яркостных искажений: наличие аддитивных несмещенных гауссовых шумов, линейные яркостные искажения и нелинейные яркостные искажения.
Рисунок 2.4 - Имитированное изображение Рассмотрение начнем со случая, когда кроме сдвига изображения отличаются только аддитивным несмещенным гауссовым шумом. Для исследования влияния на целевые функции шума целесообразно использовать имитированные изображения, плотность распределения яркостей и корреляционную функцию которых можно априорно задать при их синтезе. На рисунке 2.4 приведен пример синтезированного на основе волновой модели [4] изображения размером 400x400 элементов с радиусом корреляции 19, имеющего распределение вероятностей яркостей и корреляционную функцию близкие к гауссовым.
Оптимизация конечных разностей, используемых для оценки производных по базовым осям изображений
В этом случае для получения субоптимальной области достаточно найти два радиуса Lx и L2, соответствующие диапазону ЕРР от Ех = Еор -АЕ до Е2 = Е + АЕ. При взятии отсчетов локальной выборки из этой области вектор оцениваемых параметров будет сходиться к оптимальным оценкам со скоростью не хуже заданной, определяемой отклонением АЕ от Еопт.
Кроме того, в общем случае для нахождения субоптимальной области нужно знать зависимость рассогласования вектора оценок от числа итераций, которая зависит от условий решаемой задачи и может быть сформирована различными способами. Например, для обеспечения максимальной сходимости оценок в среднем в [52] предложен следующий алгоритм.
Описанный алгоритм хорошо подходит для проверки адекватности аналитических результатов, однако он требует больших вычислительных затрат и мало приемлем на практике. Больший практический интерес представляет минимаксный подход, при котором зависимость субоптимальной подобласти от номера итерации находится для начального приближения, соответствующего максимально возможному рассогласованию параметров. Для этой ситуации находится и число итераций, обеспечивающее заданную точность оценивания. В дальнейшем полученная зависимость положения субоптимальной подобласти от номера итерации применяется для любого начального приближения параметров, обеспечивая точность оценивания не хуже заданной. При этом зависимость положения субоптимальной области может быть найдена через определение границ Lx и L2 этой области по ЕРР, найденному на каждой итерации по усредненному по заданному ансамблю реализаций рассогласованию оценок параметров, полученному экспериментально. Заметим, что указанная зависимость может быть получена и теоретически для класса изображений, заданного автокорреляционной функцией и ПРВ яркостей, по методике расчета ПРВ ПГП при конечном числе итераций [51] и описанному в этом параграфе способу нахождения субоптимальной подобласти. Пример зависимостей Lonm от числа итераций при отношении сигнал/шум g = 20 и g = 2 приведен на рисунке 3.19. Значение L находилось с помощью соотношения (3.11). Вектор рассогласования оценок для нахождения ЕРР на каждой итерации определялся в соответствии с минимаксным подходом статистическим моделированием. Видно, что с увеличением шумов Lonm при малом числе итераций выше, а при большом - ниже.
Рассогласование, формируемое сдвигом одинаково для любой точки изображения и часто, особенно на начальном этапе оценивания, может превышать Е, и Е2. В этом случае субоптимальной области взятия отсчетов локальной выборки не существует (выражение (3.11) является комплексным). Для преодоления этого обстоятельства на начальном этапе оценивания можно задать базовую область деформированного изображения, в которой берутся отсчеты локальной выборки до тех пор, пока уменьшение рассогласования по сдвигу не позволит формировать субоптимальную область, исходя из Е} и Е2. Местоположение базовой области определяется областью определения оцениваемых параметров (как правило, это центр изображения), а ее размеры выбирается по некоторому критерию.
Замечание 2. Для параметров поворота и масштаба теоретически всегда существует субоптимальная область. Однако ее местоположение может оказаться вне кадра изображения (в частности, при малых ЕЕР). В этом случае отсчеты локальной выборки целесообразно брать в краевых областях изображений.
Очевидно, что для приведенных ситуаций, скорость сходимости вектора оценок исследуемых параметров будет ниже, чем при взятии отсчетов из субоптимальной области.
Приведенные замечания говорят также о том, что на практике скорость сходимости оценок параметров не может быть максимальной на всех итерациях псевдоградиентного оценивания. Этого практически невозможно добиться на его начальном и конечном этапах.
Для примера на рисунке 3.20 приведены субоптимальные области взятия отсчетов локальной выборки на изображении размером 1200x1200 с гауссовской автокорреляционной функцией радиуса корреляции 15 и отношением сигнал/шум g = 20. Оптимизация бала проведена для релейной ПГП с параметрами диагональной матрицы усиления А,х=0.1, Я, =0.1, =0.1, Хк= 0.005. Объём выборки ы = 12 (базовая выборка с объемом 3 бралась со случайным равновероятным положением четырежды из субоптимальной обрасти на каждой итерации). На рисунке план использованной базовой выборки для наглядности показан в увеличенном масштабе (в 12 раз). Заметим, что положение базовых выборок показано условно, т.к. оно случайное.
Пример использования разработанных процедур для измерения рассогласования прихода радиоимпульсов с элементов фазированной антенной решетки
Переход к следующей итерации происходит после увеличения значения переменной / (блок 7.20), а также проверки условия выхода из цикла (блок 7.21). Далее после выхода из второго внутреннего цикла в блоке 7.22 значение переменной р увеличивается на 1 для перехода к следующей итерации внешнего цикла алгоритма, условие выхода из которого проверяется в блоке 7.23. При достижении переменной р значения \х осуществляется выход из цикла, а в блоке формируются выходные значения компонент вектора псевдоградиента для параметров привязки изображений.
На рисунке 4.6 представлена БСА вычисления псевдоградиента ВИ с применением метода окна Парзена для восстановления ПРВ яркостей изображений, а также алгоритма скользящего контроля для оценки энтропии изображений. Основным отличием от предыдущего алгоритма является то, что при формировании локальной выборки на каждой итерации записывается одна пара отсчетов.
Приведем несколько примеров экспериментальных результатов, полученных с использованием рассмотренных модулей. В главе 2 данной диссертационной работы было показано, что потенциальная скорость сходимости оценок параметров привязки изображений при использовании в качестве целевой функции ВИ значительно падает при увеличении отношения сигнал/шум вследствие уменьшения максимальной крутизны целевой функции. На рисунке 4.7 приведены зависимости рассогласования параметров привязки изображений, синтезированных на основе волновой модели [4] и имеющих корреляционную функцию и ПРВ яркостей, близкие к гауссовским. Радиус корреляции исследованных изображений составлял 17 шагов сетки отсчетов.
Вектор начальных рассогласований є = (єх = гу = 10, Єф = 10, єк = 0.1) , ц = 10. Результаты усреднены по 500 реализациям. Кривая 1 соответствует =0.001, кривая 2 - =0.1, кривая 3 - q=0.2. На рисунке 4.8 приведены графики изменения ЕРР при L = 20. Графики показывают, что скорость сходимости оценок параметров существенно снижается при увеличении отношения шум/сигнал. Так, при =0.001 оптимальная область оценок параметров достигается за 1900 итераций, при q=QA - за 4400 итераций, при q=0.2 - за 9000 итераций.
Пример использования разработанных процедур для обнаружения и измерения рассогласования прихода радиоимпульсов с элементов фазированной антенной решетки
Одной из задач в системах радиоэлектронной борьбы является определение местоположения источника радиоизлучения. Известны методы решения данной задачи, основанные на совместной обработке разностно-временных и разностно-фазовых измерений сигналов от разнесенных приемников, в качестве которых могут выступать элементы фазированных антенных решеток. При этом, решение задачи определения координат источника можно разделить на два этапа: обнаружение радиосигнала от источника излучения и определение временного и фазового сдвигов обнаруженных сигналов в разнесенных приемниках. Указанные подзадачи можно решить с применением разработанных в рамках выполнения данной диссертационной работы модулей псевдоградиентного оценивания параметров взаимных рассогласований двух сигналов.
В частности, для задачи обнаружения сигналов можно использовать следующий алгоритм, пример работы которого на реальном сигнале представлен на рисунке 4.9. Для отсчетов, поступающих с двух каналов (рисунок 4.9,а и б), в скользящем окне wt посредством разработанной ПГП выполняется оценка ht сдвига импульсов. По текущей оценке сдвига ht в скользящем окне wCR вычисляется коэффициент корреляции CR (кривая 1 на рисунке 4.9,в). Привязка сигналов позволяет скомпенсировать фазовые сдвиги и временную задержку несущих частот радиоимпульсов. Получаемые значения коэффициента корреляции сравниваются с пороговым значением (прямая 2 на рисунке 4.9,в), превышение является критерием выполнения гипотезы о наличии радиоимпульса (рисунок 4.9,г). Стоит отметить, что данный подход позволяет обнаруживать импульсы в нефильтрованном входном сигнале, что важно, ибо фильтрация вносит существенные искажения. При этом хорошие результаты наблюдаются даже при малом отношении сигнал/шум, когда импульсы затруднительно выделить даже визуально (рисунок 4.10).
