Содержание к диссертации
Введение
Глава 1. Проблема синтеза телевизионно-компьютерных систем при одновременном достижении быстродействия, помехоустойчивости и скорости их создания 18
1.1. Основы информационной теории синтеза телевизионно-компьютерных систем реального времени 19
1.2. Перспективные технологии создания телевизионно-компьютерных систем .32
1.2.1. Видеосистемы на кристалле 32
1.2.2. Системы на кристалле для цифровой обработки 52
1.3. Классификация прикладных задач с различным уровнем априорной неопределенности 59
1.3.1 Формирование и передача динамических изображений 60
1.3.2 Классификация изображений случайных полей 66
1.3.3. Обнаружение изображений малоразмерных объектов и оценка их координат 68
1.4. Выводы и постановка задач исследований 73
Глава 2. Разработка методов повышения помехоустойчивости телевизионнокомпьютерных систем 79
2.1. Статистический синтез телевизионно-компьютерных систем с учетом совокупности ограничений 79
2.2. Повышение помехоустойчивости в задачах обнаружения и оценивания координат изображений малоразмерных точечных объектов 94
2.3. Адаптация совместного обнаружения и оценивания как метод повышения помехоустойчивости 112
2.4. Квантование телевизионных сигналов с переменным шагом для ввода в спецпроцессор 117
2.5. Выводы по главе 2 136
Глава 3. Разработка методов повышения быстродействия телевизионнокомпьютерных систем 138
3.1. Быстродействие телевизионно-компьютерных систем 139
3.2. Быстродействующие методы классификации изображений случайных полей 147
3.3. Повышение быстродействия в задаче совмещения телевизионных динамических изображений 158
3.4. Структурный синтез телевизионно-компьютерных систем с целью повышения быстродействия 175
3.5. Выводы по главе 3 180
Глава 4. Методы проектирования быстродействующих телевизиониокомпыотерпых систем 181
4.1. Методология сопряженного проектирования телевизионно-компьютерных систем с использованием устройств класса «система на кристалле» 182
4.2. Методы и алгоритмы ускоренного вычисления параметров движения изображения в системах электронной стабилизации 204
4.3. Быстродействующий процессор для измерения параметров волнового фронта 224
4.4. Организация и увеличение пропускной способности интерфейсов в телевизионно-компьютерных системах 231
4.5. Выводы по главе 4 245
Глава 5. Реализация и экспериментальные исследования быстродействующих телевизионно-компьютерных систем 246
5.1. Классификация изображений в системе анализа волнового фронта 248
5.2. Верификация аппаратно-программного обеспечения для класса устройств «система на кристалле» 258
5.3. Экспериментальные исследования разработанных методов и алгоритмов электронной стабилизации .274
5.4. Программный анализатор анизотропии изображений случайного поля 393
5.5. Устройства класса «система на кристалле» в малокадровой телевизионной системе с передачей по GPRS 300
5.6. Методология «система на кристалле» в учебном процессе 309
5.7. Выводы по главе 5 317
Заключение ,319
Литература 329
Приложение 352
- Перспективные технологии создания телевизионно-компьютерных систем
- Повышение помехоустойчивости в задачах обнаружения и оценивания координат изображений малоразмерных точечных объектов
- Повышение быстродействия в задаче совмещения телевизионных динамических изображений
- Методы и алгоритмы ускоренного вычисления параметров движения изображения в системах электронной стабилизации
Введение к работе
Настоящая диссертация посвящена решению проблемы синтеза прикладных телевизионно-компьютерных систем анализа динамических изображений повышенным быстродействием и помехоустойчивостью и их проектирования с применением новой технологии «видеосистема на кристалле».
Актуальность решения этой проблемы определяется необходимостью создания нового поколения прикладных телевизионно-компыотерных систем, отличающихся существенно меньшими массогабаритными характеристиками при сохранении и даже увеличении перерабатываемого количества видеоинформации. К таким системам относятся бортовые космические, авиационные и гидрооптические системы анализа и обработки изображений. В них требуется решение задач обнаружения, оценивания, передачи видеоинформации и управления в реальном времени автоматически или при ограниченном участии оператора. Важной тенденцией развития таких систем является резкое уменьшение доступных ресурсов массы и габаритов, наглядно проявляющееся в появлении новых классов аппаратов, на которых устанавливается целевая телевизионная аппаратура, таких, как малогабаритные беспилотные летательные аппараты (самолеты и вертолеты) и миниатюрные искусственные спутники Земли, для которых уже появились специальные классификационные термины -микроспутники, наноспутники и пикоспутники. Вместе с тем сокращение массы и габаритов сопровождается не упрощением систем, а увеличением их информационной сложности. Такое повышение плотности информационных элементов телевизионной и вычислительной техники приводит к тому, что система приобретает новое качество: в ней фотоприемник и устройство обработки связаны несколькими каналами связи, позволяющими резко, на один-два порядка повысить быстродействие телевизионно-компыотерных систем и достижимые кадровые частоты и не только передавать видеоинформацию и принимать по ней решения, но и управлять процессами адаптации обеих подсистем к свойствам сигналов и этапам наблюдения. Поэтому новый класс систем требует специального названия и в работе использован термин «телевизионно-компыотерная система», означающий интегральную систему, в которой на основе единства цели,
конструктивного единства и общности методов синтеза и проектирования объединены телевизионная и вычислительная подсистемы.
Практика создания телевизионных систем прикладного назначения, опирающаяся на теоретические методы структурного и статистического параметрического синтеза [25, 35, 44, 74, 83, 84, 105] и методы проектирования сложных радиотехнических систем, предполагает на только достижение главной цели системы, но удовлетворение некоторой совокупности требований, называемой векторным показателем качества [7]. В пего входят помехоустойчивость, быстродействие, сроки создания системы, ее масса и габариты и т. д. Синтез прикладных телевизионных и компьютерных систем при векторном показателе качества опирается на методологические основы ряда научных направлений, в частности теории систем, теории связи, теоретических основ телевидения и проектирования вычислительных машин и систем.
Важную роль в синтезе телевизионно-компыотерных систем играет использование опыта применения указанных теорий на практике и в смежных областях техники. Однако в настоящее время не достаточно формализованы информационные методы синтеза сложных систем с различными методами обработки информации, - в фотоприемниках, осуществляющих накопление, дискретизацию и обработку аналоговых сигналов, в аналого-цифровых преобразователях и в вычислителях, обрабатывающих цифровые данные. Требуют исследования методы синтеза телевизионно-компыотерных систем, реализуемых с использованием технологии «система па кристалле» и «видеосистема на кристалле», для повышения показателей помехоустойчивости и быстродействия при классификации изображений.
Анализ состояния отечественных и зарубежных разработок быстродействующих телевизионно-компыотерных систем классификации изображений показывает, что указанная проблема на основе традиционной методологии, использующей агрегативные методы проектирования, т. е. позволяющие создавать устройства обработки видеоинформации на базе отдельных микросхем, не решается.
Необходимое для решения обозначенных прикладных задач повышение быстродействия и помехоустойчивости при существенном уменьшении массы и
габаритов стало возможным на современном этапе развития микроэлектроники и телевизионной техники, характеризующимся резким увеличением числа элементов разложения в твердотельных фотоприемниках, появлению новой твердотельной технологии «система на кристалле» в вычислительной технике и децентрализацией передачи информации телевизионными системами. Достоинства твердотельных матричных фото приемников - жесткий растр, высокая надежность и малые габариты - известны с момента их изобретения, и твердотельное телевидение давно стало реальностью. Вместе с тем практика его применения и стремительное развитие информационных технологий выдвинули новые требования - система должна быть не только телевизионной, но и телевизионно-компыотерной. Последним шагом развития технологии матричных фотоприемников явилось их объединение в одном приборе с вычислительными «системами на кристалле» в рамках устройств «видеосистема на кристалле» Появившиеся «видеосистемы па кристалле» являются фактором нового этапа микроэлектронной революции, когда и телевизионная система становится полностью однокристальной. Дополнительные выдвигаемые требования -сверхмалые габариты подобных систем при достаточно высокой вычислительной сложности. Одним из важнейших направлений развития информационно-коммуникационных технологий является внедрение «систем на кристалле» и «видеосистем на кристалле». Так, «Федеральная космическая программа на 2006 -2015 годы» предусматривает: увеличение периодичности наблюдений Земли из космоса с доведением его до реального масштаба времени; повышение разрешения дистанционного зондирования Земли до 0.5 метра; высокооперативное выявление катастрофических явлений и аварий. Для обеспечения этих требований намечено освоение новой технологии проектирования и производства радиоэлектронной аппаратуры ракетно-космической техники с использованием СБИС «системы на кристалле». Благодаря их применению планируется создать системы наблюдения, управления и телеметрии с повышенным до 20 лет ресурсом, уменьшенными в 10 раз массогабаритными характеристиками, уменьшенной в 2 раза потребляемой мощностью, в 2 раза уменьшенной ценой и, что особенно важно, уменьшенными в 5 раз сроками разработки аппаратуры [22].
Методология разработки телевизионных систем с использованием устройств «система на кристалле» существенно отличается от существующих методов создания устройств на обычных печатных платах: появляются как новые возможности, так и новые ограничения. В результате при проектировании применяемых в телевизионной системе изделий микроэлектронной техники (сложных функциональных блоков и систем па кристалле) необходимо полноценное участие в этом процессе разработчика системы. Это коренным образом меняет подходы к разработке и производству компонентов для радиоэлектронной промышленности: если ранее электронная промышленность производила наборы компонентов и заказные изделия, то теперь необходимо создание единой системы проектирования, которая охватывает все аспекты разработки, производства и испытаний «системы на кристалле» как изделия нового класса. В западных странах эта тенденция выражается в создании так называемых «fablessw-компаиий или же «дизайн-центров» которые позволяют перенести создание системы на уровень формирования структур на кремниевой пластине, т.е. перевести микроэлектронику от технологии выпуска компонентов к технологии выпуска систем. Главное, что определяет отличие технологии «система на кристалле», это наличие программируемого реконфигурируемого ядра и, зачастую, даже не одного, а нескольких. При этом существенные финансовые и интеллектуальные вложения происходят не на этапе схемотехнического или топологического проектирования, а на этапе разработки алгоритмического аппаратно-программного обеспечения и комплексной настройки системы.
Для успешного применения в телевизионно-компьютерных системах новой твердотельной технологии «система на кристалле» и «видеосистема на кристалле» необходимо пересмотреть решение ряда хорошо исследованных задач телевизионной техники, в том числе разнообразных задач телевизионных измерений, проводимых в автоматическом режиме. В прикладном аспекте эти задачи относятся например к классификации изображений случайных полей (текстур), стабилизации телевизионных изображений при установке телевизионно-компыотерных систем на подвижных носителях, астроориентации, адаптивной оптике, а в теоретическом аспекте они относятся к разработке методов адаптивной классификации сигналов в условиях априорной неопределенности и наличия ряда
ограничений, в том числе на доступную вычислительную сложность алгоритмов принятия решений. На примерах задач этого класса, т. е. относительно простых задач анализа изображений, которые решаются с помощью процедур оценки векторных параметров и не затрагивают вопросов распознавания образов (другими словами - семантической обработки видеоинформации), необходимо обосновать методы решения и определить задачи проектирования, структуру и параметры быстродействующих устройств обработки и формирования изображений на основе технологии «система на кристалле». Выбор такого набора задач обусловлен необходимостью охватить разрабатываемым методом синтеза широкого диапазона возможной априорной неопределенности в характеристиках наблюдаемых динамических изображений. В качестве представителя задачи классификации изображений с очень большой априорной неопределенностью выбрана задача динамического совмещения изображений соседних телевизионных кадров, когда априори известны (измерены) лишь автокорреляционная функция изображения, моделируемого случайным полем, и модуль максимального смещения изображения относительно предыдущего кадра и задача классификации в качестве основного элемента включает оценку вектора смещения, управляющего считыванием изображений из буферной памяти. В качестве представителя задачи классификации с уменьшенной априорной неопределенностью, но все еще в рамках ее достаточно большого значения в силу наблюдения случайных полей, выбрана задача классификации текстур, т.е. ситуация, когда решение принимается на основе измерения параметров автокорреляционной функции. Вторая группа задач, отличающаяся существенно меньшей априорной неопределенностью сигналов - обнаружение и оценивание координат точечных объектов, когда форма сигнала каждого отдельного объекта определяется функцией рассеяния точки (импульсной характеристикой) объектива. Для этой группы задач характерны два уровня априорной неопределенности: неизвестного количества объектов с неизвестными интенсивностями и координатами, как это имеет место в задачах астроориентации, и известного количества объектов с известными интенсивностями и неизвестными координатами, как это имеет место в задаче оценки искажений волнового фронта методом Гартмана.
Целью работы является разработка методики синтеза прикладных телевизионных систем анализа динамических изображений, путем разработки структурных и алгоритмических методов, обеспечивающих повышения быстродействия систем на один-два порядка при сохранении и повышении помехоустойчивости и точности анализа. Для достижения поставленной цели необходимо проанализировать особенности и разработать метод создания телевизионно-компьютерных систем, включающий этапы статистического синтеза и проектирования, и который позволил бы для каждой из намеченных групп изображений с различными уровнями априорной неопределенности решить следующие задачи:
Анализ взаимовлияния обработки информации в фотоприемнике и вычислителе с учетом новых возможностей и ограничений, свойственных «системам на кристалле».
Разработка методов совместной обработки сигналов в фотоприемной матрице и вычислителе, позволяющих на порядок повысить скорость принятия решений за счет рационального распределения требуемых операций между ними.
Моделирование процессов дискретизации, квантования и вычисления оценок параметров сигналов в прикладных телевизионных системах, обосновывающее разработку методов повышения помехоустойчивости классификации изображений в системах обнаружения и оценивания координат точечных объектов путем адаптации к уровням полезного сигнала и фона.
Развитие информационного подхода к анализу и синтезу телевизионно-компьютерных систем с учетом модифицированного среднего риска, включающего потерю полезной информации и вычислительную сложность алгоритма оценки параметра.
Разработка быстрых алгоритмов классификации изображений случайных полей, измерения координат точечных объектов и электронной стабилизации изображений.
Проведение экспериментальных исследований с использованием разработанного метода проектирования телевизионно-компьютерных систем с применением «систем на кристалле», оценивающих справедливость выдвинутых в работе положений.
Методы исследования. На пути решения поставленных задач имеются определенные трудности, которые разделяются на три группы в соответствии с методами их преодоления:
Теоретические методы, в первую очередь аналитические методы теории связи, включая структурный и параметрический синтез и математическое моделирование, а также генерация специальных способов обработки видеоинформации, опирающихся на широкие возможности проектировщика не только в выборе процедур и параметров обработки сигналов, но и в выборе структуры системы, свободной от доминирующего ранее в телевидении требования использования одного канала связи с фотоприемника с вычислителем.
Методы разработки, основанные на широком применении программ и систем автоматизированного проектирования (САПР), призванные сократить время создания системы.
Экспериментальные методы, призванные подтвердить полезность и реализуемость решений, полученных методами, относящимися к первым двум группам.
Научная новизна. Основным научным результатом диссертации является разработка метода синтеза телевизионно-компьютерных систем классификации изображений, в основе которого лежит оптимизация структуры, включающая распределение вычислительных функций между фотоприемником и вычислителем и организацию множественных каналов связи между ними, а также оптимизация параметров телевизионно-компьютерных систем реального времени при ограничении вычислительной сложности, и их проектирования с применением технологии «видеосистема на кристалле». Применение разработанного метода позволило при создании новых телевизионно-компьютерных систем на один-два порядка повысить скорость принятия решений, в несколько раз повысить достоверность, а также значительно сократить время их проектирования. При этом теоретические аспекты отличаются:
применением модифицированных критериев минимума среднего риска, составленного из взвешенной суммы потери полезной информации и либо вычислительных затрат, либо загрузки вычислителя шумовой информацией [6, 37 - 39] и являющихся развитием методов оптимизации предыдущего поколения
(работы профессора Ю. М. Казаринова), опиравшихся на поиск компромисса между эффективностью и стоимостью систем [12];
учетом нескольких источников шума - фотонного шума полезного сигнала, фотонного шума фона и собственного шума фотоприемной матрицы.
В процессе исследования на основе проведенного анализа получены следующие новые научные результаты:
Аналитически обосновано на основе применения критерия информационного риска распределение площади кристалла между фотоприемником и вычислителем для специального класса прикладных телевизионных систем.
Разработан метод существенного повышения быстродействия тел евизионно- компьютерной измерительной системы, реализованной как «видеосистема на кристалле», основанный на организации множественных каналов связи между фотоприемником и вычислителем,
3. Выявлено влияние алгоритма вычисления оценки координат точечного
объекта на согласование параметров оптической системы и фотоприемника.
4. Разработан метод существенного повышения быстродействия
классификации изображений случайных полей (текстур) путем распределения
вычислительных затрат в «видеосистемах на кристалле» между фотоприемником и
собственно вычислителем и использующий вычисление проекций изображения на
вертикальные, горизонтальные и наклонные оси.
5. Разработан метод комбинированного считывания сигнала изображения в
«видеосистемах на кристалле» за время одного кадра: не только обычного
изображения, но и оценок его смещения, вычисляемых через
взаимокорреляционные функции проекций изображения на горизонтальную и
вертикальную оси.
6 Разработан метод пространственной стабилизации телевизионного изображения с точностью до элемента разложения, на основе управляемого считывания с кадровой памяти и быстрого алгоритма вычисления координат максимума взаимокорреляционной функции телевизионного изображения.
На основе выявленной зависимости оптимального размера элемента разложения от контраста объекта и этапа совместного обнаружения-оценивания разработан метод адаптации дискретизации оптического сигнала в астродатчике.
С позиций минимума информационного риска, состоящего из потери полезной информации и шумовой информации, аналитически обосновано разбиение полной шкалы сигналов на участки с разным шагом квантования: более точно для слабых сигналов и более грубо для интенсивных сигналов.
9. На основе решения вариационной задачи управления структурой
обработки сигналов при передаче в сети Ethernet разработан способ увеличения
скорости передачи информации для специализированной реализации.
Практическая ценность. Особенность практических результатов работы состоит в широком использовании при синтезе телевизионно-компыотерных систем новой методологии проектирования на основе устройств класса «система на кристалле». Предложенные оригинальные способы считывания сигналов с фотоприемных матриц позволяют при их использовании совместно с традиционно получаемыми изображениями распределить операции по обработке видеоинформации между фотоприемником и вычислительной подсистемой, и благодаря этому повысить на один - два порядка быстродействие «видеосистемы на кристалле» в условиях жестких ограничений на ресурсы. Кроме этого практическую ценность работы представляют:
рекомендованная методология совместного проектирования аппаратного и программного обеспечения для синтеза устройств класса «система на кристалле» позволяет значительно сократить время цикла выполнения проектных работ;
разработанный метод увеличения скорости передачи в интерфейсах связи телевизионно-компыотерной системы позволяет осуществлять больших объемов видеоинформации в реальном времени;
результаты структурного синтеза процессора локальной обработки в рамках рекойфигурируемой «системы на кристалле» для задач измерения волнового фронта позволяет повысить быстродействие телевизионно-компыотерной системы;
4. разработанная лабораторная база и методическое обеспечение для изучения методологии проектирования для устройств класса «система на кристалле» обеспечивает подготовку высококвалифицированных кадров.
Диссертация содержит введение, пять глав и заключение. Первая глава включает обзор достижений и проблем телевизионно-компыотерных систем реального времени, включая системы, предназначенные для использования на борту космических, авиационных и морских средств [10, 64, 13, 14, 47, 200], для которых наиболее актуально решение поставленной проблемы. В решение «вечной» проблемы повышения разрешающей способности, чувствительности и быстродействия в ходе синтеза прикладных телевизионных систем внесли свой вклад крупные зарубежные и отечественные ученые, такие как: Катаев С. И., Зубарев Ю. Б., Селиванов А. С, Цуккерман И. И., Левит А. Б., Гуревич С. Б., РыфтииЯ. А., Быков Р. Е., Тимофеев Б. С, Петраков А. В., Пустынский И. 1-І., Хромов Л. И., Ярославский Л. П., Василенко Г. И., РозенфельдА. ХорнБ.К. П., Претт У. К. и др. В первой главе характеризуется проблема синтеза телевизионно-компыотерных систем при одновременном достижении быстродействия, помехоустойчивости и скорости их создания, и методы ее решения, опирающиеся на теорию связи [1, 6] и теорию сложности [2 - 5]; отмечается достигнутый уровень характеристик фотоприемных матриц [190], систем на кристалле [42, 113, 112, 162] и видеосистем на кристалле [117], характеризуются основные положения методов классификации случайных полей [9, 25 - 27, 45], обнаружения и измерения координат малоразмерных объектов [13, 16, 44] и электронной стабилизации изображений [14, 58 - 62]. Завершает главу постановка задач диссертационных исследований.
Вторая глава посвящена синтезу телевизионно-компыотерных систем, разработке методов повышения их быстродействия и помехоустойчивости и опирается на рассмотрение телевизионно-компыотерной системы как единого целого при учете влияния характеристик подсистем не только на результирующий показатель качества всей системы, но и на оптимальные параметры других подсистем. Здесь с позиций теории связи обосновываются адаптивные алгоритмы дискретизации и квантования оптических сигналов в ходе их совместной обработки в фотоприемнике, видеотракте и компьютерной подсистеме. Методика
группового счета фотонов является родственной методу локально-адаптивного считывания [16] применительно к новым приборам «видеосистемы на кристалле».
Третья глава посвящена синтезу телевизионно-компыотерных систем, разработке методов повышения их быстродействия, необходимого при функционировании при различных уровнях априорной неопределенности. Рассмотрение материала этой главы опирается на методы структурного и параметрического синтеза, а таюке содержит описание новых оригинальных методов, использующих возможности «видеосистем на кристалле», связанные с организацией множества каналов связи фотоприемника с вычислителем и делегирование некоторых вычислительных функций фото приемнику.
Четвертая глава посвящена рассмотрению особенностей проектирования быстродействующих телевизиошю-компьютерных систем с широким использованием САПР и устройств класса «система на кристалле», разработке методов и алгоритмов ускоренного вычисления параметров движения изображения в системах электронной стабилизации; разработке методов реализации быстрого измерения анизотропии случайного поля и параметров искажений волнового фронта; разработке методов организации и увеличения пропускной способности интерфейсов в телевизионно-компыотерных системах.
Пятая глава содержит описание практических реализованных быстродействующих телевизиошю-компьютерных систем классификации изображений, в которых внедрены научные достижения, описанные в предыдущих главах диссертации. Приведена методика ускоренного тестирования аппаратно-программного обеспечения для устройств класса «система на кристалле» и изложены экспериментальные результаты, показывающие практический выигрыш в скорости и точности принятия решений за счет использования разработанных в предыдущих главах методов.
Заключение подчеркивает внутреннее единство решенных задач, новизну и значимость полученных результатов и содержит выводы по диссертации, совокупность которых позволяет сделать вывод о решении поставленной проблемы синтеза прикладных телевизионно-компыотерных систем классификации изображений повышенного быстродействия и помехоустойчивости и их проектирования с учетом особенностей, свойственных новой технологии
«видеосистема на кристалле» - увеличения количества каналов связи фотоприемника с вычислителем и выполнения вычислительных операций не только процессором обработки, но и фото прием НИКОМ.
Совокупность теоретических положений работы, направленных на повышение быстродействия и помехоустойчивости при синтезе прикладных телевизионно-компыотерных систем с учетом преимуществ и ограничений технологии «система на кристалле» и на повышение эффективности их проектирования, представляет решение научной проблемы, имеющей важное народнохозяйственное значение.
Основные научные положения, выносимые на защиту:
Для повышения быстродействия и точности телевизионно-компыотерных систем, выполненных в виде «видеосистем на кристалле» (в частности, при измерении параметров волнового фронта) необходимо на основе максимизации извлекаемой информации компромиссно распределять общую площадь кристалла между фото приемником и вычислителем и формировать множество параллельных каналов связи межу ними.
Для повышения точности измерения координат точечных объектов при согласовании размеров элемента разложения с кружком рассеяния объектива необходим учет конкретного алгоритма вычисления требуемых оценок, реализуемого в быстродействующей «видеосистеме на кристалле» при ограниченных вычислительных ресурсах.
Для стабилизации телевизионного изображения с точностью до элемента разложения (необходимого и достаточного при использовании в малогабаритных беспилотных летательных аппаратах) следует применять метод управляемого считывания видеосигнала из буферной кадровой памяти. Для экспоненциальной формы взаимокорреляциоиной функции вычисление координат ее глобального максимума следует применять алгоритм быстрого градиентного спуска.
Для уменьшения задержки в получении оценки смещения изображения при приемлемой точности следует воспользоваться методом двукратного считывания сигнала за время одного кадра: не только обычного изображения, но и его проекций на горизонтальную и вертикальную оси, по которым оценивается смещение полного кадра изображения.
Учет трех источников шумов - полезного сигнала точечного объекта, фона и телекамеры позволяет определить и сопоставить оптимальные интервалы дискретизации оптического сигнала в задачах максимизации отношения сигнал/шум и минимизации среднеквадратической ошибки оценивания координат.
Для увеличения достоверности классификации астродатчиком наблюдаемого участка звездного неба в условиях наличия трех источников шумов (полезного сигнала точечного объекта, фона и телекамеры) следует использовать адаптацию интервала дискретизации оптического сигнала к его интенсивности.
При ограниченной вычислительной сложности видеопроцессора для уменьшения информационного риска следует разбивать шкалу квантования на участки с разным и постоянным в пределах участка шагом: более точно для слабых сигналов и более грубо для интенсивных сигналов.
Для повышения скорости передачи в территориально разнесенных тел евизионно-компьютерных системах целесообразно использовать аппаратные реализации стандартных протоколов связи, позволяющие уменьшить требования к сложности и быстродействию бортового вычислителя.
Для сокращения времени проектирования телевизионно-компьютерных систем следует использовать методологию совместной разработки аппаратной и программной составляющих подобных изделий, основанную на широком применение средств САПР для нового класса устройств - «система на кристалле».
Реализация результатов работы: Проведенные теоретические исследования, расчеты, изобретения и эксперименты позволили разработать быстродействующие адаптивные телевизионно-компыотериые системы с использованием устройств класса «система на кристалле», в которых на порядок повышено быстродействие. Разработанные методы стабилизации изображений нашли применение при разработке ФГУП «НИИ телевидения» систем технического зрения для обеспечения управления движением и оружием робототехнических комплексов военного назначения, в которых на порядок увеличено быстродействие вычисления вектора смещения и вдвое расширен диапазон компенсируемых частот колебаний визирной оси. Разработанные методы классификации случайных полей использованы в макете гидрооптического канала аппаратуры экологического мониторинга, созданного ФГУП «НИИ телевидения»,
благодаря чему повышена помехоустойчивость классификации при жестких ограничениях на вычислительную сложность. Разработанные методы адаптации дискретизации и квантования оптических сигналов пашли применение при создании в ООО «СКБ Телевизионной техники» систем астроориентации и анализа волнового фронта, в которых вдвое расширен диапазон наблюдаемых сигналов и вдвое сокращена требуемая производительность бортового вычислителя. Методы сквозного проектирования быстродействующих телевизиопно-компьютерных систем на основе технологии «система на кристалле», и оптимизации организации интерфейсов использованы при создании системы наблюдения за быстропротекающими процессами в ФТИ им. А.Ф.Иоффе и обеспечили в ней двукратное увеличение пропускной способности. Методика совместного проектирования аппаратного и программного обеспечения, позволяющая значительно сократить время цикла разработки сложных систем, доведена до практического применения в учебном процессе и используется в СПбГЭТУ «ЛЭТИ» (кафедра телевидения и видеотехники и кафедра САПР) и Хабаровском техническом университете. С использованием результатов работы написаны 4 методических указания к лабораторным работам и 2 учебных пособия. Изложенное показывает, что использование результатов диссертации позволило разработать несколько типов телевизионно-компыотерных систем на основе «систем на кристалле», о чем имеются акты внедрения из ряда организаций.
Перспективные технологии создания телевизионно-компьютерных систем
Роль технологии при создании прикладных телевизионных систем огромна. Все этапы развития телевидения связаны с технологическими прорывами, которые позволили перейти от умозрительных конструкций к практически реализуемым [6, 197, А60]. Например, изобретателем электронного телевидения является В.К. Зворыкин и, хотя несколько вариантов передающих трубок предлагались другими исследователями, но именно преодоление технологического барьера стало определяющим фактом в рождении электронного телевидения.
При структурном и статистическом синтезе телевизиошю-компыотерных систем необходим тщательный учет состояния и тенденций развития технологической базы устройств формирования и обработки изображений. Ниже приведен такой анализ для двух направлений: фотоприемники и устройства обработки.
На рубеже веков телевизионная техника переживает новый этап революционного изменения технологии. Если первый этап этой революции [46] связан с рождением твердотельного телевидения, воплощенного в матричных приборах с зарядовой связью (ПЗС) и микропроцессорах, то нынешний этап характеризуется следующими чертами [АбЗ]: совершенствование технологии изготовления матричных фотоприемников позволило массово выпускать приборы высокой четкости, причем число элементов разложения измеряется мегапикселами; совершенствование технологии изготовления микроэлектронных устройств обработки сигналов привело к синтезу разнородных вычислительных устройств - микропроцессоров, запоминающих устройств и программируемой логики в пределах одной микросхемы, которые получили название «системы на кристалле»; применение технологии, развитой для построения микроэлектронных устройств, к реализации матричных фотоприемников породило новую ветвь твердотельных устройств, объединяющих в себе фотоприемник, устройства развертки, квантования и обработки изображения.
Совокупность этих черт позволяет говорить именно о революционном, а не эволюционном характере развития телевизионной техники. Это видно хотя бы из того, что освоение все более высокой точности изготовления приборов (уже приближающейся к 0,1 мкм) после двух десятилетий работы с матрицами вещательного формата (около 0,4 мегапиксела) быстро преодолела мегапиксельный барьер и сейчас даже в мобильных телефонах массово применяются мегапиксельные матрицы, а в цифровых фотоаппаратах -пятимегапиксельные матрицы. В результате телевизионная техника уже полностью вытеснила фотографические методы в астрономии и наблюдается устойчивая тенденция к вытеснению пленочной фотографии из массового фотолюбительства. Сегодня в области преобразователей свет-сигнал наряду с дальнейшим совершенствованием ПЗС происходит взрывной рост разработок КМОП матриц со встроенными схемами развертки и обработки изображения.
Современный этап создания телевизиошю-компыотерных систем характеризуется единством технологии фотоприемников и вычислительной подсистемы. Поэтому полезно сравнить темпы роста числа транзисторов в микропроцессорах и фотоприемных матрицах. Такое сравнение весьма наглядно, в частности, и потому, что приборы с зарядовой связью и микропроцессоры были изобретены одновременно - в 1971 г. Рост числа транзисторов в микропроцессорах хорошо описывается законом Мура, т.е. представляет собой прямую (при линейной шкале времени и логарифмической шкапе числа транзисторов), соответствующую удвоению числа транзисторов в СБИС примерно за 1,8 года. Рост числа элементов в матрицах ПЗС имеет три выраженных участка рис. 1.2: первый, когда благодаря регулярной структуре фотоприемника темпы роста числа элементов фотоприемпика заметно опережали темпы роста числа транзисторов в процессорах; второй, когда разработчики фотоприемных матриц сосредоточились на качественных показателях (количество дефектов, темновой ток, эффективность переноса, шум считывания и т.п.), в результате чего темпы роста числа элементов резко снизились, и со временем число транзисторов в процессорах превзошло число элементов разложения в ПЗС; третий участок характеризуется восстановлением темпов роста числа элементов разложения в фотоприемниках; вместе с тем различие в абсолютном значении числа транзисторов в процессорах и числа элементов в фотоприемных матрицах будет сохраняться в силу принципиального различия между элементами, работающими с двоичными сигналами и с квазинепрерывными (число накапливаемых электронов в элементе ПЗС исчисляется десятками и сотнями тысяч).
Второй излом в темпах роста числа элементов в ф отопри ем пиках наглядно показывает наличие второго этапа твердотельной революции в телевидении.
Видеоинформатика, изучающая все этапы рождения сигналов изображений, преобразования изображений и их передачи [37, 47, 162, 200], охватывает много разнородных этапов и подсистем (оптическая подсистема; фотоприемник, аналоговый видеопроцессор; аналого-цифровой преобразователь; цифровой видеопроцессор целевого назначения, кодек, процессор принятия решений; средства доставки изображения или решения потребителю).
Безусловно, каждый из этих этапов имеет самостоятельную ценность и многообразные варианты реализаций, однако практические требования к современной технике телевидения и технологические возможности требуют их интеграции. До наступления нынешнего этапа твердотельной революции все эти этапы разделялись, в том числе и по технологии изготовления. Современный этап характеризуется единством технологии большинства подсистем, которое сделало возможной такую интеграцию. Подчерк ну, что она имеет целью не только уменьшение массогабаритных показателей и энергопотребления, но и перенос центра сложности обработки видеоинформации и принятия решений из внешнего вычислителя непосредственно в телекамеру. Это в корне меняет роль телекамеры в системе - из пассивного формирователя изображения она превращается в интеллектуальный источник видеоинформации и решений. Другими словами, телекамера и сейчас уже методологически неотделима от компьютера [6], а недалеко то время, когда телекамера будет составлять единое
Повышение помехоустойчивости в задачах обнаружения и оценивания координат изображений малоразмерных точечных объектов
Определение оптимальной дискретизации для решения задачи совместного обнаружения и оценивания координат должно осуществляться в ходе параметрического синтеза в рамках известной структуры кодирования и декодирования (рис.2.5). В ней матрица ПЗС выступает в роли кодера, ее считывающее устройство трактуется как канал связи, а видеотракт и спецвычислитель звездного датчика выступает в роли декодера. Преобразование сигналов и помех в ПЗС в первом приближении можно рассматривать как накопление смеси Y сигнала S и фона В в элементах разложения размером Д с прямоугольной апертурной характеристикой. Прямоугольность апертурной характеристики элемента разложения не только хорошо аппроксимирует реальные свойства матриц, но и является оптимальной в задаче обнаружения точечного источника при лимитирующем влиянии шума фона [86].
Так как дальнейшее рассмотрение имеет целью обоснование группирования зарядовых пакетов при считывании соседних элементов по строке, то уместно для упрощения вычислений воспользоваться одномерной моделью зависимости сигналов и операторов от одной координаты х:
Шум фона, распределённый по закону Пуассона и имеющий интенсивность В, после воздействия преобразования вида (2.8) имеет дисперсию, пропорциональную интенсивности и интервалу дискретизации:необходимой для исключения зависимости выходного сигнала от изменений интервала дискретизации, дисперсия шума фона (2.9) уменьшается пропорционально квадрату нормирующего множителя и становится обратно пропорциональной интервалу дискретизации:
После вычитания оценки фона в декодере в первом приближении можно считать, что фон скомпенсирован полностью, без внесения дополнительных шумов.Обнаружение
В простой постановке задачи обнаружения оптического сигнала ctS(x - х0) считается известной форма сигнала S(x) и неизвестными амплитуда сигнала а и координата х0. При проверке гипотезы о наличии сигнала минимум риска достигается оптимизацией значения порога и максимизацией отношения сигнал/шум. Для упрощения обычно выбор порога считают отдельной задачей и пользуются критерием максимума отношения сишал/шум, т.е. максимизируют функционал, связывающий число сигнальных Ns и фоновых Nb фотонов (или фотоэлектронов, что эквивалентно при квантовом выходе, равном 100%):
Число фоновых фотоэлектронов в формуле (2.11) можно трактовать как сумму фотоэлектронов внешнего оптического фона и темпового сигнала фотоприёмника. Однако дисперсии шума внешнего фона и шума считывания по-разному зависят от размера элемента разложения, что обуславливает их раздельное введение в формулу для отношения сигнал/шум. С учётом шума считывания, имеющего дисперсию Nc формула (2.11) приводится к виду:
Если при проектировании системы необходимо учесть еще и другие источники шума (например, шум квантования), то их дисперсии включаются в состав суммы в знаменателе формулы (2.12). При этом важно, что фигурирующие в ней шумы дают исчерпывающий набор функциональной зависимости: шумы, зависящие от полезного сигнала, зависящие от внешнего фона, и не зависящие ни от полезного сигнала, ни от внешнего фона.
Форма полезного сигнала обычно не известна абсолютно точно, известны бывают диапазоны изменения ее основных характеристик. В рассматриваемых системах астрономического назначения можно считать, что априорная неопределенность не функциональная, а параметрическая [74]. В этом случае вариации формы полезного сигнала могут быть сведены к вариации некоторых параметров: амплитуды, радиуса (зависящего от качества фокусировки объектива), эксцентриситета (зависящего от наличия комы объектива) и т.п.Возможны несколько путей решения задачи совместного обнаружения и оценивания в условиях параметрической априорной неопределенности. Один из путей - нахождение оптимальных процедур для среднего значения параметров с последующей оценкой устойчивости показателей качества к отклонению параметров [74]. Второй путь - применение алгоритмов, не являющихся оптимальными для принятой модели типичного сигнала, но обладающих большой устойчивостью к изменению параметров сигнала [82, 88 - 92, А2]. При обоих подходах форму полезного сигнала либо варьируют (напр., [92]), либо просто принимают гауссовской с радиусом г и неизвестными амплитудой а и координатой ха. Эту кривую обычно используют как плотность вероятности и нормируют для обеспечения равенства единице полной вероятности с помощьюмножителя г—
Если использовать такую нормировку при нахождении оптимального радиуса полезного сипіала при заданном размере элемента разложения [46], то изменения радиуса, связанные с изменением амплитуды, будут отражать процедуру смещения фотоприемиика относительно фокальной плоскости объектива. В данном анализе предполагается фиксированное значение функции рассеяния точки объективом и варьируется размер элемента разложения принормировке амплитуды сигнала с помощью множителя J— . Она тоже полезна,
Повышение быстродействия в задаче совмещения телевизионных динамических изображений
При разработке методов определения смещения изображения взаимообмен точности и сложности должен формализоваться в рамках теории эпсилон-сложности [5] для различных статистических характеристик изображений. Но именно тенденция разработки максимально универсальных алгоритмов [61, А14] привела к использованию методов моделирования на некотором ансамбле тестовых изображений с типичными корреляционными функциями и отношением сигнал/шум [65, 73]. Несмотря на отсутствие теоретической границы в виде эпсилон-сложности в этих модельных экспериментах (рис.3.7; расчеты проведены для растра 1000x1000 элементов без учета возможности вычислений смещения по фрагменту кадра при использовании строба анализа от 5x5 до 30x30 элементов для смещений, не превышающих 3 элементов, и отношения сигнал/шум 30 дб), можно установить определенный характер взаимообмена точности и сложности.
В диссертационной работе в качестве критерия качества при синтезе тел евизионно-компьютерной системы применен критерий минимума информационного риска R, представляющего собой взвешенную сумму потери полезной информации и вычислительной сложности W[6]:коэффициенты.
При этом оценка реальной (в определенном смысле - минимальной) требуемой сложности приводится упрощенно в операциях па элемент с точностью до аддитивной константы, определяемой необходимостью проведения нормировки сигналов и передачи синхронизирующих сигналов. Под операцией здесь условно понимается сложение m-разрядных чисел. При этом полагается, что соотношение сложности вычисления смещения по трем классам алгоритмов связано с принятой относительной сложностью операций умножения и сложения:
Для вычисления аргументов максимума корреляции, минимума суммы модулей разности и минимума площади, где модуль разности превышает порог у, для числа N элементов в кадре, априорного интервала а возможных смещений, выраженных в числе элементов, сложность Wсоответственно составит:
Весьма характерно, что практически достижимая с помощью этих алгоритмов минимальная сложность имеет ту же тенденцию, что и эпсилон-энтропия измеряемого смещения изображений (рис.3.7).
Потерю полезной информации в методе совмещения изображений можно найти виде:где у/ - энергетическое отношение сигнал-шум, г - радиус корреляции изображения.
Подстановка полученных выражений сложности и потери полезной информации показывает, что минимум информационного риска R достигается при различной сложности в зависимости от вида алгоритма, параметров алгоритма, характеристик изображения и соотношений весовых коэффициентов.
Имеющие практический интерес точности измерения смещения достигаются при весовом коэффициенте потери полезной информации о векторе смещения в десятки и сотни раз большем, чем при сложности вычислений. Это обусловлено тем, что разработчиков и пользователей телевизионно-компыотерных систем больше интересуем потеря полезной информации в результирующем изображении при компенсации, чем потеря информации в самом векторе смещения.
Важный вывод проведенного анализа состоит в том, что сокращение вычислительной сложности непараметрическими методами позволяет достичь меньшего информационного риска. Вместе с тем, упрощение вычислительных алгоритмов при достаточно высоком весовом коэффициенте при потери полезной информации вообще не обеспечивает высокоточного измерения смещения. Поэтому при синтезе системы измерения смещения изображений следует не только осуществлять параметрическую оптимизацию, но и выбор структуры алгоритма, обеспечивающего минимум информационного риска в требуемом диапазоне точностей. Ниже рассмотрены вопросы параметрической и непараметрической оптимизации алгоритмов определения смещения изображения, с целыо поиска таких вычислительных процедур, которые отличаются низкой сложностью вычислений при допустимой ошибке.
В двухмерном дискретном случае (последовательные кадры изображения F[iiF2 представлены в виде цифровых массивов) для нахождения вектораперемещения в точке \х,у) определяются корреляционные связи междуэлементами блока S [S = / ) размером М N с центром в точке [х, у) в к-томкадре и элементами в зоне поиска SR [SR с F\) в предыдущем {к-1) кадре, и наоснове найденных связей ищется наилучшее сопряжение (рис.3.8). В предположении, что максимальное горизонтальное и вертикальное перемещение между последовательными кадрами составит соответственно, Н и V зона поиска определяется выражением
Для нахождения максимума функции взаимной корреляции (1.1) требуетсярассчитать ее значение при Q различных сдвигах в горизонтальном ивертикальном направлении. Значение Q зависит от максимально возможногосмещения изображения от кадра к кадру (Я и Г) и не превосходит числа различных возможных положений блока S в зоне поиска SRцелыо обработки является оценка координат присутствия некого «малого» изображения S в пределах «большого» изображения SR.
Методы и алгоритмы ускоренного вычисления параметров движения изображения в системах электронной стабилизации
Декомпозиция задачи определения смещения изображение, согласно разделу 2.1 определяет, что число точек Q (2Л8) вычисления функционала корреляции инвариантно к мере близости полей F\ и / , размерам блока S и определяется размерами только зоны поиска SR [158 169, А1]. При дальнейшей обработке среди Q значений функционала корреляции находится экстремум (глобальный минимум или максимум в зависимости от выбранной меры корреляции) и его положение, относительно предыдущего поля, принимается за межкадровое смещение. На рис. 4.6 показан частный случай расчета межкадрового смещения обычным способом, путем последовательного перебора SP, когда блок S принимает последовательно всевозможные положения в зоне поиска SR г При этом необходимо выполнить большой объем вычислений для определения массива значений взаимной корреляции при переборе всевозможных положений блока S в зоне поиска SR. Требуемая полная производительность видеопроцессора для реализации алгоритма последовательного перебора по критерию NCF (ЗЛ2, 3.13) и максимальному межкадровому смещению Ни VB соответствии с (3.14, 3.24) в первом приближении составитV = 0,1,...,12 и размере блокад = 500 500 (М = ЛГ = 500) показал, что расчет полной межкадровои корреляции требует большой производительности видеопроцессора, составляющей при модуле межкадрового смещения Я = V = 10 и размерах блока анализа S М = Я492, P(SP, NCF) 50 миллиардов сложении в секунду.Требуемая производительность P(SP,NCF), при размере блока S также оказывается высокой, что побуждает поиск алгоритмов минимизации числа точек расчета Q.
При максимальном межкадровом смещении V = Н = 6 требуемая производительность составитР = (2-6 +1)-(2-6 + 1)-(300 + 400-8-8) = 4377100 елі с (4.1)Как видно из выражения (3.11), число требуемых точек расчета квадратично связано с размером зоны анализа iST?, поэтому, для снижения требуемой производительности видеопроцессора, актуальным является использование и построение алгоритмов с понижением числа точек расчета Q. В таких алгоритмах, в отличие от алгоритма последовательного перебора SP, не производится расчетов всех элементов массива MKORyi, j), т.е. число точекрасчета меры взаимной близости двух изображений меньше числа всевозможных положений блока S в зоне поиска SR. Это приводит к снижению требуемой производительности видеопроцессора.
Математически описанная задача решается методами спуска [68, 59, 114, 167, 170, ] (градиентный метод, метод наискорейшего спуска). Метод спуска в непрерывном двухмерном случае формулируется следующим образом: Пусть f\x, у)- двухмерная функция переменных х, у. Требуется решить задачу минимизацииминимума.
Итерационная последовательность значений її", уп \ градиентным методом вычисляется по формулам/+l=y"-a"y g[f[x"У}] где х , у - координаты расчета функции (3.2) на шаге п, х , _у координаты расчета (4.2) на п + \ шаге, g I/U71, у" II - вектор, указывающий направление убывания функции f(x, у) в точке \хп,уп), ?",&" итерационные параметры, величины которых указывают длину шага в направлении gl/U",;y" 1.
Если функция f\X,y) дифференцируема и \хп,уп) не является ее точкойэкстремума, то вектор g ", ") должен удовлетворять следующему неравенствут.е. скалярное произведение вектора градиента и вектора gf\xn,ynjдолжно быть отрицательным. Если fix, у) достаточно гладкая функция(например, дважды непрерывно дифференцируемая) и последовательностьвекторов { gl/U", уп )\} удовлетворяет неравенству (3.4), то существует такая последовательность { х", а у}, При определенных ограничениях на функцию f[x, у) и способ выборапараметров {сг",о"у} и векторов { ?[/( ",У/} последовательность{\хп ,уп )} сводится к решению fix, у) исходной задачи [114, 167].В нашем случае, в качестве функции, у которой определятся экстремум,выступает функция взаимной корреляции двух изображений (3.12), функцияабсолютной межкадровой разности (3.28) или другие подобные меры. Дляпроизвольного телевизионного изображения функция взаимной корреляции,(или другая подобная ей мера статистической близости двух изображений) неудовлетворяет поставленным условиям. Например, изображение,соответствующее «белому шуму», имеет функцию взаимной корреляции, не отвечающую условию (4.4). Однако для широкого класса реальных телевизионных изображений характерно, что мера взаимной корреляции является монотонной экспоненциальной функцией от пространственных координат и имеет один максимум [73, 168, 171]. Более того, можно утверждать, что в виду интегрирования, проводимого при расчете взаимиокорреляционной функции, она более «гладкая», чем само изображение. Многочисленные литературные источники [168, 170, 171, 172] указывают на то обстоятельство, что коэффициенты автокорреляции телевизионных изображений достаточно точно апроксимируются экспоненциальными функциями типа ехр[-r( + [)j, где , rj - пространственные координаты, т- величина, обратная интервалу корреляции. В цифровой реализации расчета взаимиокорреляционной функции присутствуют эффекты дискретизации и квантования, однако ими можно пренебречь при задании допуска на отношение сигнал-шум сигнала изображения.
Необходимо отметить, что разные классы изображений (передний, средний план и т.д.) имеют отличные друг от друга интервалы корреляции, поэтому параметры алгоритма должны варьироваться. Это полагает предварительный статистический анализ выбранных зон S и SR для определения интервала корреляции и последующий выбор параметров алгоритма спуска.
Вышеприведенные вопросы являются спуска, например, начальный шаг поиска, для этих классов изображений также предметом рассмотрения в теории корреляционно-экстремальных систем и обработки изображений [37, 45, 95,138, 152, 153, 155, 168, 171, 174], поэтому определим начальные условия и особенности рассматриваемых алгоритмов.
Существенная специфика применения градиентных методов в задаче определения вектора межкадрового смещения заключается в сравнительно небольшом дискретном и ограниченном числе Q возможных точекрасположения экстремума функции взаимной корреляции (3.11). При этом возможна разработка алгоритмов наискорейшего нахождения экстремума на ограниченном поле точек Q, где критериями «быстроты» алгоритма являются общее количество шагов анализа (итераций) и суммарное число рассчитываемых значений функции статистической близости двух изображений.
