Содержание к диссертации
УСЛОВНЫЕ ОБОЗНАЧЕНИЯ (СОКРАЩЕНИЯ) 4
ВВЕДЕНИЕ 1
Глава 1. Анализ принципов постобработки видео изображении и задачи исследования 7 і Л Физико-технические основы передачи изображений по многоканальной
линии связи 7
1.2 Кодирование днекретизированных изображений с использованием
дискретного косинусного преобразования (ДКП) 14
1*3 Обзор различных подходов к решению проблемы кодирования и
постобработки изображений 18
1.3Л Классификация искажений изображений, получаемых в результате их
кодирования 27
1.4 Методы решения задачи устранения блочных искажений 33
1А1 Использование низкочастотных фильтров 33
1.4.2 Адаптивные фильтры 36
1 A3 Обработка в частотной или вейвлет области 36
1.4.4 Интерполяция 37
1А5 Эвристические методы 38
1.4.6 Метод проекций на выпуклое множество 38
1А7 Выводы 41
1.5 Алгоритм устранения блочных искажений MPEG-4 42
Глава 2- Основные принципы постобработки сжатых изображений, способ и устройство
антиблочного фильтра 45
2.1. Постановка задачи исследования и математическое обеспечение
предлагаемого способа устранения блочных искажений 45
2Л.1 Неформальное описание проблемы и критерии повышения качества
получаемых изображении 45
2.1.2 Математическая модель и характеристики блочных искажений на
изображениях 50
2.2 Способ уменьшения блочных искажений сжатого изображения 58
2,2Д Постановка задачи и требования к алгоритму постобработки 58
2.2,2 Структура декодера и основные требования к его характеристикам 59
Устройство антиблочного фильтра и схема обработки кадра 61
Поиск оптимальных параметров алгоритма 65
Глава 3 Алгоритмы и программное обеспечение для устранения блочных искажений.73
3.1. Функциональная схема устройства, реализующего способ уменьшения
искажений сжатого видеоизображения 73
3,1.1. Классификация блоков 74
ЗЛ.2. Низкочастотные фильтры для вычисления опорных точек 76
3.1.3. Интерполяция пикселей в предлагаемом алгоритме постобработки 78
Сравнительные характеристики разработанного алгоритма 80
Пулі дальнейшего улучшения качества постобработки 83
Глава 4. Применение разработанных алгоритмов постобработки при дистанционном
управлении манипуляционными и мобильными роботами 88
4.1. Постобработка сжатых изображений от телекамеры, установленной на борту
строительного робота 90
4,2 Постобработка сжатых изображении, полученных при движении
радиоуправляемого робота по дороге 93
4.3. Постобработка сжатых изображений для человеко-машинного интерфейса
телеуправляемых роботов 101
Постобработка сжатых изображений полученных в производственном помещении 102
Постобработка сжатых изображений полученных вблизи производственных помещений ПО
Постобработка изображений в многоканальной телевизионной системе технического зрения при проведении регламентных работ в атомном реакторе. 120
Заключение 129
ЛИТЕРАТУРА 132
УСЛОВНЫЕ ОБОЗНАЧЕНИЯ (СОКРАЩЕНИЯ)
ДКП - дискретное косинусное преобразование
JPEG - стандарт сжатия
MPEG - стандарт сжатия
СТЗ - система технического зрения
АСУ - автоматизированная система управления
ОЭП - оптико-электронный преобразователь
ЭОП - электронно-оптический преобразователь
СОАИЗ - система обработки и анализа изображений
PSNR - отношение максимально возможного сигнала к шуму.
СПИ - система передачи изображений
ТВ - телевидение
ПЧ - пространственная частота
НЧ - низкочастотный
КИХ - конечная импульсная характеристика
Стерео-СТЗ - стереотелевизионная система технического зрения
Введение к работе
Трудно найти область науки и техники, где бы в той или иной степени не применялось телевидение для передачи изображений. Роль визуальной информации в технологической деятельности человека огромна. По статистике примерно 80-90% информации о внешнем мире человек воспринимает с помощью зрительного аппарата. Передача изображений с использованием малогабаритных телевизионных ПЗС-камер (приборов с зарядовой связью) широко используется в системах наблюдения, измерения, контроля и управления технологическими процессами.
АКТУАЛЬНОСТЬ. Необходимость увеличения производительности
технологических процессов делает особенно важной задачу минимизации
ручного труда и широкой автоматизации с применением автономных и
дистанционно управляемых роботов с использованием телевизионного
канала связи. Это необходимо там, где рабочая зона проведения операций
удалена от оператора по техническим причинам или по соображениям
безопасности. Примерами могут служить технологические роботы
вертикального перемещения, выполняющие различные операции на
больших высотах или автономные мобильные роботы, используемые в
условиях повышенной радиоактивности, взрывоопасности или под водой.
Результаты выполнения операций при этом должны контролироваться
оператором на большом удалении, используя визуальную информацию с
бортовой системы робота. В таких случаях передача отдельных
изображений или их непрерывной последовательности
(видеоизображений) при сохранении требуемого качества становится актуальной научно-технической задачей.
Особенностью названной задачи является наличие многоканальной системы передачи изображений (СПИ) от телекамер на рабочее место
оператора. Из-за ограниченной пропускной способности канала связи возникает проблема сжатия (кодирования) данных и декодирования -восстановления (видео) изображений с последующей их постобработкой для повышения качества получаемых изображений. СПИ представляет собой модульную систему и включает, как минимум, три модуля: устройство кодирования (кодер), декодер и модуль постобработки.
СОСТОЯНИЕ ПРОБЛЕМЫ. Сжатие, т.е. кодирование сигнала, осуществляется путем изъятия повторяющихся или практически мало изменяющихся фрагментов с последующим их восстановлением в декодере при воспроизведении видеосигналов. Сжатие информации способствует повышению скорости передачи сигнала в телевизионном канале и увеличению пропускной способности канала передачи видеоизображений.
Сжатие не может быть беспредельным, поэтому основная нагрузка при стремлении получить качественное изображение для оператора приходится на совершенствование методов и алгоритмов постобработки изображений, следующей за декодером. Точность измерений и адекватность построенной геометрической модели внешней среды зависит от качества постобработки.
Увеличение степени сжатия (т.е. увеличение шага квантования и отбрасывание большего количества информации) приводит к появлению видимых искажений (блочные, размывание границ, ложные полосы и др.). Наиболее типичны и заметны, практически на любом типе изображений, блочные искажения. Для борьбы с этими искажениями предложено много методов (предварительная и (или) последующая обработка, использование перекрывающихся блоков и т.д.), однако среди всех методов только постобработка декодированного изображения может обеспечить совместимость с уже существующими широко распространенными стандартами, не требуя их изменения.
ЦЕЛЬ РАБОТЫ: заключается в разработке нового способа улучшения качества сжатых видеоизображений на этапе постобработки для использования в системах управления технологическими процессами с применением мобильных дистанционно управляемых роботов и роботов манипуляторов.
Решение комплексной проблемы потребовало от автора решения следующих задач:
создание математической модели искажений на сжатом изображении;
разработка метода устранения блочных искажений, не уступающего по качеству стандартным методам, при значительно меньшим требованиям к вычислительным ресурсам.
апробация полученных решений при обработке изображений для получения достоверной информации в условиях неопределенности и в системах дистанционного управления на примерах: строительного робота, обследующего стены на большой высоте; дистанционно управляемого робота внутри производственного помещения и вблизи индустриальных построек; мобильного робота при движении по дороге; манипулятора для обслуживания реактора атомной электростанции.
НАУЧНАЯ НОВИЗНА.
1. В диссертации предлагается математическая модель искажений на
сжатом изображении, позволяющая проводить более простой по
сравнению с известными моделями анализ для устранения искажений.
2. Разработан новый способ постобработки для устранения искажений на
сжатой видео последовательности, требующий на порядок меньше
вычислительных затрат, чем метод постобработки стандарта MPEG-4, и
при этом не уступающий ему по качеству.
Отличительными признаками предложенного способа является использование линейной интерполяции для снижения требований к вычислительным ресурсам, причем опорные точки интерполяции вычисляются с использованием специально подобранных низкочастотных фильтров, что позволяет достичь качества обработки не уступающего стандартным методам (MPEG-4).
ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ определяется необходимостью сжатия видеоданных с последующей постобработкой (восстановлением изображений)^ которая определяется следующими условиями:
уменьшение затрат энергии на передачу сигнала;
сужение ширины полосы пропускания канала;
улучшение качества восприятия изображения оператором телеуправляемого робота;
- совместимость с алгоритмами автоматизированной обработки
изображений;
повышение точности измерения координат объектов, при этом ошибка измерения по обработанному изображению не превышает 3% по сравнению с исходным изображением;
снижение требований к вычислительным ресурсам (около 10-20% от ресурсов декодера), что позволяет использовать метод в системах управления без дополнительных затрат на оборудование.
Устранение блочных искажений улучшает качество наблюдаемых изображений, повышает достоверность информации, содержащейся в изображениях и способствует комфортным условиям эксплуатации робота.
Разработанное устройство постобработки изображений имеет широкое применение в различных технологических приложениях, например в дистанционно управляемых сухопутных и подводных роботах, а также при
научных и прикладных исследованиях с использованием мониторинга земной поверхности из космоса.
ОСНОВНОЕ СОДЕРЖАНИЕ.
В первой главе отмечается актуальность и состояние
рассматриваемой проблемы на основе обзора публикаций и патентов, кратко изложены физико-технические основы передачи изображений по многоканальной линии связи, необходимые для улучшения характеристик получаемых изображений. Анализируется взаимосвязь «кодер - декодер», а также место и роль постобработки. Приводится обзор подходов к решению проблемы устранения искажений на сжатых изображения.
Вторая глава посвящена постобработке сжатых изображений, необходимой для устранения (уменьшения) блочных искажений, возникающих в . результате их кодирования. Дана формулировка математической модели искажений на сжатых изображениях и проанализированы характеристики некоторых известных алгоритмов устранения искажений. Излагаются основные принципы предлагаемого способа постобработки и требования к алгоритму. Вводятся критерии оценки качества алгоритма постобработки. Показано, что математическая модель позволяет определять достижимые характеристики для различных классов алгоритмов устранения искажений.
В третьей главе дано описание разработанного автором устройства антиблочиого фильтра и схемы обработки кадра на основе принципа разбиения обрабатываемого изображения на блоки и использования линейной и билинейной интерполяции. Главные критерии повышения эффективности решения задачи постобработки: вычислительные затраты, точность, надежность (объективность), простота использования.
В четвертой главе рассмотрены вопросы применения разработанных способов и алгоритмов постобработки для улучшения качества получаемых видеоизображений при обследовании строительных
конструкций, при управлении мобильными и манипуляциоиными роботами.
Исследуется эффективность постобработки для повышения качества изображений, получаемых от телекамеры на борту робота вертикального перемещения и мобильного робота, двигающегося по дороге. Приводится блок-схема системы передачи изображений в человеко-машинной измерительной стереотелевизионной системе технического зрения. Исследуются характеристики полученных изображений ориентиров, используемых для навигации робота в помещении. Рассмотрена технология применения разработанных способов и алгоритмов постобработки для улучшения качества получаемых от телекамеры стереоизображений при проведении регламентных работ в атомном реакторе с помощью манипуляционного робота.
Применение полученных разработок способствует повышению производительности при строительстве, проведении радиационной и химической разведки и работе в экстремальных средах при выполнении технологических и транспортных операций с применением дистанционно управляемых роботов,
В ЗАКЛЮЧЕНИИ дана краткая характеристика разработанных автором методов и алгоритмов для уменьшения блочных искажений, получаемых при сжатии.
Анализ результатов показывает, что измерения координат на изображениях подвергнутых постобработке практически не отличается от измерений на исходных изображениях (в пределах 1-3 пикселей). Расстояния между измеренными точками, вычисленные по изображениям после постобработки отличаются не более чем на 3% от соответствующих расстояний, вычисленных по исходным изображениям.
Разработанный способ уменьшения блочных искажений отличается малой вычислительной сложностью и простотой реализации, благодаря применению линейной и билинейной интерполяции, при совместимости с используемыми стандартами сжатия изображений и имеет хорошую перспективу применения в различных технических приложениях.
ОСНОВНЫЕ ПОЛОЖЕНИЯ ПРЕДСТАВЛЕННЫЕ К ЗАЩИТЕ
Метод и функциональная схема устройства для устранения искажений на сжатой видео последовательности, основанный па линейной или билинейной интерполяции в сочетаїши с низкочастотной фильтрацией.
Результаты экспериментальных исследований, подтверждающих эффективность разработанного метода для повышения достоверности информации в цифровых изображениях, получаемых с борта дистанционно управляемых роботов.
Результаты работы доложены на трех конференциях (в том числе двух международных) и в трех статьях, подана заявка на патент «Устройство и способ для улучшения качества сжатых изображений».
