Содержание к диссертации
Введение
ГЛАВА 1. Обзор методов, алгоритмов и устройств сбора, сжатия и передачи видеоданных, применяемых в видеокомпьютерных системах 11
1.1. Известные стандарты сжатия видеоданных 11
1.2.Вейвлет-преобразование 18
1.2.1. Система фильтров анализа-синтеза 19
1.2.2. Каскадное соединение систем А-С 21
1.2.3. Представление субполосного кодирования при помощи аппарата матриц 23
1.2.4. Обратное преобразование 24
1.2.5. Ортогональное преобразование 25
1.3. Примеры преобразований 26
1.3.1. Преобразование Габора 26
1.3.2. Дискретное косинусное и перекрывающееся ортогональное преобразования 28
1.3.3. Пирамида Лапласа 29
1.4. Квадратурно-зеркальные фильтры 31
1.4.1. Построение КЗФ 32
1.4.2. Асимметричная система 33
1.5. Методы синтеза неразделимых банков фильтров и вейвлетов 34
1.6. Методы и технические средства организации радиоканала 37
1.6.1. Введение 37
1.6.2. Стандарт 802. lib-Wi-Fi 37
1.6.3. Стандарт 802.15.1 -Bluetooth 40
1.6.4. Стандарт 802.15.4 -ZigBee 44
1.7. ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ ОБЗОРА 45
1.8. ПОСТАНОВКА ЗАДАЧИ 47
ГЛАВА 2. Разработка методов и алгоритмов сжатия видеоданных на основе вейвлет-преобразования 49
2.1. Вейвлет-декомпозиция как вход алгоритма 49
2.2. Общие положения алгоритма 50
2.2.1. Принцип последовательной передачи битовых полей 50
2.2.2. Взаимосвязь коэффициентов различных субполос 54
2.2.3. Алгоритм А. Льюиса и Г. Ноулеса 54
2.2.4 Алгоритмы Шапиро и Саида-Пирлмана 56
2.2.5. Алгоритм SPIHT. 57
2.2.6. Свойства потока 61
2.3. Оптимизация алгоритма SPIHT 61
2.3.1. Необходимость оптимизации 61
2.3.2. Матрица значимости 62
2.4. Применение алгоритма spiht к веивлет-разложениям, полученным с применением разделимых и неразделимых фильтров 67
2.5. Оптимизация алгоритма 3d-spiht 71
Выводы по главе 2 75
ГЛАВА 3. Подавление шумов в изображениях 77
3.1. Природа мультипликативного шума 77
3.2. Математические модели изображений, искаженных мультипликативным шумом 78
3.3. Методы и алгоритмы подавления мультипликативного шума, использующие локальные статистики 81
3.4. Основные сведения о вейвлет-базисах и фреймах 86
3.4.1. Базисы 86
3.4.2. Фреймы 87
3.4.3. Необусловленные базисы 89
3.5. Нелинейная оценка функций 89
3.5.1. Идеальное ослабление коэффициентов 90
3.5.2. Пороговая обработка 90
3.5.3. Цветной шум 91
3.5.4. Мультипликативный шум 92
3.5.5. Обработка изображений 92
3.5.6. Оптимальность преобразования 92
3.6. Подход к анализу изображения 93
3.7. Удаление шума на основе вейвлет-преобразования 95
3.7.1. Подавление ^мультипликативного шума путем поиска оптимальных пороговых
значений в каждом частотном диапазоне 96
3.8. Одновременное сжатие изображений и удаление аддитивного шума 103
3.9. Новые критерии оценки качества сжатых изображений 104
3.9.1. Недостатки стандартных алгоритмов оценки качества сжатых изображений
106
3.9.2 Новые объективные критерии оценки качества сжатия изображений 107
Выводы по главе 3 111
ГЛАВА 4. Техническая реализация алгоритмов сжатия и передачи видеоданных 112
4.1. Бессписковый алгоритм 112
4.1.1. Аппаратная ориентация 112
4.1.2. Описание алгоритма 112
42. Описание прототипа устройства 117
4.2.1. Описание передающей части прототипа 118
4.2.2. Описание приемной части 119
4.2.3. Описание программного обеспечения 119
4.3. Описание разработанного устройства 120
4.3.1. Обоснование элементной базы 120
4.3.2. Выбор сигнального процессора 120
4.3.3. Видеокодер 128
4.3.4. Модуль радиоинтерфейса 128
4.3.5. Описание работы устройства для покадрового кодирования и передачи видеоданных по радиоканалу 129
Выводы по главе 4 130
Заключение 131
Список литературы 132
- Представление субполосного кодирования при помощи аппарата матриц
- Взаимосвязь коэффициентов различных субполос
- Методы и алгоритмы подавления мультипликативного шума, использующие локальные статистики
- Описание прототипа устройства
Введение к работе
Актуальность темы. Для снижения риска и уменьшения последствий катастроф последнее время возрастает необходимость использования различных систем видеонаблюдения. Повышенный интерес к вопросам безопасности в различных сферах человеческой деятельности обусловлен ростом риска природных и техногенных катастроф, террористических актов. В частности, 21.05.2006г. В.В. Путиным утвержден ПКТ1 РФ Российской Федерации, в котором отражены вопросы безопасности атомной энергетики, безопасности движения, управления наземным и воздушным транспортом, системами жизнеобеспечения и защиты человека («Технологии обработки, хранения, передачи и защиты информации» и «Технологии создания и управления новыми видами транспортных систем»), а также утвержден ПНРНТТ РФ (направления «Информационно-телекоммуникационные системы», «Безопасность и противодействие терроризму», «Транспортные, авиационные и космические системы» и «Энергетика и энергосбережение»).
Вместе с тем многие объекты вышеуказанных технологий, за которыми необходимо вести постоянное видеонаблюдение, находятся в труднодоступных (возможно, герметичных) зонах. Прокладка проводных соединений в таких зонах часто нежелательна или невозможна. Однако видеосигнал, снятый непосредственно с технологических объектов, обладает большой информативностью для принятия решения о состоянии (аварийности) объекта. Кроме того, видеосигнал может быть использован для анализа причин возможных аварий, при условии его записи на специальный носитель.
В связи с этим актуальной является разработка методов, алгоритмов и устройств снятия видеосигнала с некоторых технологических объектов, его обработки с целью сжатия и передачи посредством радиосвязи. Необходимость сжатия обусловлена низкой пропускной способностью специальных накопителей и бортовых каналов связи. Важной задачей является также подавление аддитивных и мультипликативных помех, которые мешают правильному восприятию сигналов с датчиков и при их передаче по различным каналам. Кроме того, при проектировании устройств на основе таких алгоритмов должны быть учтены интерфейсы сопряжения с применяемыми носителями. В частности, подобные устройства востребованы сейчас в гражданской авиации, где до настоящего времени в «черном ящике» фиксировались только показания бортовых приборов и звуковая информация. Возможность анализа видеосигнала, снятого с кабины пилотов и пассажирских отсеков, может существенно облегчить разбор причин аварии. Однако многие известные методы для передачи видеоданных, например стандарт MPEG-4, не подходят для указанных целей, что зафиксировано Международным авиационным комитетом (МАК).
1 ПКТ РФ - Перечень критических технологий РФ.
2 ПНРНТТ РФ - Приоритетные направления развития науки, технологий и техники РФ.
Следовательно, требуется разработать алгоритмы покадровой обработки (сжатия) и записи видеоданных с записывающих камер, установленных на борту самолета.
Цель и задачи работы. Целью диссертации является разработка и исследование методов, алгоритмов и цифровых устройств покадровой обработки видеоданных для их сжатия с помощью иерархического кодирования и передачи по каналам беспроводной связи с низкой пропускной способностью.
Для достижения поставленной цели должны быть решены следующие задачи:
-
Разработка методов частичной сортировки двумерных и трехмерных вейвлет-коэффициентов.
-
Разработка алгоритмов сжатия последовательности кадров на
ОСНОВс ИсрарХИЧсСКОГО ЗЛГОрИТМа С ИСПОЛЬЗОВаНИсМ НЄраЗДЄЛйМЬІХ
банков фильтров.
-
Разработка методов ускорения вычислительных процедур двумерного алгоритма сжатия видеоданных на основе вейвлет-преобразования.
-
Синтез методов удаления шумов из изображений, основанных на применении двумерного вейвлет-преобразования. Разработка улучшенного объективного критерия качества изображений, восстановленных после сжатия с потерями.
-
Разработка методики программно-аппаратной адаптации полученных алгоритмов с учетом обработки видеоданных в реальном масштабе времени.
-
Разработка состава приемной и передающей частей системы видеофиксации, использующей радиоканалы с низкой пропускной способностью и реализующей разработанные алгоритмы сжатия и шумоочистки видеоданных на цифровых сигнальных процессорах.
Научная новизна. В диссертационной работе получены следующие научные результаты.
-
Теоретически обоснована возможность применения неразделимого вейвлет-преобразования в иерархическом алгоритме сжатия.
-
Разработаны ускоренные алгоритмы двумерного и трехмерного иерархического алгоритма сжатия (типа SPIHT) на основе разделимого вейвлет-преобразования, не уступающие по критерию пикового отношения сигнал/шум известным методам и алгоритмам сжатия изображений.
-
Разработан метод удаления мультипликативного шума из изображений, основанный на применении двумерного вейвлет-преобразования. Исследован метод одновременного сжатия изображений и удаления аддитивного шума.
-
Предложен и исследован новый объективный критерий качества изображений, сжатых с потерями.
-
Разработаны узлы приемной и передающей частей прототипа системы видеофиксации на основе стандарта 802.15.1 (Bluetooth), в которых алгоритм SPIHT реализован на сигнальном процессоре и учтено возможное сопряжение с существующими специальными устройствами хранения информации, применяемыми в энергетике и авиации (по интерфейсу RS232).
-
Разработано оригинальное программное обеспечение для всех узлов прототипа системы видеофиксации без использования сторонних библиотек, код которого является открытым и доступным для органов сертификации.
Методы исследования. При решении поставленных задач использованы методы теории цифровой обработки одномерных и многомерных сигналов, теории вейвлет-преобразования.
Объектом исследования являются многоскоростные устройства, применяемые для цифровой обработки многомерных сигналов с целью их сжатия, архивирования, удаления шумов и т.д. Предметом исследования являются методы синтеза основных операторов и устройств, из которых состоят многомерные многоскоростные системы, включая цифровые фильтры, устройства преобразования формата цветных изображений, их квантования и кодирования.
Теоретической и методологической основой исследования
являются труды отечественных и зарубежных ученых по теории цифровой обработки сигналов, теории аппроксимации, теории матриц и теории вейвлет-преобразования. В процессе разработки вопросов синтеза многоскоростных систем использованы труды отечественных ученых Зубарева Ю.Б., Дворковича В.П., Витязева В.В., Брюханова Ю.А., Лукина В.В., Миронова В.Г., Чобану М.К. Также были использованы труды зарубежных ученых Вайдьянатана П.П., Догерти Э., Питаса Я., Ганбари М., Пирлмана В.
Практическая ценность. Получены быстрые алгоритмы иерархического кодирования для покадрового сжатия видео данных, позволяющие в среднем в 10 раз уменьшить число операций сравнения, и тем самым обеспечить выигрыш по времени обработки до 70 %.
Разработаны методики программно-аппаратной адаптации алгоритмов иерархического кодирования, позволяющие реализовать их на цифровых сигнальных процессорах и работающие в реальном масштабе времени.
Разработаны структура, состав системы видеофиксации, а также оригинальное программное обеспечение для всех ее узлов. Данная система может быть использована на объектах энергетики и в гражданской авиации.
Реализация результатов работы. Основные результаты диссертационной работы были проверены путем статистического моделирования на ЭВМ, а также экспериментальными исследованиями
разработанного программного обеспечения для ЦПОС семейства TMS320C6x фирмы Texas Instruments.
Разработанные в диссертационной работе методы, алгоритмы и профаммное обеспечение внедрены: в ФГУП «НИИ автоматики» при проектировании ячейки защищенного видеотерминала видеоконференцсвязи; в ЗАО «Многопрофильная формирующая авиагруппа» с целью создания и установки на борту летательного аппарата системы видеофиксации, работающей в реальном времени; в ООО НТЦ «Альфа-1» в рамках НИОКР «Аутентификация». Работа над диссертацией выполнялась в соответствии с планом научно-исследовательских работ по нескольким темам. Работа поддержана фантами Минобрнауки РФ № 208.04.04.042 «Разработка системы сжатия видео сигналов для передачи по низкоскоростному телекоммуникационному каналу на основе сигнальных процессоров TMS320C6X» (№ г/р 01200105418, 2001-2002, г/б), № 209.01.01.044 «Применение многомерного вейвлет-преобразования для улучшения изображений и трехмерных сигналов» (№ г/р 01200304660, 2003-2004, г/б), № Т02-03.1-2522 «Синтез эффективных двух-, трех- и четырехмерных многоскоростных систем для обработки многомерных сигналов» (№ г/р 01200305655, 2003-2004, г/б), № Т00-3.1-1251 «Синтез многоскоростных систем для обработки многомерных сигналов» (№ г/р 01200103899, 2001-2002, г/б).
Апробация работы. .Результаты теоретических исследований были представлены на Международных конференциях Международной Академии информатизации «Информационные средства и технологии» ITS-2002 и ITS-2007, Всероссийской научной удаленной конференции по Информационным и телекоммуникационным технологиям в 2003 г., Первой международной научно-технической школе-семинаре «Современные проблемы оптимизации в инженерных приложениях» IWOPE-2005, Международных конференциях «Цифровая обработка сигналов и ее применение» DSPA-2006 и DSPA-2007. Прототип системы был представлен на Международной выставке DSPA-2006 и был нафажден Почетным Дипломом выставки. Основные положения и результаты диссертации использованы в учебном процессе на кафедре Электрофизики МЭИ (ТУ) при чтении лекций и проведении практических занятий и лабораторных работ по курсу «Сигнальные процессоры и СБИС» и «Цифровые многоскоростные системы». Результаты диссертационной работы использовались в научном процессе в МЭИ (ТУ).
Публикации. По теме диссертации опубликовано 12 печатных работ общим объемом более 2 п.л., включая 1 статью в журнале «Электросвязь» из Перечня ВАК, рекомендованном для публикации материалов по кандидатским диссертациям. Материалы диссертации вошли в 4 отчета по НИР, выпущенных кафедрой электрофизики МЭИ (ТУ). Пять работ написаны Плаховым А.Г. без соавторов.
Структура диссертации. Диссертация общим объемом 166 с. состоит из введения, четырех глав и заключения, содержит 133 с. основного текста,
перечень используемой литературы из 58 наименований на 5 с, приложения на 28 с.
Представление субполосного кодирования при помощи аппарата матриц
Процесс восстановления изображения в этом алгоритме полностью симметричен кодированию.
К недостаткам алгоритма можно отнести распад изображения на отдельные квадраты при повышении степени сжатия. Это связано с тем, что происходят большие потери в низких частотах при квантовании, и восстановить исходные данные становится невозможно. Такой эффект «мозаики» оказывает сильное отрицательное влияние на восприятие изображения. При повышении степени сжатии также наблюдается проявление эффекта Гиббса — ореолы по границам резких переходов.
MotionJPEG (MJPEG) представляет собой стандартизированный формат записи, потока отдельных кадров, каждый из которых сжат по алгоритму JPEG независимо от остальных. При использовании алгоритма сжатия MJPEG средний коэффициент сжатия видеосигнала составляет около 1:5, а скорость передачи видео с разрешением 720x576 пикселей - до 5 Мбит/с. Данный алгоритм не столь требователен к ресурсам системы, как рассматриваемые ниже, но и не обладает высокими показателями качества.
Стандарт Н.261. Данный стандарт основан на рекомендациях комитета ITU по кодекам относительно устройств кодирования видеосигнала для аудиовизуального обслуживания при скоростях передачи цифровой информации, кратных 64 Кбит/с.
С точки зрения используемых математических операций алгоритм сжатия Н.261 [10] похож на JPEG, а принципиальное его отличие состоит в том, что обработке подлежат только те элементы изображения, которые изменились по сравнению с соответствующими элементами предыдущего кадра.
Исходные видеоданные попадают в блок анализа параметров движения {motion estimation) и блок компенсации движения (motion compensation). Цель обработки - закодировать только отличия последующего фрейма от предыдущего. В процессе анализа параметров движения кодек сокращает размер кодируемого файла, выделяя области изображения фрейма, которые изменились по сравнению с предыдущим. Компенсатор движения формирует матрицу пикселей размером 16x16 или макроблок. В свою очередь, макроблок состоит из четырех блоков — матриц размером 8x8. В последующем фрейме передается именно макроблок. Он является результатом вычитания макроблока предыдущего фрейма из соответствующего макроблока текущего. Полученная разность затем кодируется по алгоритму, схожему с алгоритмом JPEG.
Стандарт Н.261 предусматривает кодирование полностью только отдельных кадров, например, когда изображение диктора сменяется на комментируемый сюжет, и передачу только последовательных изменений между данным и предыдущим кадрами.
Стандарт Н.263 [10]. Данный стандарт основан на рекомендациях комитета ITU, разработанных в 1994 г и предназначенных для видеокодирования при низких скоростях передачи данных; он также применим для видеокоди-рующих устройств для обслуживания аудиовизуальной связи, например, видеотелефона. Стандарт Н.263 значительно расширяет возможности стандарта Н.261, распространяясь как на небольшие, размером с кредитную карту, изображения с низким разрешением, так и на высококачественные, исключительно детализированные изображения, пригодные для использования, например, в телемедицине. При этом обеспечивается полная совместимость по отношению к формату QCIF (Quarter Common Intermediate Format) и, выборочно, по отношению к CIF и SQCIF (Sub-QCIF).
Стандарт Н.263 обратно совместим со стандартом Н.261 из-за обязательной поддержки им формата кадра QCIF с разрешением 176x144. При этом стандарт Н.263 обеспечивает более высокое качество изображения за счет применения методики прогнозирования движения и оптимизации для более низких скоростей передачи (для поддержки Н.261 канал должен иметь пропускную способность не ниже 64 Кбит/с).
Кодеки, выполненные по рекомендациям стандартов Н.261 и Н.263, рассчитаны на работу с плавно меняющимся видеосигналом. В случае же частых резких изменений информации в кадре, происходит ухудшение качества (при заданной степени сжатия или скорости канала), изображение при этом «рассыпается» на квадраты, как и в случае с JPEG-сжатием. При высоких скоростях канала этот недостаток не существенен.
MPEG. В 1988 г. в рамках Международной организации по стандартизации (ISO) начала работу группа MPEG (Moving Pictures Experts Group) - группа экспертов в области цифрового видео. Группа работала в направлениях, которые можно условно назвать MPEG-Video - сжатие видеосигнала в поток со скоростью около 1,5 Мбит/с, MPEG-Audio - сжатие звука до 64, 128 или 192 Кбит/с на канал и MPEG-System - синхронизация видео- и аудиопотоков.
Более точно, стандарт MPEG [10], как и другие стандарты на сжатие, описывает лишь выходной битовый поток, неявно задавая алгоритмы кодирования и декодировании. При этом их реализация перекладывается на сторонних раз 15 работчиков. Такой подход открывает широкие перспективы для тех, кто желает оптимально реализовать алгоритм для конкретного вычислительного устройства (контроллера, ПК, распределенной вычислительной системы), операционной системы, видеокарты и т.п. При специализированных реализациях могут быть учтены весьма специфические требования на время работы, расход памяти и качество получаемых изображений. Алгоритмы сжатия видео являются гибкими, и часто при разных подходах к реализации можно получить существенную разницу по качеству видео для одной и той же степени сжатия. Более того, для одного и того же сжатого файла с помощью разных алгоритмов декодирования можно получить существенно различающиеся по визуальному качеству фильмы. Зачастую «простая» реализация стандарта дает дергающийся видеоряд с хорошо заметными блоками, в то время как программы известных производителей проигрывают этот же файл вполне плавно и без бросающейся в глаза блочности. Эти нюансы принимаются во внимание, когда ведется речь о сравнении различных стандартов.
Взаимосвязь коэффициентов различных субполос
В процессе анализа элементов LIS, кодер должен просматривать все дерево в поисках значимых коэффициентов. Этот процесс, неоднократно повторяясь, занимает значительную часть вычислительных ресурсов. Для ускорения процесса кодирования в алгоритм была введена новая структура - матрица значимости (MS). Размер матрицы MS равен размеру вейвлет-декомпозиции. Под каждый элемент отводится один байт памяти. Формируется MS таким образом, что значение каждого ее элемента (JJ) равно числу бит, занимаемому максимальным по модулю коэффициентом дерева, выстроенного из точки (i,j) с учетом корня. Имея в распоряжении такую структуру для анализа элемента типа А, достаточно рассмотреть только точки с координатами «детей», обращаясь при этом к MS. Анализируя же элементы типа В необходимо рассмотреть только точки с координатами «внуков» в структуре MS. Это относительно простое инженерное решение позволяет значительно сократить время работы кодера и делает возможным его применение в системах, критичных к скорости кодирования, например, таких как обработка видеосигнала в реальном времени.
На основе вышесказанного был разработан алгоритм формирования матрицы MS, позволяющий за один проход по коэффициентам вейвлет-декомпозиции собрать в матрице значимости, как рассказывалось выше, информацию по всем деревьям. Программно алгоритм реализован в виде функции (подпрограммы) и приведен в приложении (см. function MSCreate в составе файла NoListSpiht.c). Программные решения
Классический алгоритм SPIHT содержит операции логарифмирования, возведения в степень, умножения и работу с вещественными числами. При программировании удалось выполнить операции логарифмирования и возведения в степень через логические операции с использованием массива степеней 2. Большинство операций умножения можно заменить сдвиговыми операциями. Работа с вещественными числами полностью исключена. Таким образом, был разработан функциональный аппарат, позволяющий выполнять все необходимые операции с коэффициентами, оперируя непосредственно битами их 32-разрядного представления. Алгоритм реализован на языке С, без использования библиотечных функций, и является самостоятельной программной единицей (исполняемым файлом).
Результаты оптимизации
Оптимизированный алгоритм сравнивался с существующими реализациями по времени кодирования Time и по качеству, критерием которого выступает пиковое отношение сигнал/шум (PSNR). Оба параметра Time и PSNR вычислялись для набора скоростей кодирования в диапазоне от 0 до 2 бит/пиксель (Ьрр).
В сравнении с классической реализацией (без использования матрицы значимости и битовой арифметики) оптимизированный алгоритм показывает значительное увеличение быстродействия, что можно видеть на графике рис. 2.7,а. График на рис. 2.7,6 показывает, что процесс оптимизации не ухудшил качество сжатия, а даже улучшил. Отличие PSNR двух кодеров связано с различиями в обработке вещественных чисел и оперировании битами коэффициентов. Рис. 2.7. Время кодирования (1), качество (2): SPIHT 1 - классическая реализация; SPIHT 2 - оптимизированный алгоритм
В настоящее время в мире имеется несколько реализаций SPIHT кодера. Одна из них QCCSPIHT - результат работы группы профессиональных программистов с конца 90-х годов. Сравнение с этой реализацией не совсем правомерно, так как QCC_SPIHT содержит также арифметический кодер, дополнительно сжимающий поток. Если предположить, что арифметическое кодирование увеличит время сжатия в два-три раза, то по графику на рис. 2.8 можно убедиться, что оптимизированный алгоритм способен конкурировать с общепризнанными реализациями
Методы и алгоритмы подавления мультипликативного шума, использующие локальные статистики
Разработанный алгоритм был проверен на различных изображениях, включая реальные лазерные голограммы, ИК-изображения и изображения, полученные с помощью радаров с синтезированной апертурой. Все эксперименты показали эффективность улучшения качества зашумленных изображений с помощью разработанного алгоритма. Результаты, приведенные ниже, получены для изображения "Лодки", взятого из библиотеки MATLAB.
Оригинальное (неискаженное) изображение «Лодки» (рис. 3.4) было искажено мультипликативным шумом, который моделировался с помощью датчиков случайных чисел. Шум имел отрицательную экспоненциальную плотность вероятности со средним значением, равным 1, и дисперсией J2g =0,33.
Минимальные, максимальные и средние значения оригинала, зашумленного, восстановленных изображений и шума приведены в табл. 3.1. Следует отметить, что минимальное отношение сигнал/шум, полученное в ходе эксперимента, достигало трех. Перед вейвлет-преобразованием зашумленное изображение подвергалось логарифмированию. Характеристики для логарифмически преобразованного изображения помещены в табл. 3.2.
Для эксперимента использовалось трехуровневое вейвлет-преобразование, при этом коэффициенты для низкочастотных составляющих (аппроксимации) также подвергались пороговой обработке. В качестве базиса для вейвлет-преобразования применялся фильтр db4 (Daubechies 4).
Результаты моделирования приведены нарис. 3.5-3.7. Среднеквадратиче-ские погрешности (СКО) для зашумленного и восстановленного изображений помещены в табл. 3.3. Все значения СКО были вычислены через соответст 99 вующие разности между зашумленным, восстановленным и первоначальным изображениями.
Для сравнения использовался стандартная процедура, при которой вначале вычисляется оценка дисперсии шума для всего изображения, затем по полученной оценке дисперсии шума вычисляется величина порога, и, наконец, применяется пороговое отсечение полученных вейвлет-коэффициентов. Результаты табл. 3.3 показывают, что разработанный алгоритм позволяет получать меньшее значение СКО по сравнению с СКО для известного метода.
Рис. 3.8 поясняет, как алгоритм функционирует внутри каждого поддиапазона. Как видно из рис. 3.8, минимальное СКО для данного частотного поддиапазона получается при значении порога ґ=0,28. Все значения оставшихся порогов, полученные в ходе эксперимента, помещены в табл. 3.4.
Ниже приводятся результаты обработки предложенным алгоритмом изображения "Лена", которое также подвергалось искажению смоделированным мультипликативным шумом. Данные результаты были получены с помощью разработанного программного комплекса, описание которого приведены в со
С помощью разработанного метода сжатия изображений, основанного на применении метода пространственно упорядоченных иерархических деревьев, можно производить удаление аддитивного шума из изображений. Это объясняется тем, что при сжатии происходит отбрасывание небольших по модулю высокочастотных деталей в вейвлет-разложении сигнала, в которых в основном сосредоточена шумовая составляющая.
Проведен математический эксперимент по одновременному сжатию и удалению шума из зашумленного изображения с помощью реализации алгоритма SPIHT. На рис. 3.13 показаны характерные зависимости ПОСШ (пикового отношения сигнал/шум) от числа бит на пиксель для двух случаев аддитивного шума с дисперсиями о=0.01 (рис. 3.13.а) и о=0.005 (рис. 3.13.6). Из приведенных зависимостей видно, что существует оптимальное значение битрейта, для которого степень сжатия изображения максимальна.
Описание прототипа устройства
Современные сигнальные процессоры, предназначенные для обработки изображений и видео, обладают внутренней памятью порядка 64-х, 128-ми Кбайт. Эта память расположена на микросхеме и обладает высоким быстродействием. Внешние блоки памяти, подключаемее к процессору, обладают значительно большим объемом (ограниченным только адресным пространством процессора), но существенно меньшей скоростью работы. Большинство приложений работающих в реальном времени не могут использовать только внешнюю память для хранения обрабатываемых данных из-за относительно низкой скорости доступа. Объем же данных превышает размер внутренней памяти. Например, в случае обработки одного кадра размером 640x480 требуемый объем памяти составляет 600 Кбайт. Для повышения быстродействия в этом случае используются следующие методики: - кэширование - создание буферов малого размера во внутренней памяти. Кэширование - это механизм, заложенный в сигнальный процессор и реализуемый автоматически, он требует лишь настройки на этапе загрузки. Далее процессор отслеживает обращения во внутреннюю память. Анализирует частоту обращений к определенным ячейкам и создает во внутренней памяти копии тех ячеек, обращения к которым происходят наиболее часто. Также существует механизм опережения, который предсказывает адрес ячейки, к которой будет произведено обращение, и копирует ее во внутреннюю память. Кэширование позволяет существенно повысить быстродействие в случае, если программист учитывает особенности работы кэша. Одним из условий является обращение в память по последовательным адресам и минимизация переходов.
При использовании буферов во внутренней памяти кадр, хранимый во внешней памяти, разбивается на блоки меньшего размера. Блоки последовательно переписываются во внутреннюю память, обрабатываются, результат записывается во внешнюю память. Операции повторяются для каждого блока. Например, алгоритм JPG использует в своей работе блоки размером 8x8.
Как известно, свертка с разделимыми фильтрами, широко применяемыми при выполнении вейвлет-декомпозиции, происходит последовательно по строкам, затем по столбцам. В первом случае обращения к памяти за коэффициентами происходят последовательно, что позволяет в полной мере использовать возможности кэш-памяти, а также при необходимости организовывать буфер во внутренней памяти процессора, что значительно ускоряет вычисление свертки. Для случая столбцов обращения к памяти происходят не последовательно, а с шагом равным размеру строки исходного изображения, что не желательно для кэш-памяти, а также требует дополнительных вычислений смещения адреса коэффициента. Также, в случае организации стандартного строкового буфера во внутренней памяти, возникают сложности при расширении сигнала по столбцам, которое необходимо для выполнения вейвлет-декомпозиции. Так как в строковом буфере сигнал в столбце представлен не полностью.
В работе предлагается методика выполнения вейвлет-преобразования с применением DMA контроллера, используемого для организации транспонирования группы столбцов исходного изображения из внешней памяти во внутренний строковый буфер. Операция транспонирования позволяет перейти от свертки столбца к свертке строки, что существенно увеличивает быстродействие. С точки зрения повышения качества, появляется возможность простой реализации периодического расширения сигнала по столбцам при использовании внутреннего буфера, объем которого меньше исходного изображения. А также с применением данной методики разработчик может использовать одну функ 152 цию свертки, тогда как обычно необходимо использовать две различные функции для обработки строк и столбцов.
Описание контроллера DMA DMA (Direct Memory Access - контроллер прямого доступа к памяти) предназначен для выполнения операций с банками памяти без использования вычислительного ядра процессора. Контроллер может выполнять следующие операции: - копирование данных; - заполнение области памяти константой.
Данные, с которыми производятся операции, могут находиться в любой области памяти адресного пространства процессора. Копирование данных, таким образом, может проходить по следующим направлениям: - внешняя память -» внешняя память; - внутренняя память -» внутренняя память; - внешняя память -» внутренняя память.
Возможна также настройка DMA канала на работу с периферийными устройствами, подключенными к портам ввода-вывода процессора.
После настройки на выполнение задачи и запуска, контроллер работает автономно, сообщая о завершении работы установкой соответствующего флага или же вызовом прерывания. В процессе работы DMA процессор может выполнять другие вычислительные операции.
Процессоры 6000-го семейства имеют от 16-ти до 64-х независимых каналов DMA контроллера. Каждый из каналов может быть настроен на выполнение определенной задачи. Также можно разбить одну задачу на подзадачи для выполнения на нескольких каналах DMA одновременно.
Описание этих функций можно найти в сопроводительной документации процессора TMS. Подробно будет рассмотрена только функция DAT copy2d.
Данная функция реализует механизм позволяющий рассматривать область памяти как двумерный массив данных.
С помощью функции DAT_copy2d можно «вырезать» из изображения хранящегося в памяти интересующий прямоугольный участок. Пример на рис. П.2.1 показывает копирование части изображения (выделенный фрагмент) и параметры функции DAT_copy2d в этом случае. После такой операции результирующий фрагмент будет иметь длину строки в памяти равную LineLen, тогда как исходное изображение имело длину строки LinePitch. Число строк будет равно LineCnt. Указать в качестве стартового адреса можно любую точку в изображении, «вырезая», таким образом, произвольный фрагмент.
Отметим, что при задании параметра LineLen равным 1 (не изменяя значений LineCnt и LinePitch), в результате мы получим отсчеты столбца, записанные в памяти по последовательным адресам, так как каждый отсчет столбца представляет собой завершенную строку, а строки записываются последовательно, без промежутков. Таким образом, может быть реализована операция
Предлагаемая автором методика выполнения вейвлет-декомпозиции заключается в следующих шагах: изображение помещается во внешней памяти, во внутренней памяти создается буфер, причем минимальный размер буфера определяется формулой - max{W,H), где Wи Нчисло столбцов и строк соответственно. Т.е. буфер должен вмещать не меньше одной строки и не меньше одного столбца, но кратен, по размеру, быть не должен, так как в ходе выполнения вейвлет-декомпозиции размеры обрабатываемых строк и столбцов будут уменьшаться. Для выполнения преобразования разрабатывается функция декомпозиции, предназначенная для обработки одной строки. Применение только этой функции позволит добиться повышения быстродействия за счет отсутствия вычислений смещения адресов коэффициентов при обработке столбца. Каких либо ограничений на данную функцию не накладывается.
Далее в буфер помещается максимально возможное количество строк простым копированием с использованием контроллера DMA и выполняется их вейвлет-декомпозиция. Затем строки копируются во внешнюю память в результирующий массив. Во внутренний буфер помещается следующий массив строк и так далее для всех строк изображения. Со столбцами выполняются аналогичные действия, за исключением того, что для каждого столбца DMA контроллер настраивается на операцию транспонирования. С переходом на следующие уровни декомпозиции геометрические размеры обрабатываемой области меняются. Разработанный автором алгоритм автоматически выполняет все необходимые расчеты позиций копируемых областей и максимально возможного для буфера объема данных.
