Содержание к диссертации
Введение
Глава 1. Анализ методов цифровой обработки динамических изображений и оценки их качества 25
1.1. Видеоинформационные приложения и объем цифровой информации. 25
1.1.1. Монохромное и цветное телевидение 26
1.1.2. Телевидение повышенной, высокой и сверхвысокой четкости, «цифровое кино» 32
1.1.3. Видеотелефония и видеоконференцсвязь, домашнее видео 33
1.2. Основные методы устранения статистической избыточности дискретных данных 36
1.3. Кодирование с преобразованием отсчетов сигнала 47
1.4. Квантование с линейным преобразованием 48.
1.5. Статистика изображений 52
1.5.1. Статистика монохромных изображений 52
1.5.2. Статистика монохромных изображений с преобразованием 55
1.5.3. Статистика цветных изображений 56
1.6. Сокращение визуальной избыточности 58
1.6.1. Заметность пространственных изменений яркости 58
1.6.2. Заметность временных изменений яркости изображений 59
1.6.3. Влияние помех 60
1.6.4. Специфические особенности восприятия цветов 62
1.6.5. Методы субъективной оценки качества изображений 62
1.7. Основные методы сжатия изображений 65
1.7.1. Импульсно - кодовая модуляция 66
1.7.2. Кодирование изображений с предсказанием, дифференциальная импульсно-кодовая модуляция 67
1.7.3. Внутрикадровое предсказание 71
1.7.4. Межкадровое предсказание, оценка движения 74
1.7.5. Групповое кодирование изображений 78
1.7.6. Дискретные линейные ортогональные преобразования 79
1.7.7. Дискретное преобразование Фурье 80
1.7.8. Преобразование Хаара 84
1.7.9. Преобразование Уолша - Адамара 85
1.7.10. Дискретное косинусное преобразование (ДКП) 86
1.7.11. Преобразование Кархунена-Лоэва 87
1.7.12. Квантование коэффициентов преобразования 88
1.7.13. Кодирование коэффициентов преобразования 91
1.8. Основные стандарты видеокомпрессии 91
1.8.1. Н.261 91
1.8.2. Н.263 95
1.8.3. MPEG-1 и MPEG-2 103
1.8.4. MPEG-4 113
1.8.5. Н.264 119
1.9. Общие принципы оценки качества формирования, передачи и воспроизведения видеоинформации 145
1.9.1. Измерения в аналоговых и аналого-цифровых телевизионных системах 145
1.9.2. Измерения в цифровых телевизионных системах 156
1.9.3. Характерные искажения при цифровом кодировании видеоинформации 166
1.9.4. Согласование формы измерительных сигналов со спектром канала передачи 169
1.10. Выводы 175
Глава 2. Разработка эффективных методов кодирования статических изображений 177
2.1. Заметность пространственных изменений яркости изображений 180
2.2. Заметность пространственных изменений цветности изображений... 184
2.3. Повышение качества кодирования в MPEG-подобных алгоритмах видеокомпрессии 187
2.4. Повышение эффективности компрессии статических изображений с использованием вейвлет-преобразований 197
2.5. Выводы 213
Глава 3. Разработка эффективных алгоритмов анализа и компенсации движения деталей в динамических изображениях 215
3.1. Основные методы анализа движения 215
3.1.1. Метод полного перебора 216
3.1.2. Логарифмический, трехшаговый, иерархический методы 216
3.1.3. Методы, основанные на оптическом уравнении 218
3.1.4. Использование временной и пространственной корреляции для поиска векторов движения 219
3.1.5. Использование временной и пространственной корреляции векторов с оптимизацией возмущения битового потока 221
3.1.6. Метод полного перебора с преобразованием Фурье 223
3.1.7. Методы фазовой корреляции 224
3.1.8. Методика MVFAST 227
3.2. Новый метод анализа движения по опорным точкам 231
3.3. Дополнительные возможности компенсации движения деталей в динамических изображениях 256
3.4. Выводы 266
Глава 4. Специфические особенности использования эффективных алгоритмов цифрового кодирования динамических изображений 267
4.1. Методика построения промежуточных кадров видеопоследовательности 267
4.2. Методика регулировки потока при сжатии динамических видеоизображений 272
4.3. Особенности кодирования стереоскопических видеоизображений в рамках совместимости со стандартом MPEG 285
4.4. Анализ смены сюжета 299
4.5. Оценка быстродействия кодирования изображений 305
4.6. Выводы 307
Глава 5. Новые методы оценки качества систем обработки и передачи видеоинформации 309
5.1. Анализ системных искажений изображений при их цифровом кодировании и методы их оценки 311
5.2. Синтез измерительных сигналов и изображений для объективной и субъективной оценки качества изображений 331
5.3. Разработка новых высокоэффективных оконных функций для прецизионных измерений с использованием БПФ 354
5.4. Синтез алгоритмов обработки измерительных сигналов при цифровых измерениях качественных показателей каналов аналогового, аналого-цифрового и цифрового телевидения 372
5.5. Выводы 383
Глава 6. Практическая реализация результатов исследований систем цифровой обработки изображений и оценки ее качества 386
6.1. Система видеокодирования VPhone 386
6.1.1. Телевизионный компьютерный кодер VCod-C 386
6.1.2. Системы спутникового интерактивного телевещания 389
6.1.3. Системы дистанционного образования Российского Нового Университета и Современной Гуманитарной Академии 397
6.2. Система мобильного узкополосного мультимедийного вещания 400
6.3. Компьютерные измерительные приборы 409
6.3.1. Видеоанализаторы компьютерные серии ВК 411
6.3.2. Аудиоанализатор компьютерный АК-1 414
6.3.3. Комплекс измерительный телевизионный КИ-ТВ 416
6.3.4. Комплекс измерений и контроля телевизионных радиоцентров и систем кабельного телевидения ТЕСТЕР-Э 418
6.4. Выводы 419
Заключение и общие выводы 422
Библиографический список
- Монохромное и цветное телевидение
- Групповое кодирование изображений
- Повышение эффективности компрессии статических изображений с использованием вейвлет-преобразований
- Использование временной и пространственной корреляции для поиска векторов движения
Введение к работе
Технической основой создаваемой в России информационной среды становятся современные мультимедийные системы, обеспечивающие цифровую передачу динамических изображений, речи, звука и иных данных по каналам с различной пропускной способностью (видеотелефон, видеоконференцсвязь, интерактивные телевизионные системы и пр.) [212].
Внедрение мультимедийных систем различного назначения решает проблемы:
- создания высококачественных систем интерактивного цифрового телевизионного вещания при удовлетворении постоянно возрастающих запросов на частотные присвоения систем связи без пересмотра частотных планов;
- разработки и внедрения принципиально новых систем мобильного телевидения;
- создания принципиально новых интерактивных систем опроса общественного мнения;
- обеспечения деятельности органов государственной власти;
- создания мобильной видеоконференцсвязи между центральными учреждениями и удаленными центрами и районами, а также удаленных районов между собой;
- обеспечения сбора и распространения информации различного экономического и политического характера, доводимой органами власти до сведения населения, например, популяризации проводимых властями программ, акций, мероприятий;
- реализации оперативного наблюдения за объектами и дистанционного управления, например, в случаях аварий и чрезвычайных ситуаций;
- оптимизации лечебной и профилактической деятельности, созданию систем мобильной телемедицины;
создания систем дистанционного обучения на базе ведущих ВУЗов, расширения системы подготовки абитуриентов и пр.; - поддержки малого бизнеса, проведения рекламных мероприятий;
- организации системы Internet для сельских школ и др.
Требования замены морально и физически устаревших основных технических средств вещания вызывают необходимость внедрения новых прогрессивных комплексов и систем. В этих обстоятельствах, учитывая присоединение России к Европейской DVB-системе, целесообразным и экономичным является переход к цифровым системам.
В России только за счет использования имеющихся технических средств для передачи многопрограммного цифрового телевидения экономический эффект по самым скромным оценкам может составить несколько миллиардов рублей в год.
Актуальность научно-технической проблемы
Внедрение мультимедийных систем в России связано с решением пяти наиболее важных основных проблем [273,275]:
- эффективного использования мирового опыта по созданию и применению систем цифровой обработки и передачи информации;
- разработки стандартов России по системам формирования и передачи по каналам связи различных видов цифровой информации;
- разработки и внедрения собственных мультимедийных систем и соответствующей аппаратуры;
- обучения студентов и специалистов для обеспечения разработок, производства и эффективной эксплуатации таких систем;
- создания средств метрологии мультимедийных систем.
Необходимость и эффективность внедрения цифровых систем в России связаны с требованиями:
- достижения на современном этапе развития видео- и аудиоинформационных систем нового уровня качества воспроизведения изображений и звука;
- удовлетворения постоянно возрастающих запросов на частотные присвоения систем связи без пересмотра частотных планов;
- развития цифровых систем передачи видео и звуковых данных при существенном увеличении объема передаваемой сопутствующей информации;
- постепенной замены существующего линейного, передающего,
коммутационного и другого оборудования, систем технической видеозаписи и хранения информации на цифровые, более прогрессивные, и т.д.;
- создания высоконадежных систем передачи информации с эффективной системой защиты от несанкционированного приема;
- интегрирования России в общемировую систему телекоммуникаций с учетом тенденций перехода к мультимедийным системам многопрограммного телевидения и телевидения высокой четкости в глобальном масштабе.
Решение этих проблем, по сути, может устранить наше отставание в развитии информационных технологий.
Проводимые во всех технически развитых странах разработки алгоритмов и аппаратуры сокращения объема, рационального пакетирования и передачи по каналам связи с различной пропускной способностью видео-, аудио- и сопутствующей информации являются основой эффективного использования телекоммуникационных систем, сохранения действующих частотных планов, высвобождения значительной части частотного пространства для предоставления потребителям дополнительных видов услуг - видеотелефонии, мобильной и стационарной телеконференцсвязи, многопрограммного интерактивного телевидения, телевидения высокой четкости, многопрограммного звукового вещания и др.
Разработка алгоритмов и соответствующей аппаратуры цифрового сжатия различных видов информации для их передачи по каналам связи как альтернативы аналоговым системам проводится уже более 20 лет практически во всех развитых странах мира. Был получен ряд важных результатов как в плане разработки алгоритмов сжатия статических и динамических изображений различного разрешения (такие стандарты, как JPEG (JPEG-2000), MPEG-1, MPEG-2, MPEG-4 (видео), H.261, H.263, H.264 (AVC) и др.) и алгоритмов сжатия звуковой и речевой информации (такие стандарты, как MPEG-1, MPEG-2 (аудио - Layer 1, 2, 3), MPEG-4 (аудио - ААС), АС-3, G.729, G.728, G.723.1 и др.), так и в плане создания действующих комплексов.
Особое значение приобрело создание новых систем распределения цифрового телевидения и, в частности, многопрограммного цифрового телевизионного вещания в Европе - системы DVB, к целесообразности внедрения которой присоединилась Россия (Распоряжение Правительства Российской Федерации от 25.05.04 №70б-р «О внедрении в Российской Федерации европейской системы цифрового телевизионного вещания DVB»). Система DVB охватывает спутниковые (DVB-S), кабельные (DVB-C), наземные (DVB) и другие средства передачи. В стандартах DVB реализован принцип использования при различных способах передачи одинаковых методов кодирования сигналов, мультиплексирования и системы коррекции ошибок на первом этапе передачи, что обеспечивает максимальную совместимость разных систем. Международными стандартами охвачены также такие системы распределения телевизионных программ, как MMDS, LMDS, MVDS.
Важнейшим вопросом является разработка отечественных стандартов формирования, передачи и приема цифровой информации с учетом особенностей построения мультимедийных систем в России.
Новые стандарты должны разрабатываться с учетом перспектив развития, а не фиксировать нашу техническую отсталость. Они должны стимулировать разработчиков и производителей передовой технологической базы мультимедийных систем. В отечественных стандартах должны быть строго определены варианты цифровой обработки изображений и звука в комплексах различного назначения (от телевидения высокой четкости до домовых систем «видео по запросу», от видеоконференцсвязи до видеотелефонии), варианты использования различных методов канального кодирования в спутниковых и наземных системах вещания, варианты применения различных систем фазовой манипуляции несущих в наземных и кабельных системах, варианты применения различных способов модуляции радиосигналов. Особое значение имеют проблемы определения набора используемых мощностей передающих средств наземного и спутникового телерадиовещания. При разработке стандартов, кроме того, должны быть решены проблемы использования систем точных частот и точного времени, что является особенно важным, учитывая территориальные особенности России.
Несмотря на уже начавшееся широкое внедрение цифровых мультимедийных систем, процесс разработки более эффективных алгоритмов сжатия визуальной и звуковой информации и ее передачи по каналам с различной пропускной способностью продолжается. Поскольку имеющиеся стандарты строго определяют синтаксис цифрового потока закодированных данных и регламентируют лишь самые общие принципы его формирования, имеется возможность более эффективной обработки в рамках этих стандартов. Несмотря на наличие в мире значительного количества публикаций по тематике сжатия видеоинформации, практически все эти публикации содержат лишь самое общее описание методов сжатия без раскрытия наиболее существенных деталей используемых алгоритмов. Информации же о конкретной совокупности операций, составляющих суть этих алгоритмов, в силу действия законов об интеллектуальной собственности невозможно обнаружить ни в открытых публикациях, ни в материалах фирм-разработчиков. В связи с этим важнейшей проблемой проведения фундаментальных работ в России по данной тематике является глубокое освоение теории и математических методов обработки информации, использование имеющихся зарубежных материалов при определении общего направления работ. Следующим шагом является разработка более эффективных систем с учетом полученного опыта по освоению стандартных алгоритмов.
В рамках проведенных с участием автора настоящей работы исследований предложены и реализованы новые эффективные алгоритмы обработки видеоинформации, получен ряд российских патентов. Накопленный теоретический багаж позволил перейти к практической реализации. В частности, была создана система компьютерной видеоконференцсвязи и видеотелефонии VPhone, предназначенная для проведения видеоконференций между удаленными стационарными или мобильными абонентами как в режиме точка-точка, так и в многоточечном режиме в пределах территории, охваченной каналами связи. Организация сети видеосвязи позволяет решить такие задачи, как реализация систем интерактивного телевизионного вещания, опроса общественного мнения в реальном масштабе времени, дистанционного интерактивного обучения, видеосвязи для использования в чрезвычайных ситуациях, дистанционного медицинского обслуживания, видеотелефонии и др. Система видеосвязи VPhone является программно-аппаратным комплексом, позволяющим в реальном масштабе времени осуществлять видео- и аудиосвязь между пользователями по каналам связи от 9 кбит/с до 8 Мбит/с.
Разработка системы VPhone явилась основой создания «Вуличного телебачення» в Украине в 1999 году, систем дистанционного образования в Российском Новом Университете, Современной Гуманитарной Академии и ряде других негосударственных ВУЗов.
Экспериментальные исследования показали высокую эффективность разработанных программных кодеков MPEG-2/MPEG-4. В частности, качество изображений формата CIF (352x288 пикселов) соответствует качеству домашнего видеомагнитофона (VHS) при цифровом потоке 384 - 512 кбит/сек.
Внедрение этих кодеков позволило создать модель системы информационного видеовещания и звукового стереовещания AVIS (Audiovisual information system) при расположении приемника в движущемся транспорте в городских условиях с плотной застройкой, многолучевостью и отсутствием прямой видимости антенны передатчика, а также в районах со сложным рельефом, в горной местности и в густых лесных массивах, где в указанных условиях с использованием известных на сегодня систем невозможно обеспечить удовлетворительное качество приема. Отличительная особенность этой системы заключается в том, что на передаче сигнал кодируется со сжатием изображения и звука, позволяющим передавать информацию в узкополосном (200 - 250 кГц) мобильном городском канале.
На прошедшей в марте 2006 года в Женеве (Швейцария) объединенной конференции МСЭ-Р на секциях 6М и 6Е рабочей группы SG6 от России был представлен вклад «Повышение эффективности использования VHF-диапазона частот» (документ 6Е/336, 6М/133), в котором была описана система мобильного узкополосного мультимедийного вещания AVIS. Эта система позволяет повысить эффективность использования VHF-диапазона, в частности, полосы 87 - 108 МГц, предоставляя возможность в одном канале передавать более 10 программ стереозвука высокого качества или изображение формата CIF с соответствующим стереозвуковым сопровождением.
Дальнейшее развитие системы AVIS отражено во вкладе России, представленном на секции 6М (документ 6М/150) на конференции в Сеуле (Республика Корея) в августе 2006 года. На этой конференции был принят связующий документ для группы 6Е, в котором указано, что система AVIS является кандидатом для включения в Отчет ВТ.2049 и в проект новой рекомендации «Вещание мультимедиа и данных для мобильного приема на наладонные устройства».
Значительный интерес представляет использование цифровой системы в диапазоне частот 66 - 74 МГц, который в России и странах СНГ до настоящего времени используется для трансляции устаревшей системы стереовещания с полярной модуляцией.
Серьезной проблемой при внедрении мультимедийных систем в России является подготовка специалистов данного профиля. Отечественная литература, посвященная изложению современных способов цифровой обработки мультимедийной информации, практически отсутствует; эта важнейшая область не отражена в ныне существующих программах обучения специалистов. Целью обучения специалистов теории и практическому применению мультимедийных систем, помимо создания представления о весьма сложных преобразованиях сигналов в процессе сокращения объема информации, должно стать привлечение молодых специалистов России к исследованиям еще не решенных проблем в этой перспективной области. Вкладом в решение этой проблемы является участие автора диссертации в создании книг по цифровой обработке телевизионных и компьютерных изображений, а также активная работа на восьми Международных конференциях «Цифровая обработка сигналов и ее применение». Хотелось бы надеяться, что начавшееся широкое внедрение в практику мультимедийных систем послужит началом реализации планов обучения специалистов данного профиля. В области организации науки и подготовки кадров важнейшим является формирование сети научно-исследовательских центров по мультимедийным проблемам, обладающих необходимым научным и техническим потенциалом для решения как фундаментальных проблем обработки сигналов, так и широкого круга прикладных задач. В России и странах СНГ сложилась крайне тяжелая ситуация, вызванная повсеместным недостатком, а часто и отсутствием измерительной аппаратуры, необходимой для разработки, настройки и поддержания технических характеристик систем передачи информации в состоянии, обеспечивающем их качественное функционирование.
Особые проблемы возникают в связи с началом широкого внедрения систем и аппаратуры цифровой обработки и передачи компрессированных сигналов по каналам связи. Разрабатываемые системы требуют создания соответствующих контрольных и измерительных средств. С внедрением мультимедийных систем потребность в использовании измерительной аппаратуры будет возрастать, поскольку требуется создание принципиально новых способов и средств контроля и измерений. При этом необходимо, чтобы эти средства были совместимы и с традиционными аналоговыми системами.
Метрологическая безопасность России - залог создания высококачественной мультимедийной аппаратуры и ее эффективного использования.
На современном этапе развития техники выполнение требований метрологии связано с созданием виртуальных измерительных систем на базе использования персональных компьютеров в качестве устройств анализа и организации структуры систем формирования и обработки измерительной информации.
При этом обеспечивается:
- реализация патентно-чистых способов измерений с применением специально разработанных оптимальных измерительных сигналов и процедур их обработки, позволяющих резко повысить точности и быстродействие измерений;
- существенное увеличение функциональных возможностей создаваемых измерительных средств, а также их полностью цифровая реализация;
- снижение практически на порядок цены приборов, что достигается их реализацией на базе общедоступных персональных компьютеров, дополнительно комплектуемых соответствующими блоками (платами) ввода и вывода измерительной информации и программными продуктами.
Начало в разработке принципиально новых приборов на базе использования персональных компьютеров было положено при создании видеоанализаторов ВК и аудиоанализаторов АК, обеспечивающих как генерацию стандартных и новых измерительных сигналов, испытательных эталонов, так и оценку их искажений, осциллографический, спектральный и векторный анализ сигналов и их составляющих. К числу новых разработок следует отнести Комплекс измерительный телевизионный КИ-ТВ, Комплекс измерений и контроля телевизионных радиоцентров и систем кабельного телевидения ТЕСТЕР-Э и др.
Таким образом, в настоящее время происходит резкий, как количественный, так и качественный, рост систем и средств распространения видеоинформации по различным каналам связи. Значительно расширяются сферы применения как вещательных методов распространения видео (стандартное аналоговое и цифровое телевизионное вещание, телевидение высокой четкости, Интернет-видеовещание от WEB-камер до телевизионных программ, новые системы вещания для частных и корпоративных абонентов, системы видеонаблюдения и видеоконтроля и т.д.), так и интерактивных видеослужб (видеотелефон, двусторонняя и многосторонняя видеоконференцсвязь, дистанционное обучение, телемедицина и т.д.). В зависимости от требований потребителей и пропускной способности имеющихся и перспективных каналов связи необходимо передавать видеоинформацию различного качества со скоростью цифрового потока от нескольких килобит до десятков мегабит в секунду. Скорость следования кадров варьируется от одного кадра в несколько секунд в системах видеонаблюдения до 25 (30) кадров/с в телевидении и более 30 кадров/с в системах специального назначения и ТВЧ; разрешение кадра также меняется в широчайших пределах: от 88x72 в видеотелефоне до 1920x1080 в ТВЧ. Цифровая передача видеоинформации в вещательных и интерактивных системах позволяет гибко настраивать параметры передачи видео в зависимости от конкретных требований потребителей и возможностей каналов связи. Для оценки соответствия качества передаваемой видеоинформации требованиям, предъявляемым к ней в различных системах и условиях передачи, а также для сравнения эффективности работы различных устройств видеокодирования и передачи видеоинформации требуются методики и средства объективной и субъективной оценки качества видеоизображения, наблюдаемого потребителем. Эти методики должны учитывать характерные особенности и искажения как при аналоговой, так и при цифровой и смешанной системах обработки и передачи видеоинформации. Как следует из вышеизложенного, разработка и исследования высокоэффективных систем цифровой обработки динамических изображений и методик оценки их качества являются весьма актуальными.
Цели и задачи диссертационной работы
Основными целями настоящей работы являются:
- разработка и исследование новых методов повышения эффективности обработки и компрессии статических и динамических цветных видеоизображений, применение разработанных методов для кодирования изображений различного разрешения и их передачи по реальным каналам связи с ограниченной пропускной способностью;
- разработка и исследование новых методов оценки качества систем обработки и передачи информации, в том числе разработка новых измерительных сигналов и методик объективной оценки восстановленных видеоизображений.
Задачи проводимых исследований включают в себя решение проблем:
- повышения эффективности внутрикадрового кодирования изображений с помощью учета их локальной структуры, а также путем использования специально разработанных базисных функций вейвлет-преобразований;
- повышения эффективности анализа движения деталей при кодировании динамических изображений в системах кодирования реального времени;
- разработки методики управления скоростью выходного потока видеокодирования для передачи видеоинформации по каналам связи с ограниченной пропускной способностью, в том числе с учетом смены сюжета при кодировании видеопоследовательностей;
- адаптации единой методики видеокодирования для систем различного разрешения (от видеотелефона до телевидения высокой четкости);
- классификации системных искажений при цифровом кодировании видеоизображений;
- разработки новых измерительных сигналов и тестовых изображений для объективной и субъективной оценки качества систем цифровой и цифро-аналоговой передачи видеоинформации;
- разработки методов оценки искажений этих измерительных сигналов и тестовых изображений, включая синтез новых высокоэффективных оконных функций для прецизионных измерений с использованием дискретного преобразования Фурье.
Методы исследования
В качестве основного теоретического инструмента исследований использовались методы математического анализа, линейной алгебры, теории вероятностей и математической статистики, теории цифровой обработки одномерных и многомерных сигналов, теории вейвлет-преобразований, теории информации. В диссертационной работе широко использовались методы компьютерного моделирования и численные эксперименты по обработке реальных статических и динамических изображений различного разрешения. Проведенные эксперименты обеспечили практическое подтверждение теоретических решений и эффективности разработанных методик.
Теоретической и методологической основой исследований являются труды отечественных и зарубежных ученых по теории цифровой обработки сигналов, линейных и нелинейных систем преобразования изображений, теории вейвлет-преобразований, статистической радиотехнике, телевизионной метрологии.
В процессе решения задач цифровой обработки и анализа изображений были использованы труды выдающихся ученых Котельникова В.А., Новаковского СВ., Игнатьева Н.К., Цукермана И.И., Антипина М.В., Кривошеева М.И., Зубарева Ю.Б., Левина Б.Р., Певзнера Б.М., Дьяконова В.П., Prett W.K., Netravali A.N., Haskell B.G., Max J., Haffman D.F., Langdon G., Karhunen H., Loeve M., Gonzalez R.C., Woods R.E. и др.
Для создания и отладки программного и аппаратного обеспечения исследований и разработок при руководстве и активном участии автора использовались системы символьной математики «Mathematica» 2-5, MATLAB®, язык программирования C++, среда разработки Microsoft Developer Studio.
Научная новизна
К числу существенных результатов выполнения диссертационной работы, полученных автором и обладающих научной новизной, относятся нижеследующие.
1. Разработан новый метод повышения эффективности внутрикадрового сжатия изображений, основанный на адаптивном квантовании блоков в зависимости от уровня допустимых искажений в каждой точке изображения. Разработаны критерии изменения коэффициента квантования в зависимости от структуры обрабатываемых блоков изображения.
2. Предложены варианты расчета оптимальных банков фильтров дискретного вейвлет-преобразования путем решения систем нелинейных уравнений, проанализированы формы частотных характеристик этих банков фильтров. Разработанный принцип расчета может быть использован для построения как двухполосных, так и многополосных вейвлет-фильтров.
3. Разработаны новые методы эффективного быстрого анализа движения блоков изображения с использованием специфики структуры деталей этого изображения. Эти методы основаны на анализе структуры макроблоков опорных и анализируемого кадров изображения. При этом векторы движения определяются минимальным значением контрольной суммы попиксельных разностей в специально выбранных контрольных точках, что позволило при высокой точности оценки векторов движения повысить скорость их поиска в 10-15 раз.
4. Предложен новый метод повышения эффективности компенсации движения, основанный на пространственной передискретизации элементов изображения при малом и визуально незаметном смещении этих элементов.
5. Исследованы и разработаны алгоритмы формирования промежуточных кадров с учетом движения деталей в последовательности динамических изображений, необходимые как в системах видеоконференцсвязи с невысокой пропускной способностью в каналах связи, так и при воспроизведении изображений телевидения высокой четкости на большом экране, на котором в случае частоты кадров 50 Гц оказывается заметной модуляция яркости экрана. Разработаны также алгоритмы кодирования стереоскопических изображений в рамках совместимости со стандартом MPEG, обеспечивающие разделение цифрового потока на базовый и уточняющий слои.
6. Разработана новая методика покадрового регулирования скорости выходного потока систем видеокомпрессии, основанная на изменении коэффициентов квантования как всех блоков кадра в целом, так и отдельных макроблоков, и позволяющая стабилизировать цифровой поток с ориентацией на пропускную способность канала связи.
7. Разработан новый алгоритм анализа смены сюжета в динамических изображениях. Принцип анализа заключается в разбиении смежных кадров изображений на несколько областей, оценке распределения яркостей в соответствующих областях двух кадров и их сравнении. Разработанный алгоритм прост в реализации, обеспечивает повышение качества воспроизведения телевизионных изображений, с успехом может быть применен для выявления «незаметно» вводимого 25-го кадра.
8. Предложены и обоснованы новые измерительные сигналы и тестовые изображения для объективной и субъективной оценки качества каналов передачи аналогового, аналого-цифрового и цифрового телевидения. Разработанные элементы измерительных сигналов согласованы по спектру с полосой пропускания канала связи. Предложенные тестовые динамические изображения обеспечивают возможность объективной и субъективной оценки качества их воспроизведения при кодировании в соответствии со стандартами MPEG.
9. Разработаны и реализованы новые алгоритмы обработки измерительных сигналов для автоматического анализа качественных показателей каналов передачи аналогового, аналого-цифрового и цифрового телевидения. Эти алгоритмы позволили реализовать прецизионные измерения аппаратно-студийных комплексов, радиорелейных, спутниковых и кабельных систем связи при наличии значительных уровней флуктуационных, импульсных и синусоидальных помех.
10. В рамках создания эффективных систем цифровой обработки измерительных сигналов синтезированы новые высокоэффективные оконные функции для прецизионных измерений при гармоническом анализе. Расчет эффективных окон основан на двух способах оптимизации их характеристик:
- минимизации мощности спектральных компонент окон вне пределов заданного интервала частот;
- расчете формы специальных ограниченных на заданном временном интервале функций, совпадающих с заданной точностью с формой их спектра.
Проанализированы основные свойства таких окон, а также их эффективность для обнаружения гармонических сигналов в широкополосном шуме и при наличии интенсивных гармонических помех.
Личное участие автора в разработках по теме диссертационной работы
Во всех разработках по теме диссертации автор являлся или руководителем, или ответственным исполнителем. Все результаты исследований получены лично автором диссертации. Идеи и поддержка разработок и проведения исследований высокоэффективных систем цифровой обработки динамических изображений и оценки их качества принадлежат члену-корреспонденту РАН, проф. Зубареву Ю.Б. и моему отцу проф. Дворковичу В.П.
На защиту диссертации выносятся следующие основные результаты: - методика повышения эффективности внутрикадрового сжатия изображений, основанная на адаптивном квантовании блоков изображения в зависимости от допустимой ошибки в этих блоках, и методика определения допустимой ошибки;
- варианты расчета банков оптимальных фильтров дискретного двухполосного и многополосного вейвлет-преобразования путем решения систем нелинейных уравнений;
- алгоритм эффективного быстрого анализа движения блоков изображения, основанный на использовании характерных точек блоков;
- методы повышения точности анализа движения;
- алгоритм быстрого анализа смены сюжета в динамических изображениях;
- методика управления скоростью выходного потока систем видеокомпрессии;
- новые измерительные сигналы и изображения для объективного и субъективного анализа качества передачи аналогового, аналого-цифрового и цифрового телевидения;
- алгоритмы обработки измерительных сигналов для автоматического анализа качественных показателей каналов передачи аналогового, аналого-цифрового и цифрового телевидения;
- методы синтеза высокоэффективных оконных функций для прецизионных измерений с использованием дискретного преобразования Фурье;
- практическая реализация разработанных методик и алгоритмов: видеокодеки, используемые в цифровых каналах с различной пропускной способностью, система мобильного видеовещания, аппаратура для прецизионных измерений качества формирования и передачи аналогового, аналого-цифрового и цифрового телевидения.
Теоретическая и практическая значимость результатов диссертационной работы
Проведенные разработки, теоретические исследования и полученные на их основе научные результаты служат как для решения фундаментальных проблем цифровой обработки изображений различного разрешения, так и для достижения практических целей, связанных с реализацией систем и устройств компрессии и передачи аудиовизуальных данных и метрологическим обеспечением этих систем и устройств. Полученные в работе методики повышения эффективности алгоритмов сжатия статических и динамических изображений нашли применение в новых системах передачи мультимедийной информации как в вещательных, так и в компьютерных сетевых приложениях. Методика анализа и оценки качественных показателей видеоизображений и каналов их передачи позволила контролировать характеристики разработанных систем и устройств, обеспечивать их высокое качество и эффективность реализованных алгоритмов.
Исследования и разработки, прведенные в рамках настоящей диссертационной работы, характеризуют новое научное направление, заключающееся в создании высокоэффективных методов цифровой обработки изображений на основе разработанных способов ее оценки. Большое народнохозяйственное значение проведенных работ подтверждается широким внедрением созданных систем и устройств.
Реализация и внедрение результатов работы
На базе теоретических исследований и полученных методик и алгоритмов видеокомпрессии создана система VPhone - система кодирования и передачи аудиовизуальной информации по каналам связи с заданной пропускной способностью. Эта система послужила основой для разработки и внедрения:
- телевизионного компьютерного кодера реального времени VCod-C;
- аппаратуры цифрового телевидения в составе системы спутниковой связи «Приморка» (внедрение отмечено премией Правительства РФ);
- системы мобильного узкополосного мультимедийного вещания AVIS (результаты разработки отражены во вкладах России в Международный союз электросвязи);
- системы дистанционного обучения Российского Нового Университета;
- системы проведения телемарафонов для Современной Гуманитарной Академии;
- системы спутникового интерактивного телевещания «Вуличне Телебачення».
Разработанные новые измерительные сигналы, тестовые изображения и алгоритмы их обработки, включая использование новых оконных функций, внедрены в целом ряде компьютерных измерительных приборов:
- видеоанализаторы компьютерные ВК-1, ВК-2;
- аудиоанализаторы компьютерные АК-1;
- комплекс измерительный телевизионный КИ-ТВ;
- комплекс измерительный телевизионных радиоцентров и систем кабельного телевидения ТЕСТЕР-Э.
Работа поддержана грантами Российского фонда фундаментальных исследований (РФФИ):
- 01-07-90355 «Разработка единой системы цифрового сжатия и передачи цветных динамических изображений различного разрешения (видеотелефон/видеоконференцсвязь)»;
- 03-07-90047 «Разработка интерактивной системы взаимодействия удаленных мультимедийных компьютерных комплексов для организации многопользовательских приложений»;
- 04-07-90055 «Разработка и исследование системы передачи видео- и стереозвуковой информации по узкополосным каналам мобильной связи»;
- 05-07-90094-в «Разработка совместимой со стандартом MPEG системы сжатия и передачи цветных динамических стереоизображений».
Работа поддержана грантами Российского фонда технологического развития (РТФР):
- «Разработка универсальных компьютерных способов и устройств обработки и анализа статических и динамических изображений различного разрешения», шифр «Компан-ТВ»;
- «Разработка аудиовизуальной информационной системы с использованием узкополосного канала связи для мобильных абонентов», шифр «Видео-М».
На основе проведенных исследований разработаны вклады России в МСЭ:
- ITU-R Document 6Е/336-Е, 6М/133-Е, 3 March 2006. «Increase of the Band 8 (VHF) Utilization Efficiency»;
- ITU-R Document 6M/150-E, 14 August 2006. Technical Report «Digital Mobile Narrowband Multimedia Broadcasting System AVIS».
Достоверность материалов диссертационной работы
Достоверность подтверждена результатами компьютерного моделирования процессов обработки различных видов информации, созданием действующих систем и устройств и их эксплуатацией в телекоммуникационных системах.
Апробация работы
Результаты, полученные в работе, докладывались и обсуждались на научных семинарах во ФГУП НИИРадио, на заседании кафедры РЛ-1 МГТУ им. Н.Э. Баумана, Российских и международных научных конференциях и семинарах, в том числе:
- на Международных конференциях «Цифровая обработка сигналов и ее применение», 1998,1999,2003,2004,2005,2006 гг.;
- на Международных конгрессах HAT «Прогресс технологий телерадиовещания», 1997,1998,2002 гг.;
- на VIII Всероссийской конференции «Нейрокомпьютеры и их применение», 2002 г.;
- на V Международной научно-практической конференции «Цифровые технологии в телевизионном и звуковом вещании», 2005 г.;
- на IV Международной конференции «Телевидение: передача и обработка изображений», 2005 г;
- на III Международной научно-технической конференции «Современные телевизионные технологии. Состояние и направления развития», 2002 г.
Публикации
По теме диссертации опубликовано 70 научных работ, из них 25 статей, 36 докладов на научных конференциях, 2 книги (212 и 255 стр., из них треть -личный вклад), 5 патентов РФ, 2 вклада в МСЭ-Р; 9 статей в журналах, рекомендованных ВАК (Радиотехника, Электросвязь, ЦОС); 8 статей выполнено без соавторства. Результаты работы отражены также в 45 научных отчетах.
Структура и объем диссертации
Диссертационная работа содержит 459 страниц и состоит из введения, шести глав, заключения и общих выводов. Библиографический список включает в себя 384 наименования. Приведены копии 8 актов об использовании результатов диссертационной работы.
Автор считает своим долгом выразить глубокую благодарность научному консультанту члену-корреспонденту РАН, доктору технических наук, профессору Юрию Борисовичу Зубареву за оказание помощи и плодотворное сотрудничество при проведении исследований по тематике диссертационной работы и доктору технических наук, профессору Марку Иосифовичу Кривошееву за участие в обсуждениях результатов исследований и непосредственную помощь в представлении результатов разработки системы AVIS в качестве вклада России в Международный союз электросвязи.
Хочу также поблагодарить своего отца доктора технических наук, профессора Дворковича Виктора Павловича за воспитание чувства ответственности и требовательность в отношении качественного выполнения работы, а также своих коллег за эффективную помощь в реализации результатов исследований.
Монохромное и цветное телевидение
При цифровой обработке сигналов весьма важными являются сведения об объеме информации или требуемой скорости передачи цифрового потока, получаемого первоначально при переводе сигнала в цифровой вид (еще до цифровой обработки), т.к. служат отправной точкой для всех дальнейших рассуждений.
В таблице 1 приведена классификация применяемых в различных странах ТВ стандартов, объединенных по принципу используемых граничных частот спектра сигнала яркости / . В этой же таблице приведена необходимая скорость передачи информации без видеокомпрессии при дискретизации полного ТВ сигнала с частотой Котельникова-Найквиста и использовании 8-разрядного кодирования [64,106,380,381]. Полный объем передаваемой информации /0 прямо пропорционален граничной частоте спектра сигнала яркости /г/ [372] и разрядности кодирования К: 10 = К-2-/гр.
Учитывая, что сигнал яркости передается лишь в активных интервалах полного ТВ сигнала [23, 68, 369], на самом деле объем информации об изображении несколько меньше. Его величина может быть рассчитана следующим образом: V Н V-V Н-Н т і акт акт _ г пас " " пас " V Н " V н где V,Н - длительности кадра и строки, a VOKm,H„ V iH - их активные и пассивные участки. В таком случае, для Российского стандарта ТВ (V = 625Я, V = 50Я): / = 8-2-6-(575/625)-(64-12)/64 = 72 Мбит/с.
Стандартные системы цветного телевидения NTSC, PAL и SECAM [296, 356, 369] различаются, в основном, принципами формирования сигналов цветности, передаваемых на поднесущих путем уплотнения спектра полного телевизионного сигнала монохромного телевидения. При формировании полного цветового телевизионного сигнала во всех системах цветного телевидения используются сигнал яркости EY и два цветоразностных сигнала E R_Y, EB_Y, формируемые из гамма-скорректированных сигналов основных цветов - красного ER, зеленого Е а и синего Ёв [23,369]: Е у =0,299 -ER+0,587-EG + 0,114 -Ёв; R-Y =Ьц—Еу; Граничная частота цветоразностных сигналов составляет 1,5 МГц. В системе NTSC используется линейная комбинация цветоразностных сигналов (оси координат повернуты на 33) [296,356]: =-0,27- .5,+0,74-4- е = 0,41-в_к+0,48-д_,,. Это преобразование позволило минимизировать ширину спектра сигнала EQ - до 0,6 МГц. Сигнал цветности NTSC на поднесущей можно представить в виде: Es = Е, cos(cost + 33 )+ EQ s\n(u)5t + 33) = Ё50 cos(u 5/ + 33 - (р\ і F ES0= E,2+EQ2, (p = Arctg- -, a)s=2tfs, частота поднесущей fs жестко связана с частотой строчной развертки /я и равна: 455 Л =- =3,579545 МГц, /„=15734,264 Гц. Теоретически перевод полного цветового ТВ сигнала NTSC в цифровой вид может быть осуществлен, при частоте дискретизации, равной частоте Котельникова-Найквиста, т.е. 8,4 МГц. Однако на практике при такой частоте требуется чрезвычайно точное квантование сигнала по уровню (более 10 разрядов), а также очень точные и трудно реализуемые фильтры на передаче и приеме. Указанные проблемы решают путем повышения частоты дискретизации и привязки ее к частоте цветовой поднесущей [106, 362]. Чаще всего использовалась частота дискретизации /D =4fs =14,31818 МГц, являющаяся 910 гармоникой строчной частоты, и при 9-разрядном кодировании, необходимом для обеспечения малых погрешностей восстановления фазы поднесущей, объем информации преобразованного сигнала составит /0 =9/д = 128,7 Мбит/с.
В системе PAL [106, 296, 369] применяются два компрессированных цветоразностных сигнала: Е у = 0,877- .,,.
Сигнал цветности формируется путем квадратурной модуляции этими сигналами одной цветовой поднесущей, причем модуляция осуществляется таким образом, что полярность одного из цветоразностных сигналов на поднесущих коммутируется от строки к строке: ES=EV-cos{cosi)+ Е у $m{o)si) = Es0 cos(u)st + q \ Es = Ev cos(o)st)- Ev sin r) = Eso cos(ast - p), где E so = JE J + Ey2, p = Arctg-?-f o)s =2tfs, fs - частота цветовой поднесущей. Eu -+— fH= 4,43361875 МГц; для 4 625 909 стандарта N /.=—/„ = 3,57561149 МГц. При использовании в качестве частоты дискретизации четвертой гармоники цветовой поднесущей и 9-разрядном кодировании объем информации преобразованного в цифровой код полного цветового ТВ сигнала системы PAL составит 128,7 Мбит/с для стандарта N и 159,6 Мбит/с для стандартов В, G, Н, I. В системе SECAM [106, 193, 296, 369] сигнал цветности представляет собой две цветовых поднесущих, промодулированных по частоте цветоразностными сигналами в двух смежных строках: R = » B-Y DB =—l,y-bR_Y. Цветоразностные сигналы подвергаются предварительной коррекции по видеочастоте с помощью фильтра, комплексная частотная характеристика которого определяется формулой:
Групповое кодирование изображений
Цель проводимых преобразований над представленным в цифровом виде цветным динамическим изображением состоит в достижении наибольшего сжатия цифровой информации при снижении объема вычислительных операций, обеспечении согласования формируемого цифрового потока с пропускной способностью канала его передачи и максимальном визуальном соответствии восстановленного и исходного изображений.
Способ обеспечивает реализацию этой цели за счет изменения коэффициента квантования матрицы спектральных компонент ДКП блоков кадра в зависимости рельефа их пикселов, структуры допустимых отклонений рельефа изображения и соответствия формируемого цифрового потока заданной пропускной способности канала цифровой передачи информации. Поясним принцип работы устройства рис. 2.13. Кадры цветного динамического изображения обычно представляют собой либо двумерные массивы скалярных компонент при дискретизации полного цветового сигнала, кодируемого, например, по системам SECAM, PAL, NTSC, либо двумерный массив векторов, состоящий из трех скалярных компонент, соответствующий величинам цветовых составляющих R, G, В.
Этот массив данных запоминается в блоке 1 цифровой памяти кадров изображений и через блок 2, в котором создаются компоненты изображения (обычно, яркостная составляющая Y и цветоразностные сигналы U, V), поступающие на соответствующие блоки их цифровой обработки, по структурной схеме не отличающиеся друг от друга. 193 В одном из таких блоков, например, обработки составляющей яркости, с помощью формирователя 3 допусков создается рельеф допустимых отклонений значений пикселов каждого кадра. Один из известных эффективных вариантов вычисления такого рельефа определяется соотношением: С(/,У) = оЕ Ха(т птх( + т + , У + і)-.Х ( + »-1.; + п)]2+[Х(/+т,У+л + 1)-Х0Чт,у + п-1)]2 где X(ij) - значение писела в точке (i,j), a(m, п)=l/round m2 +n2J -коэффициенты взвешивания, К0 - коэффициент пропорциональности.
Сформированные таким образом допустимые отклонения определяют возможные изменения величин пикселей компоненты при ее восстановлении после преобразования, обеспечивающего сжатие изображений. Выделенные схемой 4 коды каждого блока размером N-N пикселов (например, согласно стандартам JPEG и MPEG - 8-8) подаются через преобразователь ДКП 5, формирующий из дискретных значений пикселов X(i,j), 0 i,j N, спектральные компоненты дискретного косинусного преобразования блока F(u,v), 0u,v N, схему 6 матрицирования, в которой каждая компонента ДКП делится на соответствующее число Q(u,v), учитывающее влияние визуальной заметности изменений различных спектральных компонент ДКП, первую схему 7 квантования и округления, формирующую преобразованные спектральные компоненты: round[(l/K )»F(u,v)/Q(u,v)], где К - заранее заданный коэффициент квантования, преобразователь ОДКП, формирующий из «восстановленных» спектральных компонент косинусного дискретного преобразования F(u,v) = K »Q(u,v)Tound[(\/V)»F(u,v)/Q(u,v)] измененные вследствие обработки значения пикселов компоненты X (/,; ) на вычислитель ошибок 9, на второй вход которого поступают исходные значения уровней пикселов этого же блока. В результате на выходе вычислителя 9 формируются отклонения преобразованных вследствие матрицирования и квантования с заданным 194 коэффициентом К значений пикселов от исходных величин: 4i,j) = \x«J)-X(iJ)\.
Ввиду того, что величина этих отклонений значений пикселов практически линейно зависит от коэффициента квантования К в достаточно большом диапазоне его значений (рис. 2.14), на основании полученных данных можно рассчитать требуемый коэффициент квантования Кдоп, обеспечивающий такое преобразование пикселов блока, что изменения их значений будут находиться в зонах допустимых отклонений Amn(i,j) = G{i,j), формируемых в схеме 3.
Расчет величины коэффициента квантования Кдоп в блоке 10 может осуществляться различным образом. Один из вариантов расчета связан с определением средних значений реальных и допустимых отклонений в блоке: j i=N-\j=N-\ і i=N-\j=N-\ А = Т7гЕ ЕД( .Л АДоп =-ПГ S 2 дол( ../) и по этим значениям вычисляют величину Кдоп по формуле кдоп = к Ьд0П/(А+Л), где Я Адоп- некоторая малая величина. Другой вариант, требующий меньше вычислительных операций, связан с определением величин Адоп и Д только путем усреднения нескольких минимальных значений среди Адоп (i,j) и соответствующих им по положению в блоке значений A(i,j). Вычисленный блоком коэффициент квантования используется для вычислений во второй схеме квантования и округления 11 спектральных компонент ДКП каждого блока кадра: L(u,v) = round[(l/KMOn) F(u,v)/Q(u,v)], 0u,v N. По значениям этих величин каждого из М блоков кадра в схеме 12 производится Z-упорядочивание спектральных компонент ДКП и оценка величины кода (например, кода Хаффмана) Size{m),\ m ,M, определяющего цифровой поток каждого блока. 195 Коды Size(m) поступают на сумматор 13, где накапливаются величины м кодов всех блоков кадра Sizez=yJSize(m), и далее - на схему сравнения 14, в которой значение Sizez сравнивается с допустимым значением кода Sizemon. Если величина q = SizezISizemon \, то формируемый поток оказывается больше пропускной способности канала передачи информации.
Для того, чтобы устранить это несоответствие в перемножителе 15 коэффициенты квантования всех блоков кадра, запомненные схемой памяти 16, умножаются на рассчитанный коэффициент K on(m) = q»Kaon(m), ІйтйМ и подаются на схему 17 квантования и округления данных, на второй вход которой поступают также спектральные компоненты ДКП всех блоков кадра, предварительно запомненные в схеме памяти 16.
Таким образом на выходе схемы формируются коды цифровых данных о всех блоках кадра: Lm{u,v) = round{[\IK,}lon{m)\ Fm{u,v)IQ{u,v)}t 0 u,v N, \ т М. Эти результаты обработки одной из компонент изображения поступают на блок 18 кодирования, на который подаются результаты обработки других компонент изображения.
В случае, если цифровой поток вновь окажется не соответствующим пропускной способности канала связи, операции вычисления коэффициента q = SizeumISizeIAOn, где Size jx - цифровой поток, полученный в результате указанных выше преобразований, и уточнения коэффициентов квантования могут быть повторены. Выход блока 18 является выходом устройства, реализующего данный способ цифровой обработки динамических изображений.
Повышение эффективности компрессии статических изображений с использованием вейвлет-преобразований
Ввиду того, что величина этих отклонений значений пикселов практически линейно зависит от коэффициента квантования К в достаточно большом диапазоне его значений (рис. 2.14), на основании полученных данных можно рассчитать требуемый коэффициент квантования Кдоп, обеспечивающий такое преобразование пикселов блока, что изменения их значений будут находиться в зонах допустимых отклонений Amn(i,j) = G{i,j), формируемых в схеме 3.
Расчет величины коэффициента квантования Кдоп в блоке 10 может осуществляться различным образом. Один из вариантов расчета связан с определением средних значений реальных и допустимых отклонений в блоке: j i=N-\j=N-\ і i=N-\j=N-\ А = Т7гЕ ЕД( .Л АДоп =-ПГ S 2 дол( ../) и по этим значениям вычисляют величину Кдоп по формуле кдоп = к Ьд0П/(А+Л), где Я Адоп- некоторая малая величина.
Другой вариант, требующий меньше вычислительных операций, связан с определением величин Адоп и Д только путем усреднения нескольких минимальных значений среди Адоп (i,j) и соответствующих им по положению в блоке значений A(i,j). Вычисленный блоком коэффициент квантования используется для вычислений во второй схеме квантования и округления 11 спектральных компонент ДКП каждого блока кадра: L(u,v) = round[(l/KMOn) F(u,v)/Q(u,v)], 0u,v N.
По значениям этих величин каждого из М блоков кадра в схеме 12 производится Z-упорядочивание спектральных компонент ДКП и оценка величины кода (например, кода Хаффмана) Size{m),\ m ,M, определяющего цифровой поток каждого блока. 195 Коды Size(m) поступают на сумматор 13, где накапливаются величины м кодов всех блоков кадра Sizez=yJSize(m), и далее - на схему сравнения 14, в которой значение Sizez сравнивается с допустимым значением кода Sizemon. Если величина q = SizezISizemon \, то формируемый поток оказывается больше пропускной способности канала передачи информации.
Для того, чтобы устранить это несоответствие в перемножителе 15 коэффициенты квантования всех блоков кадра, запомненные схемой памяти 16, умножаются на рассчитанный коэффициент K on(m) = q»Kaon(m), ІйтйМ и подаются на схему 17 квантования и округления данных, на второй вход которой поступают также спектральные компоненты ДКП всех блоков кадра, предварительно запомненные в схеме памяти 16.
Таким образом на выходе схемы формируются коды цифровых данных о всех блоках кадра: Lm{u,v) = round{[\IK,}lon{m)\ Fm{u,v)IQ{u,v)}t 0 u,v N, \ т М. Эти результаты обработки одной из компонент изображения поступают на блок 18 кодирования, на который подаются результаты обработки других компонент изображения.
В случае, если цифровой поток вновь окажется не соответствующим пропускной способности канала связи, операции вычисления коэффициента q = SizeumISizeIAOn, где Size jx - цифровой поток, полученный в результате указанных выше преобразований, и уточнения коэффициентов квантования могут быть повторены. Выход блока 18 является выходом устройства, реализующего данный способ цифровой обработки динамических изображений.
Исследования сложного тестового изображения «Залив», содержащего большое количество мелких деталей с высоким контрастом, показали, что при применении адаптивного выбора коэффициентов глубины квантования коэффициентов ДКП получается более высокое визуальное качество восстановленного изображения при той же степени сжатия, либо при сохранении качества восстановленного изображения возможно получение большей степени сжатия (примерно в 1,5 раза, рис. 2.15, 2.16).
Изображение «Залив», сжатое с помощью стандартного алгоритма JPEG, коэффициент сжатия Рис. 2.16. Изображение «Залив», сжатое с помощью предложенного алгоритма с адаптивным выбором коэффициентов квантования, коэффициент сжатия 16
На рис. 2.17 приведен пример кадра, закодированного программно-реализованным кодером видео ко нференцсвязи с величиной выходного алгоритма, основанного на свертках с квадратурными зеркальными фильтрами (qudrature mirror filters, QMF).
При вейвлет-разложении изображение разбивается на некоторые последовательности нескольких изображений меньшего размера (рис. 2.18), содержащих существенно меньший объем визуальной информации.
Несмотря на то, что новое научное направление, связанное с разработкой непрерывных и дискретных вейвлет-преобразований, имеет незначительную временную историю [20, 97, 190, 267], эти преобразования нашли широкое применение, в частности, при решении проблем обработки и сжатия статических и динамических изображений [53, 81,192, 268, 332].
Вейвлет-кодирование представляет собой один из методов кодирования с преобразованием, но благодаря некоторым свойствам преобразований, может быть более эффективным, чем широко распространенные методы, использующие дискретное косинусное преобразование (ДКЇЇ) [192]. Один из основных факторов, сдерживающий распространение вейвлет-кодирования, -сравнительно высокая вычислительная емкость (по отношению к ДКП). Стандарты, использующие вейвлет-кодирование, появились сравнительно недавно [53, 81].
Использование временной и пространственной корреляции для поиска векторов движения
Идея данных методов заключается в моделировании движения в плоскости кадра стандартным уравнением в частных производных гиперболического типа, используемом в физике для описания процессов переноса различных сред [291]: d,F+V-VF = S, (3.2) r)F s)F где VF = (—,—-) = {dxF,d F) есть пространственный градиент функции, d,F дх ду производная по времени. В этом уравнении, называемом оптическим уравнением или уравнением непрерывности, под «переносимой средой» понимается яркость изображения F, а член S в правой части моделирует источник, определяющий изменения яркости, не сводимые лишь к пространственному движению. Задача состоит в определении поля векторов движения из (3.2) на основе знания сигнала яркости в двух соседних кадрах. Например, за вектор движения можно принять вектор, минимизирующий правую часть уравнения (3.2) по всей площади макроблока: 2 2= X( ?,F+V.VF)2= min, х=х-х0,у = у-у0. (3.3) Ї, =0,15 ї,?=0,15 Соответствующая система уравнений, определяющая экстремум, имеет вид: ( ?,F- ?,F) + V, 5 ,F)a+V, (axF-ayF) = 0; x,y=Q 15 Jrj=0 15 J,y=0 15 /"2 A\ Z&,F-a,F)+v, X a+v, ( ?,F. ?,F)=0. l" ; J,J=0 „,15 л,у=0 15 x,y=0„..,\5 В (3.3) и (3.4) суммирование производится по всем пикселам макроблока. Для практического применения системы уравнений (3,4) дифференциальные операторы необходимо заменить на разностные. Простейшими формулами могут быть: F = F(x,y,t)-F(x,y,t-l), dxF = {F(x+l,y,t)-F(x-1,y,t))/2, dyF = (F(x,y + \,t)-F(x,y-l,t))(2.
Для анализа движения предлагались также другие разностные формулы различной степени сложности на основе оптического уравнения (3.2) [146]. Количество операций для определения вектора движения на один пиксел можно оценить как 10Z арифметических операций (умножений и сложений), где Z - среднее количество арифметических операций, необходимое для вычисления одного значения производной в системе уравнений (3.4). Для приведенных выше простейших формул производных это составит около 17 операций на пиксел.
Принципиальный недостаток метода заключается в физическом принципе причинности, согласно которому воздействие в каждой точке текущего кадра зависит только от возмущений, пришедших с конечной скоростью распространения из ограниченной пространственной области опорного кадра. Поэтому при большой величине вектора движения формулы для производных должны включать значения F из достаточно большой области опорного кадра. Однако увеличение значений F в формулах для производных приводит к росту вычислительной сложности (увеличивается значение Z), и метод, в итоге, перестает быть эффективным. Заметим, что данное ограничение носит тот же характер, что и ограничение на устойчивость разностных схем для численного решения уравнений типа (3.2). Различные эксперименты демонстрируют, что данный метод имеет преимущество по сравнению с методом полного перебора лишь в случае, когда вектора движения имеют малые значения в пределах нескольких пикселов.
При достаточно большой частоте смены кадров вектора движения мало меняются от кадра к кадру. Согласно 2-му закону Ньютона ускорение тела есть функция только координат и скоростей:
В этих уравнениях {Xk} представляют собой набор координат, a {Wk} -векторов движения физических объектов, скорости которых обозначены иначе в отличие от векторов движения макроблоков V. Решение дифференциального уравнения (3.5) при известных начальных координатах и скоростях, отвечающих некоторому предыдущему моменту времени t-At, с математической точки зрения корректно и представляет собой решение задачи Коши с начальными условиями. Поэтому вектор скорости в новый момент времени W(t) является функцией от W(t-At) и не зависит от более ранних значений W(t-2At), W(t-3At) и т.д. Более того, считая величину ускорения ограниченной, имеем W(t)-W(t-At) = 0(Аі) при Д/- 0. Предполагая, что поле векторов движения макроблоков является оптической проекцией поля векторов движения физических объектов, получим, что последняя оценка справедлива также для V: V(t)-V(t-At) =0(At) при А/- 0. Сказанное позволяет моделировать изменения векторов движения макроблоков от кадра к кадру случайными величинами, зависящими от своих значений лишь в предыдущем кадре, и имеющими малые изменения в новом кадре. Такую последовательность случайных чисел можно считать цепью Маркова 1-го порядка. На основе этой модели был предложен быстрый алгоритм поиска векторов движения, в котором в качестве истинного вектора движения выбирается из нескольких отобранных кандидатов тот, который наиболее близок к одному из отобранных кандидатов в вектора движения макроблока в предыдущий момент времени (рис. 3.2, где цифрами обозначены: 0 - вектор движения макроблока в кадре с номером t-1, 1 - вектор движения макроблока в кадре t, 2 - различные кандидаты на вектор движения макроблока в кадре t-1, 3 -различные кандидаты на вектор движения макроблока в кадре t, 4 - выбранный вектор движения макроблока в кадре t, 5 - окно поиска векторов движения) [90].
Рассматриваемые отобранные значения векторов движения вычисляются по минимальному значению Н в (3.1) среди небольшого числа случайных векторов движения, которые имеют заданный закон распределения вокруг вектора движения в предыдущем кадре. В качестве закона распределения обычно используется распределение Гаусса. Следует отметить, что вследствие значительного ограничения множества всех рассматриваемых векторов движения данный метод все же приводит к относительно большой величине остаточного сигнала после компенсации движения, превышающем в среднем на 50% величину, найденную при полном переборе векторов движения.
