Содержание к диссертации
Введение
РАЗДЕЛ 1. Общие принципы кодирования в цифровых системах видеонаблюдения 11
1.1 Основные параметры цифровых систем видеонаблюдения 11
1.2 Обобщенная функциональная схема цифровой системы видеонаблюдения 13
1.3 Функциональная схема цифровой системы видеонаблюдения с использованием дискретного косинусного преобразования 34
1.4 Выводы и постановка задачи исследования 48
РАЗДЕЛ 2. Улучшение параметров цветопередачи в цифровой системе видеонаблюдения 51
2.1 Методы оценки качества цветовых преобразований 61
2.2 Принцип постоянной цветовой яркости в цифровых системах видеонаблюдения 69
2.3 Вещественная и целочисленная программные реализации принципа постоянной цветовой яркости 74
2.4 Выводы по разделу 79
РАЗДЕЛ 3. Методы сокращения числа операций при вычислении трехмерного дискретного косинусного преобразования 81
3.1 Трехмерное дискретное псевдокосинусное преобразование 81
3.2 Использование разрешающей способности зрительной системы человека 85
3.3 Сравнение преобразований 97
3.4 Выводы по разделу з
РАЗДЕЛ 4. Аутентификация видеоданных в цифровой системе видеонаблюдения 100
4.1 Стеганографические способы защиты от навязывания ложных изображений 100
4.2 Аутентификация потока видеоданных трехмерного дискретного псевдокосинусного преобразования 118
4.3 Усовершенствованная схема цифровой системы видеонаблюдения с функцией аутентификации 134
4.4 Выводы по разделу 137
РАЗДЕЛ 5. Иерархическое кодирование видеоинформации на основе дискретного псевдокосинусного преобразования 138
5.1 Использование иерархического кодирования в системах передачи видеоинформации 138
5.2 Оценка методов иерархического кодирования в цифровой системе видеонаблюдения 145
5.3 Усовершенствованная цифровая система видеонаблюдения с применением иерархического кодирования 147
5.4 Выводы по разделу 153
Заключение 155
Список использованных источников 162
Список публикаций соискателя
- Обобщенная функциональная схема цифровой системы видеонаблюдения
- Принцип постоянной цветовой яркости в цифровых системах видеонаблюдения
- Использование разрешающей способности зрительной системы человека
- Усовершенствованная схема цифровой системы видеонаблюдения с функцией аутентификации
Обобщенная функциональная схема цифровой системы видеонаблюдения
В существующих ЦСВ применяется комбинация методов сжатия потока видеоинформации с потерями и без потерь. Статистическое кодирование относится к методам сжатия без потерь, в то время как устранение пространственно-временной избыточности в основном проводится за счет отбрасывания незначимой визуальной информации.
Кратко рассмотрим назначение каждого из блоков системы сжатия потока видеоинформации.
Прямое цветовое преобразование предполагает первичную предобработку входных данных. На этапе поступления данных устройство оцифровки (аналогово-цифровой преобразователь, далее АЦП) переводит исходные компоненты аналогового сигнала первичных цветов красного (R), синего (B) и зеленого (G) в цифровые отсчеты. На этом этапе осуществляется также перевод видеоинформации в цветовое пространство Y CbCr, при котором учитываются свойства зрительной системы человека, состоящих в том, что зрительная система воспринимает яркостную и цветовые компоненты с разной четкостью [28].
Обратное цветовое преобразование восстанавливает отсчеты R, G, B из полученных Y , Cb, Cr.
Устранение пространственно-временной избыточности видеоинформации. Реальный объем информации, содержащейся в сигнале изображения, существенно меньше максимального, определяемого как произведение числа бит, затрачиваемых на кодирование каждого элемента изображения, на их количество в изображении (и на частоту повторения кадров при передаче динамических изображений) [3]. Любое реальное телевизионное изображение обладает пространственной и временной избыточностью благодаря сильной корреляции его отдельных элементов. Это позволяет уменьшить объем передаваемых данных, не уменьшая количества информации, содержащейся в изображении.
Устранение пространственной избыточности видеоинформации. Первичное устранение пространственной избыточности, по сути, производится уже после цветового преобразования, при прореживании цветовых компонентов, в соответствии с одним из форматов прореживания видеоданных: 4:2:2, 4:2:0, 4:1:1 и прочие. Далее, обработка яркостной и цветоразностных компонентов производится по отдельности.
Для целей декорреляции используют различные методы. Наиболее часто применяемые из них – линейная или нелинейная фильтрация и трансформация в спектральную область с последующей обработкой [3].
Для декорреляции сигналов изображения, основанной на представлении отсчетов не во временной, а в частотной области, осуществляют трансформацию сигналов при помощи одного из видов линейного преобразования. Для этого можно использовать преобразования Фурье, Уолша-Адамара, Карунена-Лоэва, косинусное [3]. Амплитуды базисных функций – трансформанты, вычисляемые в процессе преобразования, имеют существенно меньшую корреляцию между собой, чем исходные отсчеты. В процессе последующих преобразований осуществляется их эффективное кодирование с целью сжатия цифрового потока. В технике сжатия изображений эти преобразования обычно используют для внутрикадрового сжатия, то есть в пространственной двумерной области. Поскольку исходный сигнал является дискретным, то и преобразования используют дискретные. При этом операция преобразования сводится к матричному перемножению вектора изображения в пространственной области с трансформирующей матрицей.
Вид трансформирующей матрицы (то есть базиса преобразования) в значительной степени определяет как декоррелирующие свойства преобразования, так и сложность ее реализации. Так, классическое преобразование Фурье, обладая неплохими декоррелирующими свойствами, является комплексным, что заметно усложняет его техническую реализацию. Преобразование Уолша-Адамара, напротив очень легко реализуется, так как содержит в матрице преобразования только коэффициенты 1 и -1. Однако его декоррелирующие свойства несколько хуже. Кроме того, неточность передачи трансформант (например, за счет округления) вызывает ошибки восстановления изображения, более заметные наблюдателем в результирующем изображении. Наилучшими декоррелирующими свойствами обладает преобразование Карунена-Лоэва. Оно формирует индивидуальную матрицу преобразования для каждого изображения в отдельности, что обуславливает как его наилучшие декоррелирующие свойства, так и высокие вычислительные затраты.
В технике сжатия сигналов изображения наибольшее распространение получило дискретное косинусное преобразование (ДКП), представляющее собой оптимальный компромисс между рядом противоречивых требований. Его де-коррелирующие свойства занимают положение между преобразованиями Фурье и Карунена-Лоэва, оно является вещественным и небольшие неточности при передаче трансформант не слишком сильно заметны зрителям на восстановленном изображении.
Как и преобразование Фурье, ДКП является разделяемым, то есть может быть последовательно и независимо проведено в горизонтальном, а затем в вертикальном (или наоборот) направлениях.
При переносе в частотную область основная мощность сигнала концентрируется вблизи постоянной составляющей изображения, которую представляет верхний левый коэффициент. Он является арифметическим средним значений коэффициентов всех элементов изображения (блока изображения). Очевидно, что непосредственно ДКП не приводит к сжатию цифрового сигнала. Однако, учитывая то, что амплитуды высокочастотных компонент обычно очень малы или равны нулю, это создает благоприятные условия для дальнейшего эффективного статистического кодирования. В этом и состоит основное достоинство и цель перевода изображения в базис пространственных частот. Следует также учитывать, что глаз человека менее чувствителен к ошибкам передачи высокочастотных составляющих; это допускает их более грубую последующую дискретизацию.
Устранение временной избыточности видеоинформации достигается за счет использования компенсации движения или одного из декоррели-рующих преобразований (косинусное, вейвлет, Хаара [3, 36] и пр.).
Принцип постоянной цветовой яркости в цифровых системах видеонаблюдения
К статическим кубам относятся кубы, которые соответствуют неподвижным участкам видеопоследовательности. Для таких кубов дискретное косинусное преобразование и квантование не выполняются, статистическое кодирование не используется. Вместо этого кодер передает один бит, который указывает, что данный куб статический, а декодер не меняет соответствующий участок изображения.
Для куба с умеренным движением сначала выполняются ДКП-3 и квантование, затем выполняется статистическое кодирование. Кроме того в данном режиме возможно использование межкадрового предсказания, при котором перед выполнением дискретного косинусного преобразования проводится процедура предсказания, которая формирует разностный куб путем вычитания отсчетов последней плоскости соответствующего предыдущего куба из всех плоскостей кодируемого куба.
Если плоскости куба существенно отличаются друг от друга, то выполнение ДКП-3 становится неэффективным, так как ведет к появлению специфических искажений (смотри рисунок 1.9).
На рисунках 1.9 и 1.10 приведены декодированные кадры видеопоследовательности «hall» [99]. Видно, что статический фон одинаков на обоих рисунках и не содержит искажений. В то же время на рисунке 1.9 четко видны артефакты вокруг движущегося человека. Отсутствие искажений изображения на рисунке 1.10 объясняется тем, что кодирование кубов с быстрым движением производится по плоскостям с применением ДКП-2 к каждой из плоскостей.
В работах [12, 19, 55, 61] предлагаются различные подходы для оценки зависимости отсчетов внутри куба. Одним из типовых анализаторов количества движения в трехмерном блоке является анализатор, основанный на суммировании абсолютных разностей значений однопозиционных яркостей в соседних плоскостях трехмерного блока [12, 19].
Затем определяется тип куба следующим образом: если rain = 64 (то есть для всех элементов массива D выполнено условие D(x,y) lmin), то данный трехмерный куб считается статическим; если max (avg + min), то куб считается динамическим (быстрое движение); если ни одно из этих условий не выполнено, то куб - с умеренным движением. Однако данная оценка неэффективна при обработке кубов фиксированного размера. Рассмотрим анализатор [A1], основанный на использовании метрик Mi и М .
Выбор режима обработки куба. Выбор режимов обработки кубов для случая, если в качестве меры искажения используется мера пикового отношения сигнала к шуму (PSNR - peak signalo-noise ratio), может быть сформулирована в виде следующей оптимизационной задачи. Для каждого куба с номером і необходимо выбрать такой режим кодирования ті Є М и шаг квантования qi Є Q, чтобы минимизировать у d(rrii, qi), где d(rrii,qi) и r(rrii,qi) - среднеквадратическая ошибка и битовые затраты для куба і при выборе режима обработки ті и шага квантования q Rmax - требуемые битовые затраты на группу кубов.
Решение задачи (1.2) может быть получено, например, при помощи метода Лагранжевых релаксаций [91]. Однако данный подход обладает большой вычислительной сложностью. Для систем, работающих в реальном масштабе времени, предлагается эвристический подход, при котором режим обработки куба выбирается при помощи так называемого анализатора движения.
Обозначим через c(x,y,z) и с.(х,у,х) значение яркостного или цвето-разностного компонентов кодируемого и предыдущего кубов соответственно, х,у, z Є [0,..., N — 1]. Выбор режима обработки куба основывается на использовании метрик Мі и М2, которые вычисляются следующим образом: , то куб классифицируется как статический. Если М-2 Т2, то куб классифицируется как динамический. В остальных случаях куб классифицируется как куб с умеренным движением. В результате экспериментов с различными видеопоследовательностями были выбраны пороги: Ті = 4, 2 = 14. или цветоразностный компонент куба с координатами x,y,z, e (x,y,z) - яркостный или цветоразностный компонент с координатами х,у, z соответствующего предыдущего куба.
Если R\ і?2, то выбирается режим межкадрового предсказания и ДКП-3. В противном случае выбирается режим ДКП-3 без предсказания. Для обеспечения возможности воспроизведения видеоданных с произвольного места, а также для повышения устойчивости передачи по ненадежным каналам связи анализатор движения не классифицирует кубы на одной и той же позиции как статические более чем один раз подряд.
Следует отметить, что особенность метрик Mi и М2 заключается в том, что они учитывают наличие движения отдельно в каждой четверти куба, что повышает точность классификации для кубов, находящихся на границах подвижных объектов и статических областей.
Прямое и обратное трехмерное дискретное косинусное преобразование. Квантование и восстановление. Кубы, классифицированные как кубы с умеренным движением, поступают в модуль, выполняющий прямое трехмерное дискретное псевдо-косинусное преобразование.
При прямом трехмерном дискретном косинусном преобразовании энергия постоянной составляющей трехмерного куба концентрируется в низкочастотном коэффициенте, а высокочастотные коэффициенты преобразования отвечают за передачу высокочастотных деталей изображения внутри куба.
Использование разрешающей способности зрительной системы человека
Сравнение табличной и оптимизированной реализаций. Для сравнения табличной и оптимизированной реализаций рассмотрим основные функциональные блоки вычислительных модулей системы обработки. Показателем оценки производительности вычислительного устройства будем считать временные задержки, требуемые каждому модулю для совершения вычислений: MEM – задержка, порождаемая модулем обращения к внешней памяти устройства (контроллер памяти), CACHE – задержка, порождаемая обращением к быстрой памяти, расположенной в чипе процессора (кэш), ADD – задержка, порождаемая модулем вычисления операций сложения, SHIFT – задержка, порождаемая операцией логического сдвига, MULTIPLY – задержка, порождаемая модулем вычисления операций умножения.
При кодировании, согласно табличной реализации (TBL) необходимо произвести одно обращение к памяти по координатам R, G, B для получения отсчетов W, U, V , что потребует трех операций сложения и двух логических сдвигов: TBL = 2 SHIFT + 3 ADD + MEM операций.
Оценим число операций для формирования отсчетов W, U, V при использовании оптимизированной реализации (OPT). Для формирования отсчета W требуется вычислить индекс i = R2 + G2 + B2, который используется для обращения к таблице (w = WW[i]), и выполнить логический сдвиг на 24 разряда вправо извлеченного из таблицы значения (W = w/224). Таким образом, оценка задержки составляет (3 MULTIPLY + 2 ADD) + MEM + SHIFT тактов. Вычисление отсчетов U и V осуществляется посредством двух логических сдвигов для нормализации значения InvW, одного умножения и одного логического сдвига для каждого из отсчетов, что составляет 2 SHIFT + 2 (MULTIPLY + SHIFT) тактов. В результате для вычисления отсчетов W, U, V потребуется (5MULTIPLY +2ADD)+MEM +5SHIFT тактов, что существенно превышает число тактов, необходимых при использовании табличного метода. Если объем быстрой памяти про 79 цессора позволяет разместить всю таблицу WW, то потребуется OPT = (5 MULTIPLY + 2 ADD) + CACHE + 5 SHIFT тактов, что обеспечивает уменьшение задержки вычисления. Как правило, в вычислительных системах соотношение задержки обращения к внешней памяти в 10 (и более) раз превышает задержку обращения к быстрой памяти (CACHE). Применение оптимизированной реализации целесообразно при наличии требуемого объема быстрой памяти процессора и выполнении соотношения MEM OPT.
Например, для процессора Intel Atom 330 [94] операция умножения требует 3 такта, сложение - 1 такт, чтение из быстрой памяти - 1 такт, логической сдвиг - 1 такт. Значение OPT = (5-3 + 2-1) + 1 + 5-1 = 23 такта. Обращение к внешней памяти определяется аппаратной реализацией системы и может составлять от 12 и более тактов (MEM = 2x1+3x1 +12 = 17). Оптимальной для такой системы, при MEM =17, служит табличная реализация, в случае MEM 23 лучше применить оптимизированную реализацию.
В разделе рассмотрены методы улучшения параметров цветопередачи цифровой системы видеонаблюдения. В существующих системах видеонаблюдения для кодирования цветовой информации применяется принцип постоянной яркости, который обладает рядом недостатков, таких как неточное воспроизведение яркости насыщенных цветов и ухудшение четкости в моноцветных деталях и изображениях по мере увеличения насыщенности цветов. При передаче цветовой информации по вещательным каналам телевизионного тракта возможна потеря до пяти градаций яркости синего цвета и до трех градаций красного цвета. Четкость изображений, в сочетаниях цветов которых присутствуют красный и синий цвета, также подвержена потерям по яркостной составляющей. Потеря количества градаций яркости, обусловленная преобразованиями с использованием принципа постоянной яркости, недопустима в некоторых цифровых системах видеонаблюдения. К таким системам относятся, например, специализированные системы видеонаблюдения, работающие в условиях низкой освещенности [44] и системы, использующие моноцветные видеокамеры или устройства отображения.
Существенного улучшения четкости передаваемого изображения можно достичь, применив принцип постоянной цветовой яркости в качестве первичного преобразования цветовых отсчетов.
Для оценки качества обработки цветовых изображений были разработаны цветовые таблицы, по которым можно производить субъективную и объективную оценки.
С помощью таблиц и тестовых изображений были проведены измерения искажений, вносимых преобразованиями при квантовании цветовых отсчетов видеоинформации. Показано, что при значении коэффициента квантования выше 2, выигрыш преобразования согласно принципу постоянной цветовой яркости, по сравнению с принципом постоянной яркости, по пиковому отношению сигнал-шум составляет до 25 дБ – на красном цвете, до 24 дБ – на синем цвете, и до 6 дБ – на зеленом цвете.
Предложены варианты реализации принципа постоянной цветовой яркости для вещественных и целочисленных аппаратных платформ. Целочисленная реализация позволяет применить вычисления, согласно принципу постоянной цветовой яркости в цифровых системах видеонаблюдения, не обладающих модулем обработки вещественных чисел. Однако, для хранения отсчетов потребуется порядка 64 МБайт оперативной памяти устройства, на котором производится применение принципа постоянной цветовой яркости. Применение оптимизированного метода вычислений позволило сократить требуемый объем оперативной памяти в 85 раз, по отношению к табличной реализации.
Усовершенствованная схема цифровой системы видеонаблюдения с функцией аутентификации
Защищенность аутентификации разработанного алгоритма определяется имитозащищенностью использованной на этапе формирования аутентификато-ра функции аутентификации и защищенностью процедуры встраивания и извлечения ЦВЗ. Используя функцию аутентификации, построенную в соответствии с аттестованным криптографическим алгоритмом формирования и проверки имитозащищенной вставки, например, по ГОСТ 28147-89, легко показать, что стойкость к навязыванию ложной информации разработанного алгоритма не ниже имитостойкости использованного криптографического алгоритма. За счет дополнительной защищенности процедуры встраивания и извлечения ЦВЗ разработанный алгоритм способен обеспечить повышение защищенности от навязывания нарушителем ложной информации при передаче изображений.
Модификации подверглись статистический кодер и декодер цифровой системы видеонаблюдения. Полученные коэффициенты кода Хаффмана после статистического кодирования преобразуются, согласно алгоритму, описанному в подразделе 4. Формируется поток видеоданных, заверенный ЦВЗ, который передается по каналу связи, без каких либо модификаций со стороны передатчика.
Из принятого в приемнике потока видеоданных извлекаются кодовые слова кода Хаффмана, встроенный ЦВЗ, после чего формируется ЦВЗ из принятой видеоинформации и сопоставляется с принятым ЦВЗ. На основании соответствия извлеченного и полученного ЦВЗ принимается решение о дальнейшем декодировании потока видеоданных.
Выявление попыток нарушителя навязать ложную видеоинформацию. Кратко рассмотрим порядок выявления попыток нарушителя навязать ложную видеоинформацию, используя любую из известных атак типа имитации, подмены, повтора или переадресации. В соответствии с общепринятыми методиками поставим нарушителя в наиболее выгодное для него положение и будем полагать, что техническое маскирование аутентифицированных изображений отсутствует, нарушителю полностью известен алгоритм аутентификации, принципы построения и порядок использования средств аутентификации, он способен перехватывать любые аутентифицированные изображения и проводить их анализ, он имеет полный доступ к каналу передачи для навязывания ложных изображений и т.д. Единственное, чего не знает нарушитель, – ключ аутентификации и ключ встраивания.
Атака имитации. Нарушитель формирует выгодное ему ложное изображение Ml, состоящее из одного или нескольких блоков или кадров. Для простоты на данном этапе ограничимся одним блоком изображения (объект аутентификации состоит из одного блока), хотя воспринимаемое зрительной системой человека осмысленное изображение, как правило, составляет не менее 24 24 пикселов. С использованием кодера ДПКП-3 нарушитель кодирует ложный блок в двоичные последовательности Хаффмана /г/д,..., /г/д,..., \ц$. Данные ДП Хаффмана ложного блока выглядят аналогично двоичным последовательностям Хаффмана подлинного m-го блока ЭИ, представленным на рисунке 4.6, б. Нарушителю известен вид функции аутентификации, но неизвестен ключ аутентификации. Поэтому он не может сфабриковать корректный при действующем ключе аутентификации аутентификатор А\ ложного блока изображения. Однако нарушитель знает, что аутентификатор преобразуется в Т частей ЦВЗ, и пусть число Т нарушителю известно. Пусть нарушителю известно множество встраиваемых двоичных последовательностей Хаффмана. Из этого множества нарушитель выбирает Т встраиваемых двоичных последовательностей Хаффмана как Т частей WI, 1, WI, 2,..., Wl,T ложного ЦВЗ И-7/. Сфабрикованный ложный ЦВЗ нарушителю надо встроить в двоичные последовательности Хаффмана /г/д,..., /г/д,..., h\$. Так как ключ встраивания ему неизвестен, то ему целесообразно изначально выбирать ложный блок, закодированный ровно N двоичными последовательностями Хаффмана. Нарушитель выбирает число /3 = N и тогда /г/д,..., /г/д,..., /г/;/? = /г/д,..., /г/д,..., /г/д. Тогда он после TV-ой двоичной последовательности Хаффмана ложного блока записывает Т частей ложного ЦВЗ этого блока. На этом процесс имитации нарушителем изображения закончился. Нарушитель от имени законного отправителя передает ложное изображение получателю.
В ходе проверки подлинности получатель выполняет действия в соответствии с описанным алгоритмом. Получатель извлекает ложный ЦВЗ W\ = W\ и вычисляет ЦВЗ Wf. Принятый блок будет ошибочно считаться подлинным, если извлеченный и вычисленные цифровые водяные знаки совпадут. С учетом принципов построения функции аутентификации вероятность навязывания ложного блока строго равна
Похожие диссертации на Методы улучшения параметров цифровой системы видеонаблюдения при передаче цветовой информации
