Содержание к диссертации
Введение
Глава 1. Обзор современного состояния прикладных ТВ систем .
1.1. Классификация прикладных ТВ систем 19
1.2. Функциональные особенности интеллектуальных прикладных ТВ систем
1.2.1. Функциональные особенности интеллектуальных систем видеонаблюдения 27
1.2.2. Функциональные особенности интеллектуальных систем сегментации и сопровождения объектов интереса 31
1.3. Анализ основных методов обработки видеоданных в ТВ системах сегментации и сопровождения объектов интереса 37
1.3.1. Сегментация на основе признака яркости 37
1.3.2. Сегментация на основе признака текстуры 44
1.3.3. Сегментация на основе признака формы 51
1.3.4. Сегментация на основе признака движения 70
1.3.4.1. Оценка признака движения на основе энергии движения 71
1.3.4.2. Оценка признака движения на основе векторов движения 83
Выводы и постановка задачи 89
Глава 2. Оценка признака движения в интеллектуальных системах видеонаблюдения, сегментации и сопровождения подвижных объектов .
2.1. Анализ эффективности методов и алгоритмов определения векторов движения 102
2.2. Априорная оценка достоверности векторов движения 136
2.3. Метод определения векторов движения с учетом априорных оценок их достоверности и значимости 155
2.4. Субпиксельная оценка векторов движения 164
2.4.1. Интерполяционный метод 165
2.4.2. Метод, основанный на многомасштабной межкадровой разности 167
2.4.3. Экспериментальное исследование методов субпиксельной оценки 170
Выводы по главе 2 175
Глава 3. Обработка видеоданных в интеллектуальных системах видеонаблюдения на основе признака движения.
3.1. Анализ эффективности коррекции пространственных искажений на основе цифровой обработки изображений 177
3.1.1. Метод коррекции пространственных искажений на основе идентификации параметров искажающих сигналов 177
3.1.2. Экспериментальное исследование эффективности метода коррекции пространственных искажений на основе идентификации параметров искажающих сигналов 185
3.2. Синтез панорамного изображения протяженного движущегося объекта на основе оценки его видимой скорости 203
3.3. Определение видимой скорости движения протяженного объекта для построения его панорамного изображения 209
3.3.1. Особенности определения векторов движения при оценке видимой скорости протяженных объектов 210
3.3.2. Временная фильтрация векторов движения при определении скорости протяженного объекта 225
3.3.3. Регрессионная предсказывающая модель пространственного среза скоростей 234
Выводы по главе 3 243
Глава 4. Сегментация и сопровождение объектов интереса на основе совокупности признаков.
4.1. Основные принципы анализа видеоданных на основе совокупности признаков 246
4.2. Предварительный анализ изображения на основе признака детальности 250
4.3. Сегментация объектов интереса на основе признаков движения и пространственной связности 262
4.4. Сопровождение объектов интереса на основе гауссовой модели формы 274
Выводы по главе 4 282
Глава 5. Реализация и экспериментальное исследование интеллектуальных систем видеонаблюдения, сегментации и сопровождения движущихся объектов .
5.1. Многоцелевой телевизионно-компьютерный комплекс видеомониторинга железнодорожных составов 285
5.1.1. Экспериментальное исследование качественных показателей синтезированного изображения 289
5.1.2. Точность оценки видимой скорости движения протяженного объекта 293
5.1.3. Получение дополнительной информации об объекте интереса 296
5.2. Многофункциональный оптико-электронный комплекс сегментации и сопровождения неточечных объектов 304
5.3. Видеокомпьютерная система контроля запуска космических аппаратов 328
Выводы по главе 5 339
Заключение 342
Литература 344
Приложение
- Функциональные особенности интеллектуальных прикладных ТВ систем
- Метод определения векторов движения с учетом априорных оценок их достоверности и значимости
- Синтез панорамного изображения протяженного движущегося объекта на основе оценки его видимой скорости
- Сопровождение объектов интереса на основе гауссовой модели формы
Введение к работе
Прикладные ТВ системы имеют чрезвычайно широкое и разнообразное применение. В соответствии с характером решаемых задач следует выделить системы: видеонаблюдения, измерительные, классификации и распознавания, сегментации и сопровождения объектов, охранные системы и др. По целевому назначению рассматривают системы: космического и воздушного мониторинга, медико-биологические, криминалистические, наблюдения за высокотемпературными процессами, мониторинга газопроводов и нефтепроводов, транспортного и экологического мониторинга и т.д.
Научным проблемам синтеза прикладных телевизионных систем, их адаптации к внешним условиям, повышению качественных показателей, помехоустойчивости и точности измерения параметров объектов посвящены работы многих отечественных [1-12] и зарубежных ученых [14,15,44,96,126]:
Катаева С. И., Зубарева Ю. Б., Селиванова А. С, Гуревича С. Б., Рыфти-наЯ. А., Гоголя А.А., Быкова Р. Е., Лысенко Н.В, Тимофеева Б. С, Пустынско-го И. Н., Цыцулина А. К., Хромова Л. П., Ярославского Л. П., Василенко Г. И., Ро-зенфельда А.А,. Горелика С. Л., Ероша И. Л., Сергеева М.Б., Фисенко В.Т., Кузьмина В П , Хорна Б. К. П., Претта У. К., Колера Д., Марагоса Г., Форести Л., Виа-рани, Хао Тау и др.
Разработкой современных прикладных ТВ систем занимаются научно - производственные коллективы: ФГУП «НИИ телевидения» под руководством Умби-талиева А. А., ФГУП НИИ ПТ «Растр» под руководством Кузьмина В.П. и Челпа-нова В.И., научно-производственная компания «ЭВС» под руководством Лебедева Н.В., Филиал ФГУП ЦНИИ «Комета» под руководством Фисенко В.Т. и др.
Главными особенностями современного этапа развития прикладных ТВ систем являются:
1. Стремительное развитие аппаратной базы и вычислительной техники. Это обусловило появление видеокомпьютерных систем и, как следствие, существенно ослабило ограничения на сложность и емкость методов обработки видеоданных в них.
2. Все большее распространение прикладных ТВ систем сопровождается значительным усложнением решаемых ими задач.
Указанные особенности ужесточают требования к эффективности методов анализа и представления видеоданных прикладными ТВ системами.
Для видеонаблюдения это предполагает построение систем, обеспечивающих максимальный уровень эргономичности. Для получения наиболее полной информации об объекте интереса и окружающей обстановке необходимо увеличение угла зрения видеокамеры. Обычно эту проблему решают путем применения широкоугольных и сверх широкоугольных объективов. Их использование приводит к существенным пространственным искажениям и снижению разрешения на краях формируемого изображении. Компенсация пространственных искажений цифровыми методами сопровождается дополнительными потерями разрешающей способности. Необходимо разработать методы синтеза изображений объектов интереса, исключающие указанные проблемы.
Существующие сегодня системы видеонаблюдения при работе в режиме реального времени предъявляют видеоматериал оператору со скоростью движения объекта интереса или камеры. Например, при контроле железнодорожного состава его скорость определяет скорость просмотра видеоматериала. Если эта скорость достаточно высока, то нет возможности рассмотреть целостность вагонов, пломб и сверить с натурным листом бортовые номера. В этом случае оператор вынужден работать с видеоматериалом, помещенным в архив. В результате контроль состава выполняют после его прохождения, что снижает оперативность наблюдения. При наблюдении быстродвижущихся объектов должна быть обеспечена возможность регулирования скорости предъявления видеоданных непосредственно в режиме контроля, а не работы с архивом.
Одновременно с наблюдением необходимо предоставить оператору дополнительную информацию об объекте интереса, полученную на основе анализа видеоданных. Это могут быть данные о скорости движения объекта (поезда, автомобиля), информация о типе транспортного средства, его номерном знаке и др. Должен быть сформирован информационный кадр, включающий в себя изображение объекта, оперативные данные и информацию из баз данных.
Для систем видеонаблюдения актуальным является разрешение противоречия между качеством формируемых изображений и аппаратными возможностями существующих каналов связи, а также устройств хранения данных. Несмотря на вы 7 сокую емкость современных жестких дисков ее недостаточно для хранения больших объемов информации длительное время, как это необходимо согласно техническим условиям. Традиционно это противоречие решают путем сжатия видеоданных с заметным понижением их качества и потерей информации. Для повышения эффективности систем видеонаблюдения необходимо разработать методы сжатия видеоданных без потери информации об объекте интереса для обеспечения длительного хранения и передачи в реальном времени высококачественных изображений по каналам связи с ограниченной пропускной способностью.
Помехоустойчивость пассивных телевизионных и тештовизионных систем сегментации и сопровоэюдения обуславливает их высокую востребованность и широкое распространение: при проведении антитеррористических мероприятий, анализе транспортных потоков, при управлении воздушным и водным транспортом и др. Практика применения систем этого класса позволяет выделить следующие основные проблемы.
При высокой динамике и большом числе объектов интереса затруднено их первоначальное выделение оператором. Актуальным является обеспечение автоматической сегментации одновременно нескольких объектов интереса с присвоением им уникальных меток, которые не должны изменяться далее в процессе сопровождения даже при временном исчезновении объекта интереса.
При работе одновременно с несколькими объектами интереса возникает проблема разрешения их взаимодействия друг с другом и фоном. Необходимо корректно отрабатывать ситуации появления и исчезновения объектов в зоне наблюдения, слияние и разделение объектов интереса, перекрытия объектов друг другом или фоном (окклюзию). Наиболее часто используемое решение при возникновении ситуации окклюзии — это переход на сопровождение обоих объектов «по памяти». Это увеличивает вероятность потери объектов интереса и требует идентификации объекта после его вторичного выделения. Необходимо определить какой из объектов находится на переднем плане, и использовать сопровождение «по памяти» только для полностью закрытого объекта интереса. В этом случае вероятность срыва сопровождения возрастает только для одного (закрытого объекта), при этом выделение и сопровождение его до полного закрытия позволяет увеличить объем информации об объекте до перехода в режим предсказания, а также минимизировать длительность ведения по памяти.
В процессе сопровождения объекты меняют свои свойства ракурс, размеры, скорость движения вплоть до остановки; возможны существенные изменения фона и освещенности. Например, при старте ракеты после запусков двигателя возникает яркая вспышка и облако пыли, резко меняющие свойства изображения объекта интереса. Необходимо разработать многопризнаковую систему, позволяющую исключить срыв сопровождения при существенной динамике свойств объекта и окружающей обстановки.
Сформулированные задачи предполагают качественно новый анализ видеоинформации. Необходимо выработать правильные решения для плохо формализованных задач, требующих оригинальных методов и алгоритмов решения в зависимости от конкретной ситуации, характеризующейся неопределенностью и динамичностью исходных данных.
Система должна извлекать знания из накопленного опыта и применять их для решения задач, а также иметь способность к развитию в соответствие с объективными изменениями условий функционирования.
Перечисленные особенности являются признаками информационно-интеллектуальных систем [ 36,37 ].
Указанные выше положения делают актуальной проблему повышения эффективности прикладных ТВ систем путем придания им интеллектуальных свойств. Ее решению посвящена данная диссертационная работа.
Для систем видеонаблюдения предложено предъявлять оператору не исходный видеоматериал, а синтезированное на его основе изображение, обладающее качественно новыми свойствами. Изменен временной масштаб: изображение может быть остановлено, замедлено, ускорено. Качество созданного изображения лучше, чем у исходного по таким важнейшим показателям, как разрешающая способность и геометрические искажения. При синтезе удалена избыточная информация, в результате чего реализовано семантическое сжатие видеоданных в десятки раз без потери информации об объекте. Это позволяет запоминать значительный объем видеоданных на носителе, обеспечить передачу высококачественных изо 9 бражений в реальном времени по каналам связи с низкой пропускной способностью.
Для систем сегментации и сопровождения предложено использовать совокупность признаков, объединенных на основе математического аппарата нечеткой логики. Это позволило одновременно выделить несколько объектов на сложном фоне, разрешить ситуации перекрытия, разделения и слияния объектов интереса.
Важнейшим из признаков объекта интереса является движение, которое учитывают в виде «энергии движения» или «оптического потока» [98 - 100]. Векторы движения, составляющие оптический поток, используют в задачах сегментации и сопровождения объектов, а также при сжатии видеоданных. При разработке методов определения векторов движения общепринятым критерием является быстродействие. Разработано большое число алгоритмов, построенных на минимизации числа пробных точек и отсчетов сигналов целевой функции при поиске [101 - 126]. В них увеличение быстродействия, по сравнению с методом полного перебора, достигают ценой снижения достоверности оценок векторов движения. Низкая достоверность приводит к некоторому уменьшению коэффициента сжатия, но совершенно недопустима при сегментации и сопровождении объектов. В работе предложено априорно оценить достоверность и значимость векторов движения на основе оценок детальности и энергии движения во фрагментах (блоках) изображения. Векторы движения ищут путем полного перебора только в блоках со значимой детальностью и энергией движения. Для типичных в прикладных задачах сюжетов число таких блоков составляет (5-4-10)%. Это позволяет одновременно снизить вычислительную нагрузку и обеспечить необходимый уровень достоверности.
Повысить точность оценки векторов движения, а также учесть медленное движение со скоростью ниже одного пикселя за кадр, позволяет субпиксельная оценка. Предложен метод субпиксельной оценки на основе многомасштабной межкадровой разности, который обеспечивает точность до десятых долей пикселя и, одновременно, повышение уровня достоверности за счет временного накопления и логической фильтрации.
Разработанные методы определения векторов движения, являющихся наиболее информативной оценкой признака движения, снимают ограничения на их использование в прикладных ТВ системах. Достигнутые в работе результаты позволяют существенно повысить эффективность прикладных телевизионных систем.
Цель работы: разработка методов представления и анализа видеоданных, позволяющих реализовать функциональные особенности интеллектуальных прикладных ТВ систем для существенного увеличения их эффективности.
Основные задачи диссертационной работы
1. Определить функциональные особенности интеллектуальных систем видео-наблюдения, сегментации и сопровождения; сформулировать основные принципы представления и обработки видеоданных в них.
2. Оценить возможности и эффективность использования существующих методов определения векторов движения в прикладных ТВ системах.
3. Разработать новые методы оценивания векторов движения, учитывающие специфику видеоданных, получаемых в сложных условиях видеонаблюдения.
4. Разработать методы субпиксельной оценки векторов движения, позволяющие анализировать изображения объектов интереса с медленным движением.
5. Оценить эффективность применения методов цифровой коррекции пространственных искажений изображений, создаваемых сверхширокоугольными объективами.
6. Разработать метод синтеза изображения протяженного объекта интереса, обеспечивающий: высокую эргономичность видеонаблюдения; сжатие данных без потери информации об объекте интереса, позволяющее разрешить противоречие между объемом записанных данных и их качеством; передачу высококачественных видеоизображений по каналам связи с низкой пропускной способностью.
7. Построить обобщенную модель формы объекта интереса при отсутствии априорной информации о нем.
8. Разработать способ оценки текстурного признака, адаптированный к сложным условиям наблюдения и специфике объектов интереса.
9. Разработать принципы и методы обработки видеоданных на основе совокупности признаков сегментации с использованием математического аппарата нечеткой логики, позволяющие автоматически сегментировать и сопровождать одновременно несколько объектов интереса на сложном фоне при отсутствии априорной информации.
Методы исследования
В работе использованы методы теории распознавания образов, теории вероятностей и математической статистики, теории нечетких множеств и нечеткой логики, теории оптимизации, теории функционального анализа и высшая алгебры, теории регрессионного анализа и планирования эксперимента, методы цифровой обработки изображений, методы моделирования на ЭВМ и программирования, экспериментальные исследования.
Научная новизна
1. Выявлены функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения.
2. Разработаны основные принципы представления и обработки видеоданных в системах видеонаблюдения за протяженными объектами.
3. Разработаны принципы сегментации и сопровождения неточечных объектов с жестким движением при отсутствии априорной информации о них и при существенной динамике их свойств в процессе наблюдения.
4. На основе анализа особенностей определения и применения векторов движения для видеоданных, полученных в сложных условиях наблюдения, введен критерий эффективности методов нахождения векторов в виде уровня достоверности.
5. На основе экспериментальных данных аналитически описана функция достоверности, позволяющая априорно определить вероятность корректного нахождения вектора движения в зависимости от уровня детальности изображения в блоке.
6. На основе экспериментальных данных аналитически описана функция значимости, позволяющая априорно определить вероятность существования ненулевого вектора движения в зависимости от уровня абсолютной межкадровой разности в блоке.
7. Предложен метод определения трехкомпонентных векторов движения с учетом априорных оценок их достоверности и значимости, позволяющий реализовать взвешенную оценку признака движения, а также существенно уменьшить число аномальных векторов движения и вычислительную емкость задачи.
8. Предложен метод субпиксельной оценки векторов движения на основе многомасштабной межкадровой разности, обеспечивающий точность до 0.07 пикселя и повышение числа корректно найденных векторов по отношению к полному перебору на 20%.
9. Показана низкая эффективность цифровой коррекции пространственных искажений в изображениях, полученных с помощью сверхширокоугольных объективов. Изображения после коррекции имеют существенные потери разрешения: на краях растра более 70%, в центре до 40%.
10. Предложен метод синтеза панорамного изображения протяженного объекта интереса, позволяющий компенсировать пространственные искажения, вносимые сверхширокоугольным объективом, обеспечить максимальную четкость изображения по площади кадра, реализовать комфортные условия видеонаблюдения, а также семантическое сжатие.
11. Разработан алгоритм оценки видимой скорости протяженного объекта на основе анализа видеоданных.
12. Введена обобщенная модель формы объекта на основе эллипса рассеивания Гаусса.
13. Предложен метод автоматической сегментации объектов в видеоданных на основе совокупности признаков и с использованием аппарата нечеткой логики, позволяющий одновременно сегментировать несколько объектов на сложном фоне при отсутствии априорной информации о них.
14. Предложен метод автоматического сопровождения объектов при существенной динамике их свойств и окружающей обстановки, основанный на обобщенной модели формы объекта с обновляемыми параметрами и признаке движения.
Практическая значимость
1. Предложенный принцип и метод синтеза панорамного изображения обеспечивает резкое повышение эффективности систем видеонаблюдения за протяженными объектами: • Систем, ведущих наблюдение за крупными объектами с собственным движением, например, комплексов пограничного и коммерческого контроля железнодорожных составов.
• Систем, использующих камеру, установленную на поворотном столе или подвижном носителе для наблюдения статичных объектов большой площади. В частности, обзорных и мониторинговых систем ландшафтов местности или морского дна, водных акваторий, нефтяных разливов, нефтепроводов и газопроводов.
Сформированное изображение объекта интереса имеет пространственные искажения в (20 25) раз ниже, чем в исходных кадрах; обеспечивает комфортную скорость просмотра видеоматериала, синхронность просмотра, преобразование чересстрочного изображения в построчное. Это создает качественно новые условия для работы оператора и обеспечивает возможность автоматического анализа видеоданных.
Метод реализует семантическое сжатие без потери информации: коэффициент сжатия от 25 до 80 раз. Это снимает противоречие между объемом записанных данных и их качеством, и позволяет реализовать длительное хранение больших объемов информации. Для протяженных объектов обеспечена возможность передачи высококачественных изображений по каналам связи с низкой пропускной способностью в реальном масштабе времени
(Все приведенные выше количественные оценки получены при апробации метода синтеза панорамного изображения в контексте видеонаблюдения на железной дороге).
2. В системах сегментации и сопровождения объектов реализован автоматический захват и сопровождение одновременно до 50 объектов на сложном фоне при условии минимума априорной информации. Автоматический захват имеет особую значимость в динамических сценах с несколькими быстродвижущимися объектами, где возможности оператора по наложению стробов на объекты интереса ограничены.
При сопровождении обеспечено устойчивое разрешение ситуации окклюзии, слияния и разделения объектов; сопровождение объектов при условии существенной динамики их свойств и окружающей обстановки; идентификация объектов интереса при вторичной сегментации. 3. Введение трехкомпонентных субпиксельных векторов движения, а также метод их определения с использованием функций достоверности и значимости одновременно обеспечивает необходимый уровень достоверности и резко снижает вычислительную нагрузку, что снимает ограничения по использованию этого инструмента в прикладных ТВ системах видеонаблюдения, сегментации и сопровождения объектов интереса, а также при сжатии видеоданных и в кинопроизводстве.
4. Использование результатов теоретических исследований, доведенных в работе до уровня практических алгоритмов, структурных схем, программных решений, инженерных рекомендаций и методик синтеза сократит сроки и затраты на создание новых систем различного назначения.
Реализация результатов работы
Полученные в диссертации результаты, сделанные обобщения и выводы позволили разработать ряд интеллектуальных прикладных телевизионных систем. В рамках научно-исследовательских и опытно - конструкторских работ совместно ПК НПК «Автоматизация» разработан многоцелевой телевизионно-компьютерныи комплекс видеомониторинга железнодорожных составов; совместно с филиалом ФГУП ЦНИИ «Комета» многофункциональный оптико-электронный комплекс сегментации и сопровождения неточечных объектов; совместно с ФГУП НИИ промышленного телевидения «Растр» видеокомпьютерная система контроля запуска космических аппаратов, что подтверждено соответствующими актами.
Результаты исследований внедрены в учебный процесс СПб ГУАП при подготовке инженеров по специальностям: «Аудиовизуальная техника» и «Электронные системы». Они включены в разработанные автором учебно-методические комплексы по дисциплинам: «Автоматизированные телевизионные системы», «Синтез видеоизображений на ЭВМ» и др.
С использованием результатов, полученных в диссертации подготовлен электронный учебник по курсу «Автоматизированные телевизионные системы» (зарегистрирован в отраслевом фонде алгоритмов и программ № ВНИТЦ 50200100503, 2001) и изданы 4 учебно- методических указания к выполнению лабораторных работ. Апробации работы
Основные положения работы докладывались и обсуждались на: 49,50 Научно -технической конференции «НТОРЭС им. А. С. Попова» 1994,1995; 10th International Conference on Control Systems and Computer Science. Bucharest, 1995; I Научно -технической конференции «Новейшие достижения в области телевидения, аудио и видеотехники.» СПб, 1999; III Международной конференции «Цифровая обработка сигналов и ее применение» Москва, ИВТА РАН,2000; I,I1,111,IV,V Международных научно - технических конференциях «Телевидение: передача и обработка изображений» СПб, 2000-2007; The International Conference «Radio - That Connects Time. 110 Anniversary of Radio Invention» St Petersburg, 2005; III Международная научно-практическая конференция «Электронные средства и системы управления» Томск, 2005; The Tenth IEEE International Symposium on Consumer Electronics, St Petersburg, 2006; 15 Всероссийской научно - технической конференции «Современное телевидение» Москва, 2007; Научно - технической конференции профессорско - преподавтельского состава, научных сотрудников и аспирантов СПб ГУТ,2007.
Диссертационная работа получила апробацию:
- на расширенном научном семинаре кафедры «Телевизионных и электронных устройств», СПб ГУАП, 2006;
- научно-техническом совете ФГУП НИИ Прикладного телевидения «Растр», Великий Новгород, 2007;
- на заседании кафедры «Телевидения и видеотехники», СПб ТЭТУ «ЛЭТИ» им. В.И. Ульянова (Ленина), 2007.
Публикации
По теме диссертации опубликовано 48 научных работ, из них — 21 статья, в том числе в ведущих рецензируемых журналах и изданиях, определенных ВАК России; 17 работ - в материалах и трудах всероссийских и международных научных и научно — технических конференций и симпозиумов; 10 свидетельств об официальной регистрации программ для ЭВМ в отраслевом фонде алгоритмов и программ. Структура и объем диссертации
Диссертация состоит из введения, пяти глав, заключения, списка литературы, включающего 194 наименования, трех приложений. Основная часть диссертации изложена на 297 страницах машинописного текста. Диссертация содержит 116 рисунков и 38 таблиц.
В первой главе: показана основная тенденция развития современных прикладных телевизионных систем; определены функциональные особенности интеллектуальных систем видеоиаблюдепия, сегментации и сопровождения объектов интереса и сформулирован на их основе перечень требований к методам анализа видеоданных; приведен аналитический обзор методов обработки видеоданных в современных прикладных телевизионных системах; показана необходимость и определены основные направления разработки методов анализа и представления видеоданных для интеллектуальных ТВ систем; поставлены задачи, подлежащие решению в данной работе.
Во второй главе: сформулирован критерий оценки эффективности методов определения векторов движения в системах видеонаблюдения, сегментации и сопровождения объектов; проведен анализ эффективности существующих методов определения векторов движения; экспериментально найдена и аналитически описана функция достоверности, позволяющая априорно определить вероятность корректного нахождения вектора движения в зависимости от модифицированной оценки детальности; экспериментально найдена и аналитически описана функция значимости, позволяющая априорно определить вероятность существования ненулевого вектора движения в зависимости от уровня модифицированной оценки энергии движения; разработан метод определения векторов движения с учетом априорных оценок их достоверности и значимости; обоснована необходимость субпиксельной оценки векторов движения; разработаны и исследованы методы субпиксельной оценки векторов движения на основе несимметрии целевой функции в области точки минимума, а также многомасштабной межкадровой разности.
Третья глава посвящена методам обработки видеоданных, обеспечивающим реализацию функциональных особенностей интеллектуальных систем видеонаблюдения за протяженными объектами; проведен анализ и показана низкая эффек 17 тивность цифровых методов коррекции пространственных искажений, вносимых в изображение сверхширокоугольными объективами; предложен метод синтеза панорамного изображения протяженного объекта интереса; выявлены особенности определения векторов движения при оценке скорости протяженных объектов; предложен алгоритм определения скорости протяженного объекта на основе анализа видеоданных.
Четвертая глава посвящена разработке методов анализа видеоданных, обеспечивающих функциональные особенности интеллектуальных систем сегментации и сопровождения; предложена процедура предварительной классификации изображения на основе признака детальности; разработан метод сегментации объектов интереса по совокупности признаков на основе нечеткой кластеризации при незаданном числе кластеров; введена обобщенная модель формы объекта в виде эллипса рассеивания Гаусса; предложен метод сопровождения объектов интереса, основанный на введении Гауссовой модели объекта с обновляемыми параметрами.
В пятой главе приведены результаты экспериментального исследования предложенных методов обработки видеоданных в контексте их практической реализации; рассмотрены многоцелевой телевизионно-компьютерный комплекс видеомониторинга железнодорожных составов; многофункциональный оптико-электронный комплекс сегментации и сопровождения неточечных объектов; видеокомпьютерная система контроля запуска космических аппаратов.
Заключение подчеркивает единство решенных задач, новизну и значимость полученных результатов и содержит выводы по диссертации, совокупность которых позволяет сделать вывод о решении поставленной проблемы.
В приложениях приведены акты о внедрениях результатов диссертационной работы; виды и основные характеристики тестовых видеосюжетов; данные основных экспериментальных исследований, проведенных в рамках диссертационной работы Основные научные положения, выносимые на защиту:
1. Анализ и обработка видеоданных на основе признака движения реализуют функциональные особенности интеллектуальных прикладных ТВ систем, позволяющие повысить их эффективность: для класса систем видеонаблюдения за протяженными объектами - замену исходных видеоданных синтезированным изображением, получение оперативной информации об объекте интереса и сжатие без потери полезной информации; для класса систем сегментации и сопровождения неточечных объектов - выделение изображений объектов на сложном фойе и разрешение ситуаций перекрытия изображений объектов фоном и друг другом.
2. Трехкомпонентные вектора движения, найденные с учетом их априорных оценок достоверности и значимости, обеспечивают взвешенную оценку признака движения, позволяют задать уровень достоверности поля векторов движения и снизить вычислительную емкость в 10 -г- 20 раз.
3. Использование межкадровой разности, найденной по пакету кадров, позволяет получить субпиксельную оценку векторов движения и повышает уровень достоверности поля векторов движения на 20% по отношению к полю, найденному методом полного перебора.
4. Для систем видеонаблюдения за протяженными объектами, синтез изображения объекта интереса на основе признака движения обеспечивает угол обзора до 180 градусов, минимизацию апертурных и пространственных искажений, а также сжатие видеоданных без потери информации об объекте интереса.
5. Сегментацию изображений нескольких объектов интереса на сложном фоне и при отсутствии априорной информации о них обеспечивает применение совокупности признаков, и построение решающего правила на основе математического аппарата нечеткой логики
6. Описание гауссовой моделью формы объекта и учет признака движения позволяют сопровождать объекты при динамике их свойств и окружающей обстановки, а также разрешать ситуации перекрытия изображений объектов друг другом и фоном.
Функциональные особенности интеллектуальных прикладных ТВ систем
Основными функциями любой системы видеонаблюдения являются формирование изображения с заданными характеристиками, предоставление его оператору для анализа и создание архива.
К характеристикам формируемого изображения относят его световые и растровые показатели. Световые показатели изображения - максимальная яркость, контраст, число воспроизводимых градаций яркости, диапазон воспроизводимых цветов, качество цветопередачи, четкость, резкость, а также различные искажения, проявляющиеся в нарушении распределения яркости и цветности в изображении. Растровые показатели - размеры и формат кадра, нелинейные и геометрические искажения растра.
Проблема формирования изображения удовлетворяющего перечисленным выше требованиям решалась на протяжении всего развития прикладных телевизионных систем. Современное развитие аппаратных средств позволяет сформировать изображения с высоким уровнем перечисленных характеристик.
Европейским комитетом по электротехнической стандартизации ( European Committee for Electrotechnical Standardization - CENELEC) разработан «Европейский стандарт» для аппаратуры, используемой в системах видеонаблюдения. Этот стандарт имеет три официальные версии ( English, French, German) и приобрел статус национальных стандартов для восемнадцати европейских стран - членов CENELEC. В тексте стандарта оговорены: список показателей качества и ограничения на них; условия испытаний и тестовые объекты; методика испытаний и требования к стойкости камер по отношению к условиям эксплуатации [40,41].
Интеллектуальная система видеонаблюдения также реализует формирование, представление и хранение видеоинформации, но имеет ряд функциональных особенностей, определяющих ее качественное отличие (рис. 1.5).
Формирование изображения предполагает не только использование аппаратного обеспечения, соответствующего стандартам, но и совокупность решений, направленных на адаптацию и работу системы в сложных условиях наблюдения. Проводится обработка полученного изображения с целью устранения искажений, возникающих вследствие свойств объекта интереса или особенностей функционирования системы. Например, при наблюдении крупных объектов на близком расстоянии применяют широкоугольные и сверх широкоугольные объективы. Это приводит к существенным пространственным искажениям и, как следствие, к ярко выраженным геометрическим искажениям: кубической и квадратичной нелинейности, искажениям формы растра («бочка/ подушка», «трапеция»). Такие искажения в ряде систем являются принципиальными. Специальная «пост обработка» должна свести их минимуму.
Интеллектуальная видеосистема одновременно с формированием качественного изображения решает целый ряд задач, обеспечивающих повышение комфортности условий для его восприятия и анализа оператором.
Необходимо обеспечить возможность просмотра видеоматериала с произвольной скоростью непосредственно в ходе прохождения объекта интереса. Существующие сегодня системы видеонаблюдения при работе в режиме реального времени предъявляют видеоматериал оператору со скоростью движения объекта интереса или камеры. Если эта скорость достаточно высока, то нет возможности рассмотреть детали изображения. В этом случае оператор работает с видеоматериалом, помещенным в архив, и контроль состояния объекта выполняется после его прохождения. «Пост просмотр» видеоматериала снижает оперативность наблюдения.
При видеонаблюдении протяженных объектов должна быть реализована возможность предъявления всего объекта целиком в рамках одного кадра: выполнено согласование размеров объекта с размерами кадра. Например, широкоугольный объектив, используемый на железной дороге, позволяет полностью вписать в кадр объект по вертикали. По горизонтали каждый кадр содержит только часть вагона. Это не обеспечивает возможности комфортного просмотра объекта.
Использование видеокамер с чересстрочной разверткой для наблюдения движущихся объектов вызывает потерю четкости по вертикали в два раза, по отношению к декларированному числу активных строк. Целесообразно для повышения четкости изображения выполнить восстановление полного кадра из полей.
Таким образом, первой функциональной особенностью интеллектуальной видеосистемы является синтез изображения объекта интереса, отвечающего всем перечисленным выше свойствам.
Второй функциональной особенностью интеллектуальной видеосистемы является информативность: вместе с изображением оператору должна быть предоставлена информация о качественных и количественных характеристиках объекта интереса. Это могут быть данные о скорости движения объекта, его габаритах, результат идентификации номерного знака или бортового номера и др. Конкретное содержание информации определяется целевым назначением системы и особенностями объекта интереса.
Третья функциональная особенность - обеспечение сжатия изображения без ухудшения его качества. Существующие сегодня системы видеонаблюдения, как правило, имеют архив из сжатых согласно стандарту MPEG 2 данных, записанных на жесткий диск. Обеспечиваемый уровень сжатия не позволяет хранить большой объем информации длительное время при достаточном качестве изображения после декодирования. Интеллектуальная видеосистема реализует семантическое сжатие: базируясь на свойствах объекта интереса, обеспечивает повышение качества изображения собственно объекта и исключает не относящиеся к нему части изображения. Это дает возможность передавать высококачественные изображения по узкополосным каналам связи.
К функциональным особенностям интеллектуальной системы сегментации и сопровождения (рис. 1.6) следует отнести: обеспечение минимальной ошибки при сегментации объекта интереса; сегментацию совокупности объектов интереса на сложном фоне; сегментацию объектов интереса, находящихся в непосредственной близости друг к другу; разрешение ситуаций окклюзии (перекрытия объектов интереса друг другом или фоном), раделения и слияния объектов интереса на этапе сопровождения; обеспечение минимальной ошибки при идентификации объекта в случае его повторной сегментации. Раскроем более подробно содержание сформулированных функциональных особенностей.
Сегментация - это селекция группы связных пикселей, принадлежащих объекту интереса и отличных от фона или других объектов по совокупности признаков. Под ошибкой сегментации будем понимать неполное или избыточное выделение объекта интереса. В первом случае объекту будет сопоставлена только часть соответствующих ему пикселей изображения: выделенная часть существенно меньше площади объекта интереса в плоскости изображения. В предельном случае происходит потеря объекта интереса: все пиксели, соответствующего ему изображения отнесены к фону или другим объектам. Частным случаем неполной сегментации является разделение одного объекта на части, рассматриваемые как самостоятельные объекты.
Метод определения векторов движения с учетом априорных оценок их достоверности и значимости
Поиск вектора движения выполняется полным перебором. Используется следующая стратегия выбора st и га,-. Для первой итерации выбираются большие значения Si и ть заключительные итерации выполняются с маленькими значениями st и mt. Например, s\ =8 и m\=Yl; s2 =2 и Шг=2; s3 =2 и т3=2. Это означает, что на первой итерации в буфер будет отобрано 12 векторов с наименьшими значениями ЧЦФ, причем определение ЧЦФ будет выполнено с коэффициентом прореживания «8 к 1». На второй итерации из 12 векторов будет отобрано 2 с наименьшими ЧЦФ, при коэффициенте прореживания «2 к 1». На последней итерации будет определен один вектор - результат поиска. Экспериментальные результаты показывают, что алгоритм может обеспечить сокращение объёма вычислений в 6-20 раз по сравнению с полным перебором. Алгоритм остановки на полпути с нормировкой (NPDS) Поиск вектора движения осуществляется полным перебором. В процессе определения текущего значения целевой функции оно сравнивается со значением функции в предыдущей точке. Если в какой - то момент времени значение (еще не подсчитанное окончательно) уже превысило значение функции в предыдущей точке, то дальнейшие расчеты не нужны: текущая точка априорно хуже предыдущей. Расчет целевой функции завершается, а соответствующий этой точке вектор движения исключается из рассмотрения. Описанная процедура целесообразна, если время, затрачиваемое на операции сравнения, меньше, чем время, затра-Рис 2.6. Порядок обхода чиваемое на операции суммирования, вычитания и умноже ния. Поэтому для повышения эффективности проводят сравнение не каждый раз после нахождения меры соответствия одного пикселя блока, а после обработки группы пикселей.
Основные шаги алгоритма следующие. В блоке выбирается п базовых точек, вокруг которых формируется окрестность из примыкающих к ним пикселей. Для блока размером 16 16 число базовых точек и размер формируемой окрестности равно 16 (рис. 2.5). Таким образом, целевая функция D представляет собой сумму 16 частных целевых функции (ЧЦФ) dpp=\..\6, рассчитанных в этих окрестностях. Если в качестве меры соответствия используется MAD, то ЧЦФ имеет вид: где хьуі - координаты левого верхнего угла блока; sp tp - координаты /?-ой базовой точки; vx,vy - текущий вектор движения. Последовательность обхода базовых точек при расчете целевой функции приведена на рисунке 2.6. Значение целевой функции после обработки -ой точіси имеет вид: Для более быстрого принятия решения о целесообразности дальнейших расчетов, сравнение текущего значения целевой функции Dp с предыдущем значением целевой функции Dmi„ выполняется не по абсолютному значению (при значениях р близких к 1 текущее значение целевой функции Dp будет в большинстве случаев всегда меньше Dmin), а по нормированному: Dp сравнивается с величиной вида (p Dmin /16). На практике, чтобы исключить операцию деления ис-Рис. 2.7. Спиральный сканирующий путь пользуется сравнение величин вида Основываясь на предположении, что у реальной видеопоследовательности максимум функции распределения возможных положений вектора движения в области поиска сильно смещен к центру, в качестве пути сканирования используют спираль, расходящуюся от центра области поиска (рис. 2.7). Алгоритм уменьшает временные затраты полного перебора в 12-13 раз Алгоритмы, уменьшающие число контрольных точек в области поиска
В рамках этого класса можно выделить три группы: Алгоритмы, формирующие расположение точек, базируясь на свойстве унимодальности целевой функции. К группе относятся: поиск тремя итерациями алгоритм [118], алгоритмы логарифмического [119], ортогонального и поперечного поиска [120], алгоритм поиска по квадрантам [121]. Алгоритмы, одновременно учитывающие унимодальность минимизируемой функции и скорость оцениваемого движения. К этой группе относятся алгоритмы двух видов: ориентирование на работу с видеопоследовательностями, в которых преобладает медленное движение (под медленным понимают движение, характеризующееся вектором, лежащим в окне поиска 2 2): блочный градиентный поиск [122], новый трехшаговый алгоритм [123], четырехшаговый алгоритм [124] и гибридные алгоритмы, производящие предсказание характера оцениваемого движения (быстрое/медленное) и далее использующие наиболее эффективный для данного вида движения алгоритм. Алгоритмы, предсказывающие начальное приближение: алгоритмы с предсказанием [125] и иерархический поиск [126]. Алгоритмы поиска тремя итерациями, логарифмического, ортогонального и поперечного поиска, блочного градиентного, нового поиска тремя итерациями, поиска четырьмя итерациями имеют один принцип построения: размещение контрольных точек в области поиска согласно определенному шаблону. Описания этих алгоритмов представлены в таблице 2.1. Алгоритмы гибридного поиска, поиска по квадрантам, алгоритмы с предсказанием имеют принципиально отличное друг от друга построение и рассмотрены далее более подробно. Алгоритм является модификацией поиска тремя итерациями. Он позволяет уменьшить число рассматриваемых направлений поиска минимума (рис. 2.8). Алгоритм включает в себя два этапа. На первом этапе определяется квадрант поиска, на втором определяется собственно вектор движения: положение точки минимума в выбранном квадранте. Для определения квадранта поиска вычисляются значения целевой функции в точках А, В и С: А - центральная контрольная точка, В и С — контрольные точки, расположенные на расстоянии d/2 от А, в горизонтальном и вертикальном направлениях (рис 2.8). Правило для определения квадранта поиска следующее: На втором этапе определяется собственно точка минимума с помощью алго ритма поиска тремя итерациями. Быстродействие предложенного алгоритма превышает быстродействие поиска тремя итерациями приблизительно в два раза. Гибридный адаптивный алгоритм поиска. Гибридный адаптивный алгоритм включает в себя два этапа. На первом этапе делается предсказание скорости движения блока. Блок классифицируется как неподвижный, с медленным или быстрым движением. Под медленным понимается движение, характеризующееся вектором, лежащим в окне поиска 3 3. Классификация выполняется на основе двух адаптивно обновляемых порогов. Для нестационарных блоков выполняется собственно поиск вектора движения, при этом используется алгоритм наиболее эффективный при данном виде движения. В случае если блок классифицирован как блок с медленным движением, используется алгоритм ортогонального поиска, смещенный к центру, если движение быстрое поиск тремя итерациями. На втором этапе выполняется адаптация порогов. Основные шаги первого этапа - оценивания параметров движения 1.1. Для текущего блока определяется MAD, соответствующая положению блока в первой контрольной точке - )(0,0). Ее значение сравнивается с двумя порогами 71 и 72. Блок классифицируется как
Синтез панорамного изображения протяженного движущегося объекта на основе оценки его видимой скорости
Использование в системе видеонаблюдения архива видеоданных, сжатых по стандарту MPEG 1,2,4 [138-141], не решает проблему длительного хранения большого объема информации. Например, система автоматизированного контроля поездов и вагонов должна обеспечивать хранение видеоданных всех проходящих составов минимум за один месяц. Требуемый объем памяти для хранения видеоданных об одном составе (при разрешении 576 768): обеспечиваемый стандартом MPEG 2 для уровня Main профиля Main, Втре„ =\5Мбит/с [138-140]; tc- средняя длительность прохождения железнодорожного состава tc -180с.
Требуемый объем памяти для хранения видеоданных о составах прошедших в течение суток: где п - среднее число поездов в час п - 3. Таким образом, жесткий диск объемом 120 Г байт позволяет хранить информацию не дольше 5-6 дней, при необходимых минимум 30.
Предложенный принцип формирования изображения обеспечивает высокий коэффициент сжатия без потери полезной информации. Коэффициент сжатия где W - ширина кадра (или высота Н в случае движения объекта интереса по вертикали), w- ширина вырезаемого фрагмента по направлению движения.
Панорамное представление изображения железнодорожного состава при стандартной ширине кадра 768 пикселей по горизонтали и скорости движения объекта интереса от 20 до 60 км/час обеспечивает коэффициент сжатия ксотрг от 80 до 25, соответственно. В случае необходимости сформированное панорамное изображение может быть дополнительно сжато методами компрессии статических изображений, например JPEG [142].
Небольшой размер фрагментов кадров необходимых для построения панорамы позволяет разместить их в буферной памяти ОЗУ и регулировать скорость анимации синтезированного изображения на экране. Это обеспечивает возможность установки удобной для анализа скорости просмотра материала в режиме реального времени.
Найденные оценки скорости при построении панорамы позволяют извлечь дополнительную информацию об объекте: зафиксировать моменты начала и завершения движения, оценить форму объекта на основе пространственного среза скоростей (параграф 5.1) и др.
Таким образом, синтез панорамного изображения протяженного движущегося объекта позволяет обеспечить основные функциональные особенности интеллектуальной системы видеонаблюдения.
В общем случае синтез панорамного изображения предполагает решение следующих задач (рис. 3.17): Определение момента начала движения объекта Определение скорости протяженного движущегося объекта. Обработка вырезанной полосы изображения. Формирование кадра из четного и нечетного поля на основе информации о скорости. Коррекция пространственных искажений. Запись обработанной полосы на жесткий диск и размещение его в буферной памяти. Формирование панорамы на экране монитора и анимация ее со скоростью определяемой пользователем.
Определение момента окончания движения объекта. Сжатие полностью сформированного панорамного изображения согласно JPEG и запись его в архив.
Основной задачей при построении панорамного изображения является определение видимой скорости движения протяженного объекта. Если объект наблюдения движется или если неизвестны параметры движения поворотного стола, на котором установлена камера, информацию о видимой скорости получают на основе анализа видеоданных.
Основными требованиями, предъявляемыми к оценке видимой скорости движения протяженного объекта, являются точность и достоверность. Точность оценки определена необходимой степенью геометрического подобия синтезированного изображения реальному объекту интереса. Достоверность — это отсутствие аномальных (не соответствующих реальной) оценок скорости.
Видимое движение (2D движение) обусловлено изменениями яркости L(x,y,t) пикселей с координатами х и у в кадре с номером t по отношению к кадру с номером t-І. Для его оценки используют вектора движения (оптический поток). Вектора движения описывают смещение пикселя или группы пикселей между двумя кадрами: получаемая оценка содержит информацию о направлении и величине смещения. Эти данные, с учетом фиксированного промежутка времени между кадрами, позволяют оценить скорость движения фрагментов изображения, а в случае построения панорамы видимую скорость движения протяженного объекта интереса.
Определение векторов движения для оценки видимой скорости протяженного объекта имеет существенные особенности:
Выраженную зависимость видимой скорости движения частей объекта от расстояния между ними и камерой. Зависимость точности определения вектора движения от координат блока на изображении
Дополнительную специфику вносит низкая детальность исходных видеоданных, обусловленная свойствами самого объекта интереса и сложными условиями наблюдения. Проиллюстрируем это положение в контексте видеонаблюдения на железной дороге. Собственно объекты интереса имеют низкую детальность: цистерны обладают праісгически гладкими боковыми поверхностями; для вагонов, рефрижераторов и думкаров характерны периодические вертикальные и горизонтальные структуры.
Имеет место резкая смена освещенности в промежутках между вагонами. При съемке против источника света (солнца) на стыке между вагонами освещенность резко возрастает. Из-за инерционности системы автоматической регулировки чувствительности изображение поверхности вагона «уходит в черное». При съемке с источником света, расположенным позади видеокамеры, промежутки между вагонами оказываются темными, и изображение поверхности вагона «уходит в белое». В обоих случаях теряют детальность изображения.
Дополнительными факторами, уменьшающими уровень детальности изображения, являются блики, которые особенно вероятны в темное время суток при искусственном освещении. При недостаточной скорости срабатывания электронного затвора в изображении проявляется смаз, обусловленный движением объекта наблюдения. Сформулированные выше особенности должны быть учтены при определении векторов движения и формировании оценки видимой скорости движения протяженного объекта.
Сопровождение объектов интереса на основе гауссовой модели формы
Процедура сегментации позволяет представить каждый объект как совокупность блоков отнесенных к нему с определенной степенью соответствия. Эти данные обеспечивают информацию об основных свойствах объекта, а именно характере его движения и форме. Рациональным является предположение: степень принадлежности блока к объекту тем выше, чем ближе он находится к центру кластера. Введенное предположение приводит к Гауссовой модели формы объекта в виде эллипсов рассеивания. Это наиболее общая модель при априорно неизвестной форме объекта [15,185]. Представление в виде эллипсов обеспечивает оценку следующих параметров: положения центра тяжести объекта \ix, цу, его линейных размеров Llt L2 (длины полуосей эллипса), коэффициента элонгации elong = —-, угла наклона ф, меры несимметрии объекта Е (рис. 4.8). Все перечисленные параметры могут быть определены на основе первых трех центральных моментов, при условии, что множество блоков, принадлежащих объекту Og, рассматривают как выборку двумерной случайной величины (х,у), описываемой распределением Гаусса [188]. Если необходимо сформировать строб, охватывающий объект, то его параметры находят следующим образом: где E четвертый центральный момент — эксцентриситет, который характеризует степень несимметричности распределения (объекта) относительно центра тяжести. линейные размеры строба: Выделенная совокупность блоков объекта с найденным для каждого блока вектором движения позволяет получить информацию о движении объекта -сформировать модель движения. Для жестких {rigid) объектов движение может быть учтено векторами скорости v„ и ускорения а„, отнесенными к центру тяжести \lg, или упрощённой линейной моделью [128]: где (Дх,Лу) - вектор движения блока с координатами (х, у), соответствующего сегментированному объекту; {цх„, \ху„ ) - центр тяжести объекта, [т, в,дх,ду) - оцениваемые параметры движения объекта: т - коэффициент масштабирования, 0 -угол поворота, 8Х и 8у — величины сдвига по горизонтали и вертикали.
Для каждого объекта оценивают параметры движения \т,д,8х,Ъу) по полю векторов движения методом наименьших квадратов. Для всех сопровождаемых объектов выполняют траекторный анализ на основе регрессии или фильтра Калмана [191,192,193] Введение гауссовой модели формы и модели движения позволяет для каждого объекта сформировать вектор признаков f„ = (pg, Lg,(pg,elongg,\ g,ag) и положить в основу процедуры сопровождения выявление соответствия между вектором признаков блока и вектором признаков объекта. Необходимость разрешать ситуации окклюзии, слияния и разделения объектов обуславливает целесообразность использования для формализации процедуры сопровождения аппарата нечеткой логики и представления каждого объекта Оg, как нечеткого множества [183]. В основе понятия нечеткого множества лежит представление о том, что составляющие данное множество элементы, обладающие общим свойством, могут обладать этим свойством в различной степени и, следовательно, принадлежать к данному множеству с различной степенью. Нечетким множеством (fuzzy set) А на универсальном множестве U называется совокупность пар(п (и),и), где г\ (и) - степень принадлежности элемента и є U к нечеткому множеству А . Степень принадлежности - это число из интервала [0, 1]. Чем выше степень принадлежности, тем в большей мере элемент универсального множества соответствует свойствам нечеткого множества. Функцией принадлежности (membership function) называют функцию, которая позволяет вычислить степень принадлежности произвольного элемента универсального множества к нечеткому множеству. Сформируем функцию принадлежности для объекта Og, сегментированного в кадре t. Блоки, принадлежащие объекту, должны соответствовать его модели формы. Пусть G - универсальное множество, включающее в себя все блоки, выявленные на этапе предварительного анализа в кадре t+І. Любой блок этого множества может соответствовать объекту 0„. Степень этого соответствия определяется положением: блок соответствует объекту с тем большей степенью, чем меньше он искажает его форму. Нечеткое множество Gfog определено функцией принадлежности
