Содержание к диссертации
Введение
ГЛАВА 1. Исследование направлений развития систем технического зрения роботизированных комплексов 10
1.1. Обзор состояния разработок роботизированных комплексов 10
1.2. Особенности построения системы управления роботизированных комплексов нового поколения 19
1.3. Этапы обработки изображений в системах технического зрения роботизированных комплексов 24
1.4. Особенности идентификации объектов в системах технического зрения роботизированных комплексов 32
Выводы по главе 1 39
ГЛАВА 2. Совершенствование статистических методов обработки изображений трехмерных объектов для систем технического зрения 41
2.1. Моделирование цифровых изображений окружающей среды в виде случайных полей 41
2.2. Построение упрощенных статистических моделей цифровых изображений для идентификации окружающей среды 48
2.3. Математические модели преобразования изображений для систем технического зрения 53
2.4. Формализация задачи и методы распознавания изображений трехмерных объектов 58
2.5. Метод статистического обучения для идентификации объектов окружающей среды 66
Выводы по главе 2 75
ГЛАВА 3. Идентификация параметров внешней среды и распознавание трехмерных объектов по эталонным двумерным проекциям
3.1. Использование методов математической статистики для оценки параметров распределений случайных величин, характеризующих окружающую среду
3.2. Преобразование изображений в форму, удобную для статистического анализа 83
3.3. Методы организации обучения и тестирования системы распознавания объектов окружающей срезы 84
3.4. Алгоритм распознавания трехмерных объектов по эталонным двумерным проекциям 88
Выводы по главе 3 96
ГЛАВА 4. Подготовка и проведение компьютерного эксперимента по использованию разработанных алгоритмов идентификации параметров окружающей среды и распознавания трехмерных объектов 98
4.1. Основные требования к компьютерной модели системы распознавания и исходные положения, используемые при ее проектировании 98
4.2. Методика организации обучения модели системы распознавания СТЗРК 101
4.3. Моделирование процессов распознавания объектов СТЗ РК 103
Выводы по главе 4 110
Заключение 111
Список использованных источников
- Этапы обработки изображений в системах технического зрения роботизированных комплексов
- Построение упрощенных статистических моделей цифровых изображений для идентификации окружающей среды
- Преобразование изображений в форму, удобную для статистического анализа
- Методика организации обучения модели системы распознавания СТЗРК
Этапы обработки изображений в системах технического зрения роботизированных комплексов
Иерархическая организация системы управления РК имеет следующие преимущества [31-34]: - упрощает анализ системы управления. Рассматривая каждый уровень в отдельности, отбрасывая несущественную для анализа специфику работы остальных подсистем, удается получить модель соответствующей подсистемы доступной для анализа существующими методами; - позволяет реализовать различные подходы к синтезу систем управления, в частности, к проектированию программного обеспечения робота. Как правило, каждый уровень иерархии управления с позиции программирования - это процесс (или задача), развивающийся в некоторой вычислительной среде; - обеспечивает преемственность в проектировании адаптивных систем управления роботов. Часто переход от программного робота к адаптивному может не требовать коренной перестройки системы управления, а лишь добавления необходимых модулей и согласования интерфейса между соседними уровнями иерархии.
Например, данные о расположении препятствий требуются на высшем уровне для построения модели рабочей среды в целях планирования движения и действий робота.
Результаты классификации объектов для последующего воздействия манипуляторов робота могут потребоваться на подчиненном (стратегическом) уровне для декомпозиции общего плана действий на конкретные манипуляционные операции, задания их последовательности и параметров.
Сведения о местоположении и ориентации внешних объектов необходимы для формирования на тактическом уровне требуемых движений рабочего органа и звеньев манипулятора, по которым, в свою очередь, определяются программы согласованного изменения соответствующих степеней подвижности.
Управляющие сигналов на приводы вырабатываются на исполнительном уровне, поэтому на этот уровень должна поступать информация об отклонении фактической траектории движения от запрограммированной.
Функции человека в системе дистанционного управления роботом определяют ее сложность [35]. В роботах первого поколения оператор активно участвует в управлении мобильным роботом на всех трех уровнях, вплоть до непрерывного ручного управления исполнительными механизмами. Это упрощает конструкцию системы управления, но усложняет работу оператора. Основные недостатки дистанционного управления обусловлены наличием телевизионного и радиоканалов связи, их невысокой помехозащищенностью, невозможностью сохранять режим радиомолчания, опасностью неожиданного прекращения связи в зонах радиотени.
В роботах второго поколения управление нижнего уровня возложено на бортовую систему управления роботом. Общим для роботов второго поколения является использование в контуре автоматического управления информации о текущем состоянии робота и внешней среды.
Третье поколение роботов оставляет человеку только стратегический уровень. Управление роботом сводится к выдаче задания и принятию отчета о его выполнении.
Если задание формулируется на некотором проблемно-ориентированном языке, то число уровней будет тем больше, чем выше уровень языка. В этом случае все функции, связанные с разбиением задачи на подзадачи, планирование выполнения каждой задачи и т.д. берет на себя система управления роботом.
При этом каждая новая задача, решаемая перспективной системой управления с элементами искусственного интеллекта, требует не только разработки оригинальных алгоритмов решения, но и создания специализированных технических средств - новых технических органов чувств, специализированных вычислителей и исполнительных органов. Один из важнейших принципов построения таких роботов состоит в широком использовании средств микропроцессорной техники, входящей как в состав системы управления, так и в состав СТЗ.
Функциональные возможности, эффективность и гибкость СТЗ РК в значительной степени определяются ее алгоритмическим обеспечением [36-40]. Потенциальные возможности высококачественных видеосенсоров, совершенных вычислительных устройств и другой аппаратуры СТЗ не могут быть реализованы без обоснованного выбора совокупности алгоритмов ввода, обработки и анализа видеоинформации, которые должны обеспечить решение следующих основных задач: - реализацию управления роботом через сеть с удаленного терминала; - формирование последовательности целесообразных автономных действий на основе задания, полученного от оператора; - определения удаленных препятствий и распознавание объектов среды на видеоизображениях, полученных от СТЗ; - управление движением робота в недетерминированной среде с препятствиями; - управление бортовым технологическим оборудованием.
Построение упрощенных статистических моделей цифровых изображений для идентификации окружающей среды
Приведенная модель определяет дискретный двумерный марковский процесс первого порядка с разделимой межстрочной и межстолбцовой корреляцией. В предположении изотропности свойств непрерывного изображения и одинаковых шагов дискретизации Ах,Ау можно положить коэффициенты межстрочной и межстолбцовой корреляции равными: Pww= Рсої = Р Кроме того, поскольку величины т1, о] являются параметрами модели, т.е. известны, то путем нормализации / = L всегда можно добиться в новых переменных равенства математического ожидания нулю, а дисперсии - единице. Поэтому для удобства дальнейшего анализа представленную модель можно упростить:
Важно отметить, что полученная модель хорошо описывает реальные изображения в пределах небольших областей, с размерами порядка нескольких пикселей. Реальное изображение в целом не может быть адекватно представлено стационарным процессом.
Нестационарность можно трактовать как локальные изменения коэффициента корреляции р соседних пикселей. Полагают, что в фоновых областях корреляция высокая, в областях контуров и мелких деталей -низкая [67]:
Элементы изображения / представляют собой непрерывные значения. Для преобразования его в цифровой вид используется процедура квантования, в процессе которой каждый отсчет Im п заменяется на значение
Для практического использования полученных зависимостей требуется определить числовые значения их параметров. С этой целью следует провести экспериментальные исследования конкретных аппаратных средств СТЗ в типовых условиях применения РК. Математические модели преобразования изображений для систем технического зрения
Для наблюдателя изображение часто приставляется в виде совокупности однородных участков (сегментов), отличающихся друг от друга теми или иными характеристиками. Количество признаков, которыми могут отличаться друг от друга сегменты различных типов, очень велико. Встречается большое число задач, где участки имеют неодинаковую среднюю яркость. Иногда при одинаковой средней яркости различаются дисперсии флюктуации. Часто можно наблюдать картину, на которой различие областей проявляется в неодинаковости корреляционных свойств: медленные, плавные колебания яркости на одних участках сменяются существенно более быстрыми на других.
Количество различных типов, или классов, сегментов обычно невелико. Результатом сегментации является разделение изображения на несколько непересекающихся сегментов, которые его полностью покрывают.
Большое разнообразие в задачу сегментации вносит обработка цветных изображений. Одним из важнейших признаков для сегментации в этом случае может служить цвет, который дополняет совокупность характеристик, применяемых при обработке черно-белых изображений. К этому же типу проблем относится и сегментация спектрозональных изображений. Отметим, что такие задачи значительно сложнее, а число публикаций в этой области сравнительно невелико.
Далее будем рассматривать задачи обработки полутоновых изображений отдельных объектов, выделенных в результате сегментации поля зрения. Главная задача - это распознавание изображений, т.е. определение соответствия между полученными изображениями реальных объектов и эталонными изображениями. Отличие эталонных и реальных изображений объектов обусловлено ошибками сегментации, а также геометрическими и яркостными преобразования. Основные отличия эталонных и реальных изображений связаны с различными условиями их записи в память СТЗ. Системы координат, в которых они записываются, отличаются друг от друга ориентацией, выбором масштаба на осях, смещением (несовпадением начала координат), изменением освещенности или контраста и рядом более сложных трансформаций. области D, а только в области Е с D выделенного объекта, однако удобно доопределить В(х, у) и В0(х, у) нулевым значением в точках
Будем представлять эталонное и реальное изображения финитными функциями двух переменных в прямоугольной области D, являющейся непрерывной моделью дискретного поля зрения [67]. Следует отметить, что реальное изображение В(х,у) и эталонное В0(х,у) определены не по всей В общем виде реальное изображение может быть представлено как результат воздействия на эталонное изображение некоторого преобразования р в некоторый момент времени: В(х,у) = (р[В0(х,у)].
В других частных случаях преобразование р может соответствовать регулярным искажениям формы объектов, изменениям контраста, неравномерной чувствительности датчика по полю зрения, ошибкам дискретизации. Действие случайных помех также можно включить в это преобразование. Реальное теоретическое и практическое значение имеет изучение Если К(х,у) - постоянная функция (К(х,у) = к), г(х,у) = О, Т -тождественный оператор (Т(х,у) = (х,у)), то рассматриваемое преобразование характеризует изменение освещенности объекта по сравнению с освещенностью эталона. Коэффициент к может характеризовать изменение освещенности или уровня общей чувствительности телевизионного датчика по сравнению с моментом первоначального обнаружения эталона. В более общем случае К(х,у) -функция изменения чувствительности датчика по полю зрения, функция неоднородности светофильтра и т.д. Функция г(х,у) характеризует изменение контрастности.
Преобразование изображений в форму, удобную для статистического анализа
Таким образом, в обоих подходах на тренировочном изображении будет смоделирована идеальная ситуация наблюдения объекта, при которой реальное искаженное изображение объекта, размещенное в некоторой области, заменяется его эталоном, который наблюдался бы в той же области при идеальных условиях.
В общем случае эталонные изображения могут быть представлены в двух формах - растровой и векторной. Преимуществом векторных эталонов является то, что при удачном выборе вида проекций можно обеспечить малые вычислительные затраты при формировании других эталонов, соответствующих другим ракурсам наблюдения, отсутствующем в базе данных.
Существенным недостатком векторного представления эталонов является сложность установления соответствий между ними и объектом на реальном изображении по сравнению с растровыми эталонами. По этой причине в дальнейшем будем рассматривать представление эталонных изображений в растровой форме.
После обучения система распознавания подвергается тестированию, в ходе которого ей предстоит обрабатывать изображения объектов, не участвующих в обучении. Предъявляемый системе изображение (образ) сравнивается с представителями классов и относится к тому классу, которому принадлежат наиболее сходные с ними образцы.
Данный метод носит название «сравнение с эталоном». Его недостатком является невысокая устойчивость к шумам и искажениям в распознаваемых образах. Отличия входных и эталонных изображений возникает за счет существенного изменения освещенности, подсветки, локальных помех.
При неудачном тестировании подлежит продолжить процесс обучения и при необходимости подстроить правила классификации изображений или выработать новые с целью повышения качества распознавания. Процесс прекращается тогда, когда правила классификации начинают удовлетворять некоторому критерию оптимальности. Этот подход называется адаптивным распознаванием или машинным обучением.
В качестве практического применения метода максимального правдоподобия рассмотрим задачу распознавания роботом-охранником природного заповедника трехмерных объектов на горизонтальной плоскости, такими объектами являются транспортные средства нарушителей, люди - браконьеры и т.д. Робот-охранник должен обнаруживать потенциальных нарушителей на равней стадии, когда они еще не приблизились достаточно близко к периметру природного заповедника. Предполагается, что объекты, подлежащие распознаванию, находятся на расстоянии более чем в 70 м от СТЗ робота, поэтому их изображения занимает незначительную часть общего изображения, фиксируемого бортовым источником информации - телевизионной камерой.
При использовании в существующих системах охраны человека-оператора от него требуется постоянная концентрация внимания на мелких деталях изображения, что ведет к быстрой утомляемости зрения и опасности пропуска потенциальных нарушителей на дальней границе обзора, а также затрудняет своевременную организацию действии по предотвращению несанкционированного доступа на охраняемую территорию.
Малый объем исходной информации, искаженной шумом, значительная неопределенность параметров объекта (типа, формы, пространственной ориентации) является серьезной проблемой при проектировании СТЗ робота.
Проектирование системы распознавания объектов сопряжено с задачами их обнаружения, отделения от фона, вычисления отличительных признаков и ряда других.
Для эффективного решения задачи распознавания изображений необходима ее математическая постановка, которая включает прежде всего математическое описание, т. е. модель изображения как объекта исследования.
Будем полагать, что на территории заповедника могут появиться объекты из множества известных классов, наблюдаемые под некоторыми заранее неизвестными ракурсами (проекциями).
Исходные данные для решения задачи распознавания поступают в виде оцифрованного цифрового изображения, представляющего собой плоское отображение некоторой совокупности объектов (сцены) ноля зрения; такое изображение, как правило, будем называть входным изображением.
Входное изображение трехмерного объекта представляется его двумерной проекцией на плоскость наблюдения и подвергается искажению помехами. Типы и параметры помех могут варьироваться в зависимости от условий получения данных, в том числе, от состояния внешней среды, условий эксплуатации: АЦП, устройств регистрации и ряда других причин.
В самом общем случае математическая модель рассматриваемой гипотезы может быть представлена в виде ограниченной функции двух переменных, заданной на ограниченной прямоугольной области следующим образом: где S матрица полутонового изображения, имеющая размерность / X/, / -количество строк, У - количество столбцов матрицы; ард - коэффициент, учитывающий фактор освещенности объекта; В - матрица исходного неискаженного изображения, на котором наблюдается объект. Координаты объекта определяются координатами «центра тяжести» его изображения и принимаются равными (р,д). Объект располагается на горизонтальной поверхности и может наблюдаться датчиком информации под различными углами (ракурсами). В силу конечной разрешающей способности датчика, недостаточного объема исходной информации об объектах наблюдения, ограниченной производительности средств обработки количество различных проекций (ракурсов) объекта представляется конечным множеством и может быть пронумеровано: к = 1,2,...М. G - матрица аддитивных помех, искажающих исходное изображение, каждый элемент которой дрд (к) представляет значение шума в точке \i,j). Размерности матриц Врд и G совпадают.
Методика организации обучения модели системы распознавания СТЗРК
Достоинством рассмотренного метода является то, что при наличии белого гауссова шума на изображении он обеспечивает максимально возможную вероятность правильного обнаружения объекта, которая совпадает с вероятностью правильного обнаружения определяемой теорией статистических решений.
На практике часть параметров, представляющих объект на изображении, где его присутствие необходимо обнаружить, как правило, бывает заранее неизвестна. К таким параметрам могут относиться: точные координаты объекта, его ориентация, размеры, распределение яркости в объекте, а в более сложных случаях и ряд других.
В случае, если априорно неизвестными параметрами являются координаты объекта на изображении к0 и щ , то алгоритм его обнаружения включает в себе перебор всех возможных значений к0 и щ с проверной для каждого значения fc0 и п0, условия распознавания.
При выполнении условия распознавания принимается решение о наличии объекта на изображении. При этом за его положение принимается координаты к0 и п0, при которых сумма средних квадратов попиксельных разностей иаски минимальна.
В данном случае количество вычислительных операций по сравнению с предыдущим случаем заметно возрастает. Ещё более возрастает количество вычислительных операций, если априорно неизвестными оказываются и другие параметры, например, ориентация и.т.д.
Задача распознавания ряда отличающихся между собой объектов решается аналогичным образом. Будем считать априорно известным, что на изображении присутствует один из М объектов, и требуется определить, какой именно из М объектов присутствует на изображении. Кроме того, априорно известны параметры изображений этих объектов, включая их координаты. В этом случае для определения, какой именно из М объектоы присутствует, необходимо вычислить М сумм и принять решение в пользу изображения j-ro объекта, для которого выполняется условие.
Представленный подход и полученные формульные зависимости позволяют решить задачу распознавания трехмерных объектов определенного класса, наблюдаемых под различными ракурсами и в точках, отличных от тех, которые были использованы на этапе идентификации параметров статистической модели при воздействии интенсивных помех, затрудняющих визуальное обнаружение и идентификацию этих объектов человеком - оператором.
1. Определены основные требования к компьютерной модели системы распознавания РК и исходные положения, используемые при ее проектировании. Разработана компьютерная модель системы распознавания трехмерных объектов.
2. Создана методика обучения человеком-оператором системы распознавания, позволяющая установить соответствие между наблюдаемыми изображениями объектов и представителями их классов, хранящихся в базе данных компьютера.
3. В силу большой априорной неопределенности внешней среды предлагается проводить обучение системы распознавания на двух этапах: - первичное обучение на этапе проектирования; - дополнительное обучение на этапе эксплуатации с целью распознавания новых объектов.
4. Проведено моделирование процесса идентификации объектов СТЗ РК. Результаты моделирования подтвердили выводы теоретического анализа, правильность выбранного метода идентификации трехмерных объектов в условиях воздействия помех и изменения фактора освещенности местности.
1. Проектирование роботизированных комплексов, функционирующих в недостаточно детерминированных условиях, все активнее выдвигает требование по их оснащению современными системами технического зрения.
2. Распознавание трехмерных объектов окружающей среды наиболее сложный процесс, поскольку изображения предъявляются на сложном случайном фоне; имеет место изменение освещенности; эталонные и входные изображения отличаются заранее неизвестным положением в поле зрения. В силу перечисленных причин представляется целесообразным для распознавания изображений использовать методы теории вероятностей и математической статистики.
3. Недостаточно определенную внешнюю среду, в которой приходится функционировать роботизированному комплексу, предлагается моделировать в виде реализаций случайных полей - многомерных массивов случайных величин с заданными вероятностными характеристиками. Предложен ряд упрощенных статистических моделей, которые могут быть рекомендованы для приближенного описания изображений при разработке процедур идентификации объектов в зоне видимости СТЗ РК
4. Разработан алгоритм статистического распознавания трехмерных объектов по эталонным изображениям их двумерных проекций, полученных на этапе обучения и хранящихся в базе данных, который предназначен для применения в условиях изменения фактора освещенности и воздействия помех, искажающих входные изображения, поступающие от телекамер системы технического зрения.
5. Установлены формульные зависимости, позволяющие определить неизвестные параметры функции правдоподобия гипотез относительно классов распознаваемых объектов при недостаточно определенных факторах внешней среды.
6. Создана методика обучения системы распознавания человеком-оператором, служащая для установления соответствия между наблюдаемыми изображениями объектов и представителями их классов, предварительно размещенных в базе данных компьютера.
7. Разработана компьютерная модель системы распознавания трехмерных объектов. Проведено моделирование процесса идентификации объектов внешней среды для СТЗ РК. Результаты моделирования подтвердили выводы теоретического анализа, правильность выбранного метода идентификации трехмерных объектов в условиях воздействия помех и изменения фактора освещенности местности.
Похожие диссертации на Алгоритмы распознавания трехмерных объектов по эталонным двумерным проекциям
