Содержание к диссертации
Введение
1. Автоматизация задач, решаемых малоразмерным беспилотным летательным аппаратом 13
1.1. Особенности автоматического полета МБЛА 13
1.2. Решение целевых задач 14
1.3. Требования к точности работы ЦСАУ 15
1.4. Система автоматического управления МБЛА 26
2. Анализ алгоритмов решения целевых и навигационных задач 37
2.1. Решение целевых задач 37
2.1.1. Сжатие изображений 37
2.1.2. Поиск объектов 47
2.2. Решение навигационных задач 53
3. Структура комплексного алгоритма обработки изображений 62
3.1. Критериальные функции в корреляционных алгоритмах 62
3.2. Дискретное косинусное преобразование 74
3.3. Структура комплексного алгоритма системы наблюдения 80
4. Исследование работоспособности комплексного алгоритма обработки изображений 84
4.1. Оценка точности определения положения и ориентации МБЛА системой наблюдения 84
4.2. Моделирование системы наблюдения 92
4.3. Реализация работы алгоритма в реальном времени 112
Заключение 116
Библиографический список 118
- Требования к точности работы ЦСАУ
- Решение навигационных задач
- Структура комплексного алгоритма системы наблюдения
- Оценка точности определения положения и ориентации МБЛА системой наблюдения
Введение к работе
В последние годы широкое применение нашли малоразмерные (мини) беспилотные летательные аппараты (МБЛА), предназначенные для автоматизированного мониторинга земной или водной поверхности, разведки и т.д.
Основными предпосылками для распространения подобных МБЛА послужило:
Создание однокристальных микроЭВМ большой вычислительной мощности.
Появление дешёвых, массовых, миниатюрных изделий микромеханики: акселерометров и датчиков угловой скорости.
Производство дешёвых массовых миниатюрных GPS-приемников.
производство дешёвых массовых достаточно точных твёрдотельных баровысотомеров.
Широкое распространение миниатюрных матриц для создания телевизионных и инфракрасных камер.
Распространение дешёвых и надёжных никель-кадмиевых, никель-металлогидридных и литиевых аккумуляторов высокой удельной ёмкости.
В табл. В.1 представлены основные характеристики отечественных и зарубежных дистанционно-пилотируемых летательных аппаратов (ДПЛА) и аэродинамических забрасываемых передатчиков помех (АЗПП).
Таблица В.1
Управление полетом МБЛА осуществляется дистанционно с наземного пункта по радиоканалу или с помощью системы автоматического управления (САУ).
При использовании САУ в память бортовой системы вводится маршрут полета, например в виде координат промежуточных пунктов или координат цели.
Анализ решаемых задач МБЛА, указанных в табл. В.1, например, для п. 1-5, 8, 9, показал, что частными целевыми задачами разведки, мониторинга, наблюдения являются:
Прием, хранение и/или передача видеоинформации.
Поиск подвижных и неподвижных объектов (в том числе навигационных ориентиров).
Следовательно, для работы в автоматическом режиме бортовые вычислители должны оснащаться соответствующими алгоритмами обработки и анализа изображений для решения задач сжатия видеоинформации и поиска объектов.
Анализ массогабаритных показателей МБЛА и дальности действия показал, что для большинства подобных летательных аппаратов массогабаритные показатели проектируемых САУ должны иметь жесткие ограничения, так как уже незначительное увеличение веса САУ (даже десятки грамм) приводит к существенному снижению дальности действия МБЛА.
Таким образом, минимизация массогабаритных показателей при разработке САУ МБЛА, в частности цифровой системы автоматического управления
(ЦСАУ), относится к числу наиболее важных задач проектирования. При этом ЦСАУ должна обеспечивать с определенной точностью полет по заданному маршруту и решение целевых задач.
Целевая аппаратура - система наблюдения (СН) - включает в свой состав видеокамеру или другие обзорно-визирные устройства. В зависимости от типа МБЛА и решаемой целевой задачи СН может быть жестко закреплена на борту МБЛА или установлена на гиростабилизированной платформе. СН может состоять из двух камер с различными установочными углами линии визирования, разными углами обзора или работающих в разных диапазонах излучения (например, видимом или инфракрасном). Высота полета МБЛА лежит в диапазоне от 100 до 2000 м, скорость - от 25 до 140 км/ч.
Для исключения пропусков наблюдаемых участков подстилающей поверхности, «срывов» слежения и пр., бортовая видеокамера должна быть по возможности стабилизирована в пространстве. В свою очередь, точность полета, с точки зрения прохождения маршрута и стабилизации МБЛА в пространстве, определяется приборами, входящими в состав навигационной системы (НС) ЦСАУ и измеряющими координаты и углы ориентации МБЛА в пространстве.
В большинстве случаев структура штатной НС включает [1-6, 36, 37]: вычислитель (микроконтроллер), приемник спутниковой навигационной системы (СНС), датчики угловых скоростей (ДУСы), акселерометры, магнитометры, высотомеры.
При решении целевых задач используемые в НС МБЛА малогабаритные датчики, например ДУСы ADXRS150 или ADXRS300, выпускаемые фирмой «Analog Devices», акселерометры ADXL213 и другие, не обладают достаточной точностью для стабилизации углов ориентации МБЛА, что приводит к снижению эффективности применения МБЛА.
Использование датчиков с более высокими точностными характеристиками ухудшает массогабаритные показатели ЦСАУ и, следовательно, также уменьшает * эффективность применения МБЛА.
Таким образом, повышение точности работы НС без ухудшения массогабаритных показателей ЦСАУ становится актуальной и практически важной задачей.
Одним из перспективных подходов, связанных с решением данной задачи, является использование в НС дополнительной информации о положении и ориентации МБЛА, получаемой при обработке и анализе изображений подстилающей поверхности от СН.
Такой подход основан на применении обзорно-сравнительных методов навигации по изображениям подстилающей поверхности [7-16].
Обзорно-сравнительные методы основаны на опознании и сравнении комбинации линий, точек поверхностей положения и целых ландшафтов или обозреваемых участков местности для определения местоположения объекта [17,18].
Решению навигационных задач для оценки собственных координат летательных аппаратов на основе измерений параметров различных геофизических навигационных полей посвящено большое количество работ А.А Красовского, В.П. Тарасенко, И.Н. Белоглазова, Г.И. Джангджавы, В.К. Баклицкого и др. авторов.
Построение СН и соответствующих алгоритмов для решения задачи навигации по наземным ориентирам и исследование их точностей для различных летательных аппаратов и условий применения проводилось в диссертационных работах С.А. Семенченко, Ян Хэ Квана, М.В. Якобсона, Хюн Ен Мока, И.А. Белоусова [19-21], выполненных на кафедре 704 МАИ.
Сложность реализации обзорно-сравнительных методов в НС МБЛА состоит в том, что необходимо разработать алгоритмы обработки и анализа изображений, обеспечивающие измерение не только координат (как это делается в известных корреляционно-экстремальных навигационных системах (КЭНС) [17]), но и углов ориентации МБЛА. При этом обработка и анализ изображений должны быть реализованы в реальном масштабе времени.
Как показано в ряде работ [17, 18], измерения координат нескольких ориентиров относительно СН позволяют рассчитывать координаты МБЛА. Если географические координаты найденных наземных ориентиров заранее известны, то использование видеокамеры позволяет организовать автономный полет МБЛА по маршруту.
Однако данных по использованию обзорно-сравнительных методов для оценки ориентации МБЛА в литературе не имеется. В то же время известно, что в рамках теории фотограмметрии и теории компьютерного зрения [22, 23] возможно решение задачи внешнего ориентирования камеры, позволяющее определять углы ориентации МБЛА относительно подстилающей поверхности.
Таким образом, если на борту МБЛА установлена система наблюдения, направленная перпендикулярно вниз или под углом (например, 45 град) на подстилающую поверхность, то с помощью заложенного заранее в бортовой процессор алгоритма обработки и анализа изображений подстилающей поверхности можно получить дополнительную информацию о положении и ориентации МБЛА в пространстве.
Дополнительная информация может быть использована для повышения точности работы ЦСАУ. В частности, получаемая информация может использоваться как автономно, так и комплексироваться с аналогичной информацией, получаемой традиционно при обработке данных от акселерометров и ДУСов.
Необходимо отметить, что подобная навигационная система, основанная на обработке изображений подстилающей поверхности, будет работоспособной только при наличии достаточно информативного навигационного поля и при условии обеспечения требуемых точностей измерений СН в соответствии с решаемыми задачами [разд. 1.2].
Сложность применения обзорно-сравнительных методов навигации для оценки положения, углов ориентации МБЛА и решения целевых задач связана с необходимостью реализации на борту трудоемких процессов обработки видеоинформации. При этом обработка видеоинформации для решения целевых и
навигационных задач должна реализовываться в реальном времени, что накладывает чрезмерно высокие требования на вычислители ЦСАУ.
Одним из вариантов решения данной задачи является формирование комплексного алгоритма обработки изображений (КАОИ), обеспечивающего согласованную работу отдельных частных алгоритмов для одновременного решения целевых и навигационных задач. Использование подобного КАОИ может в значительной степени сократить объемы требуемых вычислений.
Суть КАОИ заключается в том, чтобы выделить наиболее трудоемкие, с точки зрения вычислительных ресурсов, частные алгоритмы обработки изображений подстилающей поверхности и выбрать из существующих алгоритмов те, структура которых не будет меняться в зависимости от решаемой на борту задачи.
Практическая важность рассмотренных выше вопросов и недостаточная проработка перечисленных задач определили выбор темы диссертации и направление исследований.
Целью представленной диссертационной работы является повышение точности и надежности системы навигации малоразмерного беспилотного летательного аппарата за счет использования комплексного алгоритма обработки изображений (КАОИ), обеспечивающего одновременное решение целевых (поиск наземных объектов, сжатие и/или передача видеоинформации) и навигационных задач (измерение координат и углов ориентации МБЛА) за счет обработки и анализа изображений подстилающей поверхности (видеопоследовательностей), принимаемых бортовой системой наблюдения на борту МБЛА, без увеличения массогабаритных показателей НС.
Требования к точности работы ЦСАУ
К проблемам, связанным с управлением МБЛА и затрудняющим решение целевых задач на борту относятся:
смещение поля зрения системы наблюдения от заданного положения из I
за угловых и линейных смещений МБЛА во время полета; стабильность («дрожание») изображения во время полета за счет короткопериодических колебаний МБЛА.
Будем считать, что для эффективного решения целевых задач на борту МБЛА требуется, чтобы:
1. область наблюдения СН находилась в пределах заданного поля допуска;
2. межкадровые смещения изображений находились в пределах заданного поля допуска.
Значения допусков зависят от решаемой целевой задачи.
Например, по п. 1, при поиске неподвижных наземных объектов (ориентиров) область наблюдения СН может быть задана проекцией на подстилающую поверхность траектории полета МБЛА и шириной области поиска.
По п. 2, поле допуска определяется размерами идентичных фрагментов изображений, присутствующих на любой паре последовательных кадров.
Ошибки положения и ориентации МБЛА, определяющие положение области наблюдения и межкадровые смещения, зависят от различных дестабилизирующих факторов, ошибок управления и измерения.
Пусть максимальные ошибки управления известны и фактические значения ошибок положения и ориентации МБЛА зависят в основном от ошибок измерения crq навигационной системы ЦСАУ, где q - индекс измеряемого параметра (координаты и углы ориентации МБЛА).
Примем математическое ожидание ошибки измерения q-ro параметра нулевым. Тогда для успешного выполнения целевой задачи необходимо выполнение условий: где (Jqmax - среднеквадратическое отклонение (СКО) фактических измерений положения и ориентации МБЛА; Адшх - допустимое значение ошибки оценок положения и ориентации МБЛА, определяемое из условий решения целевой задачи; Aqmaxf - допустимое межкадровое смещение q-ro параметра; VqmaK скорость изменения q-ro параметра;/- частота кадров.
Несоблюдение условия (1.1) может привести к пропуску наземного ориентира, потере ориентации, условия (1.2) - к срыву слежения за подвижным объектом, невозможности «сшивки кадров» и пр.
Условие (1.3) определяет требования к допустимой величине V так скорости изменения q-ro параметра при заданной частоте кадров/
Пусть решается задача поиска наземного объекта в области заданной траектории полета МБЛА.
На рис. 1.2 показана траектория полета МБЛА в пределах заданных допусков. Размер заданного допуска траектории определяется в зависимости от оптических параметров СН и величины перекрытия двух последовательных кадров.
Области перекрытия изображений на двух последовательных кадрах, получаемых при боковом смещении МБЛА, показаны на рис. 1.3.
Как видно из рис. 1.3, если заданы требования к условиям решения целевой задачи и оптические параметры СН, можно определить требования на ограничения межкадровых угловых и линейных смещений МБЛА между двумя последовательными кадрами.
Расчеты проводились для ПЗС-матрицы размером 500x500 пике, угол обзора камеры 60 град, скорость полета МБЛА 25 м/с, частота кадров 10 кадров/с. Полученные результаты показывают максимально допустимое межкадровые изменения положения и ориентации МБЛА за время между двумя последовательными кадрами.
Решение навигационных задач
Оценка параметров полета беспилотного летательного аппарата предполагает решение следующих навигационных задач:
1) Определение координат и высоты полета МБЛА;
2) Определение углов ориентации МБЛА в пространстве.
На основе обзорно-сравнительных методов первая задача решается с помощью нахождения наземных ориентиров и оценки координат МБЛА относительно этих ориентиров. Перед полетом в память ЦСАУ вводится информация о промежуточных наземных пунктах заданного маршрута в виде эталонных изображений и координат соответствующих наземных ориентиров. Поиск и оценка координат наземных ориентиров решаются аналогично задачам поиска объектов [15-17] с помощью корреляционно-экстремальных навигационных систем.
Вторая задача может быть выполнена с помощью методов аналитической фотограмметрии, позволяющих решать задачи внешней и внутренней ориентации приемной камеры [22-23].
Пусть камера движется относительно неподвижной поверхности Земли. Движение камеры относительно поверхности Земли приводит к изменениям яркостной картинки изображения. Для вычисления относительного движения используются два основных понятия: оптический поток и «поле движения». Оптическим потоком называется кажущееся движение яркостной картинки. Поле движения определяется следующим образом: каждой точке изображения соответствует вектор скорости. Точка р соответствует точке Р на поверхности Земли (Рис. 2.6). Эти две точки связаны уравнениями проектирования. Скорости определяются выражениями V0 =dr0/dt и Vt = dri/dt, где г0 и ri связаны соотношением rtl /,==г0/г0 . Дифференцируя это уравнение центральной проекции, получаем где z - единичный вектор вдоль оптической оси камеры, / - расстояние от плоскости изображения до точки О. Существует несколько способов расчета относительного движения камеры: дискретный, дифференциальный и метод наименьших квадратов. При дискретном подходе используется информация от нескольких точек изображения. Поскольку сразу встает вопрос о выборе оптимального количества точек, при этом подходе требуется поиск особых точек на изображениях, полученных в разные моменты времени. Дифференциальный подход сводится к вычислению движения камеры через первые и вторые пространственные частные производные оптического потока. Недостатком является увеличение шума в измерениях оптического потока за счет дифференцирования. При использовании дискретного и дифференциального подходов делается допущение, что оптические данные не содержат ошибок.
Метод наименьших квадратов для вычисления относительного движения камеры использует все поле оптического потока. Этот метод учитывает расхождения в имеющихся данных и является достаточно устойчивым для численного решения. Ниже более подробно рассмотрим вычисления движения камеры в статической окружающей обстановке с использованием метода наименьших квадратов. Систему координат свяжем с камерой, так чтобы ось Z совпадала с оптической осью камеры. Движение твердого тела можно разложить на две составляющие: мгновенное поступательное движение (Ои мгновенное вращение {(b) вокруг оси, проходящей через начало координат. Текущие координаты точки
Р окружающего мира (X,Y,Z)T. Скорость точки Р относительно системы координат XYZ будет иметь вид V = -cbxr, где t = (U,V,W)T - мгновенное поступательное движение; сд = (А,В,С) - мгновенное вращение. Точка Р переходит в соответствующую точку р путем центральной проекции (Рис. 2.6), mex = X/Z; y = YIZ.
Оптический поток в точке р(х,у) обозначим через (u,v), где и = х и v = y. Если продифференцировать уравнения для х и у по времени и использовать выражения следующие уравнения для оптического потока: (2.2)
Оптический поток можно разбить на поступательную составляющую (ut,vt) и вращательную составляющую (ur,vr) оптического потока, т.е.
Метод наименьших квадратов состоит в минимизации некоторой нормы отклонения. Для нашей задачи будем использовать норму
Структура комплексного алгоритма системы наблюдения
Процесс наблюдения, реализуемый системой наблюдения, включает аппаратные средства и алгоритмическое обеспечение. СН принимает визирным устройством (ВУ) информацию в виде изображения.
СН может решать следующие задачи: о принадлежности наблюдаемого объекта к определенному классу объектов - в задачах распознавания; о значениях координат объекта - в задачах обнаружения и поиска.
Структура алгоритмов наблюдения (АН) зависит от многих факторов: вида решаемых задач; объема и вида априорной информации; условий наблюдения; имеющихся аппаратных средств и пр.
Обычно в качестве основных критериев (показателей) эффективности при оценке АН выбирают точность (достоверность) принятых решений или затраты машинного времени.
При стабильной освещенности наблюдаемой сцены, высокой контрастности объекта наблюдения относительно фона наиболее выгодно использовать простые алгоритмы. Более сложными являются адаптивные алгоритмы обработки изображений. В этих алгоритмах выбор АН производится в зависимости от поставленных условий работы СН. Адаптивные алгоритмы могут функционировать в сложных условиях наблюдения, при изменении решаемой задачи, при различных критериях оптимизации системы и т.д.
В общем случае процессы, реализуемые в СН с помощью АН, могут быть представлены в виде отдельных этапов, реализуемых последовательно или параллельно.
Проведенные исследования показали следующее:
1. Обработка изображений в КАОИ должна строиться на блочном разбиении исходных изображений.
2. Во всех процессах поиска идентичных фрагментов изображений наиболее эффективным является алгоритм MAD.
3. При сжатии изображений целесообразно использовать алгоритм ДКП и алгоритм межкадрового сжатия «с предсказанием вперед», основанные на блочной обработки изображений.
На основании полученных результатов исследований была разработана структура КАОИ, в состав которой включены следующие частные алгоритмы (табл. 3.1).
Блок 1 - приемник изображения.
Блок 2 - текущее цифровое изображение (ТИ). Блок 3 - буфер для хранения предыдущего изображения.
Блок 4 - эталонное изображение (ЭИ). В данном блоке в зависимости от предполагаемого местоположения и высоты полета формируется эталонное изображение на основе заложенных заранее изображений наземных ориентиров, координаты которых известны и хранятся в памяти ЦСАУ.
Блок 5 - рабочее эталонное изображение (РЭИ). Если решается задача оценки углов ориентации, поиска наземных подвижных объектов и передача и/или хранение изображений, то в качестве РЭИ используется предыдущее изображение из блока 3. Если решается задача оценки положения МБЛА по наземным ориентирам - то в качестве РЭИ используется ЭИ (блок 4).
Блок 6 - выделение блоков. Разбиение ТИ на блоки.
Блок 7 - свертка блоков. В данном блоке реализовано поблочное сравнение ТИ и РЭИ с помощью функции среднего модуля разности (3.3). В результате данной операции получается поле векторов смещения («поле движения»).
Блок 8 - анализ поля движения.
В блоке 8 производится анализ полученных векторов.
Выбор алгоритма для анализа поля движения реализуется в блоке 9.
При решении навигационных задач включается блок 10, где СУ - система управления, формирующая сигналы управления.
Для сжатия и передачи данных по радиоканалу служат блоки 11, 12,13.
В ряде случаев сложность реализации СН связана с переработкой больших объемов информации за ограниченное время. Серым цветом отмечены блоки, алгоритм которых не меняется от решаемой задачи, и в то же время именно эти блоки требуют наибольших вычислительных затрат, так как они связаны с обработкой изображений. Объединение данных алгоритмов существенно сократит объемы вычислений без ухудшения качества решения целевых и навигационных задач. Таким образом, предлагаемый и разработанный КАОИ позволяет организовать все базовые вычисления, связанные со сравнением отдельных блоков изображений, в едином вычислительном блоке 7, что существенно сократит потребные вычислительные ресурсы ЦСАУ.
В данной главе разработана и предложена блок-схема комплексного алгоритма обработки изображений (КАОИ) подстилающей поверхности Земли на борту МБЛА. КАОИ обеспечивает не только решение целевых и навигационных задач на борту МБЛА в реальном времени, но и расширяет область применения данного подхода. Для оценки точности и работоспособности предложенного КАОИ необходимо:
1. Провести исследования точности оценки положения и ориентации МБЛА на основе обработки изображений подстилающей поверхности с помощью КАОИ.
2. Провести расчеты вычислительных затрат на работу КАОИ и выбрать сигнальные процессоры, которые обеспечивают работоспособность предложенного алгоритма в реальном времени.
3. Провести сравнительный анализ полученных точностных характеристик КАОИ и «Компанав-2».
Оценка точности определения положения и ориентации МБЛА системой наблюдения
Для определения положения и ориентации видеокамеры, входящей в состав системы наблюдения, необходимо использовать подготовленные заранее эталонные изображения или изображение предыдущего кадра. Эти изображения сравниваются с принимаемыми текущими изображениями (Current Image СІ). Результаты сравнения позволяют оценить относительное положение, ориентацию видеокамеры или выбранного ориентира.
Ошибки оценки относительных координат и ориентации в основном определяются ошибками совмещения эталонного и текущего изображений.
Требуемая точность оценки координат ориентиров также должна определяться требованиями к точности работы системы наблюдения. Фактическая точность оценки зависит от ряда факторов, в том числе от условий наблюдения, разрешающей способности видеоаппаратуры и пр.
Для оценки ошибок определения координат МБЛА, обусловленных совмещением эталонного и текущего изображений, необходимо определить связь между координатами самолета и координатами изображений, принимаемых системой наблюдения.
При использовании системы наблюдения для измерений навигационных параметров самолета необходимо, чтобы в области зрения камеры находились наземные ориентиры с известными координатами, которые можно использовать в качестве навигационных ориентиров.
В результате наблюдений определяются координаты ориентиров в плоскости наблюдения (дискретные пиксельные координаты в матрице плоскости наблюдения), которые связаны с координатами самолета.
На основе этих систем координат можно записывать координаты наблюдаемого элемента поверхности Земли в системе координат бортовой аппаратуры (вектор \ср = [хср уср zCP ]т) в соответствии с уравнением: где Св - постоянная переходная матрица из связанной в систему координат бортовой аппаратуры; CBN - переходная матрица из системы координат бортовой аппаратуры в неподвижную систему координат;
Здесь 8 -угол визирования бортовой аппаратуры наблюдения; у,8,у/ -углы
крена, тангажа, рыскания. Уравнение (4.1) показывает взаимоотношение между координатами ЛА и его ориентацией и координатами наблюдаемого элемента поверхности Земли в системе координат бортовой аппаратуры. Перейдем от исходного векторного уравнения (4.1) к скалярной записи уравнений. Полученные скалярные уравнения имеют вид: Составляющие вектора координат x связаны с пиксельными координатами на плоскости наблюдения (up,vp) следующими соотношениями:
На основании известных характеристик бортовой аппаратуры и уравнения (4.2) можно оценить ошибки определения координат и ориентации, обусловленные ошибкой совмещения эталонного и текущего изображения.
Из-за дискретности пиксельных координат в плоскости наблюдения, даже при правильном совмещении ЭИ и ТИ, возникают ошибки оценки координат и ориентации МБЛА. В дальнейшем все расчеты были приведены для максимальной ошибки совмещения 1 пике. Также вышеуказанные ошибки зависят от угла установки видеокамеры на борту МБЛА.
На рис. 4.2 - 4.7 представлены графики ошибок определения координат при ошибке совмещения сопряженных точек 1 пике, в зависимости от высоты полета самолета и различного разрешения видеокамеры (база 6=50 м, камера смотрит вертикально вниз). На рис. 4.2 - 4.4 показаны графики ошибок определения координат камеры в продольном и боковом направлении при горизонтальном полете и нулевых углах ориентации. По горизонтальной оси - изменение высоты в метрах, по вертикальной оси - ошибка в метрах.A
