Содержание к диссертации
Введение
Глава 1. Обзор методов и подходов к созданию планировщиков перемещений мобильных роботов 11
1.1 Анализ задач в области планирования перемещений мобильных роботов 11
1.2 Обзор существующих подходов к созданию планировщиков перемещений мобильных роботов
1.2.1 Дискретные методы планирования пути 18
1.2.2 Планирование движений в непрерывных пространствах 20
1.2.3 Методы обхода препятствий 27
1.2.4 Методы визуального планирования и обхода препятствий 30
1.2.5 Нейросетевые планировщики 31
Выводы по главе 1 34
Глава 2. Разработка нейросетевого планировщика перемещений подвижных объектов 36
2.1 Постановка задачи 36
2.2 Конструирование планировщика
2.2.1 Выбор представления траекторий 38
2.2.2 Синтез обобщенной структуры планировщика 40
2.2.3 Глобальное планирование траекторий 43
2.2.4 Нейросетевой локальный планировщик с существенной предобработкой данных. 47
2.2.5 Нейросетевые алгоритмы на основе сверточных нейронных сетей 50
2.3 Комплексирование локальной и глобальной траекторий движения 64
Выводы по главе 2 66
Глава 3. Моделирование визуального нейросетевого планировщика перемещений подвижных объектов 67
3.1. Структура программного комплекса для конструирования и моделирования и реализации неиросетевых планировщиков перемещений 67
3.2. Программный модуль для реализации и моделирования нейронных сетей 70
3.3. Библиотека для реализации неиросетевых планировщиков на языках высокого уровня 75
3.4. Моделирование визуального нейросетевого планировщика 81
3.4.1. Генерация обучающей выборки з
3.4.2. Результаты моделирования 82
Выводы по главе 3 84
Глава 4. Экспериментальное исследование визуального неиросетевого планировщика перемещений подвижных объектов
4.1 Описание подвижного объекта для экспериментального исследования 85
4.2 Сбор обучающих данных 86
4.3 Обучение и результаты эксперимета 88
Выводы по главе 4 91
Заключение 92
Приложение а 93
Приложение б 144
Библиографический список
- Планирование движений в непрерывных пространствах
- Выбор представления траекторий
- Программный модуль для реализации и моделирования нейронных сетей
- Обучение и результаты эксперимета
Введение к работе
Актуальность темы.
Развитие таких областей науки как информатика, механика, микроэлектроника, ' кибернетика, позволило разработать и реализовать множество эффективных исполнительных механизмов, сенсорных устройств, средств вычислительной техники, используемых при реализации подвижных объектов (ПО). С другой стороны ключевой проблемой на пути создания автономных подвижных объектов является разработка системы управления, способной на основе данных от сенсорной системы формировать такие управляющие воздействия на исполнительные механизмы (ИМ), которые позволяли бы выполнять поставленные перед ПО задачи автономно, в априори неформализованных или частично формализованных средах. Различным аспектам этой проблемы посвящены работы как отечественных (Галушкин А.И., Каляев И.А., Капустяя С.Г., Лохин В.М., Люмельский В.Ю., Макаров И.М., Манько СВ., Носков В.П., Пшихопов В.Х., Чернухин Ю.В., ГОревич Е.И.), так и зарубежных (Kavraki L. Е., Khatib О., Lamond J.-P., Latombe J.C., LaValle S.M., LeCun Y., Lindemarm S.R.) ученых.
Для реализации такой- системы управления необходима разработка интеллектуального планировщика, способного формировать траектории движения на основе сенсорных данных в реальном режиме времени для тактического уровня системы управления в соответствии с глобальными целями и задачами ПО. На сегодняшний день планирование перемещений подвижных объектов является довольно хорошо изученной проблемой, для решения которой существует ряд методов и алгоритмов имеющих свои достоинства и недостатки.
Так, классические методы планирования перемещений голономных и неголономных подвижных объектов позволяют получить решения, минимизирующие выбранный критерий, и. подходят для сред с большим количеством статических объектов, но не применимы для планирования в реальном времени. Подходы, основанные на применении лазерных сканирующих систем, позволяют получить профиль статических и динамических препятствий и сформировать траекторию обхода этих препятствий, но в силу габаритов и стоимости этих систем их область применения ограничена. Напротив, использование довольно дешевых и малогабаритных ультразвуковых или инфракрасных дальнометрических датчиков, предоставляет слишком мало данных о внешней среде, чтобы осуществлять эффективное планирование движения. В этой связи системы технического зрения на базе телекамер позволяют получать полную информацию о внешней среде ПО, обладая сравнительно малыми габаритами, стоимостью и энергопотреблением. Именно поэтому, усилия многих научных коллективов направлены на создание систем планирования, способных на основе визуальной информации формировать траектории движения, необходимые для выполнения задач, поставленных перед подвижным объектом. Такие планировщики называют визуальными.
В диссертации решается задача разработки и исследования метода построения нейросетевых визуальных планировщиков перемещений подвижных объектов, позволяющих формировать траектории движения на основе визуальной
информации в априори неформализованных средах посредством обучения. Данный метод представляет интерес при проектировании современных автономных и автоматизированных подвижных объектов.
Тематика диссертации соответствует приоритетным направлениям развития науки, технологий и техники в Российской Федерации «Транспортные, авиационные и космические системы», «Перспективные вооружения, военная и специальная техника», а также критическим технологиям «Базовые и критические военные, специальные и промышленные технологии», «Технологии создания и управления новыми видами транспортных систем».
Целью диссертационной работы является расширение функциональных возможностей, повышение быстродействия и точности отработки заданий подвижными объектами за счет разработки метода построения, исследования и практической реализации визуальных нейросетевых планировщиков перемещений.
Объектом исследования в диссертационной работе являются системы планирования перемещений подвижных объектов.
Предметом исследования является метод и процедуры построения, обучения и моделирования визуальных нейросетевых планировщиков перемещений подвижных объектов.
Методы исследования. Для решения поставленных в работе задач применились методы теории искусственных нейронных сетей, нейроинформатики, систем технического зрения, вычислительных систем. Проверка полученных теоретических результатов выполнялась с использованием методов численного моделирования в среде MATLAB и подтверждена результатами натурных экспериментов на автономном мобильном роботе «Скиф-3».
Наиболее существенные научные результаты, полученные лично автором, и степень их новизны:
- метод построения визуальных нейросетевых планировщиков, впервые
использующий сверточные нейронные сети для интеллектуальной обработки
входных данных и позволяющий на основе параметров входных и выходных
данных определить структуру и состав планировщика уже на стадии его
проектирования, а также, в отличие от известных подходов, исключить из
структуры планировщика блоки предобработки данных, что обеспечивает
возможность функционирования планировщика в реальном масштабе времени;
метод формирования обучающей выборки для нейросетевого планировщика, отличающийся от экспертного формирования выборки использованием дополнительных сенсоров, а также наличием специальных алгоритмов, увеличивающих репрезентативность выборки, что позволяет автоматизировать процесс адаптации планировщика к изменяющимся условиям внешней среды, и, по сравнению с известными результатами, ускорить сходимость процесса обучения и снизить количество неверно распознанных ситуаций;
метод программно-аппаратной реализации планировщиков, отличающийся использованием особенностей процесса обратного распространения ошибки в сверточных нейронных сетях, что позволяет, в сравнении с планировщиками на
базе полносвязных сетей, сократить сроки реализации систем управления и повысить' их быстродействие;
- визуальный нейросетевой планировщик перемещений подвижных объектов,
не требующий, в отличие от известных решений, применения активных
сенсорных устройств, отличающийся алгоритмами обучения и видом
формируемых траекторий, что ' позволяет расширить функциональные
возможности подвижных объектов, увеличить точность выполнения ими заданий
и уменьшить их габаритные размеры.
Теоретическая значимость работы.
Представленный в диссертации метод существенно дополняет известные теоретические подходы к проектированию планировщиков перемещений для подвижных объектов, т.к. позволяет конструировать планировщики, формирующие траектории движения в виде как линейных, так и квадратичных форм базовых координат на основе только визуальной информации, без использования активных сенсоров. Кроме того, за счет использования в основе планировщика обучаемой системы, предложенные в работе структурно-алгоритмические решения позволили унифицировать разработанный метод для использования при проектировании систем управления подвижными объектами, функционирующими в существенно различных условиях (условия освещенности, текстуры фона, объектов и т.д.) и решающими существенно различные задачи (обход препятствий, слежение за объектом, движение вдоль визуальных меток).
Практическая значимость работы.
Предложенные методы и подходы позволяют перейти на качественно новый уровень проектирования систем планирования перемещений, обеспечивая повышение точности формирования ими траекторий движения подвижных объектов, степени их обучаемости, а также снижение массогабаритных и стоимостных показателей систем управления в целом. Это позволяет придать подвижным объектам на базе различных носителей (наземные роботы, летательные и подводные аппараты) свойство автономности при перемещении в априори неформализованных средах и существенно расширить их область функционирования.
Реализация результатов. Теоретические и практические разработки, выполненные в рамках данной работы использованы при создании колесного автономного мобильного робота «Скиф-3», а также при выполнении НИР «Разработка экспериментального образца интегрированной системы управления роботизированным воздухоплавательным комплексом на базе дирижабля» (шифр «Автокорд-Т»).
Достоверность полученных результатов:
- обеспечивается применением принципов и методов нейроинформатики,
построения искусственных нейронных сетей, систем технического зрения, а также
строгими математическими выводами;
- подтверждается результатами компьютерного моделирования, а также
экспериментальной реализацией алгоритмов планирования;
- согласуется с данными экспериментов и результатами исследований других
авторов, представленными в печатных изданиях.
Апробация работы. Основные результаты исследований по теме диссертации докладывались на конференции «Перспективные системы и задачи управления» (п. Домбай, 2009 г.), международном коллоквиуме «Мехатроника-2006» (г. Новочеркасск, 2006 г.), первой Всероссийской научной конференции студентов и аспирантов (с международным участием) «Робототехника, мехатроника и интеллектуальные системы» (г. Таганрог, 2005), федеральной итоговой научно-технической конференции «Всероссийского конкурса на лучшие научные работы студентов по естественным, техническим наукам (в области высоких технологий) и инновационным научно-образовательным проектам» (г. Москва, 2004 г.), научно-технической конференции «Экстремальная робототехника» (г. Санкт-Петербург, 2004 г.), научной школы-конференции «Мобильные роботы и мехатронные системы» (г. Москва, 2003 г.).
Высокий уровень разработок по теме диссертации отмечен почетной грамотой и индивидуальным грантом Фонда содействия развитию малых форм предприятий в научно-технической сфере по программе «Участник молодежного научно-инновационного конкурса» («У.М.Н.И.К.», 2009 г), медалью министра образования и науки РФ за лучшую студенческую работу (2005 г.), дипломом победителя федеральной итоговой научно-технической конференции «Всероссийского конкурса на лучшие научные работы студентов по естественным, техническим наукам (в области высоких технологий) и инновационным научно-образовательным проектам» (МИЭМ, Москва, 2004), премией главы администрации (губернатора) Ростовской области за успехи в науке и др.
Публикации.
Основные результаты исследований по теме диссертации изложены в 19 печатных работах, в том числе в 6 статьях в ведущих научных изданиях, рекомендованных ВАК для публикации результатов работ по диссертациям на соискание ученой степени кандидата технических наук, в 13 статьях в материалах Всероссийских и международных конференций. Шесть работ из 19 опубликованы автором единолично.
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, содержащего 140 наименований, и содержания. Текст работы изложен на 194 страницах, содержит 36 рисунков, 5 таблиц и 1 приложение.
Планирование движений в непрерывных пространствах
Управление движением подвижных объектов обычно тесно связано с мобильной робототехникой. Работы над созданием мобильных роботов в нашей стране и за рубежом начались еще в середине прошлого века. Толчком к этому во многом стали космические программы, создание луноходов и марсоходов [1]. В то же время, в народном хозяйстве основной упор шел на развитие манипуляционной робототехники, которая являлась продолжением развития станков с ЧПУ. Еще один стимул в развитии мобильной робототехники в нашей стране был связан с необходимостью ликвидации последствий на Чернобыльской АЭС [2]. Как и в случае луноходов, речь шла о создании дистанционно управляемых роботов.
Не смотря на то, что область применения дистанционно управляемых мобильных роботов довольно широка, полностью автономные мобильные роботы, способные функционировать с минимальным участием человека имеют несравнимо большие перспективы. Учитывая, что уже в 80-х гг. прошлого века существовало множество дистанционно управляемых мобильных роботов [3,4], задачи создания механики, приводов, датчиков нельзя назвать принципиальными на пути создания автономных подвижных объектов (АПО). Главной проблемой было и остается создание системы управления, способной свести к минимуму участие человека в управлении ПО. Современную систему управления АПО можно условно разделить на два уровня, как показано на рисунке 1.1 [5]. Нижний, тактический, уровень представляет собой регулятор, реализующий заданный закон управления и формирующий управляющие воздействия на исполнительные механизмы ПО в соответствии с некими элементарными заданиями. Высокий (стратегический) уровень представляет собой планировщик.
Планирование в разных областях человеческой деятельности понимается по-разному. В управлении движением подвижных объектов под планированием перемещений обычно понимаются алгоритмы перевода высокоуровневой спецификации задачи в низкоуровневое описание движений [6]. Данная функция является критичной для создания полностью автономных подвижных объектов.
Не смотря на то, что исследования в области планирования перемещений мобильных роботов ведутся с 60х годов 20 века, наиболее активно данная тема начала развиваться в конце 70-х гг. В то время планирование перемещений мобильных роботов было задачей, лежащей в области математики и компьютерных наук. Основной целью исследователей в то время была разработка строго обоснованных алгоритмов с хорошо изученными свойствами полноты и точности [5]. В западной литературе задача планирования перемещений мобильных роботов часто называется задачей «грузчиков-тяжеловесов» (piano mover problem). Суть ее сводится к поиску пути, который позволит переместить робот, заданный своей сложной в общем случае геометрической формой из начальной точки в заданную. При этом предполагается, что внешняя среда определена, нестационарные препятствия отсутствуют, а для стационарных задана их геометрия.
Благодаря развитию манипуляционной робототехники в 70-х гг. широкое распространение получило понятие конфигурационного пространства. В таком пространстве сложный объект становится точкой и ставится задача построить траекторию уже не в Евклидовом пространстве, а в многомерном конфигурационном [5].
В начале 80-х годов особую популярность у ученых имеет тема планирования перемещений неголономных роботов, которая также пришла из области манипуляционной робототехники. Сложность планирования перемещений неголономных мобильных роботов заключается в том, что такой робот может попасть в любую точку пространства, но не может передвигаться по любой траектории. Наиболее наглядно такую задачу демонстрирует автоматическая парковка автомобиля [7].
Основополагающим допущением всех алгоритмов планирования перемещений на тот момент являлось знание полной и точной карты внешней среды. Более того, учитывались только системы, описываемые строгими формальными системами уравнений, которые не принимали во внимание многие особенности реальной системы, такие как неточности модели мира и самой системы. Такое допущение являлось слишком сильным для реализации алгоритмов планирования на практике.
Параллельно развитию методов и алгоритмов классического планирования перемещений развивалось более близкое к практике направление, связанное с проблемами обхода препятствий [5]. В такой постановке задачи не принимались во внимание сложные кинематические и динамические связи, наложенные на систему, или ее геометрия. Исследования в области обхода препятствий в основном связаны с движением робота на основе сенсорных данных и призваны ответить на вопрос: как управлять роботом в беспорядочной внешней среде, где статические и динамические препятствия появляются в реальном времени? Следует отметить, что, если классические алгоритмы планирования перемещений подразумевают полную сепарацию планировщика от сенсорной системы, то при решении задач обхода препятствий эти две подсистемы тесно связаны. От планировщика, как подсистемы обхода препятствий в первую очередь требуется обнаружить препятствие и обойти его в реальном времени. Требование функционирования в реальном времени является, помимо прочего, трудно преодолимым для классических алгоритмов планирования перемещений. К задаче обхода препятствий можно также отнести задачу слежения за объектом и навигацию по внешним ориентирам, которые аналогичны по использующимся алгоритмам, но имеют другие цели.
Выбор представления траекторий
Сверточная нейронная сеть Каждый нейрон слоя принимает на вход значения с некоторой ограниченной области изображения, находящейся в окрестности данного нейрона. Идея использования локальных рецепторных полей в задачах распознавания была предложена еще в 60-х годах на основе знаний, полученных при изучении зрительной системы млекопитающих. Локальные рецепторные поля позволяют СНС извлекать информацию об элементарных признаках изображения, таких как границы, углы, конечные точки и др. Данные признаки составляют карты признаков, которые затем анализируются следующими слоями. Для того, чтобы элементарные признаки могли быть одинаково хорошо распознаны в разных частях изображения, на веса вводятся дополнительные ограничения, с тем, чтобы они были одинаковы для всех нейронов слоя. Различные наборы весов, применяемые к изображению, формируют различные карты признаков, которые в дальнейшем комбинируются и анализируются следующими слоями для получения новых карт признаков. Данная операция эквивалентна операции свертки с некоторым ядром. За каждым сверточным (С-) слоем следует (S-) субдискретизирующий слой, который уменьшает размерность карты признаков в два раза путем усреднения, а также применяет некоторую функцию активации к результату. Такое чередование слоев приводит к уменьшению пространственной размерности карт признаков при одновременном увеличении их количества. Для обработки данных на выходе сверточной нейронной сети обычно используется полносвязная сеть. Схематично СНС показана на рис. 2.7.
Любую обучающуюся систему можно представить, как показано на схеме (рис. 2.8). Обучаемая система вычисляет функцию M(Z,W), где 2? — р-ый входной вектор, a W представляет собой множество настраиваемых параметров. Целевая функция Ер = C(DP,M{ZP, W)) оценивает разницу между выходами обучаемой системы и желаемыми выходами Dv. Ошибка Е, Е\... Ер
Как уже было сказано, сверточная нейронная сеть состоит из двух типов слоев, идущих поочередно: С-слои и S-слои. Пусть I - входное изображение, содержащее w точек по горизонтали и Л по вертикали. С-слой задается своими матрицами разделяемых весов W , смещений В , где к номер С-слоя, am- номер матрицы весов или смещений для данного слоя. Введение нескольких матриц разделяемых весов для одного слоя определяется стремлением выделять различные признаки на одном изображении. Размер матрицы W может быть различным, но чаще всего она выбирается квадратной, с размерами 7x7, 5x5 или 3x3. Выход сверточного слоя называют картой признаков и обозначают FM. Процесс прямого распространения в сверточном слое описывается следующим выражением: где Хт — т-ая карта признаков (матрица выходов) к-го слоя, Q — количество входных карт признаков, т.е. количество выходных карт признаков слоя к-\; Ww и Wh соответственно количество столбцов и строк матрицы разделяемых весов; Xq_1 - q-ая карта признаков на выходе предыдущего слоя, для первого слоя Хц г = Iq. Результатом операции (2.10) является карта признаков меньше исходной карты признаков на Ww — 1 по горизонтали и на Wh — 1 по вертикали. Выражение (2.10) можно также переписать для всей карты признаков на выходе слоя: Q Хкт = Yiconv{X ,W n)+B ), (2Л1) 4=1 где conv — функция двумерной свертки. Как видно из выражения в такой записи карта признаков на выходе предыдущего слоя выступает как сигнал, а матрица весов текущего слоя как ядро свертки или двумерный фильтр.
Для субдискретизирующего слоя процесс прямого распространения описывается следующим выражением: где F представляет собой функцию активации, a. Sr — степень субдискретизации. В результате прохода через S-слой карта признаков становится в Sr раз меньше по горизонтали и вертикали, путем усреднения.
При использовании НС в различных задачах одной из главных проблем является выбор архитектуры. На сегодняшний день не существует универсального метода выбора количества слоев, и нейронов в слое для различных задач. Ситуация усугубляется еще и тем, что для классических многослойных НС избыточное количество нейронов и слоев может привести к эффекту переобучения, что негативно скажется на процессе аппроксимации или классификации. Это привело к появлению методов редукции сети, таких как OBD (optimal brain damage) [109].
Сверточные НС (СНС), благодаря разделяемым весам практически не подвержены переобучению, поэтому избыточное количество слоев и весов обычно приводит к тому, что разные наборы весов настраиваются на выделение одинаковых признаков и дублируют друг друга. Основной негативный эффект от этого — снижение быстродействия планировщика и невозможность функционирования в реальном времени. Таким образом, для построения СНС требуется, на основе информации о размерности входного изображения и требований к выходным данным, определить следующие параметры:
Основной параметр для выбора архитектуры сети — это тип и размер входного изображения. По типу изображение может быть либо в градациях серого, либо цветное. Предполагается, что первый тип изображения кодируется в виде двумерного массива интенсивностеи размером WxH, где W - ширина изображения (количество столбцов массива), а Н - высота изображения (количество строк массива). Цветное изображение соответственно кодируется в виде трехмерного массива, размером WxHx3, который представляет собой красную, зеленую и синюю составляющие.
В данной работе предлагается формировать структуру СНС по принципу пирамиды, постепенно от слоя к слою снижая размерность карты признаков, при этом увеличивая их количество таким образом, чтобы размерности карт признаков на выходе последнего сверточного слоя составляли 1x1. При таком подходе количество слоев будет зависеть от выбранных размеров ядер свертки. Снижение размерности карты признаков происходит естественным образом за счет свертки и субдискретизации. Из анализа литературы по тематике сверточных нейронных сетей [110-112] можно сделать вывод, что использование ядер свертки больше чем 5x5 редко дает положительный эффект. Выбор количества карт признаков для каждого слоя зависит от сложности признаков, которые должны быть детектированы сетью и определяется экспериментально.
Программный модуль для реализации и моделирования нейронных сетей
В качестве задачи для эксперимента была выбрана задача обход препятствий автономным колесным мобильным роботом. В качестве среды использовалось помещение лаборатории. В качестве препятствий выступали коробки различных размеров и текстур. Фон - текстурированный пол, и прочие объекты на заднем плане, освещенность различная.
Поскольку возможность работы планировщика в реальном масштабе времени показана в главе 3, в данной главе предполагается формирование обучающей выборки, для последующего обучения, тестирования и анализа результатов на стационарном компьютере.
Для практического исследования разработанной системы использован мобильный робот (MP) «Скиф-3» [136], изображенный на рисунке 4.1. Данный робот представляет собой колесную тележку танковой кинематической схемы, с установленными на нее двумя двигателями постоянного тока. В качестве сенсоров используется фронтальная камера Axis 206 [137], также опционально может устанавливаться лазерная сканирующая дальнометрическая система Sick LMS-291-S05 [138]. Структура системы управления MP представлена на рис. 4.2.
Данные от камеры и опционально устанавливаемого лазерного сканера поступают через канал Ethernet по средством маршрутизатора на бортовой компьютер Advantech промышленного исполнения на базе процессора Intel Celeron М 1 ГГц, с 1 Гб ОЗУ, твердотельным накопителем. Бортовой компьютер работает под управлением операционной системы жесткого реального времени QNX 6.2 [139]. На компьютере функционирует разработанный автором (в соавторстве) программный комплекс, в который, помимо прочего, входят планировщик и векторный регулятор. Планировщик формирует траектории движения в виде коэффициентов квадратичных форм, а регулятор формирует управляющие воздействия в виде скоростей для левого и правого колеса и отправляет их на микроконтроллерный блок управления (МКБУ). МКБУ помимо осуществления локального ПИД- регулирования скоростями вращения колес, вычисляет координаты робота в базовой системе координат на основе интегрирования показаний енкодеров, которые механически связаны с осями двигателей.
Для наилучшего обучения нейросетевого планировщика, предложенного в данной работе, требуется избыточное количество данных (порядка нескольких тысяч), так как он не подвержен переобучению. Сбор такого количества данных вручную, а тем более экспертное задание этих данных задача довольно трудоемкая. Поэтому было предложено автоматизировать процесс сбора обучающих данных путем использования дополнительного сенсора. В частности, предлагается использовать лазерную сканирующую систему на этапе сбора данных для получения точных координат препятствий.
Для этих целей управляющее программное обеспечение мобильного робота было модифицировано для работы в режиме сбора данных. Суть модификации в следующем: по команде оператора запускался цикл, в котором последовательно считывались данные с лазерного сканера и изображение с камеры. Лазерный сканер Sick выдает на выходе 540 значений дальностей для диапазона 270 с разрешением 0,5. Эти данные записываются построчно в текстовый файл. Изображения, получаемые от камеры сохраняются на накопителе пронумерованными таким образом, чтобы номер в имени файла изображения соответствовал строке в текстовом файле.
Одна из сложных технических проблем при реализации данного подхода - это одновременность сбора данных. Точнее, поскольку идеальной одновременности добиться не возможно, важно, чтобы временной сдвиг между данными изображения и лазерного сканера был минимален и одинаков. Для достижения этого условия в данной работе использовалась двухпоточная программная модель, а также ОСРВ QNX, гарантирующая одинаковое время отклика на запрос программы. Но как будет показано в конце главы даже эти меры не спасали от переменных задержек в передаче данных от камеры и сканера по сети Ethernet.
Для корректного обучения необходимо осуществить сопоставление данных изображения с камеры и данных с лазерного дальномера. Для калибровки системы «камера-сканер» предложено использовать тонкий длинный предмет, выставленный перед роботом, перпендикулярно поверхности пола, как показано нарис. 4.3.
Визуально калибровочный объект выставляется точно по центру изображения. С помощью графического редактора уточняется, находится ли он на самом деле по центру. На основе дальнометрической информации вычисляется угол поправки, который в дальнейшем вносится при обучении системы.
Обучение и результаты эксперимета
Для ускорения сходимости процесса обучения данные подвергались трем этапам обработки. На первом этапе цветные RGB-изображения сжимались до размеров 160x80 и преобразовывались в формат HSV, как описано в главе 2.
На втором этапе обрабатывается дальнометрическая информация. Во-первых, игнорируются препятствия, обнаруженные за пределами интервала [-30 30], поскольку это соответствует углу обзора камеры, а обучить нейронную сеть обходить препятствия, которые она не видит невозможно. Кроме того, отсекались объекты, обнаруженные далее чем за метр до робота. Такое ограничение выбрано для того, чтобы нейронная сеть обучилась реагировать только на ближние объекты.
Поскольку данные полученные от лазерного сканера представляют собой, так называемое, облако точек, к ним применяется операция известная в методах цифровой обработки изображений как расширение [dilate]. Суть операции для бинарного изображения можно представить выражением: х,у = x-i,y-l\Ix-l,y \ х-1,у+г \ х,у-1 \ х,у \ х,у+1 \ х+1,у 1 \ х+1,у \ х+г,у+1 где / — новое изображение, - операция конъюнкции.
Результатом расширения являются сегментированные границы препятствий. Следующим шагом является вычисление центров этих сегментов хо, уо и видимых размеров хс, ус, а затем на основе них коэффициентов квадратичной формы, в соответствии с выражениями:
Используя предложенную методику, было с обрано 5000 обучающи х пар «изображение - дальнометрический профиль» и 300 тестовых. 30 произвольно выбранных изображений из обучающей выборки представлены ,. на рис. 4.5.
После проведения процедур предобработки и нормализации обучающей выборки, было осуществлено обучение нейросетевого планировщика перемещений. График обучения представлен на рис. 4.6. В данном графике использовалась более подходящая для стохастического обучения форма представления, в которой каждая точка, являлась средним значением ошибки за все предыдущие образцы. Такой график, не смотря на то, что не предоставляет информации о точном значении ошибки для текущего обучающего образца, дает общее представление о динамике обучения. На графике 4.5 усредненная ошибка выводилась после каждых 50 обучающих пар.
Обученная нейронная сеть была протестирована на тестовом множестве из 300 образцов, не учавствовавших в обучении и показала ошибку классификации в 4,33%, а СКО 0,17 м.
На рисунке 4.7 представлено входное изображение, после прохождения первых трех слоев нейронной сети. Как видно из рисунка разные слои настраиваются на выделение различных признаков изображения.
Эволюция входного изображения в сверточной нейронной сети Примеры построения траекторий обхода препятствий представлены на рис. 4.8. В верхней части рисунка показаны изображения на выходе камеры, которые являлись входными для нейросетевого планировщика. В нижней части представлены профили дальностей, которые были недоступны для планировщика и служили для оценки качества его работы. На этих рисунках прямоугольником показан робот, точками показан профиль препятствия, пунктирной линией показана траектория, сформированная геометрически с учетом знаний о профиле препятствия, сплошной линией показана траектория на выходе планировщика.
На рисунке 4.9 приведены примеры ошибочно построенных траекторий. Анализ тестовых выборок, неправильно распознанных в процессе тестирования сети позволяет сделать вывод, что по большей части ошибки происходят из-за несоответствия данных камеры и лазерного дальномера, что вызвано их рассинхронизацией в результате неконтролируемых и непостоянных задержек прохождения пакетов по сети Ethernet. Выборка б) представляет типичную ситуацию, когда из за слишком быстрого перемещения дальномертический кадр отстал от изображения камеры. Важно отметить, что данные с аналогичными погрешностями использовались при обучении, что не могло не сказаться на результатах работы нейросетевого планировщика. Отсюда можно сделать вывод, что при правильном подборе аппаратных средств, или же при реализации аппаратной синхронизации между камерой и лазерным сканером возможно добиться еще лучшего качества планирования траекторий.
В четвертой главе представлены результаты практической реализации и проведенных экспериментов по обучению визуального нейросетевого планировщика перемещений подвижных объектов. Поскольку прямых аналогов представленного в диссертации планировщика нет, в таблице 4.1 представлено сравнение с наиболее близкими результатами, полученными другими авторами.
Методы Преимущества метода, предложенного в настоящей диссертации Метод потенциальных полей [37] Формирование траектории обхода препятствий на основе визуальной информации без необходимости применения дополнительных сенсоров Метод оптических потоков [64] Для формирования траектории обхода не требуется последовательность кадров Метод контрольной области [62] Может использоваться изображение в градациях серого, не зависит от состояния контрольной области Метод нейросетевого рулевого управления [73] Траектории планируются в виде кривых второго порядка, за счет чего достигается большая гладкость движения робота, а также возможность комплексирования глобальной траектории с локальной
В работе, на основании выполненных исследований разработан метод, который позволил решить научную задачу построения нейросетевого визуального планировщика перемещений для подвижных объектов, функционирующих в формализованных и априори неформализованных средах, и имеющую важное хозяйственное значение.
