Введение к работе
Актуальность темы. В настоящее время, как в России, так и за рубежом широко ведутся разработки систем технического зрения (СТЗ) различного назначения. Практически все мобильные роботы (MP) снабжаются СТЗ. Это роботы, используемые в чрезвычайных ситуациях, для военного применения, патрулирования и охраны важных объектов, подводные роботы. СТЗ устанавливаются на дистанционно пилотируемые летательные аппараты (ДПЛА) и космические аппараты различного назначения, а также широко используются в домашних и учебных роботах. Наконец, это планетоходы, предназначенные для исследования поверхности других планет. Большое прикладное значение имеют специализированные СТЗ, работающие в ИК-диапазоне: это медицинские и военные тепловизоры, тепловизоры для роботов МЧС и ДПЛА.
В последнее время среди разработчиков MP сформировалось понимание того, что современные достижения науки и техники в большинстве случаев не позволяют создавать полностью автономные системы, оставаясь в рамках приемлемой стоимости таких MP. Поэтому всё большее внимание уделяется супервизорному управлению MP, при котором лишь часть функций выполняется автономно с помощью бортовых систем, а конечный анализ обстановки, принятие решений и выдача команд на включение тех или иных программ управления возлагается на оператора. При этом предлагаемые решения должны распространяться и на супервизорное управление группой мобильных роботов.
Отличительной особенностью подобных систем является: а) наличие в составе информационно-измерительной и управляющей системы (ИИУС) MP двух контуров управления - внутреннего и внешнего, которые разделены коммуникационной средой, причём в оба контура управления входит СТЗ, установленная на мобильной части ИИУС; Ь) во внешнем контуре управления присутствует человек-оператор. Коммуникационная среда может вносить существенные задержки, помехи и искажения, в то же время полнота информации о рабочем пространстве и её достоверность являются необходимым условием минимизации ошибок при формировании целей управления.
Полнота данных обеспечивается возможностью полного обзора места действия, а достоверность информации определяется как техническими характеристиками сенсоров, так и способами извлечения информации. Отсюда вытекает актуальная проблема: формирование на борту MP данных, удовлетворяющих требованиям полноты и достоверности, обеспечение их надёжной передачи по коммуникационному каналу и разработка робастных алгоритмов обработки этих данных в реальном масштабе времени.
Полный обзор места действия может быть обеспечен: а) использованием телекамеры, снабжённой поворотно-наклонным механизмом, Ь) установкой на борт нескольких телекамер, с) созданием специальных систем кругового обзора. Применительно к MP с супервизорным управлением наиболее эффективным представляется вариант с многокамерной СТЗ, использующей телекамеры с управляемым поворотно-наклонным механизмом. Однако в этом случае требуется организовать передачу по радиоканалу видеосигналов от множества телекамер, что сопряжено с рядом технических и организационных трудностей. Поэтому актуальной является проблема поиска принципов организации и соответствующих технических решений передачи многопотокового видео по радиоканалу.
Полный обзор места действия также может быть обеспечен с помощью СТЗ кругового обзора, в которых изображение панорамы проецируется на плоскость фотоматрицы единственной телекамеры. Такое решение позволяет существенно сократить объём передаваемых по радиоканалу данных. Однако геометрия сцены на изображении в этом случае оказывается искажённой. Поэтому при решении задач навигации, возникает комплекс проблем, связанных разработкой соответствующего программного обеспечения для бортового модуля, выполняющего в масштабе реального времени анализ видеоданных для автоматического формирования цели управления, и актуальной становится проблема выделения объектов на изображениях со сложной геометрией и вычисление их координат для целеуказания.
Достоверность получаемой информации оказывает существенное влияние на формирование цели управления с точки зрения минимизации ошибок управления. Достоверность информации в первую очередь определяется качественными характеристиками и точностными параметрами сенсоров. Повышение технических и эксплуатационных характеристик сенсоров обычно достигается как за счёт новых конструктивных решений, так и совершенствованием технологий их производства. Более эффективным представляется путь построения математических моделей сенсоров, учитывающих не идеальность параметров датчиков, и на основе этих моделей разработка методов предобработки в реальном масштабе времени получаемого сигнала с целью коррекции вносимых искажений. Представление сигналов сенсоров в цифровом виде позволяет использовать современные достижения вычислительной техники для реализации такой предобработки. Необходимо на конкретных примерах предложить эффективные методы повышения характеристик датчиков видеосигнала и предложить варианты реализации этих методов в виде функциональных схем цифровых спецпроцессоров.
При ликвидации последствий чрезвычайных ситуаций оказывается наиболее эффективным использование группы роботов, например, технологические роботы и роботы-наблюдатели. Решение данной задачи возможно посредством создания многоуровневой иерархической системы формирования и обмена информационными и управляющими потоками данных. В этом случае актуальной становится проблема разработки механизма, посредством которого можно организовать взаимодействие группы оснащенных СТЗ мобильных роботов, постов управления, обслуживаемых несколькими операторами одновременно, и командного пункта.
Задача группового управления MP непосредственно связана с возможностью удалённого управления организацией работ группировки MP, что невозможно без соответствующего информационного обеспечения, для которого требуется создание коммуникационного канала с ситуационным центром, обычно располагающимся за много километров от зоны работ. Решение данной задачи лежит в использовании сетевых технологий. В этом случае ИИУС всех мобильных роботов должны быть объединены в локальную вычислительную сеть (ЛВС) с мобильными узлами и входить в состав территориально распределённой ИИУС. Данное решение требует проведения исследований для определения оптимальной структуры такой системы и формулирования требований к параметрам устройств ЛВС.
Перечисленные особенности и проблемы построения управляемых многокамерных систем технического зрения для мобильных роботов с супервизорным управлением требуют разработки единого подхода к созданию подобных СТЗ.
В связи с отмеченным актуальным является комплексное решение следующих проблем: 1 - построение для MP систем технического зрения, обеспечивающих возможно больший обзор места действия робота для эффективного управления его исполнительными механизмами из безопасных для человека зон; 2 - организация удалённого группового управления мобильными роботами и обеспечение передачи сенсорных данных с MP в ситуационный центр; 3 - создание учебно-научных мобильных роботов и учебно-тренировочных классов электронных тренажёров (КЭТ) для подготовки операторов MP; 4 - создание виртуальных лабораторий, оснащённых мобильными роботами, для подготовки квалифицированных специалистов при отсутствии возможности прямого контакта с дорогостоящим оборудованием; 5 - улучшение технических и эксплуатационных характеристик СТЗ посредством цифровой предобработки видеосигнала.
Учитывая важность этих проблем, подобные исследования и разработки СТЗ активно ведутся во всех развитых странах. Благодаря деятельности таких видных учёных, как Д.Е.Охоцимский, Е.А.Девянин, А.ЛЯрбус, Л.Н.Курбатов, Е.И.Юревич, В.В.Клюев, А.К.Платонов, Ю.Ф.Голубев, С.Ю.Желтов и работам Д.Г.Лебедева, Д.С.Лебедева, Г.Г.Вайнштейна, В.Е.Пряничникова, С.М.Соколова, Ю.В.Визильтера, Н.В.Завалишина, К.И.Кия и др. были получены существенные результаты, продвинувшие исследования в данном направлении. Также широко известны работы таких зарубежных учёных, как Rosenfeld A. (University of Mariland), Roberts L.G. (MIT), Marr D. (MIT), Winston PH. (MIT), Waltz D. (University of Illinois), Hunt E.B. (University of Washington), Hueckel M.H. (Stanford University), Lloyd J.M. (Radiation Center Lexington, Massachusetts) и других.
Однако, специфика супервизорного управления MP и использования управляемых систем технического зрения в контуре распределённых ИИУС не находит достаточного отражения в известных публикациях. Особенно это относится к использованию многопотокового видео и применения сетевых технологий для решения проблем удалённого и группового управления MP и формирования коммуникационной среды для получения и передачи данных. Это касается также методов цифровой предобработки сигналов с целью улучшения технических и эксплуатационных характеристик датчиков видеоинформации.
Диссертационная работа посвящена решению актуальной проблемы создания таких распределённых информационно-измерительных систем, как управляемые многокамерные системы технического зрения для мобильных роботов с супервизорным управлением, совершенствованию методов обработки видеосигналов и анализа изображений, разработке новых принципов построения таких систем, в том числе с использованием сетевых технологий и свойств зрения человека.
Целью исследований являлась разработка новых принципов построения и путей совершенствования распределённых (в том числе территориально распределённых) информационно-измерительных систем технического зрения мобильных роботов, базирующихся на современных технологиях, новых технических решениях и высокоэффективных методах обработки видеосигнала для улучшения их технических и эксплуатационных характеристик, а также создание новых действующих образцов таких систем, реализующих предлагаемые технические решения и методы обработки видеосигнала.
Для достижения указанной цели были поставлены следующие задачи:
Разработать общий подход и предложить концепцию построения управляемых многокамерных СТЗ для MP с супервизорным управлением, определить оптимальный состав необходимых технических средств. На их основе реализовать удалённое управление мобильными роботами, оснащёнными СТЗ, путем объединения через Internet робототехнического оборудования физически расположенного на разных территориях, в том числе в разных городах.
Разработать принцип объединения в локальную вычислительную сеть управляемых многокамерных СТЗ, передающих на большие расстояния с мобильных систем многопотоковое видео по радиоканалу. Создать метод построения ЛВС с мобильными узлами, который позволяет обеспечить устойчивую передачу многопотокового видео в стандарте Wi-Fi, в том числе при отсутствии прямой радиовидимости. Разработать интерфейс для оператора MP, обеспечивающий приём многопотокового видео и формирование полноформатных в телевизионном стандарте изображений одновременно с нескольких телекамер.
Показать эффективность использования разработанных сетевых технологий для группового управления MP на примере создания учебно-тренировочного класса электронных тренажёров, объединяющих модели нескольких роботов, действующих в одной трёхмерной сцене и моделирующих удалённое управление одновременно несколькими операторами группой роботов, снабжённых СТЗ.
Создать программно-аппаратные средства, которые обеспечивают выполнение задач автономной и супервизорной навигации MP на основе обработки кадровых последовательностей изображений, полученных с помощью СТЗ кругового обзора (360) в недетерминированной искусственной среде.
С целью улучшения технических и эксплуатационных характеристик СТЗ разработать адаптивные (без использования эталонных источников излучения) способы и системы для борьбы с «геометрическим» шумом многоэлементных линейных и матричных приёмников излучения, применяемых при построении специальных СТЗ ИК-диапазона. Предложить варианты функциональных схем цифровых спецпроцессоров, работающих в реальном масштабе времени.
Методы исследований базировались на использовании математической статистики, теории ошибок и кластерного анализа, теории вычислительных систем и компьютерных сетей, теории и практики построения информационно-измерительных и управляющих систем, на использовании результатов психофизических исследований зрительной системы приматов. Достоверность результатов обеспечивалась аналитическими, вычислительными и экспериментальными методами верификации предлагаемых решений.
Научная новизна работы заключается:
В разработке концепции построения управляемых многокамерных СТЗ для мобильных систем с супервизорным управлением, которая позволяет найти единые принципы формирования СТЗ различного назначения, унифицировать их структуру и функциональный состав, обосновать технические требования к их компонентам в зависимости от решаемых задач.
В разработке методов и технических решений при использовании сетевых технологий для объединения компонент СТЗ и систем управления MP, а также группировки MP в локальную вычислительную сеть. Это позволило: обеспечить полноту получения видеоданных и исключить искажения сенсорной информации; организовать устойчивую передачу видеоданных одновременно с нескольких телекамер по цифровому радиоканалу, в том числе при отсутствии прямой радиовидимости; объединить ИИУС нескольких мобильных роботов в территориально распределённую ИИУС посредством использования коммуникационного канала в условиях существенных задержек, помех и искажений (VPN-канал Internet); обеспечить на мониторах пульта управления формирование цветных изображений (25 кадров в секунду при формате 800x600 пикселей) одновременно с нескольких телекамер; разработать механизм удалённого (более 400 метров) и группового управления мобильными системами; обеспечить возможность динамического реконфигурирования распределённых ИИУС мобильных роботов.
В разработке эффективных, основанных на межкадровой разности методов комплексного анализа кадровой последовательности, получаемой с частотой 25 Гц, с целью идентификации специальных ИК-маяков, определения дальности до них и азимута по телевизионным изображениям, получаемым с помощью СТЗ кругового обзора. Это позволило реализовать возможность использования мобильными роботами видеоинформации от таких СТЗ (изображений с искажённой геометрией) для автономного решения навигационных задач мобильным роботом в реальном масштабе времени за счёт повышения «интелелектуальности» их бортовых ИИУС.
В разработке комплекса новых эффективных методов адаптивной цифровой обработки видеосигнала для коррекции искажений, вызванных разбросом параметров многоэлементных линейных приемников излучения ИК-диапазона. Эта обработка позволила повысить эксплуатационные и технические характеристики тепловизионных СТЗ и значительно (в разы) снизить стоимость производства сканирующих СТЗ за счёт отказа от установки в прецизионную систему оптико-механического сканирования эталонных источников ИК-излучения.
В разработке новых методов цифровой обработки видеосигнала для борьбы с геометрическим шумом матричных приёмников излучения ИК-диапазона, основанных на модели зрительной системы приматов. Предложенные методы позволили по-новому организовать предобработку изображений, учитывающую свойства зрения человека, и значительно повысить эксплуатационные и технические характеристики тепловизионных СТЗ за счёт применения дешёвых и удобных в эксплуатации фотоприёмных устройств (ФПУ), ранее считавшихся непригодными из-за их низких технических характеристик.
Практическая значимость работы.
Разработаны и изготовлены (на основе предложенной концепции построения управляемых многокамерных СТЗ) два комплекта СТЗ для робототехнических комплексов «BROKK-110D» и «BROKK-330» в 294 Центре по проведению спасательных операций особого риска МЧС России. Каждый комплект имеет в своем составе 4 бортовые телекамеры (одна из которых - скоростная купольная), 2 выносные - также скоростные купольные телекамеры и ретранслятор. Все элементы СТЗ объединяются в ЛВС посредством радиоканала Wi-Fi.
Предложено структурное решение построения СТЗ и разработано программное обеспечение (ПО), которые в совокупности позволили устойчиво передавать многопотоковое видео с бортовых телекамер на ПУ по радиоканалу на расстояние более 400 метров даже при отсутствии прямой радиовидимости.
Разработаны и изготовлены (на основе предложенной концепции) автономные учебно-научные мобильные роботы Амур-5м,5,6,7 и экспериментальный робот «Марсоход», оснащённые развитой сенсорной системой (телекамеры, ультразвуковые сенсоры, одометры) и учебно-научные мобильные стенды (для ДВФУ и ПАПУ ДВО РАН - г.Владивосток и ИНОТиИ РГТУ - г.Москва).
Создан прототип виртуальной лаборатории, объединяющей по VPN-каналам в Internet робототехнические стенды ИПМ им.М.В.Келдыша РАН (г.Москва), ИНОТиИ РГТУ (г.Москва) и ИАПУ ДВО РАН (г.Владивосток).
На основе сетевых решений создан учебно-тренировочный класс электронных тренажёров для Московского филиала ФГУП «АТЦ МИНАТОМА РОССИИ» (ИТУЦР), позволяющий обучать групповому управлению MP одновременно до 7 операторов.
Разработан и изготовлен учебный робот «Кронус» с СТЗ кругового обзора; разработано ПО, позволившее по изображению круговой панорамы с искажённой геометрией, формируемому такой СТЗ, успешно решать навигационные задачи в изменяющейся искусственной среде.
Разработаны функциональные схемы цифровых спецпроцессоров, способных выполнять в реальном масштабе времени обработку видеосигналов с моногоэлементных приемников ИК-излучения с целью компенсации свойственного таким датчикам геометрического шума.
Разработан и изготовлен подключённый к ЭВМ научно-исследовательский стенд, предназначенный для проведения исследований по разработке методов улучшения технических характеристик тепловизионных СТЗ с матричными ФПУ; в его состав входит тепловизионная охлаждаемая фотоматрица формата 64x64 элемента, германиевый объектив, управляемый от ЭВМ пьезокерамический дефлектор и телевизионный монитор с двухпортовой памятью.
Во всех перечисленных работах автор принимал личное участие в качестве ответственного исполнителя и руководителя проектов.
Основные научные результаты диссертации, на которых базируются перечисленные внедрения, получены лично автором в процессе работы по договорам и планам ИППИ им. А.А. Харкевича РАН по темам: «Кворум» (1986г., 1990г.), «Ель-5-1АН» (1987г.), «Кримат» (1988г.), «Кордон» (1988г.), «Сплав» (1989г.); ИПМ им. М.В. Келдыша РАН: по проекту «Компьютерное зрение» в рамках «Соглашения о сотрудничестве в области перспективных проблем роботики между РАН и Национальным Центром Научных Исследований (НЦНИ) Франции» (1995г., 1997г.); Института механики МГУ: гранты РФФИ 00-01-00403 и УР 99-5419 и научно-исследовательским работам ИПМ РАН - МЛ «Сенсорика»: грант РФФИ № 10-07-00612-а и других программ Российской академии наук, что подтверждает их высокий уровень, обоснованность и достоверность, направленность на решение крупных научных и практических задач при создании систем технического зрения.
Апробация работы. Основные положения диссертации докладывались на 38 Международных и Российских конференциях (опубликованы 30 докладов) и семинарах, в том числе: Научная школа-конференция «Мобильные роботы и мехатронные системы», Москва, 2000, 2001, 2004, 2011; XIX Международная конференция по компьютерной графике и зрению «ГрафиКон'2009» (приглашённый доклад), Москва (МГУ), 2009; XVIII, XIX, XXI и XXII Всероссийская науч.-технич. конф. «Экстремальная робототехника», СПб, 2007, 2008, 2010, 2011; Межд. научно-технич. конф. Нано-,микро- и макророботы. СПб, 2008, 2009; Межд. шк.-сем. «Адаптивные роботы» (п. Дивноморское 2009); XVIII, XX, XXI, XXII Межд. симпоз. «Интеллектуальное производство и автоматизация» DAAAM Int. Vienna, 2007, 2009, 2010, 2011; VI Всероссийская научно-практич. конф. «Перспективные системы и задачи управления», Таганрог, 2010; I Междунар. научно-практич. конф. «Техника и технология: новые перспективы развития», Москва, 2011; Научно-технич. конф. «Техническое зрение в системах управления», Москва (ИКИ РАН), 2011; XII Междунар. интерактивный форум образовательных технологий «Дополняя реальность», Москва (РГТУ), 2011; семинар «Сетевые международные гуманитарные исследования по проблемам информатики, мехатроники и робототехники», Москва (РГГУ), 2009 и на семинарах в ИПМ им.МБ.КелдышаРАН, Москва, 2008,2009,2010 и 2011.
Публикации. Основные положения диссертации и результаты научных исследований по теме диссертации отражены в 76 публикациях (17 без соавторов), в том числе в 1 монографии и 15 статьях в журналах по перечню ВАК РФ, 6 работ входят в список Web of Science (Conference Proceedings Citation Index of Thomson Reuters). Результаты также отражены в 38 докладах на Всесоюзных совещаниях и семинарах и докладах на Международных конференциях. Среди публикаций -1 авторское свидетельство, 1 свидетельство об официальной регистрации программы для ЭВМ и 8 зарегистрированных научно-исследовательских отчётов.
Структура и объём работы. Диссертация состоит из введения, шести глав, заключения, списка литературы и приложения. Общий объем диссертации - 379 с, в тексте имеется 103 рисунков на 91 с. Список литературы состоит из 287 наименований. Приложение на 4 с. содержит акты о внедрениях.
