Содержание к диссертации
Введение
ГЛАВА 1. Автоведение 10
1.1 Обзор локомотивных систем технического зрения 10
1.2 Контроль световой сигнализации 16
1.3 Поиск препятствий на пути следования локомотива 18
1.4 Рассмотрение структуры локомотивной системы технического зрения 20
1.5 Выводы 27
ГЛАВА 2. Комплексирование видеоизображения и ЦКМ 29
2.1 Оценка координат объектов интереса 29
2.2 Построение плоскости ректификации с использованием методов цифровой обработки изображения 39
2.3 Методика комплексирования видеоизображения и ЦКМ 53
2.4 Выводы 59
ГЛАВА 3. Обнаружение и распознавание световой сигнализации железнодорожной инфраструктуры 61
3.1 Алгоритм грубого обнаружения координат светофора относительно текущего положения локомотива 61
3.2 Анализ графических систем для распознавания сигнала светофора 71
3.3 Алгоритм распознавания световой сигнализации на принимаемой видеопоследовательности 76
3.4 Выводы 91
ГЛАВА 4. Обнаружение препятствий на пути следования локомотива 92
4.1 Автоматическая система предотвращения столкновений (АСПС) 92
4.2 Алгоритм выделения посторонних объектов на пути следования локомотива 98
4.3 Классификация объекта 105
4.4 Выводы 112
ГЛАВА 5. Экспериментальные исследования 113
5.1 Математическое моделирование процессов обнаружения посторонних объектов на рельсах 113
5.2 Исследования устойчивости алгоритма определения объекта на рельсах 116
5.3 Оценка результатов исследований 125
5.4 Выводы 127
Заключение 129
Литература 131
- Контроль световой сигнализации
- Методика комплексирования видеоизображения и ЦКМ
- Анализ графических систем для распознавания сигнала светофора
- Алгоритм выделения посторонних объектов на пути следования локомотива
Контроль световой сигнализации
Большинство чрезвычайных происшествий на железной дороге происходит по ряду обстоятельств. Например, многочисленные проезды на запрещающий сигнал светофоров, особенно на тепловозах ЧМЭ3, подтверждаются во всех официальных документах. После расследования указываются одни и те же причины: отвлечение локомотивной бригады, не проводилось наблюдение за показаниями светофоров, положениями стрелочных переводов, нарушение регламента служебных переговоров [10]. К сожалению, даже многие опытные машинисты, давно работающие на этих маневровых тепловозах, не выполняют полностью все правила технической эксплуатации, а работают во многих случаях по интуиции. Главное правило машиниста: «сначала посмотри на сигнал, а потом приводи тепловоз в движение» нарушается неосознанно. Современные тенденции развития железнодорожного транспорта непосредственно связаны с модернизацией и внедрением новых технологий с целью минимизации ошибок человека-оператора в управлении транспортным средством. Обзор мирового опыта по применению технологий компьютерного зрения для обнаружения и распознавания световой сигнализации показывает эффективность использования подобных решений [11, 12]. Применение контроля световой сигнализации с целью недопущения проезда локомотивом запрещающего сигнала светофора на сегодня является одной из актуальных задач на железной дороге.
Сейчас на рынке современных систем видеоконтроля существует множество типов видеосистем. Каждая видеосистема имеет свои преимущества и свои недостатки. Для видеоконтроля световой сигнализации на железной дороге необходимо использование системы, позволяющей эффективно применять технологии компьютерного зрения, что в свою очередь предъявляет повышенные технические требования для такой системы.
Например, известно стационарное устройство видеоконтроля состояния объектов железнодорожной автоматики (светофоров, стрелок, рельсовых участков пути и др.), которое состоит из каналообразующей аппаратуры телеуправления и телесигнализации системы диспетчерской централизации, расположенной на центральном пункте и на линейных пунктах (патент RU 43521). Недостаток устройства заключается в том, что использование стационарной видеоаппаратуры для наблюдения за световой сигнализацией имеет ограниченную площадь контролируемого участка и карликовые светофоры часто перекрываются рядом стоящими составами, также устройство видеоконтроля состояния объектов железнодорожной автоматики не имеет интеллектуального контроля световой сигнализацией. Для решения задачи контроля световой сигнализации, известна модель системы передачи информации о поездной обстановке в кабину машиниста локомотива, описанная в патенте RU 102928. Недостатками системы управления по радиоканалу являются сложности монтажа, обслуживания и высокая стоимость. Кроме того, отсутствие радиооборудования на протяжении большинства линий железных дорог не позволяет обеспечить полноценный контроль световой сигнализации.
Имеющиеся системы контроля световой сигнализации не позволяют обеспечить необходимые требования безопасности при проезде на запрещающий сигнал светофора. Множество ситуаций, когда автоматическая локомотивная сигнализация переключалась или передавала сигнал белого цвета, но машинист не принимал мер по снижению скорости, показывают на то, что локомотивными бригадами часто не принимаются необходимые требования к выполнению нормативных документов по управлению транспортным средством. И если на перегонах сигнал белого цвета на автоматической локомотивной сигнализации, как правило, сразу вызывает у локомотивной бригады чувство обеспокоенности, то на станциях переключение автоматической локомотивной сигнализации на белый цвет некоторые машинисты считают, как обычный сбой в работе или присутствие в маршруте следования некодированной секции или пути. При этом меры по снижению скорости движения не принимаются, хотя при проследовании станции следует быть особенно внимательным. Так же, как показывает эксплуатационная практика, некоторые дежурные по станции, чтобы не фиксировать в эфире и на регистраторе задержки поездов у входных сигналов или на станции, не оповещают об этом машинистов поездов, а машинисты после приезда в депо не записывают эти нарушения в книге замечаний. В результате, проезд на запрещающий сигнал светофоров зафиксирован в 70% таких случаев [13].
Многие локомотивные бригады изначально не настраиваются на ответственную работу, допускают поспешность и элементарное невыполнение должностных обязанностей: грубейшие нарушения правил технической эксплуатации, инструкций и указаний, отсутствие плана манёвров, ненаблюдение за показаниями сигналов светофоров, стрелочных переводов и много другое. В большинстве проездов на запрещающий знак светофора автостоп или автоматическая локомотивная сигнализация не предотвратили проезды, так как машинисты рефлекторно нажимали рукоятку бдительности и отменяли действия автоматических систем, не наблюдая за показаниями локомотивных и путевых светофоров [14].
Отклонения по расстоянию видимости сигналов выходных светофоров, которые не соответствуют требованиям правил технической эксплуатации железной дороги Российской Федерации, приводят к попаданию локомотивных бригад в места с плохой видимостью сигналов [15, 16]. Наличие этих и подобных факторов нарушений приводят к возникновению ошибок человека–оператора и к несанкционированному проезду на запрещающий знак светофора.
Таким образом, дополнение комплексного локомотивного устройства безопасности аппаратурой для анализа показаний светофора с помощью технологий компьютерного зрения позволит обеспечить снижение ошибок человека-оператора во время управления локомотивом. На примере зарубежных компаний рассмотрим последние разработки, повышающие экономическую эффективность железнодорожного транспорта.
Австралийско-британский концерн RioTinto принял решение применять при транспортировке железной руды от западных австралийских шахт до порта автоматизированные поезда. Исследования, проведённые при разработке автоматизированных поездов на базе системы «автомашинист», показали, что в дальнейшем такое железнодорожное развитие сможет удовлетворить требования Азии. Многие разработчики компании Rio Tinto считают, что развитие проекта автоведения - это важный шаг, который позволит увеличить поставки руды для Китая и других экономически развивающихся стран. Автоматизацию проекта перевозок планируется объединять с существующей системой управления поездом для повышения эффективности процесса интеграции системы автоведения в существующий процесс перевозок. С развитием и внедрением технологии автоведения проводятся дополнительные разработки систем безопасности, в частности, модернизируются железнодорожные переезды, разрабатываются новые стандарты для грузовых перевозок [17, 18, 19].
Методика комплексирования видеоизображения и ЦКМ
Видеоизображение от оптической камеры 1, установленной на стабилизируемой платформе 2, передаётся в блок 6 передачи сигналов изображения. Блок 6 передачи сигналов изображения представляет собой устройство, принимающее сигнал видеоизображения от оптической камеры 1 и передающее его в блок 9 сопряжения, которое представляет собой концентратор информации от датчиков различной физической природы. К блоку 9 сопряжения подключены выходы блоков 10, 11, 12 и датчики стабилизируемой платформы 2. С датчиков стабилизируемой платформы 2 на вход блока 9 сопряжения выдаются значения углового отклонения оптической камеры 1. Из блока 10 спутниковой навигационной системы на вход блока 9 сопряжения поступает информация о координатах текущего положения локомотива. Из блока 11 инерциальной системы управления поступает информация о значениях угловых скоростей и ускорений перемещения локомотива. Из блока 12 цифровой карты местности поступает информация о координатах впередилежащего участка железнодорожного пути. Первый выход блока 9 сопряжения соединён с входом блока телеметрической аппаратуры 13. Смонтированная на борту локомотива телеметрическая аппаратура позволяет через ретранслирующий канал передавать телеметрию в диспетчерский центр управления движением на железной дороге. Второй выход блока 9 сопряжения соединён с входом блока 5 обработки изображений, где с помощью технологий компьютерного зрения выполняется контроль целостности рельсовой колеи в режиме реального времени. Блок 5 обработки изображения и блок 14 построение плоскости ректификации представляют собой технологическую платформу для «системы на кристалле» - программируемую логическую интегральную схему (ПЛИС). Блок 5 обработки изображений соединён с микропроцессором 3, где в автоматическом режиме решается задача управления по формированию сигнала предупреждения машиниста о поездной обстановке, и с блоком 14 построение плоскости ректификации, куда передаются видеоизображение и текущая путевая информацией, а принимаются рассчитанные в географической системе текущие координаты оси пути. Выходы и входы микропроцессора 3 соединены с блоком 7 формирования сигнала предупреждения и с дисплеем 8 для привлечения внимания машиниста во время целевого контроля автоматически определённого аварийного участка пути следования локомотива.
В случае обнаружения нарушений целостности рельсовой колеи необходимо убедиться в работоспособности блока 10 спутниковой навигационной системы, так как программная ошибка обнаружения целостности рельсовой колеи может быть связана с неустойчивой работой канала спутниковой навигационной системы в условиях городской застройки, высокогорья или железнодорожных тоннелей. С этой целью предлагается проводить сравнение текущих координат оси пути, принимаемых из блока 14 построение плоскости ректификации, с координатами оси пути на цифровой карте местности. В случае несовпадения расчётных координат оси пути на видеоизображении с координатами оси пути на цифровой карте местности, требуется информировать машиниста об отказе системы видеонаблюдения с транспортного средства через блок 7 формирования сигнала предупреждения. В случае автоматического обнаружения разрыва рельсовой колеи в блоке 5 обработки изображений необходимо получить с помощью подтверждения машинистом на дисплее 8 команду об аварийном торможении.
Совмещение выделенной информации на видеоизображении с помощью технологий компьютерного зрения с информацией цифровой карты местности, на которой отображены координаты железнодорожного пути, является математической задачей, связанной с использованием методов эластичных экспоненциальных деформации изображения. Процедура совмещение 2D информации из блока 6 передачи сигналов изображения с 3D информацией от блока 12 цифровой карты местности, переданных через блок 9 сопряжения, происходит в блоке 5 обработки изображений. Применение в блоке 5 обработки изображений и блоке 14 построение плоскости ректификации ПЛИС, в качестве технологической платформы для «систем на кристалле», позволяет избежать ряд технических и экономических задач. «Система на кристалле», которая реализована на платформе программируемой логики обладает всеми достоинствами сверхбольшой интегральной схемы (СБИС) и неоспоримыми преимуществами. Например, к достоинствам Flash-ПЛИС Actel необходимо отнести возможность её многократного программирования как до монтажа ПЛИС в устройство, так и во время его использования внутри системы.
Одним из вариантов совмещения является технология параллельной обработки видеоинформации. Использование параллельной обработки видеоинформации позволит решить задачу контроля целостности рельсовой колеи в режиме реального времени.
Автоматический контроль целостности рельсовой колеи в блоке 5 обработки изображений основан на использовании комплексного алгоритма для выделения признаков типа рельс и определении положения рельса в земной системе координат. Полученные значения признаков сравниваются с данными из заранее записанного словаря признаков (базы данных, эталонных изображений) и принимается решение, например, об отсутствии рельса. В словарь включаются различные группы признаков - признаки формы, распределения яркостей, размеров и др. Предполагается, что выделение признаков на текущих изображениях и сопоставление их с признаками на аналитической карте реализуется в блоке 5 обработки изображений с помощью комплексного алгоритма, основанного на определении непрерывности рельс как корреляционными алгоритмами, так и статистическими методами обнаружения и распознавания. Под аналитической картой подразумевается пространственная база данных ГИС, собирающая результаты обработки видеоинформации с помощью технологий компьютерного зрения об объектах интереса.
Анализ графических систем для распознавания сигнала светофора
Плоскость ректификации определяется двумя характеристическими линями Р1 и Р2, которые являются касательными к рельсам на определённом отрезке железнодорожного пути. Зная координаты характеристических линий, которые принадлежат плоскости ректификации, можно определить ось железнодорожного пути. Ось пути представляет собой геометрическое место точек равноудалённых от точек обеих характеристических линий и является биссектрисой угла СО (см. рис. 2.14, рис. 2.15). Относительно координат оси пути L (см. рис.2.18а) рассчитывается размер сканирующего окна (см. рис.2.18Ь), которое будет накладываться на видеоизображение для обнаружения объектов интереса (см. рис.3.1). Для расчёта допустимой ошибки построения оси пути на плоскости ректификации Sj задаём допустимую ошибку отклонения координаты центра сканирующего окна
Вторая глава посвящена технологиям комплексирования информации от датчиков различной физической природы. Были определены требования к локомотивной системе технического зрения, предложена методика построения плоскости ректификации, рассмотрена задача определения двух характеристических линий рельс среди всех выделенных линий предварительной обработкой изображения. Результаты данной главы могут быть сформулированы следующим образом:
Предложенный состав аппаратных средств локомотивной системы технического зрения удовлетворяет эффективному решению комплексирования информации от датчиков различной физической природы при выполнении обеих основных задач видового мониторинга комплексной локомотивной системой безопасности;
Предложен способ комплексирования телевизионного изображения и цифровой карты местности с помощью плоскости ректификация для уверенного выполнения видового мониторинга в условиях неустойчивой работы канала спутниковой навигационной системы в условиях городской застройки, присутствия высокогорья или железнодорожных тоннелей; 3. Рассмотрен способ классификации двух характеристических линий для построения плоскости ректификации, который позволяет проводить ориентировку детектируемых на телевизионном изображении объектов интереса относительно цифровой карты местности.
Алгоритм контроля железнодорожной световой сигнализации с помощью комплексного использования технологии компьютерного зрения и геоинформационных технологий позволяет выполнить предварительное (грубое) обнаружение светофора на изображении во много раз быстрее, чем поиск светофора с помощью алгоритма сплошного поиска. Это следует из расчётов количества операций, требуемых для обнаружения объекта на изображении. Для предлагаемого алгоритма с предварительной оценкой положения светофора на изображении количество операций сплошного поиска вычисляется по формуле:
Коп = (Xп -x)(Yп - y) x y Кв, где Xп, Yп – ширина и высота выделенного фрагмента изображения со светофором, Кв – количество операций, требуемых для обнаружения объекта, находящегося в сканирующем окне A={(x,y) x=30, y=90}, x, y – ширина и высота сканирующего окна соответственно (см. рисунок 5).
Например, для изображения с размерами 2000х2500 пикселей количество требуемых операций для реализации сплошного поиска:
Коп = 1970 2410 30 90 Кв 1,28 1010 Кв, а при использовании предлагаемого алгоритма обнаружения с максимальной ошибкой предварительной оценки 200 пикселей получим: Коп = 170 110 30 90 Кв 5,05 107 Кв.
Таким образом, предлагаемый алгоритм позволил сократить объем вычислений более, чем на 3 порядка (при принятых исходных данных).
Алгоритм грубого обнаружения координат представляет собой алгоритм анализа системы проекций светофоров на плоскость ректификации и географических координат светофоров на подстилающей поверхности, которая совпадает с плоскостью ректификации. В идеале, координаты светофоров на плоскости ректификации будут совпадать с координатами светофоров на цифровой карте местности, но при наличии ошибок комплексирования информации о положении светофора на видеоизображении с цифровой картой местности возникает ошибка Delta, которую необходимо учитывать при расчёте грубого
Алгоритм выделения посторонних объектов на пути следования локомотива
Современные системы комплексирования при построении многоканальных систем машинного зрения используют уже не «комплексирование» всех данных, а сложный многоуровневый процесс совместного анализа данных на каждом уровне анализа которых рассматривается изображение от различных датчиков. Одновременно с уровневым анализом данных происходит и межуровневый анализ информации, постоянно контролируется состояние системы в разный период времени [34, 35]. В табл.4.1 приведены основные характеристики и наиболее известные признаки двумерных датчиков, которые обладают ярко выраженной разделительной способностью по отношению к типовым объектам интереса на железной дороге [33].
Тепловизионный датчик 2D-тепловое изображение Форма, max/min эмиссия, количество и расположение горячих пятен, окружение (среда)
Радармиллиметровогодиапазона - 1D-отражённый профиль- 1D или 2D-поляризационныеизображения- 1D-поле скоростей Распределение и степень протяжённости рассеивателей Чётный и нечётный номер и расположение упругих рассеивателей Частоты пульсации и ширина пучка рассеивания
Лазерный локатор 3D-изображениеДоплеровская модуляция(вибрация)2D-поле скоростей Размер, 3D-форма, расположениеобъектовПульсация, структурная иповерхностная частотыПространственное распределениедвижущихся участков сцены Локатор ссинтезированнымраскрывом 2D-изображение Размер и расположение объектов Телевизионный датчик 2D-изображение Форма, размер, текстура, внутренняя структура объектов, окружение, цвет Микроволновый радар Доплеровская модуляция 2D-изображение Скорость, частота пульсации и ширинапучкаРазмер, формат, количество ирасположение объектов Акустический датчик Отражённый звуковой сигнал Частоты пульсации, гармоники отношения частот, источники специфического шума Интерферометр Спектральная и временная зависимость микроволнового излучения Частота, частотная модуляция, амплитудная модуляция, продолжительность пульсации, интервалы пульсации
Эффективность выполнение алгоритма верификации зависит от сценария модулей системы принятия решения, который включает в себя систему сбора информации (ССИ) с информационной шины от всех датчиков, а так же модули обработки и анализа полученной информации для принятия конечного решения в системе автоматического управления локомотивом (САУ) (см. рис.4.9).
ССИ с помощью модуля «Информационный монитор» проводит полный сбор информации с информационной шины за определенный такт времени и с определённой частотой в режиме реального времени. Вся информация записывается на регистраторе, а часть проходит через модуль «Предварительная обработка» с целью получения информации о состоянии интересующих параметров системы или детектируемых объектов в текущий момент времени. В модуле «Комплексирование» проводится совмещение информации от датчиков с разным физическим принципом работы с целью получения нормированной 3D сцены привязанной к базе данных ГИС, где объекты интереса описываются структурой пространственных данных и указывают на принадлежность к некоторому классу или типу. Модуль «Буфер» выполняет задачу накопления информации за определённый промежуток времени для анализа производных или интегральных характеристик анализируемых параметров системы или детектируемых объектов. Система принятия решения, входящая в модуль «Принятие решения», проводит анализ текущего состояния параметров системы и детектируемых объектов для определения управляющего действия в системе автоведения, обозначенного модулем «Действие». В случае определения системой принятия решения неудовлетворительно малого коэффициента уверенности распознавания объекта интереса по информационной шине выполняется корректировка настраиваемых характеристик датчика для увеличения коэффициента уверенности идентификации объекта, отображаемого на рис.4 в модуле «Уточнение». В частности, при недостаточном размере искомого объекта интереса для его распознавания, модуль «Уточнение» позволяет автоматически настроить телевизионную камеру на большее разрешение для получения дополнительной информации об объекте.
Задачу обнаружения объекта можно рассматривать как частный случай распознавания, при условии, что принимаемое решение будет содержать только два исхода: обнаружен объект или нет. Информация об объекте будет определяться вероятностью РО, информация фона, т.е. отсутствие объекта, будет определяться вероятностью Р(_хі), при этом:
Для определение ошибок обнаружения объекта на изображении, связанных с пропуском объекта, который присутствует на изображении (ошибка первого рода) или ошибок ложного определения наличия объекта на изображении (ошибка второго рода) наиболее эффективно применять статистические методы распознавания. Проблема пополнения знания возникает при решении задачи автоматического обучения алгоритмов классификации при анализе сцены [72, 73]. Для использования данных методов необходима априорная информация о вероятностной плотности распределения яркости объекта поиска на изображении и фона изображения. В случаях, когда значения вероятностной плотности распределения яркости объекта и фона пересекаются, но не являются тождественными, распознавание объекта на изображении возможно по формуле Байеса:
