Введение к работе
Актуальность темы. Задача идентификации систем является одной из основных в теории системного анализа и автоматического управления. В большинстве работ по теории идентификации предполагается существование параметрической модели системы и, как правило, гауссовское распределение случайных возмущений. Эти предположения являются вполне естественными во многих практических задачах, однако существует ряд случаев, когда их использование неоправданно. Последнее относится к моделям с достаточно общей априорной информацией о функциональной зависимости между входом и выходом системы и к ситуациям, ког- . да предположение о гауссовском распределении случайных помех нарушается из-за наличия определенного количества больших выбросов или по другим причинам. Общая априорная информация о функциональной зависимости может, например, состоять з том, что это функция, обладающая свойствами непрерывности, гладкости, монотонности или выпуклости. При этом параметрическая структура функции не постулируется. Для восстановления таких функциональных зависимостей используются методы непараметрической идентификации. Учет влияния больших выбросов, приводя-.щих к отклонениям от исходной гауссовской модели случайных помех, послужил причиной создания робастных процедур идентификации, нечувствительных к таким отклонениям. Основы теории ро-бастного оценивания параметров и робастной идентификации систем были заложены в работах П.Хубера, Ф.Хампеля, Б.Т.Поляка, Я.З.Цыпкина. Известные методы робастной идентификации относились, в основном, к системам, функциональная структура которых известна с точностью до конечного числа вещественных пара-метров. Методы идентификации непараметрических систем, как прави-ло, были линейными (по выходу системы), и потому оказывались чувствительными к большим выбросам помех. В связи с этим большую актуальность как с теоретической, так и с практической точки зрения имеет разработка нелинейных методов непараметрической идентификации, обладающих свойством робастности, исследование свойств сходимости и скорости сходимости нелинейных непараметрических оценок, выбора асимптотически оптимальных нелинейных оценок при заданной априорной информации.
1-І
Актуальным является расширение области применения непа-раметрических методов и разработка робастных непараметрических методов для задач восстановления изображений (т.е. негладких многомерных зависимостей), задач стохастической оптимизации при пассивной схеме наблюдений, задач идентификации динамических систем.
Цель работы - разработка основ теории робастной непараметрической идентификации систем, включая задачи обработки изображений, стохастической оптимизации при пассивной схеме наблюдений, рекуррентной робастной идентификации статических и динамических непараметрических систем.
Методы исследования, использованные в диссертации, относятся к теории автоматического управления, математической статистике, теории оптимизации, теории информации.
Основные научные положения, выносимые на защиту:
в задачах непараметрической идентификации систем учет априорной информации о распределении случайных возмущений в общем случае приводит к нелинейным методам идентификации, которые обладают свойством робастности по отношению к грубым ошибкам; свойство робастности непараметрических оценок функциональных зависимостей формализовано как робастность по порядку скорости сходимости или как количественная робастность; указаны методы оценивания, обладающие этими свойствами; исследована их сходимость и скорость сходимости, разработаны способы синтеза наилучших методов при заданной априорной информации;
непараметрическая идентификация статических и динамических систем и решение задач пассивной стохастической оптимизации может осуществляться с помощью простых и эффективных рекуррентных процедур; предложен класс таких процедур, основанный на идее ядерного, оценивания и включающий нелинейные алгоритмы, обладающие свойством робастности; исследована сходимость и скорость сходимости этих процедур;
получены минимаксные нижние границы, определяющие потенциальные возможности произвольных методов непараметрической идеи тификации и стохастической оптимизации; указаны рекуррентные алгоритмы, достигающие этих границ по порядку точности; дана
полная классификация оптимальных порядков скорости сходимости для задачи стохастической оптимиэации^дана непараметрическая постановка задачи обработки изображений и указаны оптимальные по порядку скорости сходимости методы оценивания изображений, выделения контуров и квантования изображений по уровню; показано, что в этой задаче и в ряде других задач непараметрической идентификации линейные методы не являются оптимальными по порядку скорости сходимости.
Научная новизна результатов работы состоит в следующее.
-
Предложены оценки типа максимума правдоподобия для идентификации непараметрической функциональной зависимости между входом и выходом системы. Исследована сходимость и скорость сходимости оценок в различных метриках. При общей априорной информации о распределении помех доказана оптимальность скорости сходимости оценок в і-г с точностью до неизвестной абсолютной постоянной.
-
Доказана асимптотическая оптимальность широкого класса критериев выбора порядка модели при непараметрической идентификации, включающего критерии Акаике, Меллоуза, Раиса
її др.. Показана асимптотическая эквивалентность критериев из рассматриваемого класса. Установлено, что адаптивные нопара-летрические оценки, получаемые с- помощью таких критериев, оптимальны по порядку скорости сходимости одновременно на всех «лассах гладких оцениваемых функций равномерно по показателю ' падкости.
3. Исследованы асимптотические свойства робастного мато-
(а локальной аппроксимации произвольного порядка: сходимость
необходимые и достаточные условия), скорость сходимости, по
точечная асимптотическая нормальность. Изучена количественная!
юбастность оценок метода локальной аппроксимации и указан
:ыбор характеристик метода, обеспечивающий оптимизацию асимп-
отических констант скорости сходимости. Доказаны поточечная
ходимость и асимптотическая нормальность совместных робастннх
цепок функции регрессии и масштабирующей функции. Предложен
етод построения локально-адаптивных непарамэтрических оценок,
симптотически эквивалентных оптимальной ядерной оценке.
-
Предложены рекуррентные алгоритмы робастной непараметрической идентификации статических и динамических систем. Исследована сходимость и скорость сходимости алгоритмов. Доказана оптимальность алгоритмов по порядку скорости сходимости.
-
Предложены рекуррентные алгоритмы стохастической оптимизации в схеме пассивного эксперимента для трех основных задач: оценивание корня уравнения регрессии, оценивание точки минимума функции, оценивание моды плотности распределения вероятностей. Найдены минимаксные нижние границы скорости сходимости произвольных оценок в этих задачах для многомерного случая и любого показателя гладкости неизвестной функции. Указан способ выбора характеристик алгоритмов, обеспечивающих их асимптотическую оптимальность по порядку скорости сходимости.
-
Предложен нелинейный алгоритм пассивной стохастической аппроксимации в задаче оценки корня регрессии. Исследована точная асимптотика среднеквадратичной ошибки алгоритма и проведена оптимизация характеристик алгоритма, обеспечивающая максимальную асимптотическую константу скорости сходимости. Изучена количественная робастность алгоритма.
-
Получена минимаксная нижняя граница точности поисковых многомерных алгоритмов стохастической оптимизации и найдены рекуррентные алгоритмы, достигающие этой границы по порядку точности при любом показателе гладкости минимизируемой функции. Таким образом, дана полная классификация оптимальных порядков скорости сходимости для задач стохастической оптимизации при активной и пассивной схеме эксперимента.
-
Дана постановка задач оценивания негладких изображениях и передачи квантованных изображений как задач непараметрической идентификации. Получены нижние границы, определяющие потенциальные возможности произвольных методов оценивания изображений, выделения контуров и квантования по уровню. Найдены оптимальные методы, достигающие этих нижних границ по порядку скорости сходимости.
-
Доказаны нижние границы для произвольных линейных оценок,' показывающие, что в ряде задач непараметрической идентификации оптимальные порядки скорости сходимости даже
при гауссовском распределении помех могут быть достигнуты только на нелинейных оценках.
Практическая ценность и реализация результатов работы. Полученные в диссертации результаты позволяют синтезировать алгоритмы идентификации широкого класса непараметрических систем при неполной априорной информации о распределении случайных помех. Предложенные рекуррентные алгоритмы просты в реализации и удобны для использования на практике. Результаты диссертации были применены при синтезе адаптивной системы управления отжигом на Новолипецком металлургическом комбинате, при оценке физического эффекта по активным воздействиям на слоистые облака и туманы, при разработке методов интерпретации результатов эксперимента по передаче сигналов по гидроакустическому каналу и в ряде других прикладных задач.
Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на ІУ Всесоюзной школе-семинаре по непараметрическим и робастным методам статистики в кибернетике (Томск, 1983), на Всесоюзном совещании по теории адаптивных систем (Ленинград, 1983), на УІ Международном симпозиуме по теории информации (Ташкент, 1984), на ІУ и У Международных вильнюсских конференциях по теории вероятностей и математической статистике (Вильнюс, 1985, 1969), на Ш Всесоюзной школе по адаптивным системам (Звенигород, 1986), на I Всемирном конгрессе общества теории вероятностей и математической статистики имі Бернулли (Ташкент, 1986), на школе-коллоквиуме по теории вероятностей и математической статистике (Бакуриани, 1987), на Советско-французском семинаре по прикладному многомерному статистическому анализу (Суздаль, 1987), на II—ой Пражской конференции по теории информации, статистическим решающим функциям и случайным процессам (Прага, 1990), а также на научных семинарах ИППИ АН СССР, МИАН, ЛОМИ, ИПУ, ЦЭМИ АН СССР, МГУ, ЛПИ.
Публикации. Основное содержание диссертации опубликовано в 28 статьях.
Структура и объем работы. Диссертация состоит из введения, и 6 глав основного текста, изложенных на 283 страницах, списка литературы из 248 наименований и приложения.
- б -
Похожие диссертации на Робастные методы непараметрической идентификации и обработки сигналов
