Содержание к диссертации
Введение
Глава 1. Анализ состояния проблемы и формализация процессов функционирования сау с марковской моделью 16
1.1. Сравнительный анализ марковских моделей и систем управления с марковскими моделями 16
1.2. Формализация процесса функционирования САУ с моделями в виде конечных управляемых цепей Маркова первого порядка 24
1.3. Основные задачи исследования 33
Глава 2. Разработка алгоритмов синтеза конструктишых марковских моделей технологических процессов 35
2.1. Разработка методов синтеза марковских моделей 35
2.2. Исследование методов повышения конструктивности марковских моделей технологических процессов . 49
Глава 3. Разработка критериев качества управления для САУ технологическим процессом, заданным марковской моделью . 60
3.1. Анализ некоторых путей выбора показателей качества управления сложным объектом 60
3.2. Синтез обобщенных показателей качества для задач оперативного управления сложными объектами в САУ с марковскими моделями 64
Глава 4. Разработка и исследование алгоритмов функционирования САУ с марковской моделью 69
4.1. Выбор структуры САУ с марковской моделью 69
4.2. Разработка и анализ алгоритмов оперативного управления технологическим процессом на основе его марковской модели . 80
4.3. Разработка и анализ алгоритмов подстройки модели 96
4.4. Выводы 110
Глава 5. Экспериментальное исслвдование вопросов анализа и синтеза САУ слшными процессами на основе марковских моделей 114
5.1. Краткое описание пакета программ для исследования процессов управления в САУ с марковскими моделями 115
5.2. Марковские модели функции кровообращения организма в патологии 118
5.3. Исследование моделей и моделирование процессов управления функцией кровообращения организма.126
5.4. Система автоматического управления физиологическими функциями на базе мини-ЭВМ "Электроника ДЗ-28" 137
5.5. Результаты экспериментальной проверки работоспособности разработанной САУ 150
5.6. Использование марковских моделей для исследования эргатических систем 152
Заключение 160
Литература 163
Приложение
- Формализация процесса функционирования САУ с моделями в виде конечных управляемых цепей Маркова первого порядка
- Исследование методов повышения конструктивности марковских моделей технологических процессов
- Синтез обобщенных показателей качества для задач оперативного управления сложными объектами в САУ с марковскими моделями
- Разработка и анализ алгоритмов оперативного управления технологическим процессом на основе его марковской модели
Формализация процесса функционирования САУ с моделями в виде конечных управляемых цепей Маркова первого порядка
Функционирование сложного объекта в дискретном времени можно представить как случайный процесс с дискретным временем [80] Реализацией случайного процесса будет последовательность состояний Q(I), 0.(2), ... , Q (t )t которые он проходит в моменты дискретного времени I, 2, ... , t . Так как процесс случайный, то в каждый момент времени он характеризуется распределением вероятностей состояний. Для процессов общего вида это распределение зависит от всей предыстории развития процесса и задается набором условных вероятностей состояний: для различных реализаций 0. . В выражении (1.2) Q -М)}й[1)у, .., Out) - реализация случайного процесса; Q. - множество возможных состояний объекта, причем для конструктивного задания процесса функционирования с помощью выражения (1.2) Q должно быть конечным [7]. В управляемом случайном процессе, кроме конечного множества состояний задается конечное множество управляющих воздействий Х={Х,,Х2,..., Хн} . Реализация такого случайного процесса будет определяться как последовательностью состояний, так и последовательностью управляющих воздействий. Таким образом, управляемый случайный процесс общего вида с дискретным временем может быть задан набором условных вероятностей: для различных Q и X =X(f),X(2), ...,X(t). Если распределение вероятностей состояний, полученное согласно (1.3), зависит не от всей предыстории процесса, а лишь от последовательности состояний и управляющих воздействий на I предыдущих шагах {Q _ = ШЬ-1+1), u(t-+2),_ ... , Ш)) %1 =Ш то такой случайный процесс определяет управляемую марковскую цепь -го порядка [73]. Для простых марковских цепей, или цепей первого порядка, распределение (1.4) зависит лишь от текущих значений состояний и управляющих воздействий. Стационарные объекты моделируются однородными цепями Маркова, в которых распределение (1.4) не зависит от текущего момента времени t .
Однородная управляемая марковская цепь первого порядка является частным случаем конечных вероятностных автоматов, для которых алфавит состояний и алфавит выходов совпадают и процесс функционирования объекта, модель которого представлена цепью Маркова первого порядка, можно рассматривать как последовательную смену состояний. При этом переход объекта из состояния ШЬ) &І в состояние Q,(t+1)=&j, UeJT , гдеЛГ- возможное конечное число состояний объекта, является случайным и характеризуется условной вероятностью перехода р , определяемой свойствами объекта и управляющим воздействием Х єХ , приложенным в состоянии йі Выражение (ІЛ) в данном случае принимает вид: Набор вероятностей переходов для всех возможных состояний и управляющих воздействий является моделью функционирования объекта. Структура такой модели приведена на рисІ.І и представляет собой набор стохастических матриц размерности JfxJT вероятностей перехода из одних состояний в другие, причем число матриц соответствует числу возможных управляющих воздействий И Элементами этого массива служат вероятности переходов р . Так, число, стоящее в таблице с номером к на пересечении і строки и j столбца определяет вероятность перехода за один такт дискретного времени из состояния Q-i в состояние dj при подаче управляющего воздействия Х . Вероятности переходов отвечают условиям, вытекающим из свойств стохастических матриц:
Применение для моделирования цепей Маркова первого порядка наиболее целесообразно, поскольку для них хорошо разработан математический аппарат анализа, в алгоритмах управления не требуется рекуррентным пересчетом определять условные вероятности переходов, что важно для организации оперативного управления. Используя подход [56], проведем анализ функционирования Структура марковской модели, выбор состояний и вероятностей переходов зависит как от свойств моделируемого объекта, так и от принятых управляющих воздействий. Рассмотрим систему автоматического управления (рис.1.2), работающую в дискретном времени и состоящую из многомерного стохастического (в общем случае - нелинейного) объекта, у которого Y-вектор выходных параметров и X - вектор управляющих воздействий, и управляющего устройства, реализующего некоторый алгоритм управления Fy . Векторы У и X в момент дискретного времени I будем обозначать соответственно Ш) и X(t) . Соотношение между входными и выходными координатами объекта определяется выражением: где F0 - некоторая функция, зависящая от свойств объекта, S - инерционность объекта. Устройство управления, вырабатывая управляющее воздействие только по наблюдаемым значениям выходных параметров, реализует некоторый заданный алгоритм: где h - инерционность управляющего устройства. Выражение (1.7) с учетом (1.8) принимает вид: где F0» - функция, зависящая от свойств объекта и устройства управления. Из (1.9) следует, что состояние вектора выходных координат объекта определяется значениями этого вектора в предыдущие S+h тактов управления, характеризующих инерционность всей системы и
Исследование методов повышения конструктивности марковских моделей технологических процессов
Под конструктивностью модели будем понимать возможность реализации на ее основе САУ с использованием современных технических средств.
Одной из главных трудностей, снижающих конструктивность моделей в виде конечных управляемых цепей Маркова, является большая размерность матриц вероятностей переходов, что требует большого объема памяти для хранения информации в ЭВМ и существенных затрат времени на реализацию алгоритмов управления и расчет статистических характеристик. Марковская модель, предназначенная для оперативного управления, должна, в большинстве случаев, располагаться в оперативной памяти ЭВМ. В то же время число состояний модели, формируемых согласно (І.ІІ), может быть очень велико и существенно превышать возможности современных ЭВМ уже при числе выходных координат (параметров) объекта (1 = 5, числе интервалов квантования каждого параметра Un «= 3 и инерционности объекта О , равной трем тактам управления (число состояний JJ Ю7).
Повышение конструктивности марковской модели - комплексная задача, решаемая как на этапе синтеза модели, так и на этапах ее анализа и технической реализации САУ.
На этапе синтеза модели число состояний может быть уменьшено за счет использования известных методов выбора для описания объекта наиболее информативных наблюдаемых параметров, а также учетом корреляции между отдельными интервалами квантования (градациями) различных параметров организма за число тактов S , что выполняется, например, в алгоритме синтеза модели при неизвестной структуре, рассмотренном в предыдущем параграфе.
Повысить конструктивность марковской модели на этапах технической реализации САУ и анализа модели позволяет использование методов рациональной записи модели в ОЗУ ЭВМ и сокращения числа состояний модели за счет их укрупнения соответственно. При этом должны быть учтены следующие особенности матриц вероятностей переходов и требования к процессу управления: при подаче некоторых управляющих воздействий многие вероятности рць переходов из одних состояний в другие малы; для динамических объектов, состояния которых сформированы согласно (I.II), некоторые переходы вообще не могут осуществляться и соответствующие им вероятности равны нулю при любых управляющих воздействиях; при управлении стоит задача поддержания требуемых состояний, которым соответствуют требуемые текущие значения одного или нескольких ведущих параметров объекта, определяющих качество управления.
Рассмотрим два основных метода повышения конструктивности модели за счет ее компактной записи в ОЗУ ЭВМ: метод "сжатия" и метод "связанных списков" [87] Проанализируем эффективность их использования применительно к марковским моделям сложных объектов. В качестве критериев эффективности методов выберем экономию памяти ЭВМ и время выборки элемента матрицы.
Введем числовые характеристики заполненности матриц вероят -ятностей переходов Р размерности M JT ненулевыми элементами: В методе "сжатия" исходная матрица Р записывается в матрицы СР и ЕР , причем обе эти матрицы имеют размерность ЛГхйтах Строки матрицы ЕР содержат ненулевые элементы соответствующих строк матрицы F , а элементы матрицы ВР указывают номера столбцов соответствующих им элементов матрицы ЕР Объем памяти, требуемый для записи матрицы Р методом сжатия, выражается формулой:
В методе "связанных списков" каждой ненулевой вероятности Оц исходной матрицы Р поставлена в соответствие запись,представляющая собой упорядоченную тройку ( і , р , MD ), где І -номер столбца, 0 - значение вероятности перехода, к$ - адрес следующего ненулевого элемента I -ой строки. Объем памяти VCc для хранения всей матрицы Р включает в себя память, необходимую для записи начальных адресов строк, а также память, требуемую для записи всех упорядоченных троек ( і , р , А Э), и может быть подсчитан как:
Для марковских моделей инерционных объектов, состояния которых формируются согласно (I.II), число ненулевых элементов в каждой строке невелико, в общем случае, одинаково (см.- пример на с.182) и равно CL= /jf Тогда выражение (2.16) запишется в виде
Синтез обобщенных показателей качества для задач оперативного управления сложными объектами в САУ с марковскими моделями
В данном параграфе строятся и анализируются записанные в терминах конечных цепей Маркова функции потерь, отвечающие сформулированным выше требованиям, пригодные для различных задач управления в режимах слежения и стабилизации.
В соответствии с изложенным в параграфе 3.1 за показатель качества управления, в явном виде зависящий от наблюдаемых параметров объекта, заданного конечной цепью Маркова первого порядка, примем: где 96 - длительность процесса управления, t(t)- одношаговые потери управления в момент дискретного времени t . В общем случае одношаговые потери управления представим в виде, предложенном нами в [89]: Показатель , (t) учитывает рассогласование текущей и заданной траекторий и определяется из выражения: где U,uL(t) - номер уровня параметра , соответствующий состоянию О-(Ь) заданной траектории, 11 (1/) - номер уровня параметра у. , соответствующий состоянию 0 (Ь) реальной траектории, и число выходных координат объекта, Км - весовой коэффициент, характеризующий значимость Ц ь параметра объекта, причем весовые коэффициенты нормированы, т.е. Zy у; = Показатель \(t) отражает потери, связанные с длительностью процесса управления, и вычисляется согласно: где дКр - символ Кронекера. Значение \(-И равно нулю, когда состояния реальной и заданной траекторий совпали, и равно единице, когда Показатель качества управления учитывает возможные отрицательные последствия, а также расходы на применение управляющих воздействий, и находится как: где Н - число управляющих воздействий, KY - весовой коэффици-ент, отражающий отрицательные последствия применения воздействия Х/( в момент времени t Показатель \Л) является штрафом за нарушение ограничений, наложенных на процесс управления. Различные сочетания приведенных показателей достигаются варьированием в (3.6) весовыми коэффициентами К,ц , Is 1,4, что позволяет ставить и решать основные задачи управления процессом, заданным конечной цепью Маркова первого порядка. Так, использование в САУ показателя (3.7), являющегося эквивалентом выражения (3.5), записанным в терминах марковских моделей, отвечает как задачам стабилизации объекта, так и задачам движения по заданной траектории, представленной последовательностью состояний Использование показателя (3.8) отвечает задачам оптимального по быстродействию управления, что особенно важно в ряде технологических процессов и при управлении функциями организма в острых состояниях. Применение показателя щЬ) целесообразно, если задана группа состояний, в которых должен находиться управляемый процесс и выход из которой запрещен. При этом оценка движения внутри заданной группы может осуществляться с использованием показателей (3.7)-(3.9).
В приведенных выражениях весовые коэффициенты задаются,исходя из анализа особенностей решаемых задач, экономических и технических характеристик управляемого процесса и, в ряде случаев, могут быть получены экспертным путем. Также по экспертным данным, исходя из конкретных свойств управляемого процесса, могут быть заданы желаемая траектория движения в виде последовательности состояний, множество запрещенных состояний и т.д.
В задачах стабилизации объекта в желаемом состоянии одно-шаговые потери управления являются функцией только состояний и управляющих воздействий и всегда могут быть заданы матрицей размерности JT H , где JT - число состояний марковской цепи. Элементами матрицы служат значения %ь одношаговых потерь в состоянии Ні у l-i,JT, при подаче управляющего воздействия
Разработка и анализ алгоритмов оперативного управления технологическим процессом на основе его марковской модели
Ниже анализируются алгоритмы, позволяющие осуществлять оперативный поиск оптимальных стратегий управления технологическим процессом на основе его марковской модели. Исследуются ограничения и области использования этих алгоритмов с показателями качества управления, предложенными в главе 3. Строится усовершенствованный алгоритм оперативного управления на основе метода Ховарда. Приводятся времена реализации рассмотренных алгоритмов в зависимости от размерности решаемых задач. Алгоритмы управления на каждом шаге процесса должны обеспечивать выбор оптимальных стратегий управления, т.е. таких управляющих воздействий в каждом состоянии, которые оптимизируют принятый показатель качества управления. Для поиска экстремумов функционалов, заданных на управляемых марковских цепях с конечным числом состояний, разработаны алгоритмы [12, 29, 58, 80, 81, 99], в основу которых положены либо метод динамического программирования, либо итерационный метод Ховарда. С целью выбора алгоритмов, позволяющих осуществлять оперативное управление технологическими процессами, марковские модели которых имеют произвольную структуру, рассмотрим метод дина мического программирования и метод Ховарда, следуя [99], причем модификации этих и некоторые другие методы, разработанные для частных случаев [20, 25, 77, 78, 83, 85],опускаем. Пусть задана конечная однородная управляемая цепь Маркова. Каждому состоянию этой цепи приписаны значения явно вычисляемой функции потерь.
Стоит задача найти стратегию управления C(t), обеспечивающую минимальное значение суммарных потерь за заданное время управления 86 : где іФ) - потери управления на t шаге процесса. Наиболее общим является использование метода динамического программирования, поскольку процесс управления может рассматриваться как последовательный процесс принятия решений. Метод динамического программирования в приложении к марковским цепям записывается в виде: где У ЛЬ) - полные потери управления за t тактов, если процесс остановился в состоянии 6L- , \ (t-f;- полные потери управления за t-i такт, если в момент времени t-i процесс находился в состоянии dj,, td(t)- значение функции потерь, рассчитанное для t такта в состоянии fi; при подаче управляющего воздействия к » АГ- число состояний марковской цепи. В начальный момент времени принимается При введении коэффициента переоценки [99] или коэффициента дисконтирования 6(t) [29], имеющего смысл вероятности продолжения процесса управления на каждом такте работы, рекуррентное соотношение динамического программирования, минимизирующее полные потери за время управления, запишется в виде: Использование метода динамического программирования для поиска оптимальных стратегий управления при больших длительностях процесса управления становится неэффективным [58, 99] из-за увеличения времени вычислений по выражениям (4.14), (4.15), пропорционального длительности процесса управления. Некоторые модификации этого метода [61, 63] , хотя и позволяют несколько уменьшить время счета, требуют дополнительной информации об управляемом процессе, получение и использование которой в универсальном алгоритме затруднено, и применимы к ограниченному классу объектов. Задача определения оптимальных стратегий управления в системе с длительным временем функционирования решается применением итерационного метода Ховарда [99], который представляет собой последовательное решение систем уравнений вида: где V , ІєЛГ, - вес состояния Q-j
В - коэффициент переоценки, и определение для каждого состояния O-i управляющего воздействия Хі , кеИ , минимизирующего найденные веса состояний, с дальнейшим использованием полученных 1 и р ь х в (4.16)« Начинать итерации целесообразно с определения управляющих воздействий Х , приняв Vj, » lJT» равными нулю, и продолжать вычисления по выражению (4.16) с последующим нахождением Х до тех пор, пока не совпадут стратегии в двух последовательных решениях. Модификация метода Ховарда, рассмотренная в [104], требует предварительного разложения матриц вероятностей переходов на подматрицы, соответствующие эргодическим классам; для эргодичео-ких и регулярных цепей применим предложенный в [84] алгоритм, в котором снижается порядок систем линейных уравнений, решаемых при использовании метода Ховарда, за счет предварительной оценки количества промежуточных итераций. Однако эти модификации применимы для ограниченного класса марковских цепей, требуют длительных предварительных расчетов и поэтому их применение для организации оперативного управления технологическими процессами существенно ограничено. Рассмотренные методы динамического программирования и Ховарда использованы нами для синтеза алгоритмов оперативного поиска оптимальных управляющих воздействий в САУ технологическими процессами на основе марковской модели. Схема алгоритма поиска оптимальных управляющих воздействий при использовании метода динамического программирования приведена на рис.4.2. Оператор I этого алгоритма осуществляет ввод исходной информации в виде матриц вероятностей переходов р , матриц потерь ln(t), t,j»f.Uf, й=1,Н ; длительности процесса управления ЭВ и вероятностей 6(tj продолжения процесса управления на каждом шаге. Операторы 2 и 3 задают начальные условия векторам полных потерь управления (0)и управляющих воздействий в каждом состоянии (стратегии управления) С(0). Операторы 4-9 обеспечивают реализацию метода динамического программирования "прямой прогонки" с вычислением (4.14) или (4.15) оператором 6. Окончание счета происходит, когда стратегия управления просчитана для процесса длительностью 36 (оператор 9). Оператором 10 производится вывод рассчитанных стратегий управления. Схема алгоритма поиска оптимальных управляющих воздействий при использовании метода Ховарда приведена на рис.4.3.
