Содержание к диссертации
Введение
Глава 1. Системный анализ процессов принятия управленческих решений в цикле постоянного улучшения 22
1.1. Концепция устойчивого развития: проблемы принятия управленческих решений в цикле постоянного улучшения 22
1.2. Анализ процессов принятия управленческих решений в цикле постоянного улучшения 27
1.3. Анализ современных исследований в области разработки систем поддержки принятия решений (в том числе и управленческих решений в цикле постоянного улучшения) 49
1.4. Требования к интеллектуальным системам поддержки при принятии управленческих решений в цикле постоянного улучшения 58
1.5. Результаты и выводы по первой главе 59
Глава 2. Методология интеллектуальной поддержки принятия управленческих решений в цикле постоянного улучшения на основе интеллектуальной обработки данных 61
2.1. Методология: общее описание 61
2.2. Структура процессов принятия управленческих решений в цикле постоянного улучшения 63
2.3. Коннективистские системы как базис для построения механизмов интеллектуальной обработки данных в системах поддержки принятия решений 72
2.4. Концепция онлайн и оффлайн конвейерной обработки данных 97
2.5. Выводы по второй главе 101
Глава 3. Методы сбора, оценки качества данных и предварительной обработки данных 103
3.1. Выявление проблем в процессе сбора и обработки потоков данных 103
3.2. Методика сбора, оценки и обеспечения качества и предварительной обработки данных 108
3.3. Формализованное представление потоков данных 112
3.4. Процессы сбора данных на основе подписки на потоки данных . 115
3.5. Система сбалансированных показателей оценки качества данных 116
3.6. Методы идентификации пропусков и выбросов в данных и восстановления данных 122
3.7. Реализация механизмов оценки качества данных на основе обработки потоков данных 141
3.8. Выводы по третьей главе 147
Глава 4. Метод автоматической идентификации объекта управления на основе идентификации поведения на коротком интервале наблюдения 149
4.1. Введение в проблему автоматического построения моделей прогнозирования 149
4.2. Обзор моделей и методов прогнозирования, методов автоматического прогнозирования 150
4.3. Описание метода автоматического построения модели прогнозирования на основе идентификации поведения на коротком интервале наблюдения 156
4.4. Оценка качества модели прогнозирования 170
4.5. Испытание метода и обоснование эффективности реализации 174
4.6. Выводы по четвертой главе 180
Глава 5. Методики интеллектуальной поддержки при принятии управленческих решений на стадиях цикла постоянного улучшения 183
5.1. Методика поддержки реализации стадии инициации процесса постоянного улучшения 183
5.2. Методика интеллектуальной поддержки принятия управленческих решений на стадии планирования в цикле постоянного улучшения 189
5.3. Методика интеллектуальной поддержки принятия корректирующих и предупреждающих решений на стадии проверки в цикле непрерывного улучшения 200
5.4. Принципы интеллектуальной поддержки принятия решений на этапе улучшения 210
5.5. Концептуальная структура интеллектуальной СППР на основе интеллектуального анализа данных 212
5.6. Выводы по пятой главе 224
Глава 6. Результаты применения методологии на ряде предмет ных областей и обоснование их эффективности 227
6.1. Интеллектуальная поддержка принятия решений в энергетическом менеджменте в цикле постоянного улучшения 227
6.2. Управление гибридными энергетическими системами с возобновляемыми источниками энергии 245
6.3. Поддержка принятия решений при управлении социально-экономическими объектами 253
6.4. Поддержка принятия решения по управлению состояниями автомобильных дорог 257
Заключение 267
Литература
- Анализ процессов принятия управленческих решений в цикле постоянного улучшения
- Коннективистские системы как базис для построения механизмов интеллектуальной обработки данных в системах поддержки принятия решений
- Система сбалансированных показателей оценки качества данных
- Описание метода автоматического построения модели прогнозирования на основе идентификации поведения на коротком интервале наблюдения
Анализ процессов принятия управленческих решений в цикле постоянного улучшения
Основной особенностью использования моделей и методов интеллектуальной обработки данных является значительная роль эксперта в процессе. Однако, привлечение эксперта зачастую связано с большими затратами (например, стоимость разработки модели прогнозирования для одного объекта составляет от 150 000 рублей) и возможным отсутствием эксперта для рассматриваемой предметной области. Использование же приложений интеллектуального анализа данных пользователями, без квалификации эксперта, зачастую приводит к построению неадекватной модели или не удовлетворяющей заданной точности.
Приведем пример. Как правило, методики информационной теории идентификации, KDD, CRISP-DM используют знания экспертов (аналитиков) для формирования и настройки прогнозных моделей в области энергетики. Так анализ эксперта, направленный на краткосрочное прогнозирование одного объекта позволяет добиться точности прогнозирования 95-98% (оценка МАРЕ), однако при запуске автоматических процедур прогнозирования для совокупности объектов, средняя оценка точности падает до 85-92% (МАРЕ). В пересчете падение качества прогноза при переходе на автоматический режим увеличивает риски (например планируемая сумма расхода может измениться с 1104 до 3974.4 рублей в день). Более того если ошибка превышает 5% (т.е. качество прогнозирования снижается с 98% до 94%), то превышается установленное отклонение в секторе свободной торговли (ССТ), что приведет к значительным штрафам (например вместо оплаты 11 040 рублей в день, мы должны оплачивать в 1,5 раза больше 16 560, т.е. потери составят 5 650 рублей).проблемы в реализации механизмов поддержки принятия решений на всех этапах цикла постоянного улучшения: - отсутствует информационная поддержка на всем жизненном цикле для реализации концепции постоянного улучшения (кусочная автоматизация); - как правило, реализуются только механизмы мониторинга с предоставлением структурированной информации; - обеспечение качества данных осуществляется в режиме пакетной обработки; - несовершенство методик генераций вариантов решения, а если они и присутствуют, то направлены на формирование корректирующих действий, т.е. когда имеет место ситуация, требующая вмешательство пользователя; - отсутствие механизмов формирования предупреждающих решений для реализации предупреждающих действий; - слабо проработан вопрос, связанный с оценкой эффективности поддержки принятия решений. проблемы уровня технической реализации систем поддержки приня тия решений и программной инженерии подобных систем: - архитектура систем не позволяет эффективно обрабатывать большой объем данных, не используются новые технологические решения хра 58 нения и обработки потоков данных, - не используются преимущества распределенного хранения данных и облачных вычислений, а также решений формата C2D5.
Требования к интеллектуальным системам поддержки при принятии управленческих решений в цикле постоянного улучшения На основе анализа стадий цикла непрерывного улучшения, классов проблем при реализации ППР сформулированы требования к СППР и предложены схемы реализации требований при принятии управленческих решений в цикле непрерывного улучшения: гибкость: реализация поддержки принятия решений для множества объектов управления; непрерывность: наличие механизмов поддержки принятия оперативных управленческих решений на всех стадиях процесса постоянного улучшения: планирования, проверки и улучшения; пригодность: наличие механизмов оценки и обеспечения качества данных, получаемых в режиме реального масштаба времени; скорость: выдача результатов анализа данных не должна превышать временной интервал принятия решений; достаточность: наличие механизмов автоматической интеллектуальной обработки данных для снижения участия пользователя в процессах настройки моделей; масштабируемость: наличие механизмов обработки больших объемов данных, в том числе и интегрирующие пакетную обработку и обработку
Формат C2D от англ. (codeo-data) предусматривает возможность тиражирования программного кода на узлы хранения данных для минимизации времени получения данных для обработки потоков данных в режиме реального времени; проактивностъ: наличие механизмов реализации поддержки принятия проактивных управленческих решений на стадии проверки для минимизации рисков возникновения неблагоприятной ситуации; автоматизация: наличие механизмов генерации автоматических решений для САУ для обеспечения заданных значений функций полезности функционирования объектов; управления. Следует отметить, что для удовлетворения перечисленных требований должна быть реализована система, использующая методы интеллектуальной обработки данных.
В первой главе рассмотрено состояние проблемы компьютерной поддержки принятия управленческих решений в цикле постоянного улучшения: - рассмотрено понятие устойчивого развития и выделены процессы принятия управленческих решений в цикле постоянного улучшения, согласно схеме Деминга; - проведен анализ процессов принятия управленческих решений на примере четырех предметных областей (энергетического менеджмента зданий с системами климат контроля, проектирования и управления гибридными энергетическими системами с элементами преобразования возобновляемой энергии, управления транспортно-эксплуатационным состоянием автомобильных дорог и принятие решение по ремонту и содержанию, управления социально-экономическим развитием муниципальных образований) и сформулированы проблемы, снижающие эффективность решений; - для каждой предметной области выполнено ее описание, формализация объекта исследования, выделена специфика принятия управленческих решений в цикле постоянного улучшения, выполнен анализ существующих решений по поддержки принятия решений, дана характеристика проблемам, требующим решения; обобщены и классифицированы четыре группы проблем при реализации поддержки принятия решений при управлении в цикле постоянного улучшения; сформулированы требования к интеллектуальным системам поддержки принятия управленческих решений в цикле постоянного улучшения; отмечено, что для реализации требований целесообразно использовать концепцию систем, реализующих методы интеллектуальной обработки данных.
Коннективистские системы как базис для построения механизмов интеллектуальной обработки данных в системах поддержки принятия решений
На стадии проверки (measurement and verification) jr G выполняются операции: рСМ — мониторинга объекта; pCLC оценки соответствия законодательным и другим требованиям; pCIA внутреннего аудита системы управления; pCVD выявления несоответствий; pCDM принятия управленческих решений для формирования корректирующих и предупреждающих действий.
Диаграмма потоков данных стадии проверки в цикле постоянного улучшения представлена на рисунке 2.5. Использованы следующие обозначения: sL — sDW sA
Диаграмма потоков данных процесса проверки законодательные акты; sCSI — информация о состоянии системы управления; sG — целевые значения выходных управляемых переменных; dCQ — запросы на получение данных, формируемые ЛПР на стадии проверки; dCQR — данные, представляющие собой результаты запросов и их графическое отображение; dCRLC — результаты оценки соответствия законодательным и другим требованиям; dAR — результаты аудита с целью выявления несоответствий; dDV — перечень выявленных несоответствий; dCSD — выбранное (или сформированное системой управляющее воздействие в автоматическом режиме) предпочтительное решение.
На стадии анализа и улучшения (analysis and improvement) р А выполняются операции: рАР — анализ политики, показателей результативности как степени достижения поставленных целей, состояния выполнения предупрежда-ющих и корректирующих действий; pADM — принятия управленческих решений по улучшению, а именно инициированию нового цикла и переход на стадию р( . Принятие решений на этапе улучшения: либо принимается решение по ини
Диаграмма потоков данных стадии анализа и улучшения в цикле постоянного улучшения представлена на рисунке 2.6. Использованы следующие обозначения: dRAP — отчет по результатам анализа, dASD — выбранное решение на стадии анализа и улучшения.
Для унификации представления моделей интеллектуальной обработки данных был предложен подход, основанный на представлении обработчиков в виде коннективистских систем (КС). По определению энциклопедии Стендфорского университета коннективизм (англ. connectionism) — один из подходов в области когнитивной науки, пытающийся объяснить интеллектуальные возможности человека посредством использования искусственных (нейронных) сетей [135]. Как видно, это определение охватывает область интересов интеллектуальных систем и вычислительного интеллекта. Слово нейронные было принудительно взято в скобки, т.к. нейронные сети являются лишь частным случаем сетей. Однако в большинстве исследований именно с нейронными сетями связан термин коннективистские системы. Это обусловлено тем, что в ранних работах по исследованию и моделированию человеческого мозга (например в работах Розенблатта, Хебба и др.) делались по-пытки воспроизвести интеллектуальные свойства человека через разработку моделей, позже получивших название искусственных нейронных сетей [48].
Данное направление стало активно развиваться после 80-х годов прошлого века, когда было преодолено ограничение возможности аппроксимации многомерных нелинейных функций. Кроме этого в работах отечественных ученных Галушкина А.И. [56], Пупкова К.А. [15, 47] , Горбаня А.Н., Терехова В.А., [36], Ефимова Д.В., Головко В.А. [8], Хайкина С, [67], Тюкина И.Ю., Гордиенко Е.К., Россиева Д.А. [9], Ежова А.А., Шумского С.А. [12], Миркеса Е.М. [35], Царегородцева В.Г. [266] отражены уникальные положения по развитию теории нейронных сетей. Работы Ярушкиной Н.Г. [88], Комарцовой Л.Г., Максимова А.В. [37] и ряда других рассматривают применение нечеткой логики и синтеза гибридных нейронечетких моделей. Однако следует отметить, что существует ряд актуальных направлений и работ, связанных с разработкой эволюционных коннективистских систем и импульсного подхода к представлению информации следующих ученных Касабова Н.[90, 192], Аббасса X., Ангелова П., Маасса В., Бишопа К. и других. Одной из основополагающих работ по использованию нейронных сетей, как одного из направлений коннективистских систем для моделирования систем управления, стала работа Widrow В. и Smith F.W., в которой показана способность многослойной нейронной сети эмулировать работу стабилизатора [273]. Первые попытки применить искусственные нейронные сети для управления динамическими бионическими системами были предприняты Рябининым А.Д., Шкваром A.M. [50], которые сделали ряд важных и основополагающих выводов.
В общем случае коннективисткие модели представляют собой новые парадигмы понимания способов представления информации в человеческом мозге и способов функционирования мозга. В основу была положена наивная идея о соответствии одного нейрона некоторой информации, таким образом, нейрон представлял собой ячейку памяти. Безусловно, это не соответствует действительности, т.к. хранение элементов информации (паттернов) происходит в связанной распределенной структуре коры головного мозга. В начале 90-х годов прошло столетия в научных кругах был спор об отличии коннективистских систем и обычных систем с различными уровнями представления [132, 134, 205, 251]. множество элементов, элементарных преобразователей данных, cL — множество слоев - контейнеров, объединяющие элементы, cR — матрица связей между элементами (инцидентности), определяющая структуру КС, сО — множество параметров КС, cJ (сО) — функция потерь, са — алгоритм поиска значений параметров сО, минимизирующих функцию потерь с J. Элемент множества cU можно представить кортежем вида:
Система сбалансированных показателей оценки качества данных
Формирование структуры модели (выбор значимых переменных) основано на следующих приемах.
Выбор и включение значений прогнозируемого параметра Z в прошлом. Число параметров и величина лага может быть получена в результате анализа автокорреляционной функции. По умолчанию может быть принята следующая схема: число переменных наблюдения варьируется от к = {2,3,4}, значение лага равна значению короткого интервала наблюдения I = I, таким образом, входной вектор для к = 4 и j наблюдения представляется в виде: z = {z(j-i),Z(j-2-i),Z(j-U),Z(j-U) } 169
Включение признаков, извлекаемых из временных меток (типов дней). На данном этапе включается информация о типе дня. Как правило, па раметры характеризующие тип, являются категориальными и требуют дальнейшего преобразования. - Признак рабочего регулярного, рабочего нерегулярного, нерабочего дня или признак функционирования объекта (например часы открытия, закрытия в торговых центрах). - Признак праздничного, предпраздничного и послепраздничного дня. - Номер дня в неделе и номер недели или номер дня в месяце. - Номер месяца в году или признак сезона. Этот параметр следует указывать в том случае, если выборка превышает больше чем один год.
Включение значений внешних параметров осуществляется в зависимости от типов данных входных параметров. Если тип данных мгновенный, то целесообразно включать в качестве входных параметров усредненное зна чение на КИН. Если интегральное, то реализовывать аналогично схеме представленной для выходного управляемого параметра.
Кроме этого применяется подход основанный на предварительной кластеризации поведения внешних управляющих или возмущающих параметров на коротких интервалах наблюдения (аналогичный схеме 4). После осуществления кластеризации обучающая выборка должна быть переформирована.
Нормализация значений прогнозируемого параметра. В ряде случаев це лесообразно нормализовать значения прогнозируемого параметра, где в качестве параметров нормализации выступают внешние параметры.
Выбор модели осуществляется на основании анализа оценок ошибок прогнозирования. Сначала требуется выбрать приемлемую оценку ошибки прогнозирования. Существуют рекомендации по выбору предпочтительных оценок ошибок прогнозирования, основываясь на различных параметрах, таких как статистические характеристики данных, значение горизонта прогнозирования, число временных рядов, и др. [105], [106], [177], [130]. Для этого необходимо использовать знания о предметной области. Если же подобное знание отсутствует, то используется несколько оценок ошибок прогнозирования для оценки моделей [105].
В теории анализа временных рядов и прогнозирования оценка качества прогноза является отдельным разделом [74, 165]. Выделяют различные критерии оценки качества прогнозирования, в частности оценки ошибок прогнозирования, скорость расчета, интерпретируемость и другие [106, 218, 276]. Следует отметить, что оценка ошибки прогнозирования (forecast error measures) или точности прогноза (forecast accuracy) является наиболее важной при решении практических задач [276] и используется для выбора наиболее точной модели прогнозирования.
В первую очередь рассматриваются критерии оценки ошибок прогнозирования, традиционно применяемые в конкретной предметной области. Однако, зачастую применение данных критериев невозможно из-за имеющихся в них недостатках.
Как правило, процедура оценки точности моделей прогнозирования включает три шага: выбор приемлемых критериев оценки качества прогнозных моделей, расчет ошибки прогнозирования и оценка качества моделей с использованием критериев и на основе рассчитанных ошибок [217]. Однако, как было отмечено в работе [216] «наибольшая сложность при работе с критериями точности в прогнозной ситуации заключается том, что не существует единого универсального критерия точности», и в работе [106] «Выбор критерия точности зависит от ситуации. Ни один из критериев не превосходит другой». Как следствие, выбор наиболее подходящего критерия рассматривается как отдельная проблема в области прогнозирования [165].
Каждая оценка ошибки прогнозирования базируется на расчете ошибки в моменты времени t на горизонте прогнозирования h:
В работе [130] выделено две основные группы оценок: независимые (stand alone) и относительные (relative). В таблице 4.2 показаны группы различных независимых оценок ошибок прогнозирования в соответствии с классификацией, предложенной в [177].
Описание метода автоматического построения модели прогнозирования на основе идентификации поведения на коротком интервале наблюдения
Были проведены два типа испытаний предлагаемой системы. Первый тип испытаний проводился на модели ГЭнС для одного этажа здания, второй на примере данных реальном офисном здании (ВЕМТ, Бельгия). Модель здания в первом случае формировалась с пакете PVSol, представляющего собой программу моделирования гибридных энергетических систем, с солнечными панелями, с двух- и трехмерной визуализацией. Построенная модель здания (высотного корпуса ВолгГТУ), находящегося в г. Волгограде (пр. Ленина, 28). Данные о погодных условий получаются с помощью встроенных баз данных Climate Data [133].
На рисунке 3.1 представлены: (а) экспериментальная установка гибридной энергетической системы с солнечной панелью, (б) модель высотного корпуса ВолгГТУ. По результатам проведенных испытаний можно сформулировать главный вывод о повышении эффективности управления ГЭнС на основе методологии, предложенной в работе.
При моделировании гибридной энергетической системы можно осуществлять поиск оптимальной конфигурации и числа солнечных панелей, для минимизации затрат на приобретение и минимизации затрат на оплату электроэнергии.
Экономическая эффективность спроектированной гибридной энергетической системы этажа офисного здания рассчитывается через сокращение затрат на электроэнергию и общую стоимость системы по формуле где J — затраты на электроэнергию с применением разработанного метода управления; Jo — затраты на электроэнергию без применения разработанного метода управления; — общая стоимость разработанной энергетической системы. 3. Повышение эффективности достигается за счет экономии затрат на электроэнергию (для типового офисного здания), которая может достигать 13% на рассматриваемых объектах.
Проблема управления социальноэкономическим развитием сети муниципальных образований является актуальной для устойчивого развития регионов страны. СППР позволит принимать оптимальные стратегические управленческие решения. При этом решения должны носить комплексный характер, т.к. развитие региона зависит от мероприятий по различным направлениям работы. В качестве объектов исследования и прогнозирования рассмотрены муниципальные образования. Муниципальное образование (МО) сложная слабоструктурированная система, с большим количеством взаимосвязанных причин-носледственных связей между факторами. Для анализа ситуации использова 254 лись следующие показатели за 2007-2009 годы: демографические показатели: численность населения, численность трудоспособного возраста, число пенсионеров, родившиеся (чел.), умершие (чел.), прибывшие (чел.), убывшие; экономические факторы: среднемесячные денежные доходы на душу населения, число магазинов, количество домовладений, число предприятий и ИП, расходы бюджета и др; социальные факторы число зарегистрированных преступлений, % раскрываемости, число больниц, число случаев заболеваний алкоголизмом, и прочие; географические факторы плотность автомобильных дорог общего пользования с твердым покрытием км дорог, удаленность поселения от ближайшей ж/д станции.
Так как компьютерная поддержка принятия решений для комитета отсутствовала и все данные обрабатывались вручную, было принято решение реализовать стадию инициации и планирования. В рамках стадии планирования был выполнен анализ объектов управления с целью прогнозирования ключевых показателей и выполнен анализ демографической ситуации, бизнес активности и криминогенной обстановки.
Для представления МО был использован аппарат гиперграфов, что позволяет в конечном итоге формировать прогнозные коннективистские системы для каждого узла графов и определять входные воздействия (например влияние параметра одного муниципального образования на другие).
Если рассмотреть текущее описание МО, то систему муниципальных образований можно представить в виде гиперграфа верхнего уровня, вершинами которого являются МО:
Таким образом, гиперграф Г представляет собой верхний уровень описания сети муниципальных образований V как эволюционных систем. Под эволюци 255 онной системой понимается система изменяющая режимы функционирования в течение времени. Множество ребер L отражают принадлежность МО к районным центрам. Далее, вершины V - можно представить в виде гиперграфа 1-го уровня Г, , где каждая вершина в Т\ представляет собой характеристику социально-экономического состояния МО определенного типа. Таким образом, система представляет собой кортеж; вида:
В рамках разработанной методологии был применен метод автоматической идентификации объектов на основе кластеризации. Отдельной интересной задачей для анализа являлась задача анализа объектов, входящих каждую из групп. На этапе кластеризации по внешним признакам были сформированы 3 кластера для которых строились модели прогнозирования. объединяющий в себе крупные (городские) поселения. Для кластера характерно высокая численность населения, в том числе и трудоспособного, высокие среднемесячные доходы, высокий процент родившихся и умерших людей, высокий процент прибывших и уехавших из поселения. Отмечается большое количество преступлений. Как правило в данных поселениях располагаются больницы, есть школы, высокая бизнес активность (малые предприятия и индивидуальные предпринима
Похожие диссертации на Интеллектуальная поддержка при принятии управленческих решений в цикле постоянного улучшения
