Содержание к диссертации
Введение
1 Существующие подходы к построению имитационных моделей И
1.1 Способы описания дискретных систем 12
1.2 Языки имитационного моделирования 16
1.3 Среды имитационного моделирования 19
1.4 Методы оценки адекватности имитационных моделей 25
1.5 Проблемы автоматизации построения имитационных моделей 31
2 Методика построения имитационных моделей с использованием больших массивов данных (МПМ) 34
2.1 ЭтапыМПМ 35
2.2 Имитационная модель в формате IDEF3 42
2.3 Преобразование имитационных моделей между IDEF3 HGPSS 46
2.4 Подготовка хранилища статистических данных функционирования реальной системы 61
2.5 OLAP структуры функционирования реальных систем и построение оценки адекватности модели 70
Выводы 81
3 Программый комплекс построения имитационных моделей (ПК) 83
3.1 Структура ПК 83
3.2 Решение по комплексу программных и технических средств 88
3.3 Промежуточная база данных DB Prom 94
3.4 Хранилище данных статистики функционирования реальной системы 97
3.5 DTS - пакеты передачи в хранилище данных 100
3.6 OLAP - клиент проверки адекватности ИМ 101
3 Л Файловый состав ПК 103
Выводы 105
4. Экспериментальное исследование методик МПМ 106
4.1 Постановка задачи эксперимента 106
4.2 Законы распределения процессов поступления транзактов и их обслуживания 111
4.3 IDEF3 и GPSS модели производственной системы 115
4.4 Оценка адекватности имитационной модели производственной системы 131
Выводы 133
Выводы 134
Литература 136
- Проблемы автоматизации построения имитационных моделей
- Подготовка хранилища статистических данных функционирования реальной системы
- Решение по комплексу программных и технических средств
- IDEF3 и GPSS модели производственной системы
Введение к работе
Актуальность. В мировой практике имитационного моделирования к настоящему времени сформировались определённые концепции и сложились вполне устоявшиеся подходы к решению проблемы автоматизации построения имитационных моделей.
Исследованию различных аспектов проблемы автоматизации построения имитационных моделей уделяли и уделяют много внимания известные учёные и специалисты в области имитационного моделирования. Работы в этой области представлены публикациями Р.Шеннона, Н.ГТ.Бусленко, Дж.Клейнена, И.Н.Коваленко, В.В.Калашникова, А.А.Вавилова, С.В.Емельянова, Б.Ф.Фомина, В. Томашевского, Ю.Г.Поляка, Р.Сэджента, Дж.Карсона, А.Ло, М.МакКомаса. и
др.
Такое положение обусловлено, прежде всего, спецификой применения имитационного моделирования как инструментария исследования, который в отличие от классических методов математического моделирования не обеспечивает проектировщиков и исследователей сложных систем соответствующими формализованными средствами определения (описания) таких систем и содержит ряд этапов, требующих автоматизации.
За последние годы организации все чаще внедряют АСОИ корпоративного уровня. Данный класс систем способствует организации детального электронного учета деятельности. При таком подходе, каждый факт процесса регистрируется в базе данных, фиксируется время, когда этот факт имел место, ведется история событий, позволяющая получить быстрый доступ к любой информации о деятельности организации за любой период и в любой момент времени. Организации, работающие в рамках такой технологии много лет, уже накопили огромные массивы данных фактов своей деятельности, которые могут быть использованы для построения адекватных моделей в качестве образца. В связи с расширением предприятий, внедрением нового оборудования или еще какими-
7 нибудь нововведениями, становится актуальной проблема моделирования и, в частности, построения адекватных имитационных моделей.
Современный уровень развития вычислительной техники и программного обеспечения, ориентированного на СУБД позволяет свести к минимуму стоимость машинного времени, и обеспечить время отклика при запросе к массиву данных, измеряемому Гб порядка десятка секунд.
В то же время, предлагаемые средства имитационного моделирования в лучшем случае имеют скудные возможности работы с базами данных (на уровне импорта / экспорта ИМ). Кроме того, отсутствует единый стандарт хранения ИМ, хотя в качестве основы для такого стандарта может выступать XML, на котором уже базируются огромное количество технологий.
Существует еще один аспект, требующий усовершенствования - генерация ИМ на основе стандартов моделирования бизнес - процессов (например, IDEF.x). Из существующих сред моделирования этой возможностью обладают системы Arena в совокупности с СА BPWin. В России в настоящее время активно продвигается GPSS, для которого не существует данной особенности.
Объектом исследования является методика построения ИМ с применением больших массивов данных.
Предметом исследования является проблема автоматизированного построения имитационных моделей, адекватных реальным системам с использованием больших массивов данных функционирования реальных систем.
Цель работы - автоматизация построения имитационных моделей с применением больших массивов данных на основе интеграции IDEF3, OLAP, GPSS технологий.
Для этого необходимо решение следующих задач:
разработка методики построения имитационных моделей на основе интеграции IDEF3, GPSS, OLAP технологий;
разработка общего формата хранения имитационных моделей и правил преобразования имитационных моделей в форматах IDEF3, XML, GPSS;
разработка реляционной модели хранения данных реальных систем, подготовленных для выгрузки в хранилище и самого хранилища данных;
разработка OLAP структур хранения статистики функционирования реальной системы;
разработка программного комплекса автоматизированного проектирования имитационных моделей.
Методы исследования, достоверность и обоснованность результатов исследования базируются на использовании теории систем массового обслуживания, теории множеств, методах теории вероятностей и математической статистики, концепции хранилищ данных, многомерного динамического анализа (OLAP), реляционной алгебры. Достоверность полученных результатов подтверждается использованием известных положений фундаментальных наук, корректностью разработанных математических моделей, хорошей согласованностью полученных теоретических результатов с данными эксперимента, а также результатами исследований других авторов.
На защиту выносятся:
методика построения имитационных моделей на основе интеграции IDEF3, GPSS, OLAP технологий;
общий формат хранения имитационных моделей, не зависящий от средств ее представления;
математическая модель трансляции имитационных моделей между стандартами IDEF3 и GPSS
OLAP структуры хранения статистики функционирования реальной системы;
программный комплекс автоматизированного проектирования имитационных моделей;
результаты экспериментальных исследований, заключающихся в апробации предлагаемой методики построения имитационных моделей и оценки адекватности полученной имитационной модели.
Научная новизна диссертационной работы состоит в следующем:
впервые предложена и теоретически обоснована методика построения имитационных моделей с использованием больших объемов данных реальных систем, позволяющая сократить время этапов разработки кода и оценки ее достоверности;
модель описания систем IDEF.3 дополнена новыми параметрами и правилами ассоциации IDEF3 блоков с GPSS блоками, что позволяет применять IDEF.3 для описания имитационных моделей;
предложен общий формат хранения имитационных моделей, не зависящий от средств ее представления, построена математическая модель трансляции имитационных моделей между стандартами IDEF3 и GPSS;
впервые концепции хранилищ данных и многомерного динамического анализа данных применены на этапах построения имитационной модели и получения оценки ее адекватности.
Практическая ценность. Разработан программный комплекс, позволяющий исследователям создавать ИМ с помощью широко распространенной нотации IDEF.X, которая представляет собой инструмент описания систем в виде диаграмм, и получать на этой основе готовую программную реализацию, GPSS модель, которая используется в задачах анализа и принятия решения.
Также программный комплекс позволяет использовать большие объемы данных, накапливаемых предприятиями в процессе своей деятельности, на этапах создания программной реализации ИМ, что позволит избежать ошибок применения теоретических законов распределений.
Использование концепций хранилищ данных и многомерного динамического анализа позволяет автоматизировать процессы подготовки данных физических систем и проверки достоверности имитационных моделей.
Реализация результатов работы. Результаты диссертационной работы находят практическое применение в учебном процессе Чайковского технологического института (филиал) ГОУВПО "Ижевский государственный технический универитет" при изучении дисциплин "Операционные системы",
10 "Операционные среды АСОИиУ", а также в курсовом и дипломном проектировании и могут быть использованы на предприятиях, которые внедрили у себя корпоративные АСОИ и деятельность которых укладывается в схему систем массового обслуживания.
Апробация работы. Основные научные результаты, полученные в диссертационной работе, докладывались и обсуждались на региональных научно-практических конференциях "Социально-экономические проблемы развития региона" 2005 - 2006 г., (г. Чайковский), Российской школе конференции молодых ученых "Теория динамических систем в приоритетных направлениях науки и техники" (г. Ижевск, 2006 г.), Всероссийская научно-техническая конференция "Приоритетные направления развития науки и технологий" (г. Тула, 2006 г.).
Публикации. Основные результаты диссертационной работы отражены в 8 ' статьях, опубликованных в научно-технических сборниках и трудах конференций.
Структура и объем работы. Диссертация состоит из введения, четырех глав и заключения, приложений и библиографического списка, включающего 139 наименований. Работа изложена на 145 листах машинописного текста, содержит 29 рисунков и 27 таблиц.
Проблемы автоматизации построения имитационных моделей
В результате проведенного анализа существующих подходов к построению имитационных моделей были выявлены следующие проблемные участки, связанные с автоматизацией построения имитационных моделей.
1. Отсутствие единого стандарта передачи имитационных моделей между системами имитационного моделирования, системами имитационного моделирования и системами моделирования, основанными на IDEF.x;
2. К исследователю предъявляются высокие требования в области программирования;
3. Интеграции систем имитационного моделирования с базами данных реальных систем существует только в специализированных программных комплексах, допускающих моделирование и анализ только в определенных предметных областях.
4. Не достаточно проработаны механизмы получения оценки достоверности модели реальной системе. В настоящее время широкое распространение получили корпоративные системы, внедрение которых позволяет вести подробнейший учет деятельности любой функциональной подсистемы организации. За время существования таких систем многие организации накопили объемы информации, измеряемые в Гб, а то и Тб. Чтобы оперативно получать статистические оценки, законы распределения, опираясь на эти данные, необходимы технологии, основанные на концепции хранилищ данных, OLAP.
5. Недостаточно проработаны методики построения имитационных моделей с использованием больших объемов детальной информации функционирования реальных систем.
6. Многие стандарты, ориентированные на системный анализ недостаточно адаптированы к методике имитационного моделирования.
7. Существующие системы автоматизированного проектирования имитационных моделей реализуют разнообразные методики, но при этом они слабо адаптированы к широко распространенным стандартам моделирования систем IDEF.x, Кроме того, не достаточно развиты механизмы автоматизированного анализа больших массивов данных реальных систем, хранящихся в разных форматах реляционных и многомерных баз данных.
На основе выявленных недостатков методик построения имитационных моделей, была сформирована цель и задачи диссертационного исследования:
- разработка методики построения ИМ на основе интеграции IDEF3, GPSS, OLAP технологий;
- разработка правил преобразования IDEF3, XML, GPSS;
- разработка реляционной модели хранения данных реальных систем, подготовленных для выгрузки в хранилище и самого хранилища данных;
- разработка OLAP структур хранения статистики функционирования реальной системы;
- разработка программного комплекса автоматизированного проектирования имитационных моделей. Выводы:
1. Проведено исследование теоретических подходов к описанию дискретных систем, в результате чего были выявлены наиболее распространенные методики построения имитационных моделей и методики структурного анализа систем.
2. Проведен обзор языков и сред имитационного моделирования, в результате которого были выявлены их особенности, затрудняющие разработку имитационных моделей: высокие требования к исследователю в области программирования, отсутствие единого общепризнанного формата передачи имитационных моделей между различными языками и нотациями, отсутствие механизма трансляции моделей между широкораспространенным языком имитационного моделирования GPSS и стандартами структурного анализа систем IDEF.x.
3. Было выявлено, что инструменты имитационного моделирования не обладают развитыми механизмами задействования больших массивов данных реальных систем, накопленных СУБД в результате функционирования автоматизированных систем обработки информации, хотя на сегодняшний день, благодаря развитию стандартов учета информации промышленных объектов, существует возможность использования этих данных на этапах построения программного кода имитационных моделей и оценки их достоверности.
Подготовка хранилища статистических данных функционирования реальной системы
Представим архитектуру ХД в виде совокупности трёх областей:
— источник данных (совокупность таблиц оперативной системы и дополнительных справочников), позволяющий создать многомерную модель данных с требуемыми измерениями);
— промежуточная область (совокупность таблиц, использующихся исключительно как промежуточные при загрузке ХД);
— приёмник данных.
В рассматриваемом случае воспользуемся моделью начальной загрузки (Initial load) [103,107,110]. В качестве источника данных могут выступать:
— структурированные текстовые файлы;
— классификатор оперативной системы;
— таблица фактов оперативной системы.
В общем случае конвертация состоит из трех этапов: извлечения, преобразования, загрузки (extraction, transformation, loading, ETL) [107]
Разобьем процесс перегрузки данных на две фазы:
— фаза загрузки в промежуточную область;
— фаза загрузки в хранилища данных.
Рассмотрим общую схему источника данных. Рассмотрим общую структуру системы регистраторов, регистрирующих события, происходящие во время функционирования реальной системы (Рис. 2.8).
Регистратором поступления объекта (РПО) выполняются следующие действия:
— фиксация даты и времени поступления объекта в систему;
— маркировка и фиксация идентификатора поступающего объекта;
— идентификация и фиксация типа объекта.
Кортеж, информации регистратора поступления объекта в систему имеет вид:
ЕО = (# OBJ, # ТО, DATA, TIME) (2.2) где WBJ- идентификатор объекта; #ТО - идентификатор типа объекта; DATA - дата поступления объекта; TIME - время поступления объекта.
Регистратором подачи заявки (РПЗ) выполняются следующие действия:
— идентификация и фиксация идентификатора пришедшего объекта;
— фиксация даты и времени подачи заявки на обслуживание;
— фиксация устройства обслуживания.
Кортеж, собирающий информацию с регистратора подачи заявок имеет вид:
EOD = (# ORI, # DEV, DATA, TIME) (2.4)
где WBJ- идентификатор объекта; #DEV- идентификатор устройства обслуживания; DATA - дата подачи заявки; TIME - время подачи заявки.
Регистратором начала обслуживания (РНО) выполняются следующие действия:
— идентификация и фиксация идентификатора пришедшего объекта;
— фиксация даты и времени начала обслуживания;
— фиксация устройства обслуживания
— если объект обслуживается многоканальным устройством, то фиксация идентификатора многоканального устройства и идентификатора обслуживающего канала.
Кортеж, собирающий информацию с регистратора начала обслуживания имеет вид: BS = (#OBJ,#DEV,#CH,DATAJIME) (2.5) где #OBJ идентификатор объекта; #DEV- идентификатор устройства обслуживания; #СЯ- идентификатор канала устройства обслуживания (используется в случае многоканального устройства); DATA - дата начала обслуживания; TIME - время начала обслуживания. Регистратором завершения обслуживания (РЗО) выполняются следующие действия: — идентификация и фиксация идентификатора пришедшего объекта; — фиксация даты и времени завершения обслуживания; — фиксация устройства обслуживания; — если объект обслуживается многоканальным устройством, то фиксация идентификатора многоканального устройства и идентификатора обслуживающего канала. Кортеж, собирающий информацию с регистратора завершения обслуживания имеет вид: ES = (# OBJ, #DEV,# СН, DATA, TIME) (2.6) где WBJ- идентификатор объекта; #DEV- идентификатор устройства обслуживания; ІЇСН- идентификатор канала устройства обслуживания (используется в случае многоканального устройства); DATA - дата завершения обслуживания; TIME - время завершения обслуживания. Регистратором ухода объекта (РУО) выполняются следующие действия: — идентификация и фиксация идентификатора уходящего объекта; — фиксация даты и времени ухода объекта из системы; — идентификация и фиксация типа объекта.
Решение по комплексу программных и технических средств
Для реализации ПК необходим следующий программный комплекс:
- система управления реляционными базами данных (РСУБД) для хранения и обработки данных промежуточной базы данных и Хранилища;
- система управления многомерными базами данных (МСУБД) для создания многомерных кубов данных реальных систем;
- среда разработки приложений для Microsoft Windows для разработки и отладки клиентского приложения доступа к данным многомерных кубов (OLAP-клиента);
- CASE средство построения IDEF3 модели;
- среда разработки имитационных моделей;
Выбор РСУБД Microsoft SQL 2000 Server во многом был определен тем, что данная система широко применяется в автоматизированных системах.
Масштабируемость. SQL 2000 Server обеспечивает практически неограниченный рост объемов данных за счет увеличения надежности и масштабируемости системы, используя все преимущества мультипроцессорной обработки данных.
Скорость построения решений. Использует встроенный отладчик для языка запросов T-SQL. Обладает механизмами, ускоряющими процесс поиска данных. Упрощает управление базами данных. Позволяет использовать создаваемые пользователем функции в других приложениях.
Поддержка резервных серверов. Позволяет создавать отказоустойчивые базы данных с использованием резервного оборудования.
Сервисы преобразования данных. Импортирует и экспортирует данные и ключи между поддерживаемыми базами данных. Программирует многофазную подкачку данных и сохраняет пакеты DTS как код Visual Basic.
Соединение OLAP кубов. Соединяет OLAP кубы на различных серверах для анализа производительности. Безопасно осуществляет доступ к данным куба через Интернет. Параллельное DBCC. Быстро и эффективно проверяет данные в базах данных с поддержкой многопроцессорной работы.
Наиболее важными для проекта являются сервисы преобразования данных и соединение OLAP кубов.
Data Transformation Services (DTS) представляют собой компоненту, созданную для получения данных из одного OLE DB-источника данных, выполнения некоторых действий и сохранения их в целевом OLE DB-источнике данных. DTS состоит из пакетов, определяющих конкретный объем работы по передаче данных. Пакеты имеют множество соединений с источниками данных, задачами, подлежащими выполнению и технологическими процессами, объединяющими соединения и задачи. Примеры задач включают копирование данных из исходного соединения в целевое соединение, трансформацию данных из исходного соединения и помещение трансформированных данных в целевое соединения, выполнение над соединением некоторого набора сценариев Microsoft ActiveX или операторов Transact-SQL. DTS является мощным инструментом для любой системы, обязанной неоднократно обращаться к данным в одном формате и трансформировать их в другой формат, в частности к ним относятся системы использующие Хранилище данных, которое должно обновляться периодически по окончании работы OLTP системы [104].
Редакция Microsoft SQL 2000 Server Enterprise Edition включает OLAP-сервесы - Analysis Services, что позволяет не приобретать дополнительных программных продуктов. Analysis Services представляют собой простой интегрированный и масштабируемый набор компонент, позволяющий создавать многомерные кубы и имеющий прикладные программы, обеспечивающие доступ к кубам, Analysts Services поддерживают различные механизмы хранения для кубов. Кубы могут храниться в реляционных базах данных (ROLAP), как отдельные высокофункциональные многомерные структуры данных (MOLAP) или как гибрид этих двух механизмов (HOLAP), Analysis Services содержат мастера, облегчающие выполнение таких задач, как определение измерений и кубов. На рис. 3.3 представлена схема взаимодействия служб выбранных программных средств в процессе работы системы. Данные из OLTP-источника (базы данных АИС приемной комиссии) данные с помощью DTS-пакетов переносятся в Хранилище данных. Затем с помощью СОМ-серверов DSO (Decision Support Objects), предназначенных для управления метаданными многомерных баз данных Analysis Services, обновляются многомерные базы на OLAP-сервере. Открытые интерфейсы OLE DB for OLAP и ADO MD позволяют клиентскому приложению осуществлять доступ к данным многомерной базы, поэтому для создания OLAP- клиента аналитической системы может быть использовано любое средство разработке приложений для операционной системы Microsoft Windows.
В качестве инструментария создания OLAP клиента была выбрана Borland Delphi. Для построения запросов в приложении необходимо отобразить список гиперкубов многомерной базы данных, названия измерений и их метки, для получения таких данных из многомерных баз Microsoft SQL Server 2000 Analysis Services в модуле используется технология ADO (ActiveX Data Objects), а точнее ее расширение ADO MD (ADO Multidimensional). Это расширение реализовано в библиотеке Windows msadomd.dll и содержит объектную модель, позволяющую обращаться как к метаданным многомерных баз, так и к результатам MDX-запросов. Объектная модель ADO MD, представленная на рис 3.4, состоит из двух ветвей объектов: первая из них используется для доступа к метаданным многомерной базы данных, а вторая - для извлечения данных с помощью запросов к OLAP-кубам.
IDEF3 и GPSS модели производственной системы
1. Для тестовой задачи построены законы распределение процессов поступления транзактов и обслуживания транзактов устройствами.
2. Построены IDEF3,XML, GPSS модели для описания системы.
3. Получена оценка адекватности имитационной модели методом t - парного критерия и методом Велча с помощью разработанного OLAP клиента. На основании полученной оценки имитационная модель считается адекватной реальной системе.
4. Использование предложенной методики и программного комплекса МПМ позволяет решить следующие задачи:
- сокращение срока построения имитационных моделей (до 9 %) за счет формализации построения GPSS моделей на основе IDEF3 модели, автоматизации построения законов распределения, автоматизации получения оценки адекватности при сравнении модели с реальной системой;
- сокращение срока подготовки данных функционирования реальных систем (до 16 %) за счет средств обработки данных современных SQL серверов (SQL язык, DTS пакеты);
- сокращение времени тестирования имитационной модели (до 7 %) за счет применения наборов данных реальных систем, организованных в OLAP структуры.
В ходе работы были получены научные и практические результаты:
1. Впервые предложена методика построения имитационных моделей с применением больших массивов данных реальных систем (МПМ), позволяющая задействовать АСОИ на этапах построения модели и проверки ее адекватности, а также автоматизировать процессы создания программного кода моделей на основе стандарта IDEF3.
2. Проведен анализ GPSS блоков, выделены комбинации блоков, наиболее часто встречающиеся в ИМ, адаптирован стандарт IDEF3 к описанию имитационных моделей, основанных на транзактном подходе. Предложены грамматики и правила преобразования между следующими средствами описания имитационных моделей: IDEF3, XML, GPSS.
3. Сформирована логическая модель баз данных, служащих для первичного сбора данных реальной системы и выступающих в качестве эталонной промежуточной схемы хранения информации функционирования реальной системы между базами OLTP систем и хранилищами.
4. Предложено использовать OLAP структуры для формального описания систем массового обслуживания на основе транзактного подхода. Построены OLAP структуры для получения статистических данных функционирования устройств и состояния очередей.
5. Разработан программный комплекс построения имитационных моделей, представляющий собой интеграцию case средства ВР Win, системы имитационного моделирования GPSS World, SQL сервера MS SQL Server 2000, аналитической службы Analysis Service,
6. Построены сценарии конвертации из промежуточной схемы DB_Prom в хранилище, которые автоматизируют процесс подготовки данных реальных систем.
7. Разработан OLAP клиент, автоматизирующий процесс построения оценки адекватности имитационных моделей.
8. Проведено экспериментальное исследование методики и программного комплекса, построены законы распределение процессов поступления заготовок и их обслуживания рабочими станциями, построены IDEF3, XML, GPSS модели для описания системы и получена оценка адекватности имитационной модели методом t - парного критерия и методом Велча с помощью разработанного OLAP клиента. На основании полученной оценки достоверности имитационная модель считается адекватной реальной системе; подтверждена корректность работы программного комплекса.
9. Использование предложенной методики и программного комплекса МПМ позволяет решить следующие задачи:
- сокращение срока построения имитационных моделей (до 9 %) за счет формализации построения GPSS моделей на основе IDEF3 модели, автоматизации построения законов распределения, автоматизации получения оценки адекватности при сравнении модели с реальной системой;
- сокращение срока подготовки данных функционирования реальных систем (до 16 %) за счет средств обработки данных современных SQL серверов (SQL язык, DTS пакеты);
- сокращение времени тестирования имитационной модели (до 7 %) за счет применения наборов данных реальных систем, организованных в OLAP структуры.
