Содержание к диссертации
Введение
ГЛАВА 1. Анализ существующих подходов и методов к проектированию программных комплексов для построения аналитических информационных систем 23
1.1. Анализ общих проблем проектирования и построения программных комплексов интегрированных с OLAP технологиями 23
1.2. Проблемы применения формальных методов моделирования процессов проектирования программных комплексов для систем с неполной информацией и высокой сложностью открытой предметной области 31
1.3. Анализ программных средств реализации многомерных хранилищ данных для открытой предметной области 44
1.4 Анализ программных комплексов реализующих OLAP-технологии как метода обработки многомерных данных в открытой предметной области 53
Выводы по главе 1 62
ГЛАВА 2. Разработка методологических основ проектирования программного комплекса адаптивного к изменению характеристики объектов открытой предметной области 63
2.1. Анализ процессного подхода при создании адаптивного программного комплекса для организации проектного менеджмента, основанного на формальной модели жизненного цикла систем 63
2.2. Теоретико-множественная модель бизнес-процессов для организационного, проектного и производственного менеджмента создания адаптивного программного комплекса 74
2.3. Теоретико-множественная модель стадий жизненного цикла адаптивного программного комплекса 81
2.4. Архитектура структуры семантического аспекта адаптивного программного комплекса для организации взаимодействия функциональных программ, обеспечения интегрированной системы аналитического анализа объектов 96
Выводы по главе 2 103
ГЛАВА 3. Разработка метода проектирования категорийной модели адаптивного программного комплекса для организации взаимодействия функциональных программ 105
3.1. Формальный алгоритм построения программного комплекса, реализующего интегрированную учетную систему 106
3.2. Анализ типов функций принадлежности проектирования динамической структуры гетерогенного хранилища данных 114
3.3. Теоретические основы проектирования адаптивного программного комплекса и формальный алгоритм их применения при построении информационной аналитической системы
3.4. Метод проектирования динамической структуры
гетерогенного хранилища данных удовлетворяющих требованиям системной инженерии с применением OLTP технологий 133
Выводы по главе 3 146
ГЛАВА 4. Разработка формально-математического метода проектирования адаптивного программного комплекса основанного на перенастраиваемых структурах взаимодействия функциональных программ 148
4.1. Формально-математический метод построения модели адаптивного программного комплекса ориентированного на реализацию интегрированной системы учета объектов открытой предметной области 148
4.2. Формально-математический метод проектирования хранилища данных и знаний адаптивного программного комплекса с применением OLAP технологий и предметно-ориентированных кросс- платформенных языков программирования 167
4.3. Контур адаптации программного комплекса, на основе цикла Дминга. 179
4.4. Применение формальной категорийной модели создания адаптивного программного комплекса для автоматизированной системы учета населения 184
Выводы по главе 4 193
ГЛАВА 5. Разработка нечеткого формального метода проектирования интеллектуального хранилища для адаптивного программного комплекса 195
5.1. Формальный метод проектирования интеллектуального хранилища данных при совместном использовании учетных систем и технологий OLAP 195
5.2. Подход к формированию структуры информационной системы для открытой предметной области и определения требований к адаптивному программному комплексу 203
5.3. Структурирование программного комплекса на основе категорийной модели госудаственных учетов 216
Выводы по главе 5 221
ГЛАВА 6. Специфика программного комплекса для реализации учетов с применением интеллектуальных хранилищ данных. применение для аналитического анализа определенной предметной области 222
6.1. Структура и краткая характеристика разработанного программного комплекса "Факт" 222
6.2. Архитектура программных компонент обеспечения функционирования программного комплекса "Факт" 231 6.3. Архитектура информационной системы регистрационного учета населения на базе программного комплекса "Факт" 244
6.4. Архитектура информационной системы "Программа Информирования, Анализа и Контроля (ПИАК)" на базе программного комплекса "Факт" 252
6.5. Оценка исследований эффективности предложенных методов проектирования и реализации программного комплекса на примерах применения программного комплекса в различных предметных областях 258
Выводы по главе 6 268
Заключение 271
Список использованной литературы 2
- Проблемы применения формальных методов моделирования процессов проектирования программных комплексов для систем с неполной информацией и высокой сложностью открытой предметной области
- Теоретико-множественная модель бизнес-процессов для организационного, проектного и производственного менеджмента создания адаптивного программного комплекса
- Анализ типов функций принадлежности проектирования динамической структуры гетерогенного хранилища данных
- Подход к формированию структуры информационной системы для открытой предметной области и определения требований к адаптивному программному комплексу
Проблемы применения формальных методов моделирования процессов проектирования программных комплексов для систем с неполной информацией и высокой сложностью открытой предметной области
Преимущества последних двух моделей наиболее существенны при автоматизации процессов ориентированных на полное соответствие нормативной базе, которая постоянно изменяется, те есть и программное обеспечение должно быть изначально ориентировано на неоднократный реинжиниринг. Совмещение теоретико-множественного представления положений данных методологий и принципа организации цикла Дминга открывает новые перспективы эффективного применения для проектирования программных комплексов.
Программные комплексы, которые осуществляют учет операций и собственно доступ к базам транзакций называют операционными или транзакционными (OLTP). При этом OLTP система включается в систему учта (учетную систему) в объме реализующем именно процессы ведения учта. Совокупность нормативно-правовых актов, регламентов, стандартов и инструкций определяющих процедуры ведения учета, компьютерное и организационное оборудование и программные системы, реализующие логику учта как правило определяющие учетную систему в OLTP систему не входят. При этом структура оптимальная для учета не является оптимальной для аналитической обработки. Обычно на первых стадиях автоматизации производилась оптимизация именно ввода информации, поэтому вполне объяснимо опережающее развитие именно OLTP систем. При этом часто, после завершения этапа ввода информации в БД, принималось решение о переносе данных в БД другой структуры - наиболее оптимизированной для аналитической обработки. В результате появилось решение, связанное с ведением двух БД в рамках одной СУБД. Причем чем сложнее была структура первоначальной БД, сложнее и срочнее были аналитические запросы, тем выше была необходимость во второй базе[2,58,90]. Дальнейший шаг в развитии одновременного ведения двух БД был в использовании специализированных технологий именно для второй БД, получивший название OLAP. Под этим термином объединены характерные принципы построения систем интеллектуального анализа данных и хранилищ данных. Во многих случаях данные в разных OLTP системах накапливаются в несвязанном виде, могут дублировать друг друга, и естественно не могут быть выверены ввиду рассогласованности, как данных так и справочников. В таком случае получение объединенной (комплексной) информации затруднительно. Приходится реализовывать массу запросов в разрозненные системы с последующей обработкой полученных результатов на предмет выстраивания цепочек соответствия и т.д. Решением вопроса является построение интегрированного корпоративного хранилища данных, согласование и агрегацию в нем оперативных данных из OLTP систем для последующего получения комплексной информации по интересующим объектам [83,91,12].
Указанная концепция ХД предполагает физическую реализацию единого интегрированного источника данных. Другим решением приведенной проблемы является организация распределенного хранения информации в БД объединенных логически в виде виртуальной системы -единого источника информации [14, 91,12]. Основным недостатком данного подхода является затрудненное получение аналитических данных, связанных с обзором архивных (длительных исторических) цепочек [14,95].
Одним из наиболее важных составляющих информационных технологий следует считать системы, содержащие как множество понятий, так и множество утверждений об этих понятиях - онтологии. Учитывая, что на основе онтологий имеется возможность построения классов, объектов и отношений[14,91,12], появляется возможность проведения автоматизированной обработки семантики информации. Это реализуется путем организации единой базы знаний при распределенном хранении информации. Онтологическое (концептуальное) моделирование предметной области позволяет декларативным образом описать ее и соответствующие ей словари типов [19].
В онтологии закреплена та часть концептуализации, которая находится в зависимости от взора на мир применительно к определенной области интересов. Процесс связи пользователя и аналитической программной системы на основе онтологий может быть представлен схемой (рис.1.6.).
Схема процесса связи пользователя и аналитической программной системы на основе онтологий В хранилище данных данные, имеющие отношение к какому либо объекту, приводятся к единому формату и при необходимости агрегируются до определенного уровня. Причем, для исторических данных поддерживается хронология.
Исходя из выше сказанного, интеграция OLAP в учетные системы может быть произведена следующими способами [14,95]: - дублированием баз данных; - дублированием хранилищ данных и витрин данных. Хранилище данных, как правило, имеет оперативные средства обратной связи, что позволяет OLAP интегрироваться в существующие технологии работы и учетные системы. Ряд сравнительных характеристик представлен в таблице 1.1 [86]. В случае использования архитектуры OLTP-систем с одновременным использованием реляционной и многомерной модели, используют два варианта хранения данных: в многомерной матрице (OLAP) или в Для выполнения аналитических запросов могут быть использованы обе реляционной базе (с использованием OLAP сервера в качестве кеша).
Теоретико-множественная модель бизнес-процессов для организационного, проектного и производственного менеджмента создания адаптивного программного комплекса
Иерархические модели данных описывают варианты логического представления данных. Основной единицей организации являются узел и связь. Достоинствами данной модели данных является быстрота поиска полного соответствия запроса структуре иерархии модели БД. Основным недостатком является ее избыточная жесткость и сложность внесения изменений в структуру.
Сетевая модель данных сходна с иерархической моделью данных и является ее дальнейшим развитием. Основной единицей организации являются уровень, узел и связь. Основное отличие от иерархической модели данных состоит в наличии множественных связей к каждому элементу от "родительского" элемента, поэтому считается, что сетевая модель данных задает логику отношений между данными. Достоинства и недостатки сетевой моде данных в основном совпадают с иерархической моделью данных.
Реляционная модель данных реализует использование теоретико-множественных операторов для организации доступа к данным, которые организованы в виде двухмерных матриц.
Основными единицами в реляционной модели данных являются отношения основанные на исчислении предикатов первого порядка.
Главным достоинством реляционной модели данных является высокая стандартизованность и наличие четкого математического базиса для работы с данными.
Основным недостатком реляционной модели данных является ограниченность типов данных атрибутов. Так, для хранения и обработки сложных данных появилось дальнейшее развитие этой модели, получившее название - объектно-реляционная модель данных, в достоинство которой следует добавить расширяемость и наращиваемость. Многомерная модель данных появилась практически одновременно с реляционной моделью. Основное отличие ее от реляционной модели -использование многомерных таблиц, получивших название - куба. Основные достоинства данной модели скорость выполнения запроса, многократно превосходящая показатели реляционной модели данных. Недостатками являются ее громозкость для обычных OLTP систем и сложность обеспечения целостности и непротиворечивости данных.
Объектно-ориентированные модели данных. Если реляционная модель данных возникла на основе теории множеств, то объектно-ориентированная модель данных возникла на основе положений объектно-ориентированного программирования[18],.
Основное достоинство модели состоит в возможности работы со сложными объектами и отображения информации о связях объектов.
Основными недостатками данной модели следует считать низкую, по сравнению с реляционной моделью, скорость выполнения запросов и понятийную сложность.
Очевидно, что актуальной проблемой является объединение в одной СУБД свойств объектно-ориентированной и реляционной модели данных. При этом возникает ситуация, когда проект должен разделяться на две части, которые независимо реализуют реляционный подход к разработке программного обеспечения (написания кода программы) и объектно-ориентированного проектирования БД. В настоящее время активно ведутся исследования по созданию принципиально новых методов моделирования данных и, как следствие, новых, соответствующих им, видов СУБД. Один из способов указанного выше объединения возможностей моделей был предложен Майклом Стоунбрейкером [114], на основе его предложений была разработана СУБД Postgres [177]. Основная идея данной системы была в дополнении реляционной СУБД средствами доступа к сложным данным. В настоящее время идеи, заложенные в СУБД Postgres развиваются в коммерческой СУБД Informix.
Постреляционная модель данных. Данная модель использует трехмерные таблицы (структуры) и разрешает хранить в элементах таблицы другие таблицы. Т.е. является дальнейшим расширением реляционной модели. К наиболее известным постреляционным СУБД [29,114,177], относятся системы Adabas, Pick , Universe и Cache.
Объектная модель постреляционной системы управления базами данных "Cache" представлена на рис.1.12.
Принцип работы данной СУБД предполагает разделение работающего приложения на клиентскую и серверную части. Причем на клиентской части хранятся определения классов, т.е. хранятся сведения об их структуре, описания свойств и сигнатуры методов.
Существует недостаток, в том, что данные о серверных классах и их изменениях, необходимо синхронизировать с каждым работающим клиентским приложением, что при наличии территориально распределенного способа организации системы приводит к временным затратам
Анализ типов функций принадлежности проектирования динамической структуры гетерогенного хранилища данных
Применение предложенной методологии проектирования информационной системы в условиях нечеткой исходной информации может быть эффективной при большом количестве независимых входных и выходных параметров, характеризующих состояние информационной системы. При этом формализованное описание БП может быть сформировано на базе целей организации с последующим уточнением параметров. Таким образом, разработан метод проектирования программного комплекса, в котором сформулированы основные положения синтаксиса впервые представленные в форме рекуррентных соотношений. Учитывая возможность применения рекуррентных соотношений как внутри каждой стадии, так и в течение всего ЖЦ проекта (формулы 2.6-2.18), представляется возможным для этого применить принцип организации цикла Дминга. Совмещение теоретико-множественного представления положений данных методологий и принципа организации цикла Дминга предоставляет возможность применения итеративной или спиральной моделей (рис.1.4 рис. 1.5) процессов создания и разработки программного обеспечения и открывает новые перспективы эффективного применения для проектирования программных комплексов: 1. определение факторов, определяющих причины изменения эффективности состояний сложной информационной системы; 2. определение факторов, определяющих допустимые состояния сложной программной системы; 3. описать состояние информационной системы и программной системы ее реализующей ограниченным числом обобщенных характеристик. 4. использовать в качестве метаязыка, для правильного отображения основные свойства информационной системы, языка теории категорий множеств, что упрощает процесс анализа состояний системы.
Преимущества данной методологии наиболее существенны при автоматизации процессов ориентированных на полное соответствие нормативной базе, которая постоянно изменяется, те есть и программное обеспечение должно быть изначально ориентировано на неоднократный реинжиниринг.
На каждой стадии жизненного цикла присутствуют рекурсивные изменения структуры, что позволяет сделать вывод: матрица (рис.2.15) на верхнем уровне представляет собой совокупность многомерных матриц, отражающих структурные состояния для каждой стадии.
Каждый столбец (стадия) данной таблицы является категорией множеств, элементами которых является знаковый алфавит и семантические определения исследуемой предметной области. Морфизмами - структурные преобразования, которые является отображениями множеств.
Для каждой категории (столбца) данной таблицы может быть построена многомерная матрица (OLAP куб), измерениями которого являются приведенные к определенной мере (оцифрованные) знаковые показатели объектов. Значениями кубов являются на низшем уровне -элементарные значения, на более высоких уровнях иерархии - OLAP кубы более низшего порядка.
При проектировании программных систем, обеспечивающих информационное сопровождение процессов, анализа программ, их реинжиниринга, связанного с обеспечением мониторинга и актуализации информационной составляющей появляется возможность сведения процесса к формальному алгоритму.
При этом сохраняется, как синоним неоднозначного понимания информации, которая заключена в данных - "семантический разрыв" в моделировании БП, подлежащих четкой формализации[75,78]: регламентирующая нормативная документация остается (и создается) в вербальной форме; автоматизируемый БП по прежнему не полностью формализован и определен, т.е. остается человеко-машинным; реализация БП происходит с применением труда исполнителей.
Все это диктует необходимость проведения организационного управления над бизнес-процессами, которые в совокупности могут быть рассмотрены в качестве бизнес - системы[61].
В качестве схем информационных объектов будем определять БП разрабатываемой модели информационной системы. Как уже говорилось в 2.3, отношения экземпляров БП можем оценить путем ведения количественной и качественной оценок (2.6).
Обобщая приведенное, открывается возможность представления БП в виде множества взаимодействующих и взаимосвязанных вертикальных и горизонтальных формализованных объектов: по горизонтали на БП, согласно текущего уровня иерархии организационной структуры; по вертикали на БП, обеспечения отношений по вертикали иерархий структуры согласно функциональному назначению; горизонтальные БП являются базисом для вертикальных БП.
Таким образом, в проектируемой модели информационной системы нами определяются атрибуты и правила их отношений, что открывает возможность ее реализации применением соответствующей структурной или объектной методологии.
На основании полученных результатов сформулируем ключевые принципы концепции, повышения эффективности проектирования архитектуры информационных систем и программных комплексов их реализации:
1. Для представления знаний об исследуемой предметной области (системного моделирования) должны применяться формализованные графоаналитические метаязыки, формальные логические свойства и правила которых, должны базироваться на основных положениях теории множеств, теории категорий и грамматик Н.Хомского не выше второго уровня.
2. Концептуальная модель предметной области, модели ИС соответствует математической модели категории множеств. Информационные объекты атрибутивного и операционного типов являются основой для формального представления системы отношений.
3. Взаимодействие между моделями (м/у файлами, организующими модели), которое осуществляет функциональный сервер мониторинга процесса (движок процесса) можно понимать как отображение между категориями, сохраняющее структуру – функтор.
Подход к формированию структуры информационной системы для открытой предметной области и определения требований к адаптивному программному комплексу
Согласно определению F(St\ b(St\4(St) является функциями определенными в терминах теории множеств, и определяют состояния ПО первого объекта на основе отличия от второго. Данная функция определяет лишь возможное состояния и не является функцией в математическом понимании[14].
Таким образом, цикл Деминга PDCA (Plan-Do-Check-Act) усовершенствования учебного процесса можно представить следующим образом. Результат планирования процесса обучения есть множество документов, формирующих организацию этого процесса, это например учебный план и т.п. Отсюда это множество будет функцией целей процесса обучения [16], т.е. Z(R).
Обучение производится на базе материалов полученными на предыдущей стадии. Итогом процесса обучения будет новое множество знаний, являющееся функцией от "старых" знаний Ф(St), полученных на предыдущем витке цикла и новых Ф (St), определяемых Z(R), т.е. получаем итерационную зависимость в виде приведенной формулы
Сама Ф(St) конкретизируется посредством контролирования знаний с применением определенных операций и алгоритмов, к примеру, в процессе текущей, промежуточной и итоговой аттестации. Степень соответствия знаний требованиям ФГОС определяется, например, с использованием процедуры проверки остаточных знаний, проводимой Росаккредагентством, а также в ходе аттестации. Степень соответствия знаний студентов требованиям работодателей также определяется выполнения определенных алгоритмов, которые не являются объектом исследований в данной работе. Внешнее воздействие на учебный процесс (внешний контур качества) в данной модели рассматривается как константа.
Вердикт о достижении или не достижении целей учебного процесса может быть сформирован на базе системы критериев:
Далее процесс повторяется, происходит переход к последующей итерации Z\R) = Z{R)R и т.д. Графическое представление описанной модели представлено на рис.4.14. Следует отметить, что любой объект представленной модели может быть представлен в виде множества пар АиВ{ , т.е. наименований и соответствующих значений атрибутов, например:
Предполагается, что описанные элементы объектов единого информационного пространства физически хранятся в гетерогенном хранилище данных в виде записей в реляционных, гипертекстовых БД, документов и т.п. Правила, определяющие взаимодействие отдельных объектов, реализованы в виде документированных процедур (нормативной документации, должностных инструкций, положений, регламентов и т.п.), а также в виде моделей бизнес-процессов. Можем сделать вывод, что присутствует отображение категорий множеств, сохраняющее структуру этих категорий-множеств. Т. е. связь между процессами цикла непрерывного улучшения учебного процесса, в свете положений методологии системной инженерии, описывается функторами, которые ставят в соответствие объекту одной категории объект другой категории.
Таким образом семантическая модель цикла непрерывного улучшения учебного процесса может быть представлена в виде класса объектов, с заданным отношением для любых пар (U1 и U2). Эти отношения образуют множество морфизмовHom(U1,U2), для каждой их пары gu є Hom(U1,U2) и /и є Hom(U2,U3) определена их композиция gv о /ц є HomQJ1,U3). Т.е. объекты образуют категорию множеств.
Можно отметить, указанные в приведенном цикле объекты могут быть сведены в матрицу, каждая строка и каждый столбец которой, ввиду своих формально- логических свойств, образуют категории и могут быть определены в виде кортежа множеств: имн объектов строк-категорий и столбцов-категорий, имн отношений, в которые могут вступать эти объекты. Нетрудно показать, что между двумя зафиксированными категориями, на пересечении столбца и строки, существует отображение, сохраняющее структуру категорий - функтор, а пересечение строки-категории и столбца-категории образует категорию-ячейку.
Таким образом, в полном соответствии с положениями методологии системной инженерии, может быть построена целостная модель каждого состояния цикла непрерывного улучшения учебного процесса, что позволяет для каждой категории данной таблицы, построить многомерную матрицу (OLAP куб), измерениями которого являются приведенные к определенной мере (оцифрованные) знаковые показатели объектов. На базе приведенного примера применения предложенных методов и методологических основ проектирования программного комплекса в условиях нечеткой исходной информации показана возможность достижения целей организации путем итеративного уточнения параметров. Согласно предложенному методу проектирования программного комплекса, в котором сформулированы основные положения синтаксиса, представленные в форме рекуррентных соотношений, учитывая возможность применения рекуррентных соотношений как внутри каждой стадии, так и в течение всего ЖЦ проекта (формулы 2.6-2.18), представляется возможным для этого применить принцип организации цикла Дминга. Совмещение теоретико множественного представления положений данной методологии и принципа организации цикла Дминга предоставляет возможность применения итеративной или спиральной моделей (рис.1.4 рис. 1.5) процессов создания и разработки программного обеспечения и открывает новые перспективы эффективного применения для проектирования программных комплексов, описывать состояние аналитической программной системы ее реализующей ограниченным числом обобщенных характеристик. При проектировании программных систем, обеспечивающих информационное сопровождение процессов, анализа программ, их реинжиниринга, связанного с обеспечением мониторинга и актуализации информационной составляющей появляется возможность сведения процесса к формальному алгоритму.
Преимущества данного подхода наиболее существенны при автоматизации процессов ориентированных на полное соответствие нормативной базе, которая постоянно изменяется, те есть и программное обеспечение должно быть изначально ориентировано на неоднократный реинжиниринг.
Применение формальной категорийной модели создания адаптивного программного комплекса для автоматизированной системы учета населения
Согласно предложенных методологических основ проектирования программного комплекса адаптивного к изменению характеристики объектов открытой предметной области в основе проектируемой АПС лежит набор интегрированных информационных моделей. Эта модель может быть применена в роли единого источника данных для всех производимых в ходе ЖЦ процессов. В качестве примера рассмотрим применение предложенной категорийной модели на информационной системе учета населения. С точки зрения развития экономики страны человеческие ресурсы с одной стороны являются активной частью производительных сил, и естественно источниками формирования доходной части бюджета а с другой стороны являются объектом затрат бюджета[14]. В связи с изложенным необходимо иметь достоверную информацию о составе населения, с разбивкой по территориям России, а также мониторинг демографических процессов Процедуры учета населения осуществляются одновременно различными ведомствами во исполнение решаемых ими задач, и в силу этого охватывают различные сегменты населения (рис. 4.12).
