Содержание к диссертации
Введение
I. Проблема развития технологии оперативного анализа данных 14
1.1 Обзор задач оперативного анализа данных в организационном управлении 14
1.2 Технология оперативной аналитической обработки данных 19
1.3 Обзор технологических подходов и программных решений для оперативной аналитической обработки 29
1.4 Задачи диссертационной работы 34
Выводы к разделу 1 36
2 Технологические средства оперативной аналитической обработки данных 38
2.1 Технология оперативной аналитической обработки данных 38
2.1.1 Особенности предлагаемого подхода 38
2.1.2 Принципы создания аналитической системы 40
2.1.3 Архитектура и функционирование OLAP-машины 45
2.1.4 Реализация OLAP-компонент 47
2.1.5 Иерархии и измерения на основе иерархий 53
2.1.6 OLAP-модели и операции над ними 62
2.1.7 Комплексы OLAP-моделей 65
2.2 Языковые средства в оперативной аналитической обработке 70
2.2.1 Основные принципы и определения 70
2.2.2 Структура и синтаксис языка 72
2.3 Средства построения специализированных интерфейсов 78
Выводы к разделу 2 83
3 Программное обеспечение - настольная olap-система «аналитик» 84
3.1 Описание системы 84
3.2 Менеджер источников данных '. 88
3.3 Блок управления витринами данных 91
3.3.1 Базовые операции при построении витрины данных 91
3.3.2 Использование языковых средств для расчета объектов витрины 96
3.3.3 Работа со сложными структурами данных 98
3.4 Блок OLAP-анализа и формирования OLAP-моделей 102
3.4.1 Базовые аналитические операции 103
3.4.2 Процентная диаграмма 107
3.4.3 Операции над OLAP-моделями 109
3.5 Блок формирования комплексов olap-моделей 109
3.6 Блок формирования olap-приложений с адаптированным интерфейсом 111
3.6.1 Механизмы ручного построения форм 111
3.6.2 Мастер построения интерфейса 114
3.6.3 Создание готового приложения 117
Выводы к разделу 3 118
4 Применение системы «аналитик» 119
4.1 Применение системы «аналитик» в задачах здравоохранения 119
4.1.1 Планирование медицинской помощи 119
4.1.2 Аналитическая поддержка специалистов и руководителей регионального здравоохранения 123
4.2 Применение системы «аналитик» в системе обязательного медицинского страхования 126
4.3 Взаимодействие системы «аналитик» с другим программным обеспечением 128
Выводы к разделу 4 129
Заключение 131
Список литературы
- Технология оперативной аналитической обработки данных
- Принципы создания аналитической системы
- Базовые операции при построении витрины данных
- Аналитическая поддержка специалистов и руководителей регионального здравоохранения
Введение к работе
Актуальность темы
Технология оперативной аналитической обработки данных OLAP (Online Analytical Processing) - одно из наиболее быстро развивающихся направлений информатики. В основе OLAP-анапиза лежит многомерная модель данных. Многомерная модель позволяет адекватно представить процесс работы с информационными объектами, наглядно описать основные аналитические операции, оптимальным образом построить физическую модель данных для хранения и обработки запросов аналитических операций [26, 29]. OLAP значительно улучшает возможности аналитических операций за счет повышения скорости работы с данными, наглядного представления результатов и оперативного построения аналитических отчетов [6, 14].
Аналитические OLAP-модули появляются в составе отечественных и зарубежных продуктов и финансово-производственных приложений [56,57,58]. Наибольшее применение технология OLAP получила в бизнес-среде, где решение конкретной аналитической задачи укладывается в рамки одного многомерного информационного куба. При этом классические OLAP-решения мало пригодны к использованию в прикладных областях, где необходим комплексный анализ данных, связанный с реализацией сложных аналитических алгоритмов. Примерами прикладных областей, в которых указанные проблемы не позволяют эффективно применять традиционные средства OLAP-технологии, являются здравоохранение, образование, социальная защита населения и множество других. Методы расчета аналитических показателей и решения задач планирования в этих областях представляют собой сложные многошаговые процессы анализа многомерных данных.
Поскольку классические средства OLAP-технологии не эффективны для комплексного анализа данных и реализации сложных аналитических алгоритмов, а существующие аналитические приложения имеют универсальный ха-
рактер и, как следствие, сложны для прикладных специалистов, расширение сферы применения OLAP-технологии требует развития новых возможностей. Актуальна проблема создания алгоритмических и программных средств, обеспечивающих выполнение комплексных аналитических расчетов на основе множества взаимосвязанных OLAP-моделей, а также средств построения OLAP-приложений с адаптированным пользовательским интерфейсом.
Цель диссертационной работы
Цель диссертационной работы состоит в разработке алгоритмического и программного обеспечения для реализации новых функциональных элементов OLAP-технологии, расширяющих возможности оперативной аналитической обработки за счет выполнения комплексных аналитических расчетов и средств построения специализированных интерфейсов для OLAP-ориентированных приложений.
Методы исследования
Методы исследования, применяемые в работе, основаны на методологии структурного анализа и проектирования (SADT - Structured Analysis & Design Technique), технологии оперативной аналитической обработки данных, теории реляционных баз данных и объектно-ориентированных методах построения программных систем.
Основная идея работы
Основная идея работы заключается в создании новых элементов технологии оперативной аналитической обработки: средств выполнения комплексных аналитических расчетов, создания специализированных OLAP-приложений.
В работе расширен функциональный состав традиционной OLAP-технологии. Разработаны алгоритмические и языковые средства построения и выполнения связных многошаговых аналитических расчетов: алгоритмы создания OLAP-моделей и комплексов OLAP-моделей, язык программирования высокого уровня. Разработаны алгоритмические и программные средства для автоматизации создания OLAP-приложений: специализированный набор ком-
понент, взаимодействующих с витринами данных, аналитическими моделями и другими элементами OLAP-машины, среда визуального проектирования форм пользовательского интерфейса и мастер создания типового приложения.
Предложенные модели и алгоритмы реализованы в виде OLAP-системы «Аналитик», которая представляет собой инструментальный комплекс для оперативной аналитической обработки информации и создания аналитических приложений. В инструментарий системы введены также функции прямого доступа к базам данных систем статистического наблюдения, хранения данных и ведения справочников.
Новые научные результаты:
Предложена архитектура OLAP-машины обладающая уникальными функциями использования составных иерархий со сложными оглавлениями в качестве измерений и применение языка программирования для расчета значений измерений и показателей многомерного куба. Разработана оригинальная OLAP-машина, включающая средства построения витрин данных, средства выполнения произвольных аналитических запросов, средства представления и обработки многомерных данных (многомерный куб, кросс-таблицу, кросс-диаграмму). OLAP-машина может встраиваться в разные приложения и работать с базами данных разных форматов.
Разработаны языковые, алгоритмические и программные средства, обеспечивающие реализацию сложных многошаговых аналитических расчетов путем .создания комплексов OLAP-моделей, наследующих данные. Для реализации поставленной задачи предложен оригинальный подход к анализу информации, позволяющий использовать в рамках одного расчета несколько многомерных информационных кубов.
Разработаны программные средства для автоматизации создания OLAP-приложений: инструментальное ядро в виде набора компонент, связан-
ных с OLAP-машиной, среда проектирования экранных форм пользовательского интерфейса, мастер быстрого создания приложений. 4. Разработана настольная OLAP-система «Аналитик», которая представляет собой инструментальную программную среду, включающую перечисленное оригинальное программное обеспечение, и позволяет выполнять комплексный OLAP-анализ и построение прикладных OLAP-систем. Практическая значимость работы
Практическими результатами диссертационной работы являются алгоритмические, языковые и программные средства, которые могут быть применены в разных прикладных областях для решения задач анализа данных с применением сложных аналитических алгоритмов, а также для построения прикладных OLAP-систем со специализированных интерфейсом пользователя.
Разработанное программное обеспечение применяется в Красноярском медицинском информационно-аналитическом центре (КМИАЦ), в Красноярском краевом фонде обязательного медицинского страхования (КФОМС), а также в органах управления здравоохранением Красноярского края. На основе созданного инструментария разработаны OLAP-приложения для решения ряда актуальных аналитических задач управления здравоохранением: анализа состояния здоровья населения, анализа и планирования ресурсов системы здравоохранения, формирования тарифов на медицинские услуги, а также автоматизированные рабочие места для ведущих специалистов и руководителей отрасли.
Высокую практическую ценность результатам диссертационной работы придает возможность их применения для решения аналитических задач в разных прикладных областях, включая задачи анализа показателей социально-экономического развития, экологического состояния территорий, планирования социальных услуг и многие другие.
На защиту выносятся:
OLAP-машина как совокупность инструментальных средств, реализующих построение витрин данных, выполнение произвольных аналитических запросов, представление и обработку многомерных данных, функции использования составных иерархий со сложными оглавлениями в качестве аналитических измерений.
Языковые, алгоритмические и программные средства, обеспечивающие реализацию сложных многошаговых аналитических расчётов путем создания комплексов OLAP-моделей, наследующих данные.
Программные средства для автоматизации создания OLAP-приложений: инструментальное ядро в виде набора компонент, связанных с OLAP-машиной, среда проектирования экранных форм пользовательского интерфейса, мастер быстрого создания приложений.
Настольная OLAP-система «Аналитик» как инструментальная программная среда, позволяющая выполнять комплексный анализ данных и построение прикладных OLAP-систем.
Достоверность и обоснованность результатов
Достоверность и обоснованность результатов диссертационной работы п одтверждаются:
Результатами исследования проблемы оперативной аналитической обработки данных в разных предметных областях.
Результатами анализа существующих технологических решений оперативной аналитической обработки информации OLAP и их корректного использования.
Успешным практическим использованием OLAP-системы «Аналитик» в органах управления здравоохранением и в системе обязательного медицинского страхования.
Личный вклад автора
Основные результаты, представленные в работе, получены непосредственно автором, а именно: OLAP-машина, языковые, алгоритмические и программные средства создания и выполнения связных многошаговых аналитических расчётов, программные средства автоматизации создания специализированных OLАР-приложений, а также настольная OLAP-система «Аналитик».
При создании системы «Аналитик» использованы отдельные модули систем «Менеджер хранилища данных» [53] и «СтатЭкспресс» [50], а также модули построения отчетов и формульный интерфейс создания витрин данных, разработанные специалистами лаборатории интеллектуальных информационных систем Института вычислительного моделирования СО РАН. В частности, были использованы модули доступа к репозитариям систем и средства создания таблиц для сохранения аналитических результатов (таблиц агрегатов) в хранилище данных.
Комплексы моделей для решения прикладных задач, а также OLAP-приложения, упомянутые в работе, построены с применением системы «Аналитик» специалистами здравоохранения, обязательного медицинского страхования, с участием сотрудников ИВМ СО РАН, в том числе автора.
Апробация работы
Основные теоретические результаты работы представлялись на следующих конференциях: на Межрегиональной конференции «Проблемы разработки и внедрения информационных систем в здравоохранении и ОМС» (Красноярск, 2000); на Всероссийской конференции «Проблемы информатизации региона» (Красноярск, 2001, 2003,2005); на конференции молодых ученых ИВМ СО РАН (Красноярск, 2002 - 2005); на IV Всероссийской конференции с международным участием «Новые информационные технологии в исследовании сложных структур» (Томск, 2002); на Всероссийской конференции «Информационные технологии в медицине - 2002» (Москва, 2002, 2004); на Всероссийской конференции «Информационно-аналитические системы и технологии
в здравоохранении и ОМС» (Красноярск, 2002); на Всероссийской конференции «EL-Pub 2003» (Новосибирск, 2003); на IV Всероссийской конференции молодых ученых по математическому моделированию и информационным технологиям (Красноярск, 2003); на III Всесибирском конгрессе женщин-математиков (Красноярск, 2004); на V всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2004), а также на рабочих семинарах отдела прикладной информатики ИВМ СО РАН (2000-2005).
OLAP-система «Аналитик», созданная в ходе исследований, демонстрировалась на многочисленных выставках: на Выставке в рамках Межрегиональной конференции «Проблемы разработки и внедрения информационных систем в здравоохранении и ОМС» (Красноярск, 2000); на II Объединенной научной сессии Сибирских отделений РАН и РАМН «Новые технологии в медицине» (Новосибирск, 2002); на Выставке в рамках Всероссийской конференции «Информационно-аналитические системы и технологии в здравоохранении и ОМС» (Красноярск, 2002); на Региональном форуме «Сибирская индустрия информационных систем» (Новосибирск, 2002, 2004); на Выставке в рамках Научно-практической конференции «Общественное здоровье: стратегия развития в регионах Сибири» (Новосибирск, 2002); на III специализированной выставке «Информационные технологии в медицине - 2002» (Москва, Всероссийский выставочный центр, 2002); V специализированной выставке «Информационные технологии в медицине - 2004». (Москва, Всероссийский выставочный центр, 2004).
Методические и практические результаты, полученные в работе, нашли применение при разработке программных систем «Менеджер хранилища данных» [53, 54] и «СтатЭкспресс» [49, 50].
Достижения автора были отмечены наградами на многочисленных выставках и конференциях, в том числе автору присуждена золотая медаль лауреата Всероссийского выставочного центра.
Публикации
По основным результатам диссертационной работы сделано 15 публикаций, в том числе 1 статья в центральной печати, 3 свидетельства о государственной регистрации программного обеспечения.
Структура и объем работы
Диссертация состоит из введения, 4 разделов, заключения, списка использованных источников и 2 приложений. Основное содержание работы изложено на 142 страницах текста, содержит 40 рисунков, 3 таблицы. Список используемых источников включает 82 наименования.
Краткое содержание работы
Введение представляет цели и задачи диссертационной работы, раскрывает ее актуальность, научную новизну, достоверность и обоснованность, практическую значимость и апробированность полученных результатов, методологию исследований.
В первом разделе представлены результаты исследования проблемы оперативного анализа данных в разных предметных областях и сформулированы задачи диссертационного исследования.
Выполнено исследование существующих информационных систем, предназначенных для OLAP-анализа данных. Отмечены основные недостатки существующих решений, основные из которых — недостаточное внимание задачам комплексного анализа данных, а также задаче построения прикладных OLAP-систем со специализированным интерфейсом пользователя.
Кроме того,, рассмотренные системы не обеспечивают сопряжение с системами хранения и сбора информации, а также системами ведения справочно-классификационной информации.
По результатам проведенных исследований сформулированы задачи диссертационной работы.
Во втором разделе работы рассмотрены технологические и методические подходы к созданию информационно-аналитической системы на основе OLAP-технологии.
Представлены основные аспекты предлагаемого подхода к реализации технологии оперативной аналитической обработки данных. Определены основные понятия и особенности OLAP-технологии, понятия OLAP-модели, витрины данных, аналитических операций, измерений и показателей.
На основе сравнительного анализа подходов к созданию OLAP-систем выбран подход к созданию аналитической системы в виде Desktop OLAP приложения.
Рассмотрены основные узлы и процессы, происходящие внутри OLAP-машины, представлены в виде функциональных IDEFO-диаграмм. Рассмотрены методы трансформации линейных данных в многомерную структуру и построения структур для работы с иерархическими измерениями. Предложены структуры данных и алгоритмы для работы с многомерными и иерархическими структурами.
Для создания эффективной OLAP-модели в рамках диссертационной работы выполнена формализация основных понятий и операций над OLAP-моделью. Рассмотрены процессы построения и выполнения комплексов взаимосвязанных информационно-аналитических OLAP-моделей. Построены функциональные IDEFO-диаграммы процесса создания комплексов OLAP-моделей. Предложены языковые средства для выполнения сложных аналитических расчетов- и реализации комплексов OLAP-моделей. Рассмотрен язык программирования и структурный синтаксический редактор языка.
Рассмотрен механизм создания OLAP-приложений с адаптированным пользовательским интерфейсом. Предложены два способа создания приложений: автоматизированное создание, реализованное в виде мастера, и ручное -при помощи дизайнера форм. Предложен набор компонент, реализующий основные задачи, встающие при разработке прикладных приложений: определе-
ниє информационного и функционального состава, а также настройка интерфейса.
Третий раздел содержит описание программной реализации технологических подходов, описанных во втором разделе работы.
В ходе выполнения диссертационной работы разработана OLAP-система «Аналитик». Приведены основные характеристики настольной OLAP-системы: назначение, основные функции, круг пользователей, системные требования и т.д. Представлены основные подсистемы продукта и задачи. Описан менеджер источников данных, отвечающий за взаимодействие с базами данных и их единообразное представление для других узлов системы.
Представлено описание блока витрин данных. Витрина данных является семантическим слоем между таблицами источника данных и предметно-ориентированными аналитическими объектами - составляющими многомерного куба. Аналитические объекты, получающиеся на выходе блока витрин данных, поступают в блок оперативного анализа данных и формирования OLAP-моделей. Данный блок отвечает за выполнение аналитических операций на основе подготовленных витрин данных и формирования OLAP-моделей по выполненным операциям.
Представлен также блок формирования комплексов OLAP-моделей, в задачи которого входит создание и выполнение комплексных аналитических расчетов на основе заранее подготовленных OLAP-моделей.
Далее приведено описание блока формирования OLAP-приложений с адаптированным интерфейсом. В задачи блока входит создание и выполнение прикладных приложений, представляющих собой набор пользовательских экранных форм, взаимодействующих посредством компонент и языка программирования с другими составляющими системы «Аналитик».
Четвёртый раздел посвящен вопросам применения результатов диссертационной работы.
Представлены примеры применения системы «Аналитик» для решения актуальных прикладных задач обработки и анализа информации в органах управления здравоохранением: анализа состояния здоровья, анализа ресурсов системы здравоохранения, формирования тарифов на медицинские услуги, создания приложений, обеспечивающих аналитическую поддержку деятельности специалистов и руководителей.
В заключении сформулированы основные результаты диссертационного исследования, отмечены перспективы развития и практического применения решений, представленных в работе.
В Приложении 1 приведены результаты сравнения характеристик разработанной автором OLAP-машины с существующими на рынке программных ПрОДуКТОВ РЄШЄНИЯМИ:
В Приложении 2 приведена библиотека функций встроенного языка программирования системы «Аналитик».
К работе прилагаются также акты о внедрении результатов диссертационной работы.
Автор выражает благодарность коллективу отдела прикладной информатики ИВМ СО РАН за плодотворную совместную работу, кандидату технических наук М.И. Никитиной за руководство прикладными разработками, научному руководителю доктору технических наук, профессору Л.Ф. Ноженковой за сотрудничество и помощь в выполнении диссертационной работы.
Технология оперативной аналитической обработки данных
Анализ существующих решений, используемых для оперативной аналитической обработки, показал, что на сегодняшний день существует достаточно большое количество программных продуктов, реализующих функции OLAP-анализа. Такие крупные разработчики как Microsoft, Oracle, IBM, Sybase и другие, ведут разработки в этой области, и их решения охватывают практически все существующие задачи. В программных продуктах реализованы различные способы хранения многомерных структур, средства быстрого извлечения и представления информации. Целью данного обзора является определение функций, а также выявление общих слабых мест существующих OLAP-систем, для анализа возможности их последующего внедрения в рассматриваемую предметную область.
Все OLAP-продукты можно условно поделить на OLAP-сервера (server OLAP) и настольные OLAP-системы (desktop OLAP) [15]. OLAP-сервера используются как хранилища многомерной информации и осуществляют быструю навигацию и выборку данных по запросам. Доступ пользователя к информации при этом осуществляется только через заранее подготовленные многомерные кубы. Настольные OLAP-системы являются инструментарием пользователей-аналитиков, а источником информации могут выступать как многомерные, так и реляционные базы данных. Часто настольные системы могут предоставлять пользователю возможность самостоятельного проектирования многомерных кубов. OLAP-серверы
Microsoft Analysis Services [http://www.microsoft.com/sql/] - является самостоятельным OLAP-сервером фирмы Microsoft, позволяющим создавать и управлять многомерными кубами. Для хранения кубов можно выбрать различные варианты: в реляционных, многомерных и гибридных структурах. Для работы с готовыми кубами на клиентских местах можно использовать как средства фирмы Microsoft, входящие в состав пакета Microsoft Office, так и множество сторонних разработок, в том числе российских, например DigialDesign фирмы DigDes (г. Санкт-Петербург).
Аналитические средства, фирмы Oracle, имеющие общее название Oracle Express [htpp://www.oracle.com], представляют собой средства интеграции реляционных и многомерных данных, а также средства разработки аналитических приложений, позволяющих осуществлять моделирование, прогнозирование и статистический анализ (в том числе в области бизнеса). Ключевым компонентом этого набора продуктов является OLAP-сервер Oracle Express Server.
Разработка приложений может производиться с помощью Oracle Express Objects [27] — объектно-ориентированного графического средства для создания приложений на базе Express Server. Oracle Express Analyzer представляет собой клиентское средство, позволяющее обращаться к Oracle Express Objects и расширять функциональность. Для выполнения аналитических запросов и осуществления поиска закономерностей может применяться средство Oracle Discoverer, а для создания отчетов — Oracle Reports Developer.
Помимо собственно OLAP-сервера, средств доступа к OLAP-данным и средства разработки BI-приложений, Oracle поставляет ряд готовых ВІ решений на их основе, в частности Oracle Financial Analyzer, Oracle Sales Analyzer, Oracle Demand Planning.
PowerPIay Enterprise Server фирмы Cognos ["www.cognos.com1 сервер многомерной базы данных, позволяющий просматривать заранее подготовленные кубы и отчеты. Сами кубы и отчеты формируются входящей в состав пакета поставки утилитой Transformer. В качестве интернет-сервера система использует Internet Information Server фирмы Microsoft. Для формирования произвольных оперативных запросов необходимо использовать дополнительное программное обеспечение — Cognos Impromptu.
Все серверные OLAP-продукты имеют общие недостатки - невозможность использовать на слабых компьютерах, необходимость наличия выделенного сервера и использования специализированной операционной системы. Кроме того, высокая стоимость OLAP-серверов ограничивает их широкое. применение.
Настольные OLAP-системы
Business Objects [56] является лидером среди компаний, занимающихся настольными OLAP-системами. Фирма выпускает одноименный продукт, разделенный на ряд составляющих. Инструмент Designer предназначен для построения так называемых Universes, которые представляют собой набор бизнес-объектов, построенных на основе произвольной схемы данных, которая ссылается на объекты реляционной СУБД. Для построения произвольных запросов и поиска закономерностей (data mining) существуют инструменты BusinessObjects и BusinessMiner, которые при работе обращаются к заранее подготовленным Universe. Недостатками продукта является высокая цена, а также четкое разделение задач дизайнера и аналитика.
Принципы создания аналитической системы
Как уже отмечалось выше, в основе OLAP лежит идея обработки данных на многомерных структурах. Обычно при использовании термина OLAP подразумевают, что логически структура данных аналитического продукта многомерна. Другое дело, как именно это реализовано. Различают два основных вида аналитической обработки, к которым относят те, или иные продукты.
РОССИЙСКАЯ ГОСУДАРСТВЕННАЯ БИБЛИОТЕК MOLAP. Собственно многомерная (multidimensional) OLAP. В основе продукта лежит нереляционная структура данных, обеспечивающая многомерное хранение, обработку и представление данных. Соответственно и базы данных называют многомерными. Продукты, относящиеся к этому классу, обычно используют сервер многомерных баз данных. Данные в процессе анализа выбираются исключительно из многомерной структуры. Подобная структура является высокопроизводительной.
ROLAP. Реляционная (relational) OLAP. Как и подразумевается названием, многомерная структура в таких инструментах реализуется реляционными таблицами. А данные в процессе анализа, соответственно, выбираются из реляционной базы данных аналитическим инструментом.
Недостатки и преимущества каждого подхода, в общем-то, очевидны. Многомерная OLAP обеспечивает лучшую производительность, но структуры данных нельзя использовать для обработки больших объемов данных, поскольку большая размерность требует больших аппаратных ресурсов, а вместе с тем разреженность гиперкубов может быть очень высокой и, следовательно, использование аппаратных мощностей не будет оправданным. Реляционная OLAP обеспечивает обработку на больших массивах хранимых данных, так как возможно обеспечение более экономичного хранения, но, вместе с тем, значительно проигрывает многомерной модели в скорости работы.
Подобные рассуждения привели к выделению нового класса аналитических инструментов - HOLAP. Это гибридная (hybrid) оперативная аналитическая обработка. Инструменты этого класса позволяют сочетать оба подхода -реляционного и многомерного. Доступ может вестись как к данным многомерных баз, так и к данным реляционных.
Наряду с серверной аналитической обработкой существует вид аналитической обработки на клиенте - DOLAP или «настольный» (desktop). Основное его отличие состоит в том, что создание многомерных структур происходит в оперативной памяти клиентского компьютера. В связи с этим DOLAP используют для обработки меньших информационных массивов.
OLAP-функциональность аналитической системы может быть реализована как серверными, так и клиентскими OLAP-средствами. Для выбора модели необходимо провести оценку ряда эксплуатационных характеристик, основными из которых являются объем обрабатываемых данных, скоростные характеристики, требования к аппаратуре и стоимость программного обеспечения [76].
Под объемом обрабатываемых данных понимается совокупность следующих характеристик: количество измерений, количество элементов измерений и количество фактов, а в случае реляционной модели хранения еще и количество таблиц и записей в таблицах. При равной мощности компьютера OLAP-сервер может обрабатывать большие объемы данных, чем Desktop OLAP (OLAP-клиент). Дело в том, что OLAP-клиент должен провести всю цепочку операций по извлечению данных из оперативной базы данных, провести расчет куба, в то время как OLAP-сервер хранит заранее вычисленные кубы и агрегаты по наиболее запрашиваемым срезам. Кроме того, OLAP-сервер обладает различные методами оптимизации производительности, среди которых кэширование запросов, параллельная обработка, предварительные вычисления и ряд других.
Клиентское программное обеспечение OLAP-сервера в момент выполнения OLAP-операций выполняет запросы к серверу на языке многомерных запросов (например, MDX), получая часть рассчитанного сервером куба, необходимую для отображения пользователю. Desktop OLAP в момент работы должен иметь в оперативной памяти весь куб. В случае работы с реляционной базой данных необходимо предварительно загрузить в память весь используемый для вычисления куба массив данных. Кроме того, при увеличении числа измерений, фактов или элементов измерений количество агрегатов растет в геометрической прогрессии.
Базовые операции при построении витрины данных
Рассматриваемый в данной работе язык является процедурным языком программирования, специально разработанным с учетом его использования как профессиональными программистами, так и специалистами предметной области. Одной из особенностей языка является то, что все операторы и встроенные процедуры/функции языка имеют русское написание.
Набор синтаксических конструкций языка позволяет строить достаточно сложные программы. Наряду с базовыми элементами, такими как операторы циклов, переходов, условия, в языке поддерживаются более сложные конструкции, позволяющие заключать фрагменты кода в процедуры и функции. В синтаксисе языка нет блочного оператора, однако его отсутствие компенсируется тем, что конструкции процедуры, функции, циклов и условия по своей структуре являются блочными. Язык обладает некоторыми объектно-ориентированными возможностями, например, правила доступа к свойствам и методам встроенных агрегатных типов данных подобны тем, что используются в объектно-ориентированных языках. Однако агрегатные типы данных не могут определяться средствами самого языка, а жестко определены в системе.
В языке нет явного назначения типа данных для переменной, то есть тип переменной определяется значением, которое она содержит. Например, при выполнении операции присваивания переменная автоматически приобретает тип аргумента. Кроме того, в языке не требуется явного описания переменных. Переменная создается при выполнении прямого (с помощью операции присваивания), или косвенного (в операторе цикла «для») присваивания ей значения аргумента. Отсутствие явного задания переменной и указания ее типа значительно упрощает работу с языком для рядовых пользователей.
Процесс интерпретации конструкций языка, реализованный в данной работе, производится в три фазы. Лексический анализ является первой фазой интерпретации и служит для группировки исходного потока символов программы в набор лексем. Для реализации лексического анализа была использована модель непрямого лексического анализатора [70, 28]. Во второй фазе синтаксический анализатор получает цепочку лексем и на ее основе осуществляет разбор, используя соответствующие правила. По ходу выполнения разбора синтаксический анализатор формирует взаимосвязанный список инструкций и операндов и строит таблицу имен. Построенные конструкции не имеют привязки к синтаксису языка и готовы к исполнению.
Лексический анализатор в процессе своей работы распознает следующие конструкции языка. Здесь и далее синтаксические конструкции языка описаны при помощи расширенных Бэкуса-Наура форм (РБНФ) [71].
Из приведенного выше описания видно, что в языке существует 4 типа данных для констант: целые, вещественные, строковые и типа «дата». Константы целого типа можно определять в двоичной, восьмеричной, десятичной и шестнадцатеричной системах счисления. Также в языке присутствует воз можность определения идентификатора, содержащего пробелы, точки и прочие не входящие в алфавит языка символы, заключая набор символов в квадратные скобки. Подобные отхождения от традиционных правил существенно облегчают написание программ обычными пользователями.
Синтаксический анализатор производит анализ программного кода, используя входные лексемы, получившиеся в результате работы блока лексического анализа. На выходе блок синтаксического анализа формирует объектный код программы, предназначенный для исполнения. Синтаксический анализатор распознает следующие конструкции.
Аналитическая поддержка специалистов и руководителей регионального здравоохранения
Одной из важных задач, решающихся при помощи системы «Аналитик», является обеспечение руководящего состава системы здравоохранения специализированными информационными системами (ИСР - информационными системами руководителей). В 2004 году был запущен проект по разработке двух первых систем на платформе «Аналитик» - информационной системы анализа медико-демографических процессов и рабочего места руководителя отдела охраны материнства и детства [67].
Процесс проектирования ИСР состоит из следующих этапов: - определение круга специалистов - потенциальных пользователей системы; - определение состава потенциально востребованной информации; - определение источников, периодичности поставки и трансформации исходных данных; - определение приемов, алгоритмов работы с информацией; - определение основных форм представления данных, результатов анализа, проектных и отчетных документов; - определение информационного обмена с другими системами.
Рассмотрим более подробно процесс разработки информационной систе мы анализа медико-демографических процессов [36].
Назначением этой системы является проведение статистического и оперативного анализа данных случаев смерти в динамике, вычисление агрегированных показателей, представление структуры и тенденций показателей, выделение и анализ факторов, влияющих на смертность населения, представление информации в наглядной и доступной форме для определения комплекса мер, направленных на снижение смертности.
Потребителем информации данной информационной системы являются руководители управления здравоохранения, социологи и специалисты-демографы.
Источником поступления информации выступают накопленные с 1989 года в Красноярском информационно-аналитическом центре персонализированные базы данных о случаях смерти. Эти данные содержатся в нескольких источниках. Первый - это усеченные записи о случаях смерти по территориям Красноярского края. За разные периоды времени эти данные имеют разный набор полей и требуют разных методов загрузки и обработки для дальнейшего совместного анализа. Данные содержат информацию о случаях смерти по полу, возрасту, типу поселения, основным причинам смерти для календарного года и определенной территории. Данные о численности населения Красноярского края, необходимые для построения специализированных показателей, содержатся в демографическом справочнике.
Поскольку для использования этих данных требуется серьезная подготовительная работа, то на первом этапе они загружаются в специализированное хранилище данных, поддержка которого обеспечивается средствами системы «Менеджер хранилищ данных». При наполнении хранилища данных сведения подвергаются проверке, очистке и унификации для выполнения дальнейшего анализа. Цель унификации заключается в обеспечении общего доступа к данным, изначально полученным из разнородных источников. Вследствие использования в данной задаче хранилища данных, информационный обмен системы «Аналитик» осуществляется только с этим источником.
Все функциональное наполнение информационной системы разделено на пять форм и включает главную форму с тематическим разделением информации, предназначенную для формирования аналитического запроса и четыре формы для визуализации аналитического запроса в виде кросс-таблицы, таблицы, диаграммы и карты (рисунок 39).
Для разработки этих форм был применен мастер построения интерфейса с последующей доводкой результата.
Таким образом, основная часть интерфейса информационной системы была получена в кратчайшие сроки, что позволило сконцентрировать усилия разработчиков системы на проектировании витрин данных, в которых заключено все информационное наполнение системы.
