Содержание к диссертации
Введение
1. Информационная интеграция для поддержки управления региональным здравоохранением 17
1.1. Задача построения отраслевого центра хранения медицинской информации 17
1.2. Требования к средствам управления хранилищем данных 21
1.3. Обзор технологических подходов и программных решений для хранилищ данных . 28
1.4. Унификация справочных данных как системообразующий элемент отраслевого информационного пространства 33
1.5. Задачи диссертационной работы 39
Выводы к разделу 1 40
2. Проектирование и технологические подходы к построению централизованных информационных ресурсов 42
2.1. Основные понятия и положения используемых технологий ..42
2.1.1. Терминология хранилищ данных 42
2.1.2. Технология структурного анализа и проектирования 44
2.2. Проектирование централизованного хранилища медицинской информации 47
2.2.1. Функциональная модель хранилища данных 47
2.2.2. Информационная модель централизованного хранилища данных 55
2.2.3. OLAP-ориентированные особенности представления информации в хранилище 61
2.3. Проектирование средств ведения справочников 66
2.3.1. Функциональная модель системы ведения справочников 66
2.3.2. Обобщенная модель справочника 74
2.3.3. Иерархическая классификация справочных объектов ' 80
Выводы к разделу 2.. 83
3. Программная реализация решений 86
3.1. Менеджер хранилища данных 86
3.1.1. Описание программы 86
3.1.2. Создание пользовательских структур данных 89
3.1.3. Поддержка аналитических OLAP-операций 91
3.1.4. Обеспечение разделения доступа 93
3.2. ETL-подсистема менеджера хранилища 94
3.2.1. Основные понятия и типы ETL-процедур 94
3.2.2. Пакеты процедур 99
3.2.3. Использование встроенного языка программирования ... 100
3.2.4. Диспетчер автоматической загрузки 102
3.3. Система ведения справочников 102
3.3.1. Описание программы ..102
3.3.2. Основные функции системы 104
3.3.3. Схема поддержания временной целостности 108
3.3.4. Особенности реализации 112
Выводы к разделу 3. 113
4. Информационное обеспечение хранилища данных и решение аналитических задач 115
4.1. Применение системы ведения справочников в территориальном здравоохранении 115
4.1.1. Основные результаты применения 115
4.1.2. Группа справочников «Сеть медицинских учреждений Красноярского края» 116
4.2. Применение централизованного хранилища данных для задач поддержки управления здравоохранением 119
4.2.1. Состав информации в хранилище 119
4.1.1. Задача формирования территориальной программы обеспечения населения медицинской помощью 125
4.2.1. Расчет тарифов на медицинские услуги по законченному случаю лечения 127
4.2.2. Разработка рабочих мест специалистов и руководителей регионального здравоохранения 129
Выводы к разделу 4 . 131
Заключение 132
Список сокращений 136
Список литературы 137
Приложения 144
- Унификация справочных данных как системообразующий элемент отраслевого информационного пространства
- OLAP-ориентированные особенности представления информации в хранилище
- Использование встроенного языка программирования
- Группа справочников «Сеть медицинских учреждений Красноярского края»
Введение к работе
Актуальность темы
Формирование централизованных информационных ресурсов в системе регионального здравоохранения является актуальной задачей, требующей применения новых информационных технологий. Рост мощности информационных потоков внутри медицинских корпоративных систем требует создания нового математического и программного обеспечения, реализующего эффективные методы хранения и обработки информации с учетом специфики предметной области.
Сравнительно молодая, но активно развивающаяся технология хранилищ данных («Data Warehouse») предоставляет технологические и методологические основы для формирования крупных специализированных баз данных, предназначенных для поддержки принятия управленческих решений [50,62,66]. Использование хранилищ данных позволяет решать задачи плани рования и управления с применением эффективных методов OLAP-анализа (OnLine Analytical Processing - оперативная аналитическая обработка).
Исторически сложилось так, что наибольшее применение хранилища данных получили в финансово-промышленной сфере, и существующие тиражируемые программные решения мало приспособлены к структуре системы здравоохранения и её информационным потребностям. Особенности предметной области управления здравоохранением делают актуальной задачу адаптации и развития инструментария хранилищ данных для решения аналитических задач, специфических для данной отрасли. Основными направлениями работ при этом являются поддержка свойственных здравоохранению многошаговых аналитических расчётов и организация взаимодействия с действующими информационными системами.
Важным системообразующим элементом построения отраслевого хранилища медицинской информации является унификация форм представления классификационно-справочных данных. Для успешного построения хранилища требуется преодолеть различия в структуре и форматах данных, поставляемых в него из существующих программных систем. Также необходимо учесть специфику работы органов управления здравоохранением в период перехода к системе обязательного медицинского страхования, поскольку структура классификационно-справочной и нормативной информации очень чувствительна к организационным изменениям. Поэтому является актуальной задача создания и использования в хранилище единой, стандартизованной, нов то же время достаточно гибкой модели справочников и классификаторов.
Цель диссертационной работы
Цель диссертационной работы состоит в разработке алгоритмического и программного обеспечения централизованных информационных ресурсов регионального здравоохранения в виде хранилища данных, основанного на унифицированных формах представления справочно-клаесификационных данных и содержащего технологические компоненты, реализующие поддержку многошаговых аналитических расчётов.
Методы исследования
Методы исследования, применяемые в работе, основаны на методологии структурного анализа и проектирования (SADT - Structured Analysis & Design Technique), теории реляционных баз данных, технологии хранилищ данных и объектно-ориентированных методах построения программных систем. При определении структур хранения и представления информации учтены требования, предъявляемые к системам оперативной аналитической обработки данных.
Основная идея работы
Основная идея работы заключается в адаптации технологии хранилищ данных к задачам управления здравоохранением и её развитии в сторону тесной интеграции с аналитическим OLAP-инструментом, системами сбора статистической отчётности и ведения справочников. В работе расширен состав и функции традиционных хранилищ данных. Введены новые конструктивные элементы, выполняющие функции поддержки связных многошаговых аналитических расчётов: аналитическая OLAP-модель, сложное иерархическое измерение, таблица расчетных значений (агрегатов) и группа отчётных форм. В инструментарий хранилища введены функции прямого доступа к базе данных системы сбора статистической отчётности и средства работы со структурами унифицированных отраслевых справочников.
Реализована идея унификации справочников и классификаторов на основе предложенной обобщенной модели представления классификационно-справочной информации. Модель справочника содержит описание форм хранения справочной информации, дополнительных атрибутивных признаков справочных объектов, а также представляет механизмы поддержания временной целостности данных и многопризначной классификации с использованием сложных иерархических оглавлений.
Предложенные модели и алгоритмы реализованы в виде программного и информационного обеспечения централизованного хранилища медицинской информации и отраслевой системы ведения справочников.
Новые научные результаты:
1. Впервые для формирования централизованных информационных ресурсов регионального здравоохранения применена технология хранилищ данных. Разработаны информационные модели, алгоритмические средства и программное обеспечение для построения централизованного хранилища медицинской информации.
2. Предложены новые технологические компоненты хранилища данных, обеспечивающие поддержку связных многошаговых аналитических расчётов и учитывающие особенности аналитических задач в здравоохранении: аналитическая OLAP-модель, сложное иерархическое измерение, таблица агрегатов и группа отчётных форм. 3. Разработана обобщённая модель унифицированного справочника, поддерживающая сложную иерархическую классификацию и временную целостность справочных данных в корпоративных системах здравоохранения.
4. Создано оригинальное алгоритмическое и программное обеспечение, реализующее многопризначный анализ данных хранилища в соответствии с организацией системы здравоохранения на региональном уровне. Практическая значимость работы
Практическими результатами диссертационной работы являются методические и программные средства, которые могут быть применены в территориальных органах управления здравоохранением и обязательным медицинским страхованием для централизации информационных ресурсов в виде отраслевого хранилища данных и организации ведения единых справочников.
Программное обеспечение хранилища данных применяется в Красноярском медицинском информационно-аналитическом центре (КМИАЦ), а также в Красноярском краевом фонде обязательного медицинского страхования (КФОМС). Сформированы структуры данных, используемые для решений ряда актуальных аналитических задач управления здравоохранением - анализа состояния здоровья населения, анализа ресурсов системы здравоохранения формирования тарифов на медицинские услуги, создания автоматизированных рабочих мест для ведущих специалистов и руководителей отрасли.
Программное обеспечение системы ведения справочников функционирует в Красноярском и Санкт-Петербургском медицинских информационно-аналитических центрах, а также в информационном отделе КФОМС. С помощью системы специалистами КМИАЦ созданы и поддерживаются в актуальном состоянии более 70 справочников, в том числе таких крупных, как справочник сети медицинских учреждений Красноярского края, международный классификатор болезней, справочник лекарственных средств, справочник адресов и другие. Дополнительную практическую ценность результатам диссертационной работы придаёт возможность их применения в других отраслях, имеющих сходную структуру управления, например, в системе образования и системе социальной защиты населения.
На защиту выносятся: .1. Функционально-информационная модель централизованного хранилища медицинской информации, основанная на унифицированных формах представления справочно-классификационных данных и включающая технологические компоненты для поддержки многошаговых аналитических расчётов.
2. Обобщённая модель унифицированного справочника корпоративной информационной системы, включающая форму организации справочной информации, схему поддержания временной целостности и средства представления сложных иерархических отношений между элементами справочников.
3. Программное обеспечение управления централизованным хранилищем «Менеджер хранилища данных», а также «Система ведения справочников», предназначенная для создания и актуализации отраслевых справочников.
Достоверность и обоснованность результатов
Достоверность и обоснованность результатов диссертационной работы подтверждаются:
1. Результатами исследования современного состояния проблемы хранения и обработки информации для задач информационной поддержки принятия управленческих решений в здравоохранении.
2. Результатами анализа существующего технологического и программного обеспечения построения хранилищ данных и систем оперативной обработки информации. 3. Теоретическим обоснованием построенных моделей системы управления хранилищем данных и системы ведения справочников, выполненным с применением методологии структурного анализа и проектирования.
4. Успешным практическим использованием программных продуктов «Менеджер хранилища данных» и «Система ведения справочников» в органах управления здравоохранением в течение 3-х лет.
5. Признанием достижений автора на многочисленных конференциях и присуждением наград на выставках, в том числе присуждением автору серебряной медали Всероссийского выставочного центра.
Личный вклад автора
Основные результаты, представленные в работе, получены непосредственно автором, а именно: функционально-информационная модель хранилища данных регионального здравоохранения, обобщённая модель унифицированного справочника, технологическое и программное обеспечение «Система ведения справочников» и «Менеджер хранилища данных».
При создании системы «Менеджер хранилища данных» использованы отдельные модули систем «АНАЛИТИК» и «СтатЭкспресс», разработанные специалистами лаборатории интеллектуальных информационных систем Института вычислительного моделирования СО РАН. В частности были использованы модули доступа к внешним источникам данных, средства построения витрин данных и библиотека внутреннего языка программирования.
Апробация работы
Основные теоретические результаты работы представлялись на: Межрегиональной конференции «Проблемы разработки и внедрения информационных систем в здравоохранении и ОМС» (Красноярск, 2000); Всероссийской конференции «Проблемы информатизации региона» (Красноярск, 2001, 2003); конференции молодых учёных ИВМ СО РАН (Красноярск, 2002 -2004); IV Всероссийской конференции с международным участием «Новые информационные технологии в исследовании сложных структур» (Томск, 2002); Всероссийской конференции «Информационно-аналитические системы и технологии в здравоохранении и ОМС» (Красноярск, 2002); Всероссийской конференции «EL-Pub 2003» (Новосибирск, 2003); IV Всероссийской конференции молодых ученых по математическому моделированию и информационным технологиям (Красноярск, 2003); III Всесибирском конгрессе женщин-математиков (Красноярск, 2004); рабочих семинарах ИВМ СО РАН (2000-2004).
Программные продукты, созданные в ходе исследований, демонстрировались на:
- Выставке в рамках Межрегиональной конференции «Проблемы разработки и внедрения информационных систем в здравоохранении и ОМС» (Красноярск, 2000);
- II Объединенной научной сессии Сибирских отделений РАН и РАМН «Новые технологии в медицине» (Новосибирск, 2002);
- Выставке в рамках Всероссийской конференции «Информационно-аналитические системы и технологии в здравоохранении и ОМС» (Красноярск, 2002);
- Первом региональном форуме «Сибирская индустрия информационных систем» (Новосибирск, 2002);
- Выставке в рамках Научно-практической конференции «Общественное здоровье: стратегия развития в регионах Сибири» (Новосибирск, 2002);
- Ш специализированной выставке и конференции «Информационные технологии в медицине - 2002». (Москва, Всероссийский выставочный центр, 2002).
- V специализированной выставке и конференции «Информационные технологии в медицине - 2004». (Москва, Всероссийский выставочный центр, 2004).
И
Методические и практические результаты, полученные в работе, нашли применение при разработке информационно-аналитической системы «АНАЛИТИК», за участие в разработке которой автор награжден серебряной медалью Всероссийского выставочного центра.
Публикации
По основным результатам диссертационной работы сделано 8 публикаций, в том числе 2 статьи в центральной печати и рецензируемых изданиях.
Структура и объем работы
Диссертация состоит из введения, 4 разделов, заключения, списка использованных источников и 2 приложений. Основное содержание работы изложено на 143 страницах текста, содержит 35 рисунков, 9 таблиц. Список используемых источников включает 73 наименования.
Краткое содержание работы
Введение представляет цели и задачи диссертационной работы, раскрывает ее актуальность, научную новизну, достоверность и обоснованность, практическую значимость и апробированность полученных результатов, методологию исследований.
В первом разделе представлены результаты исследования проблемы формирования единых информационных ресурсов для региональных органов управления здравоохранением и обоснована необходимость разработки и внедрения оригинального программного обеспечения для построения централизованного хранилища данных. В качестве системообразующей составляющей процесса построения хранилища данных исследована задача унификации представления классификационно-справочной информации, используемой в системах регионального здравоохранения.
Выполнено исследование состояния информационных технологий и существующего программного обеспечения, предназначенных для хранения и анализа больших объемов информации. Определены основные недостатки существующих решений и обоснована необходимость развития технологии хранилищ данных в стороны взаимодействия с OLAP-инструментарием. В частности, обоснована необходимость создания средств поддержки многошаговых аналитических вычислений.
Рассмотрена задача унификации справочников и классификаторов как системообразующая часть отраслевого хранилища данных. Обоснована необходимость внедрения унифицированной модели справочников. Приведены основные требования и ограничения, накладываемые на разрабатываемую модель.
По результатам проведенных исследований сформулированы задачи диссертационной работы.
Во втором разделе представлены основные результаты функционального и информационного проектирования централизованного хранилища медицинской информации, средств ведения справочников и обобщенной модели унифицированного справочника.
В первом пункте раздела описаны основные термины технологий хранилищ данных, а также положения технологии структурного анализа и проектирования.
Во втором пункте раздела описаны результаты проектирования централизованного хранилища данных. Представлена функциональная модель хранилища данных, выполненная в виде диаграмм нотации IDEF0.
Также в разделе описаны основные особенности представления информации в хранилищах данных. Обосновано использование специализированных структур таблиц, обеспечивающих наиболее эффективное выполнение аналитических функций хранилища.
Выделены OLAP-ориентированные черты хранилища и дано подробное описание категорий информации в хранилище. Описаны специализированные технологические компоненты хранилища: аналитическая OLAP-модель, таблица агрегатов, группа готовых отчетных форм. Эти компоненты предназна чены для поддержания выполнения многошаговых аналитических расчетов, свойственных управлению здравоохранения.
В третьем пункте раздела описаны результаты проектирования средств ведения справочников и обобщенной модели унифицированного справочника. Представлена функциональная модель системы ведения справочников, выполненная в виде диаграмм нотации IDEF0.
Также в данном пункте определены основные элементы модели справочника: линейная таблица, таблица свойств, таблица связей, журнал операций, таблица истории преобразований. Представлены средства формирования сложных иерархических структур для элементов справочников.
Третий раздел содержит описание программной реализации технологических подходов и моделей, описанных во втором разделе работы.
На основе представленной модели хранилища создано программное обеспечение «Менеджер хранилища данных». В первой части данного раздела приведены основные характеристики информационной системы: наименование, основные функции, круг пользователей, системные требования и т.д. Представлены основные подсистемы продукта и порядок выполнения им своих основных задач.
Во второй части данного раздела описана ETL-подсистема «Менеджера хранилища», отвечающая за автоматизированное извлечение данных из оперативных баз данных и их предзагрузочную обработку. Дано описание основных элементов подсистемы: процедур и пакетов обработки.
В ETL-подсистему «Менеджера» встроен язык программирования высокого уровня, который используется для расширения возможностей подсистемы в задачах фильтрации и преобразования данных. В работе описан порядок применения встроенного языка и приведен пример сценария преобразования данных.
На базе предложенной универсальной модели справочника разработано программное обеспечение системы ведения справочника, выполняющее пол ный набор функций по созданию, наполнению, актуализации и распространению справочников и классификаторов. В разделе описаны основные составляющие программного продукта и его функциональность. Описан механизм поддержания временной целостности справочной информации на основе понятия «идентифицирующих полей».
Четвертый раздел посвящен вопросам применения результатов диссертационной работы.
Описаны основные результаты применения средств ведения справочников в отраслевых медицинских центрах. По результатам личного участия автора в разработке структур справочников приведена структура группы справочников «Сеть медицинских учреждений и страховых медицинских организаций Красноярского края».
Даны примеры применения программных продуктов управления хранилищем данных для решения актуальных задач поддержки задач управления региональным здравоохранением: анализ состояния здоровья, анализ ресурсов системы здравоохранения, формирование тарифов на медицинские услуги, создание автоматизированных рабочих мест для ведущих специалистов и руководителей отрасли.
В заключении сформулированы основные результаты диссертационного исследования, отмечены перспективы развития и практического применения решений, представленных в работе.
В Приложении 1 приведено описание информационного наполнения централизованного хранилища медицинской информации.
В Приложении 2 приведено положение о группе справочников и классификаторов «Сеть медицинских учреждений Красноярского края», подробно описывающее структуры справочников группы.
К работе прилагаются также акты о внедрении результатов диссертационной работы. Автор выражает благодарность коллективу лаборатории интеллектуальных информационных систем ИВМ СО РАН и лично научному руководителю доктору технических наук Л.Ф. Ноженковой за плодотворное сотрудничество и помощь в выполнении диссертационной работы.
Унификация справочных данных как системообразующий элемент отраслевого информационного пространства
При анализе задачи построения хранилища данных обосновано такое требование к наполнению хранилища, как использование единых форматов представления классификационно-справочной информации. Применение общих справочников и классификаторов в качестве измерений хранилища является важным интегрирующим фактором для крупной информационной системы, которая объединяет сведения из множества взаимодействующих подсистем и модулей. Невозможно осуществлять эффективный анализ информации, собираемой в хранилище, без приведения всех данных к некоторому «общему знаменателю» в виде единых отраслевых справочников и классификаторов [33].
При формировании хранилища данных для органов управления здравоохранения и ОМС эта задача имеет особую актуальность из-за большой разрозненности программных продуктов, функционирующих в отрасли. На момент начала данного диссертационного исследования в медицинских учреждениях и органах управления использовалось более десятка различных программных продуктов, собирающих информацию по различным аспектам деятельности учреждений. Практически все программные продукты имели собственные подсистемы справочников, и форматы представления классификационной информации были не согласованы. Это являлось следствием отсутствия единой отраслевой политики в вопросе использования справочников и классификаторов. Проблемы стандартизации информации в задачах сбора и анализа медицинской информации неоднократно обсуждались в выступлениях руководителей и ведущих специалистов органов управления здравоохранением [33, 41, 13]. Опыт использования единых справочников в регионах РФ позволяет говорить о высокой эффективности внедрения общих механизмов для работы со справочниками во все отраслевые информационные системы [24, 53, 30, 54, 25]. Отдельно стоит отметить положительный опыт разработки единых классификаторов для использования в столичных информационных системах, подвергающихся наибольшей эксплуатационной нагрузке [4, 20, 49].
Рассмотрение уже внедренных подходов к формированию справочников позволило выделить две основных модели систем ведения справочников и классификаторов: централизованную и децентрализованную [1]. При использовании централизованной модели создается центр ведения справочников, в котором создаются и поддерживаются в актуальном состоянии все справочники, требующиеся отрасли. Децентрализованная модель подразумевает свободное создание и ведение справочников теми структурами и организациями, которые более других заинтересованы в данных справочниках. Легко видны основные достоинства и недостатки обоих подходов (см. таблицу 1.1).
В целом же рассмотрение и сравнение вариантов формирования систем ведения справочников некорректно без учета свойств общеотраслевой системы, в рамках которой организуется система справочников. Рассматриваемый в данной работе подход к информатизации здравоохранения, включающий построение отраслевого хранилища данных, подразумевает внедрение единых форматов представления справочной информации в измерениях, а значит, однозначно требует внедрения централизованного варианта системы ведения справочников.
Таким образом, в качестве отдельной подзадачи данной диссертационной работы рассматривается проектирование системы ведения единых отраслевых справочников и классификаторов. Эта задача включает в себя разработку обобщенной модели унифицированных отраслевых справочников, а также реализацию программного обеспечения системы ведения справочников и описание основных положений регламента ведения справочников. Создаваемые справочники должны использоваться в качестве измерений для анализа сведений централизованного хранилища данных.
Решение задачи приведения всех справочников и классификаторов к единому виду представления справочной информации преследует цель создания базиса для обработки сведений, собираемых от медицинских учреждений. При этом важно удовлетворить ряд требований и Ограничений, предъявляемых к справочникам и классификаторам, для того чтобы в дальнейшем была возможность проведения эффективного оперативного анализа. Эти требования касаются как структуры модели справочников, так и состава и.функций программного обеспечения системы ведения справочников.
Во-первых, внедрение единой централизованной модели справочников, в первую очередь, предусматривает унификацию организации работ с любыми справочниками. Это значит, что структура всех справочников и классификаторов должна укладываться в общие правила оформления, то есть должны быть заданы единые нормы по представлению полей справочников, порядку их именования и составу информации в них [31]. Разрабатываемый формат структуры справочников должен иметь доступную форму и содержать простые правила именования для составляющих справочников.
Кроме того, из требований унификации и упрощения работы с различными справочниками также вытекает положение, по которому каждый справочник должен иметь ровно одно ключевое поле, однозначно определяющее любую строку данного справочника. Не допускается использования составных первичных ключей для таблиц справочников, так как это требует дополнительных затрат на описание всевозможных комбинаций таких полей и усложняет задачи обработки информации. Все ключевые поля справочников должны иметь одинаковый тип данных и единый порядок формирования.
OLAP-ориентированные особенности представления информации в хранилище
Временные таблицы составляют содержимое так называемого буфера предзагрузочной обработки, который используются для временного хранения данных на этапе их извлечения и преобразования перед помещением в хранилище. С использованием временных таблиц осуществляются сложные многошаговые операции предзагрузочной обработки данных. Более подробно о БПО см. пункт 3.2.
Кроме использования классических положений технологии хранилищ данных, в данной работе выполнено развитие данной технологии путем введения новых функциональных элементов в структуру хранилища. Большинство этих элементов (кроме сложных оглавлений) относится к обеспечению интеграции с инструментарием OLAP-анализа. В работе впервые введены два новых технологических компонента. Таблица агрегатов - модифицируемый промежуточный результат сложных аналитических расчетов, выполняемых с помощью OLAP-инструмента. Для классических хранилищ не свойственна модификация данных, но для сложных, многошаговых аналитических задач потребовалось обеспечение записи промежуточных результатов и их исправлении. В системе OLAP-анализа «АНАЛИТИК» реализована оригинальная схема использования рассчитываемых показателей на последующих шагах аналитической обработки [17]. Поскольку время, затрачиваемое на получение агрегированных показателей, может быть существенным, целесообразно хранить обработанные данные в отдельных объектах хранилища. Эти таблицы создаются системой «АНАЛИТИК» непосредственно в процессе выполнения расчетов [16]. Хранение промежуточных результатов в хранилище значительно расширяет возможности аналитического инструментария и позволяет реализовать более сложные, комплексные многошаговые расчетные методики.
Группа отчётных форм — записанные в репозитарии хранилища сведения о готовых отчётных документах, поступающих извне. Реализация дополнительных функций позволила расширить возможности OLAP-инструмента и отображать готовые отчёты при работе с анализируемыми данными.
В данной работе также расширено содержание понятий «витрина данных» и «измерение». Витрина данных определяется как выделенное подмножество данных хранилища, предназначенное для решения некоторой аналитической задачи. В предложенной модели хранилища витрина данных представляет не только таблицы и их взаимосвязи, но также и аналитические показатели, сценарии расчетов и порядок визуального отображения показателей. Перечисленная совокупность элементов получила название аналитической OLAP-модели. Понятие измерения модифицировано за счет использования в этом качестве унифицированных справочников и их иерархических оглавлений. Важной отличительной особенностью представляемой модели хранилища данных являетея возможность использования в качестве аналитического измерения комплексных иерархических классификаторов, определяемых сложными оглавлениями справочников.
Применение оригинальных технологических компонентов позволило выполнять сложные многошаговые аналитические расчёты, необходимость которых диктуется требованиями предметной области. Общая схема такого расчета представлена на рис. 10. На первом шаге на вход аналитического инструмента поступают исходные обрабатываемые данные. Далее идёт последовательное выполнение шагов расчёта, параметры которых записаны в репози-тарии хранилища в виде аналитических моделей. Взаимодействие аналитических моделей между собой происходит путём передачи через хранилище информации в виде таблиц агрегатов и данных репозитария.
Выполнение многошагового расчёта сопровождается так называемым интерактивным аналитическим экспериментом, т.е. возможно вмешательство пользователя в выполнение расчёта для модификации параметров и настройки модели. Процесс формирования каждой из аналитических моделей также сопровождается взаимодействием пользователя со средствами управления хранилищем (рис. 11). На любом из четырёх этапов построения модели возможен возврат к более ранним этапам. Таким образом, предложенная модель централизованного хранилища данных обеспечивает расчёт сложных аналитических методик, свойственных задачам управления здравоохранением. Большинство крупных баз данных можно поделить на две категории [29]: OLTP (Online Transaction Processing) - системы обработки транзакций и OLAP (Online Analytical Processing) - системы аналитической обработки данных. Основные отличия хранилищ данных от оперативных баз данных [51]: - Хранилища подразумевают длительное хранение информации и после прохождения предзагрузочной обработки данные не меняются; - В хранилищах отсутствуют транзакции в их обычном виде, то есть нет необходимости в постоянных, кратковременных дополнениях/модификациях таблиц, вместо этого должен быть обеспечен механизм стабильного периодического добавления значительных объемов информации; - Структура оперативных баз направлена на максимально быстрое выполнение ряда заранее известных запросов, в то время как для аналитических запросов, направленных к хранилищу, характерна непредсказуемость и редкое повторение; - В оперативных системах существует большое количество внутренних связей между данными, направленных на обеспечение корректности сведений. Информационные схемы хранилищ имеют упрощенную структуру, а корректность данных соблюдается за счет дополнительной проверки на этапе импорта данных; - Оперативные БД обычно имеют регистрирующий характер, то есть отражают состояние предметной области в конкретный момент времени, для хранилищ же свойственно представлять данные с фиксацией временной координаты, для последующего построения аналитических срезов по времени; - Хранилища, в первую очередь, предназначены для информационного обеспечения стратегических решений, в то время как ОБД обеспечивают повседневную работу.
Использование встроенного языка программирования
Реализованный список процедур обработки позволяет выполнять основные операции по извлечению и преобразованию данных из внешних источников. Каждая процедура является описанием некоторого шага процесса импорта данных и автоматизирует его выполнение. Создание процедур обработки возможно как отдельно для конкретных таблиц, так и в виде так называемых ETL-пакетов.
ETL-пакет определяет последовательность выполнения ряда ETL-процедур. Структура и состав пакета позволяет задать набор процедур, подлежащих выполнению, и назначить порядок переходов между процедурами в случае успешного или неуспешного выполнения конкретного шага. Использование пакетов позволяет определять достаточно сложные алгоритмы загрузки и преобразования данных, включающие в себя многошаговую обработку данных с последовательной фильтрацией и исключением ошибочных значений.
Применение разнотипных ETL-процедур делает доступным не только стандартные функции SQL, но и специальные способы обработки информации. Древовидная структура планов выполнения процедур в пакете дает возможность предусмотреть обработку как основного потока информации, так и тех данных, которые выходят за рамки системных соглашений хранилища. Перенос записей, содержащих некорректные значения, в специально выделенные таблицы ошибок позволяет учесть весь объем информации, поступающей в хранилище.
Реализация ETL-пакетов включает в себя сведения о расписании выполнения каждого конкретного пакета, в виде задания времени первого выполнения и интервала для повторного запуска (рис. 28). Кроме автоматического запуска пакетов возможен непосредственный старт пакета по желанию администратора.
Необходимость реализации сложных алгоритмов предзагрузочной обработки и фильтрации данных без дополнительного вмешательства разработчиков привела к введению в систему собственных средств программирования. В ETL-подсистему «Менеджера хранилища» встроен язык программирования высокого уровня, созданный специалистами лаборатории интеллектуальных информационных систем ИВМ СО РАН. С точки зрения реализации этот язык является интерпретируемым русскоязычным аналогом языка Basic[37]. Пользователям системы доступны как обычные возможности языка программирования (условные переходы, циклы, переменные, массивы и т.д.), так и специа-лизированные. функции. В рамках идеологии, объектно-ориентированного подхода во встроенный язык добавлены внутренние объекты «Менеджера хранилища» и обеспечен доступ к их свойствам и методам через точечную нотацию [6, 12].
Встроенный язык программирования используется для расширения возможностей ETL-подсистемы в задачах фильтрации и преобразования данных. Объектами манипулирования языка в данном случае являются значения данных в строках таблиц хранилища. Областью применения встроенного языка являются задачи формирования сложных условий для фильтрации и преобразования данных, поступающих в хранилище. При фильтрации данные, получаемые из внешних источников, проходят процедуру верификации, и некорректная информация перенаправляется в таблицу ошибок. Также с использованием встроенного языка строятся процедуры свободного преобразования данных, позволяющие вносить в поступающие сведения любые изменения, в том числе производить произвольную смену типов данных.
Рассмотрим механизм использования языка на примере процедуры импорта (см, п. 3.3 Л.). Описанная процедура имеет три входных параметра: Источник — массив значений текущей строки таблицы источника; в качестве индекса используется указание имени источника и поля таблицы. Приемник - массив значений, которыми по результатам выполнения процедуры будут заполнена строка таблицы приемника. Пропустить - числовой параметр, определяющий порядок пропуска значений. Если этот параметр на момент завершения процедуры будет равен «1», то данная строка источника будет проигнорирована при обработке. По умолчанию параметр равен «О». Результатом выполнения данной процедуры является определение всех необходимых значений приемника по значениям источника. Для этого могут использоваться все операции, доступные в языке: условные переходы, циклы, набор функций и процедур встроенной библиотеки. Приведенная в примере процедура организует фильтрацию данных (с помощью параметра «Пропустить») и осуществляет преобразование информации в случае обнаружения записей с неизвестным кодом («Код_СМО» = «999»). Указанные действия являются достаточно простыми, однако их трудно эффективно реализовать в системе, не имеющей собственного языка программирования.
Использование встроенного языка программирования высокого уровня позволило повысить гибкость программного продукта и эффективность его использования. Применение внутренних средств разработки открывает возможности расширения функциональности программы без вмешательства разработчика и реализации сложных схем обработки информации.
Следует отметить, что разработка инструментария языка программирования (интерпретатора и пр.) выходит за рамки данной диссертационной работы, а автором выполнялась только интеграция языка в оболочку «Менеджера хранилища» и настройка языка на взаимодействие с объектами системы.
Диспетчер автоматического выполнения пакетов процедур является важным компонентом подсистемы загрузки и очистки данных. Расписание заданное для каждого из пакетов, определяет временные рамки выполнения пакета и делает возможным отказ от человеческого участия в процессе загрузки. Модуль диспетчера загрузки реализован в виде отдельного приложения, автоматически запускаемого при старте операционной системы на компьютере администратора хранилища или на сервере СУБД.
Группа справочников «Сеть медицинских учреждений Красноярского края»
На основе программного обеспечения, а также технологических и организационных рекомендаций, созданных в ходе выполнения диссертационной работы в части, касающейся системы ведения справочников, построена так называемая «Единая система ведения справочников медицинской информации (ЕСВС)». ЕСВС - это программный комплекс, обеспечивающий создание, актуализацию и распространение общих справочников и классификаторов для всех информационных систем, функционирующих в сфере здравоохранения Красноярского края.
Разработанное программное обеспечение системы ведения справочни-ков используется в Красноярском и Санкт-Петербургском медицинских информационно-аналитических центрах, а также в информационном отделе Красноярского краевого фонда ОМС.
На данный момент средствами системы ведения справочников в КМИ-АЦ созданы и поддерживаются более 70 справочников и классификаторов, что составляет около 300 взаимосвязанных таблиц. Структура и данные справочников, составляющих наполнение ЕСВС, используются в работе практически всех информационных систем, функционирующих в медицинских учреждениях Красноярского края, для сбора и анализа данных по отрасли.
Общим результатом внедрения системы является унификация всей справочно-классификационной информации, используемой в здравоохранении Красноярского края и подготовка базиса для построения централизованного хранилища отрасли. При непосредственном участии автора разработан ряд крупных справочников системы, в том числе такие крупные группы справочников как «Сеть медицинских учреждений и СМО Красноярского края» и «Справочники адресов Красноярского края». Структура первой группы справочников будет рассмотрена более подробно в следующем пункте. Группа справочников «Сеть медицинских учреждений Красноярского края» Справочники этой группы являются одной из самых важных составляющих отраслевой системы классификаторов. С использованием данных справочников производится сбор и анализ практически всей медицинской информации. Ссылка на код медучреждения обязательна для любых отчетных данных, касающихся состояния здоровья населения и порядка функционирования сети здравоохранения. В состав группы «Сеть медицинских учреждений» входят следующие справочники и классификаторы: - Справочник «Медицинские учреждения и подразделения» - содержит список всех медучреждений и их подразделений, функционирующих на территории Красноярского края. - Справочник «Типы медицинских учреждений и подразделений» - описание типов медучреждений и подразделений. - Справочник «Страховые медицинские организаций» - список СМО, их подразделений и филиалов, работающих на территории Красноярского края и прилегающих регионов - Справочник «Зоны и территории» - деление Красноярского края на зоны и территории. - Справочник «Виды подчиненности медицинских учреждений» -определяет виды территориального, административного и ведомственного подчинения медицинских учреждений. - Классификатор «Разделы справочника медучреждений» - дополнительные классификационные разделы справочник медицинских учреждений. Объединяющим элементом для этих справочников является сложное оглавление «Сеть медицинских учреждений и страховых медицинских организаций Красноярского края». Это оглавление включает в себя более 6300 записей, составляющих организационную структуру отрасли здравоохранения региона. Иерархия объектов, задаваемая данным сложным оглавлением, используется при работе системы сбора отчетной статистической информации «СтатЭкспресс» для анализа показателей деятельности учреждений. На рис. 34 приведена реляционная схема объединения групп справочников медучреждений и адресных справочников, взаимосвязанных через сложное оглавление сети учреждений. Более подробно о структуре таблиц см. Приложение 2. Представленная структура группы справочников, а также её информационное наполнение является важным практическим результатом, полученным в ходе выполнения диссертационной работы. Создание данной структуры решило актуальную отраслевую задачу унификации представления справоч-но-классификационной информации о сети медицинских учреждений региона. Эти данные активно используется для учёта кадрового и материального обеспечения медучреждений, а также анализа состояния здоровья населения территории. Тем самым заложен фундамент для формирования централизованного хранилища медицинской информации для региональных органов управления здравоохранением.
