Содержание к диссертации
Введение
1. Информационный мониторинг и технология оперативного анализа данных 10
1.1. Основные методы мониторинга 11
1.2. Технология OLAP и системы поддержки принятия решений 23
1.3. Организация процесса мониторинга на примере системы образования 39
Выводы 47
2. Организация данных в задачах мониторинга и управления 49
2.1. Особенности применения стандартных БД 49
2.2. OLAP-системы 56
2.3. Выбор подхода к организации многомерных данных 64
Выводы 78
3. Разработка специального информационного и программного обеспечения системы мониторинга 80
3.1. Этапы разработки автоматизированной системы мониторинга 80
3.2. Особенности использования компонента Analysis Services 94
3.3. Разработка ПО системы автоматизированного мониторинга 102
Выводы 113
4. Методические и практические аспекты применения разработанной системы 115
4.1. Этапы проведения анализа информации 115
4.2. Выборка информации из многомерных баз данных 117
4.3. Организация взаимодействия с пользователем 120
4.4. Технология работы с OLAP-компонентом 124
Выводы 146
Заключение 147
Список литературы
- Технология OLAP и системы поддержки принятия решений
- OLAP-системы
- Особенности использования компонента Analysis Services
- Выборка информации из многомерных баз данных
Введение к работе
В настоящее время во многих сферах человеческой деятельности остро стоят вопросы информационного наблюдения, оценивания, контроля и управления — или, иными словами, информационного мониторинга. Для существующих методов мониторинга характерны недостаточные оперативность и степень учета окружающих факторов (невозможность совместного анализа больших групп параметров в их системном единстве), а также высокая трудоемкость. Особую актуальность проблема мониторинга приобретает тогда, когда информация об исследуемой предметной области сложно структурирована и отражает различные стороны функционирования каких-либо объектов.
Данная работа направлена на разработку технологий мониторинга социально-экономических систем с использованием многомерных баз данных (МБД) и технологии OLAP (Online Analytical Processing) на примере региональной системы образования. Технология OLAP позволяет усовершенствовать методы мониторинга, в частности, перевести их на качественно более высокий уровень. При этом практическую значимость и актуальность приобретают автоматизированное проектирование структуры МБД, организация процесса автоматизированного занесения информации в базу данных (БД) для её последующего анализа, отображение МБД в реляционную БД, автоматическое отображение информации на географических картах и т. д. Необходимо также предусмотреть возможность проведения анализа информации пользователями, не имеющими специальной квалификации.
При использовании технологии OLAP информация, как правило, агрегируется и представляется в виде многомерного куба, стороны которого соответствуют различным аналитическим разрезам (аспектам, по которым проводится анализ массива данных). При этом существенно повышается скорость ответа на пользовательские запросы.
Система, основанная на технологии OLAP, будет особенно полезна при работе с большими объёмами данных. В частности, её можно использовать региональным образовательным учреждениям, которым ежегодно требуется проводить обработку множества отчетных данных.
Согласно приказу №1711 от 24.06.1998 Министерства общего и профессионального образования РФ, Министерство образования России наметило и уже реализовало ряд мер в системе статистического наблюдения, выдвигаемых очередным этапом реформирования российского образования, а именно, разработку проблемы мониторинга образования, создания системы показателей и индикаторов, интегрированных в международное образовательное пространство.
Помимо использования основанного на технологии OLAP программного обеспечения для мониторинга системы образования, можно выделить следующие перспективные области его применения: системы автоматизированного проектирования, корпоративное управление и планирование, социально-экономические и политические исследования, медицина и здравоохранение, охрана окружающей среды, управление использованием природных ресурсов, рекламная и консалтинговая деятельность и др.
Цель и задачи исследования
Целью диссертационной работы является исследование проблемы мониторинга и анализа информации с использованием технологии OLAP, а также разработка системы автоматизированного мониторинга на основе данной технологии и методики ее применения на примере данных образовательной статистики. Для достижения поставленной цели необходимо решить следующие задачи: 1. Анализ существующих методов мониторинга и поиск путей повышения качества мониторинга.
Разработка модели представления данных в МБД и эффективных методов подготовки данных для анализа.
Разработка автоматизированной системы мониторинга. Определение её структуры и функций входящих в неё модулей. Данная система должна состоять из серверной части для создания и ведения МБД, а также OLAP-клиента, предоставляющего пользователям, не имеющим специальных знаний, возможность проведения анализа информации.
Экспериментальные исследования различных этапов анализа информации на основе МБД и технологии OLAP, включая и те, которые касаются предварительной подготовки данных.
Апробация разработанной системы в конкретной предметной области. Создание и заполнение МБД информацией по образовательным учреждениям Пензенской области с последующим ее анализом.
Разработка рекомендаций для автоматизированного проектирования структуры МБД на основе визуального конструктора - мастера создания МБД, ввода исходных данных и проведения анализа информации.
Основные методы исследования
При решении поставленных задач использовались методы структурного и системного программирования, автоматизированного проектирования, принципы модульного и объектно-ориентированного проектирования, принципы и методы построения трансляторов, теории баз данных, методы математической статистики.
Научная новизна исследования. Разработана технология проведения мониторинга, позволяющая повысить его эффективность, осуществить анализ больших групп параметров в их системном единстве.
Предложена архитектура универсальной системы автоматизированного мониторинга, которая позволяет организовать данные для их анализа на основе технологии OLAP и провести собственно анализ этих данных. Отличительной особенностью данной системы является то, что пользователь
может работать с ней, не имея специальных знаний.
Разработана методика автоматизированной подготовки и анализа данных. Отличительной особенностью предлагаемого подхода является наличие автоматизированных этапов очистки информации и поиска закономерностей.
Предложены алгоритмы, позволяющие в реальном времени редактировать многомерный куб. Они отличаются от аналогов отсутствием жесткой привязки к структуре МБД.
Разработана методика визуального проектирования структуры МБД, что позволяет автоматизировать процесс создания необходимой структуры в соответствии с требованиями, предъявляемыми к БД в конкретной предметной области.
Предложены методы интеграции технологий OLAP и ГИС (геоинформационные системы) с целью отображения необходимой информации на электронных географических картах.
Практическая значимость. Предложенная технология мониторинга социально-экономических систем с использованием технологии OLAP позволяет устранить недостаточную оперативность анализа данных существующих методов мониторинга, их высокую трудоемкость и недостаточную степень учета окружающих факторов.
Разработанные алгоритмы формирования МБД существенно сокращают сроки подготовки данных для их последующего анализа с использованием технологии OLAP.
Разработана программная реализация системы автоматизированного мониторинга на основе технологии OLAP, имеющая в своем составе подсистемы формирования структуры МБД, ввода и редактирования данных, просмотра и анализа информации (клиентская часть) и др. Разработанное программное обеспечение (ПО) функционирует на платформе Win32 (Windows 95/98/Me/NT/2000/XP/2003).
Даны практические рекомендации по использованию разработанной
системы, предложена последовательность и описано содержание этапов подготовки и анализа информации.
На основании теоретических и экспериментальных исследований доказана эффективность применения технологии OLAP для мониторинга и анализа состояния системы образования.
Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на следующих конференциях и семинарах: VI международная научно-методическая конференция "Университетское образование" (Пенза, 2002 г.), V Всероссийская научно-техническая конференция "Информационные технологии в науке, проектировании и производстве" (Нижний Новгород, 2002 г.), IV международная научно-техническая конференция "Информационные технологии и системы в образовании, науке, бизнесе" (Пенза, 2002 г.), VII международная научно-методическая конференция "Университетское образование" (Пенза, 2003 г.), I научно-методическая конференция "Инновации в образовании" (Пенза, 2003 г.), XXX юбилейная международная конференция и I международная конференция молодых ученых "Информационные технологии в науке, образовании, телекоммуникации, бизнесе" (Ялта-Гурзуф, 2003 г.), международный юбилейный симпозиум "Актуальные проблемы науки и образования (АПНО-2003)" (Пенза, 2003 г.), VIII международная научно-методическая конференция "Университетское образование" (Пенза, 2004 г.), XXXI международная конференция "Информационные технологии в науке, образовании, телекоммуникации и бизнесе" (Ялта-Гурзуф, 2004 г.), международная конференция "Информационные технологии в образовании, технике и медицине" (Волгоград, 2004 г.), межрегиональная научно-практическая конференция "Проблемы качества повышения квалификации работников образования" (Воронеж, 2004 г.), IX международная научно-методическая конференция "Университетское образование" (Пенза, 2005 г.), научно-технические конференции профессорско-преподавательского состава
Пензенского государственного университета (2000-2005 гг.).
Публикации. По материалам диссертации опубликовано 14 печатных работ.
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, включающего 143 наименования, приложения, содержащего акты внедрения. Основная часть работы изложена на 163 машинописных страницах, содержит 39 рисунков и 6 таблиц.
Основное содержание работы
Во введении обоснована актуальность темы диссертации, сформулированы цели и задачи исследования, отражена научная новизна и приведены основные практические результаты работы.
В первой главе рассматриваются существующие методы мониторинга и технология оперативного анализа данных. Отмечается, что существующие методы аналитической и статистической обработки данных имеют существенный недостаток. Вся совокупность данных обрабатывается в них как разрозненное множество, - отсутствует их системное единство. Между теми или иными информационными потоками может быть установлена лишь искусственная связь при помощи объединения их в какую-либо отчетную форму. Предлагаемый подход к проблеме аналитической и статистической обработки данных на основе технологии OLAP преодолевает указанный недостаток традиционных методов. Мониторингу, основанному на таком подходе, присуща полнота охвата причинно-следственных связей, взаимовлияющих факторов, скрытых тенденций.
Во второй главе анализируются общепринятые подходы к организации данных, а также возможности применения многомерных моделей хранения и представления данных для эффективного использования ЭВМ в задачах мониторинга и управления. Проведено сравнение основных подходов к реализации концепции OLAP с использованием метода непосредственной
оценки и метода парных сравнений. Были учтены такие показатели, как модель представления многомерного пространства, поддержка уровней иерархий, языков запросов, аспекты физического представления данных в БД и др. Показано, что наиболее предпочтительным является использование стандарта OLE DB для OLAP, который был разработан Microsoft.
Третья глава посвящена разработке системы автоматизированного мониторинга на основе технологии OLAP, которая заключается в разработке информационного, лингвистического, программного и методического обеспечения. Рассмотрена структура предлагаемой системы и назначение её отдельных компонентов.
В четвертой главе обсуждаются вопросы, посвященные методологическим и прагматическим аспектам применения разработанной системы. Описываются разработанные алгоритмы формирования МБД, а также последовательность этапов проведения анализа информации.
Технология OLAP и системы поддержки принятия решений
Информация приобретает решающее значение практически в любой сфере научно-технической деятельности современного общества. Особенно ценной является та информация, которая представлена в динамике своего развития и изменения. До недавнего времени было осуществлено множество попыток разработать либо математическую, либо эвристическую модель сбора, хранения, представления и обработки информационного хаоса. Даже очень большой объем доступной информации может не помочь (а то и помешать) решению проблемы без наличия эффективного инструментария автоматизированной обработки этой информации. Однако приблизиться к цели представилось возможным лишь с появлением мощных вычислительных систем, средств телекоммуникации и соответствующих периферийных устройств. Таким образом, скорость обработки информации стала соизмерима со скоростью ее внутренней динамики, а ее гигантские объемы способны уместиться на нескольких миллиметрах магнитного или оптического накопителя. После этого, основной задачей явился поиск такой оптимальной компьютерной модели, которая с максимальной эффективностью решала бы конфликт между противоречивыми критериями скорости и качества, объема и наглядности обработки данных. Ярким примером такой новейшей технологии будущего является технология OLAP. Использование систем, основанных на технологии OLAP, позволяет:
Организовать единое информационное хранилище, основанное на данных статистической и прочей отчётности.
Обеспечивать простой и эффективный доступ к информации хранилища с разграничением прав доступа.
Обеспечить возможность оперативной аналитической обработки хранимых данных, проведения статистического анализа.
Упорядочить, стандартизовать и автоматизировать создание форм аналитических отчётов с отображением данных в заданном виде: в таблицах, диаграммах, гистограммах, на географических картах.
Главной отличительной особенностью и важным преимуществом многомерного представления данных по сравнению с традиционными информационными методиками состоит в возможности совместного анализа больших групп параметров в их взаимной связи, что, естественно, очень важно при изучении сложных явлений, включающих множество предметных областей.
Технология OLAP позволяет заметно сократить время сбора и анализа первичной информации, необходимой для принятия решений в той или иной сфере человеческой деятельности, а также повысить наглядность и информативность отчетов о процессах и явлениях, происходящих в этих сферах. Разнообразие сфер и тематики использования OLAP практически не поддаются перечислению.
OLAP-системы позволяют накапливать большие объемы данных, которые собираются из различных источников. Такая информация обычно поступает в электронном виде. Далее эти подробные, актуальные данные из различных пунктов сбора объединяются в одном месте, после чего аналитики смогут извлечь из них значимую информацию.
Системы, основанные на использовании технологии OLAP, можно использовать для прогнозирования развития сети учреждений различных уровней, для подготовки предложений по выделению из федерального бюджета средств на нужды развития рассматриваемой отрасли в регионах. Поэтому такие системы часто называют системами поддержки принятия решений, которые представляют собой сложную структуру с многочисленными компонентами. Прежде чем создавать подобную систему, необходимо рассмотреть и решить три основных вопроса: какие данные накапливать и как на концептуальном уровне моделировать данные и управлять их хранением; как анализировать данные; как эффективно загрузить данные из нескольких независимых источников.
Эти вопросы можно соотнести с тремя основными компонентами системы поддержки принятия решений: сервер хранилища данных, инструментарий оперативной аналитической обработки и добычи данных и инструменты для пополнения хранилища данных [75].
Хранилища данных (data warehouse) содержат информацию, собранную из нескольких оперативных баз данных. Хранилища, как правило, на порядок больше оперативных баз, зачастую имея объем от сотен гигабайт до нескольких терабайт. Как правило, хранилище данных поддерживается независимо от оперативных баз данных организации, поскольку требования к функциональности и производительности аналитических приложений отличаются от требований к транзакционным системам. Хранилища данных создаются специально для приложений поддержки принятия решений и предоставляют накопленные за определенное время, сводные и консолидированные данные, которые более приемлемы для анализа, чем детальные индивидуальные записи
OLAP-системы
БД в основном используются в приложениях, предназначенных для поддержки каждодневной работы предприятия. Для среды такого рода в последнее время используется термин оперативная обработка транзакций (online transaction processing - OLTP). Однако теперь БД всё чаще используются и в приложениях иного рода, например в приложениях поддержки принятия решений (decision support). В этом случае приложения используют две отдельные БД: базу с операционными (повседневными) данными и базу с данными для поддержки принятия решений, которую обычно называют хранилищем данных. В хранилищах данных часто содержится обобщенная информация, которая периодически извлекается из операционной БД.
Централизация и удобное структурирование данных - это далеко не всё, что нужно аналитику. Ему ведь еще требуется инструмент для просмотра, визуализации информации. Традиционные отчеты, даже построенные на основе единого хранилища, лишены гибкости. Их нельзя «покрутить», «развернуть» или «свернуть», чтобы получить желаемое представление данных. К тому же создание одного такого отчета требует нескольких часов. Получается, что аналитик может проверить за день не более двух идей. А ему таких идей может приходить в голову по нескольку в час. И чем больше «срезов» данных аналитик видит, тем больше у него идей, которые, в свою очередь, для проверки требуют всё новых и новых «срезов». В качестве такого инструмента, который позволяет разворачивать и сворачивать данные просто и удобно, и выступает OLAP.
Термин OLAP (Online Analytical Processing - оперативный анализ данных) обозначает методы, которые дают возможность пользователям МБД в реальном времени генерировать описательные и сравнительные сводки данных и получать ответы на различные аналитические запросы. Концепция OLAP была описана в 1993 году Э. Ф. Коддом, который сформулировал 12 определяющих принципов OLAP [94]. Ниже приведены пункты, представляющие собой обзор этих ключевых аспектов.
1. Многомерное концептуальное представление. Базы данных OLAP должны поддерживать многомерное представление данных, предусматривающее классические операции разбиения («slice and dice») и вращения (pivoting and rotation) концептуального куба данных.
2. Прозрачность. Пользователям нет необходимости знать, что они используют базу данных OLAP. Для получения ими данных и принятия требующихся решений они могут использовать хорошо знакомые им инструменты. Им также не нужно что-либо знать об источнике данных.
3. Доступность. Программные средства должны сами выбирать и связываться с наилучшим для формирования ответа на данный запрос источником данных. Они должны обеспечивать автоматическое отображение их собственной логической схемы в различные гетерогенные источники данных.
4. Согласованная производительность. Производительность практически не должна зависеть от количества измерений в запросе. Системные модели должны быть достаточно мощными, чтобы справляться со всеми изменениями анализируемой модели.
5. Поддержка архитектуры клиент-сервер. Средства OLAP должны быть в состоянии работать в клиент-серверной среде, так как предполагается, что сервер многомерной базы данных должен быть доступен из других приложений и инструментов. Следует заметить, что в настоящее время немногие продукты OLAP удовлетворяют этому критерию.
6. Равноправность всех измерений. «Каждое измерение данных должно быть эквивалентно одновременно и по структуре, и по операционным возможностям... Основная структура данных, формулы и форматы отчетов не должны ориентироваться на какое-либо одно измерение данных» [94].
7. Динамическая обработка разреженных матриц. Типичные многомерные модели могут с легкостью обращаться к миллионам ссылок на ячейки, многие из которых не имеют данных в какой-то конкретный момент времени. Эти отсутствующие (null) значения должны храниться эффективным образом и не иметь отрицательного влияния на точность или скорость извлечения информации.
8. Поддержка множества пользователей. Средства OLAP должны поддерживать и поощрять работу в группах и обмен идеями и результатами анализа между пользователями. Для этого очень важно наличие многопользовательского доступа к данным.
9. Поддержка операций между различными измерениями (Cross-Dimensional Operations) Все многомерные операции (например, агрегация) должны определяться и быть доступны таким образом, чтобы они выполнялись единообразно и согласованно, независимо от числа измерений.
10. Интуитивное управление данными. Данные, предоставляемые пользователю-аналитику, должны содержать всю информацию, необходимую для эффективной навигации (формирования срезов, изменения уровня детализации представления информации) и выполнения соответствующих запросов.
Гибкое формирование отчетов. Пользователь должен иметь возможность извлекать любые представления необходимых ему данных и формировать их в любом необходимом ему виде.
Особенности использования компонента Analysis Services
В основе проектируемой системы АСМ лежит компонент Microsoft SQL Server Analysis Services [48, 117, 135], который был разработан для минимизации затрат при построении приложений OLAP. Он может обращаться к любому источнику данных OLE DB, в число которых, помимо SQL Server, входит также и большое количество настольных серверов и серверов БД (Microsoft Access, Microsoft FoxPro, Oracle, Sybase, Informix). Любой источник баз данных, обеспечивающий интерфейс ODBC (Open Database Connectivity), также доступен через средства OLEDB, которые выступают в качестве надстройки над ODBC-драйвером и позволяют работать с ним, используя интерфейс OLE DB. Эти источники данных могут также находиться на платформах, отличных от используемых операционной системой Windows NT, например, БД, подобные IBM DB2 или Teradata, расположенные на мэйнфреймах. Используя мультиплатформенные возможности интерфейса OLE DB, к данным можно обращаться из самых разных систем так, как будто бы они были расположены на одной машине с OLAP-сервером.
Как было отмечено ранее, предварительное вычисление итоговых значений на различных уровнях детализации информации является ключевым элементом повышения эффективности в большинстве OLAP-продуктах. Однако, за такие вычисления приходится платить значительную цену: число вычисляемых значений на различных уровнях детализации информации может легко превысить число изначальных данных, и общий объем сохраненных данных резко возрастает. Число вычисляемых значений в OLAP-модели зависит от числа измерений, числа уровней представления информации в иерархиях и т. п. На рисунке 3.8(a) на примере реальных данных показано, какие значения вычисляются заранее. На рисунке 3.8(6) показана чаще встречающаяся ситуация, когда имеются недостающие, либо ошибочные данные.
При необходимости просмотреть объединенную информацию из нескольких различных кубов могут использоваться виртуальные кубы. То есть виртуальные кубы - это два или более куба, связанные во время выполнения запроса по одному или более общим измерениям. Одно из преимуществ виртуальных кубов заключается в том, что они могут применяться в ситуациях, когда разреженность данных является серьезной проблемой. Кроме того, их применение устраняет избыточность данных в многомерном кубе. Возможность создания виртуальных кубов означает, что многие ненужные значения могут быть полностью удалены из хранилища данных OLAP.
Особенность Analysis Services заключается в том, что большая часть его функциональных возможностей дублируется на стороне клиента. Каждый клиент соединяется с OLAP-сервером, используя компонент сводных таблиц (PivotTable Service). Данный компонент действует как драйвер, управляя соединением между клиентом и сервером. PivotTable Service имеет много общих возможностей с Analysis Services, работающем на серверной стороне, включая механизм многомерных вычислений сервера, возможности кэширования информации, непосредственное управление запросами клиента. Результатом является продукт клиент/сервер (рис. 3.9), использующий модель обработки данных, которая оптимизирует эффективность и минимизирует сетевой трафик. Для его работы нужны небольшие вычислительные мощности: дисковое пространство, требуемое для PivotTable Service, - около 2 Мб, а требования к памяти - только 500 Кб в дополнение к кэшируемым данным.
OLAP-сервер является основной частью разработанной системы автоматизированного мониторинга. Он поддерживает интуитивно понятный механизм просмотра и запросов данных, сложную аналитику и большую эффективность выполнения запросов за счет «прозрачного» перемещения по заранее подготовленным сводным данным. Под поддержкой сложной аналитики на сервере подразумевается поддержка языков, отличных от SQL, например, MDX- или Calc-сценариев. В наиболее продуктивных реализациях на сервере хранятся определения наиболее сложных вычислений, откуда они доступны всем пользователям. В рекомендуемой для большинства целей архитектуре данные на OLAP-сервер поступают из многомерного хранилища информации на базе реляционной СУБД.
Ключевое различие между OLAP-системами и простыми реляционными БД - центральная роль, которую играют иерархии в OLAP-решении. OLAP-измерение строго структурировано на основе соответствующих иерархий, и метаданные определения куба содержат иерархические уровни. В этом одна из самых сильных сторон OLAP-решений. Средство создания OLAP-запросов извлекает иерархическую информацию с OLAP-сервера и представляет эту структуру пользователю в интуитивно понятном виде.
У технологии OLAP есть масса преимуществ перед реляционными системами. Они заключаются в следующем: обеспечивается интуитивно понятный пользовательский интерфейс для просмотра данных; гарантируется высочайшая производительность выполнения запросов, прежде всего за счет интеллектуальной навигации по сводным таблицам и разделам; реализация многомерных структур со связями типа «родитель-потомок» проста и интуитивно понятна; обеспечиваются определенные на сервере правила обработки полуаддитивных и неаддитивных мер.
OLAP-система позволяет осуществлять на сервере сложные вычисления. В отличие от SQL, который имеет ряд ограничений как язык для поддержки аналитики, OLAP-сервер играет роль дружественного интерфейса к кубу данных, обеспечивая пользователям возможность использовать заданную на сервере аналитику, не задумываясь о том, как и где она определяется и вычисляется.
Выборка информации из многомерных баз данных
Microsoft SQL Server Analysis Services является одновременно поставщиком как многомерных данных (multidimensional data provider), так и табличных данных (tabular data provider). Следовательно, выполнение запроса возвращает либо многомерный набор данных, либо обычную таблицу, в зависимости от используемого языка запросов. Analysis Services поддерживает как SQL, так и расширения MDX (multidimensional expressions). SQL-запросы могут передаваться в Analysis Services, используя следующие средства доступа к данным: Microsoft OLE DB и OLE DB для OLAP; Microsoft ActiveX Data Objects (ADO) и ActiveX Data Objects Multidimensional (ADO MD). OLE DB для OLAP расширяет возможности OLE DB, включая объекты, специфичные для многомерных данных. ADO MD расширяет ADO таким же образом. MDX-расширения
Microsoft SQL Server Analysis Services позволяет выполнять запросы с MDX-расширениями, которые обеспечивают богатый и мощный синтаксис запросов для работы с многомерными данными, сохраненными OLAP-сервером в кубах. Analysis Services поддерживает функции MDX для определения вычисляемых полей, построения локальных кубов данных и выполнения запросов, используя компонент сводных таблиц (PivotTable Service).
Возможно создание пользовательских функций, которые работают с многомерными данными. Взаимодействие с ними (передача аргументов и возвращение результата) происходит с использованием синтаксиса MDX.
Analysis Services обеспечивает более 100 встроенных MDX-функций для определения сложных вычисляемых полей. Эти функции подразделяются на следующие категории: Работа с массивами (Array functions) Работа с измерениями (Dimension functions) Работа с иерархиями (Hierarchy functions) Работа с уровнями иерархий (Level functions) Логические функции (Logical functions) Работа с объектами (Member functions) Числовые функции (Numeric functions) Работа с наборами (Set functions) Работа со строками (String functions) Работа с кортежами (Tuple functions)
Возможно создание локальных кубов, предназначенных для просмотра на компьютерах, на которых не установлен OLAP-сервер. Создание локальных кубов требует использования MDX-синтаксиса и происходит через компонент сводных таблиц (PivotTable Service), который является OLE DB-клиентом OLAP-сервера. Данный компонент также обеспечивает возможность автономной работы с локальными кубами при отсутствии соединения с OLAP-сервером, предоставляя интерфейс источника данных OLE DB. Для создания локальных кубов используются операторы CREATE CUBE и INSERT INTO.
Построение MDX-запросов Язык запросов MDX, который является расширением SQL, позволяет запрашивать кубы с данными и возвращать результат в виде многомерных наборов данных.
Так же, как и в обычном SQL, создатель MDX-запроса должен сначала определить структуру возвращаемого набора данных. В большинстве случаев создатель MDX-запроса представляет себе возвращаемый набор данных в виде многомерных структур. В отличие от обычного SQL-запроса, который оперирует с таблицами для получения двухмерного набора записей, MDX-запрос имеет дело с кубами для формирования многомерного результирующего набора данных. Следует отметить, что MDX-запрос может возвращать и двухмерные наборы данных, которые являются частным случаем многомерного набора данных.
Визуализация многомерных наборов данных может быть довольно трудной. Один из методов визуализации заключается в ограничении представления плоской, двухмерной таблицей, используя множество вложенных измерений вдоль одной оси. Такая вложенность приводит к появлению подзаголовков.
PivotTable Service, который входит в состав Microsoft SQL Server Analysis Services, является выполняющимся внутри вызывающего процесса настольным OLAP-сервером, предназначенным для получения доступа к данным OLAP. Данный компонент функционирует как клиент Analysis Services.
Функции PivotTable Service заключаются в анализе данных, построении кубов и в оптимальном управлении памятью. Компонент предоставляет интерфейс к многомерным данным. Возможно сохранение данных в локальном кубе на компьютере клиента и проведение дальнейшего анализа без подключения к OLAP-серверу. PivotTable Service необходим для выполнения следующих задач: Установление соединения с OLAP-сервером в качестве клиентского компонента. Предоставление программам интерфейса OLE DB с OLAP расширениями. Функционирование в качестве табличного источника данных, поддерживающего подмножество SQL. Функционирование в качестве многомерного источника данных, поддерживающего MDX-расширения. Создание локального куба данных. Функционирование в качестве мобильного настольного OLAP-клиента.
Компонент сводных таблиц может работать только с одним локальным разделом куба. Также в нем нет встроенной системы управления уровнями представления информации. Поэтому производительность PivotTable Service прямо пропорциональна объему данных, к которым он адресуется.
В данном компоненте отсутствует возможность выполнения стандартных действий по администрированию БД, таких как определение пользователей, назначение прав доступа к данным, создание виртуальных кубов, определение глобальных вычисляемых полей и др. PivotTable Service предлагает возможность использования языка определения данных DDL (data definition language), который позволяет: определить новый локальный куб и заполнить его данными; задать вычисляемые поля и определяемые пользователем наборы данных.
