Введение к работе
Актуальность работы. Выбор плана выполнения SQL-запроса в современной реляционной СУБД производится путем оптимизации его стоимости. Чем меньше стоимость, тем меньше время выполнения запроса. Стоимость вычисляется на основе сложной математической модели, основанной на многих допущениях и параметрах. Допущения выполняются не всегда. Таким образом, если требуется, чтобы запрос выполнялся с заданным временем ответа, необходимо:
1. Обеспечить адекватность оценок стоимости.
2.Обеспечить присутствие хотя бы одного плана выполнения, реализующего требуемое время ответа, в пространстве состояний.
Обеспечение условий для выбора одного из таких планов выполнения составляет задачу настройки реляционной системы баз данных.
Современные СУБД содержат развитую систему средств автоматической настройки своих компонент и структур, реализация которых может различаться (Database Engine Tuning Advisor, DB2 Advisor, Tuning Pack). Существующие средства автоматической настройки позволяют производить выработку рекомендаций для построения индексов и материализованных представлений по известной рабочей нагрузке, производить отбор и воспроизведение рабочей нагрузки, автоматически информировать о проблемах производительности, производить автоматическое управление статистикой, использовать самонастраиваемые гистограммы.
Несмотря на то, что удалось достичь значительных результатов с использованием средств автоматической настройки, исчерпывающе решить задачу настройки, как отмечают в своих работах Волкер Маркл и Сураджит Чаудхури, одними автоматическими средствами на сегодняшний день не
4 представляется возможным, так что задача совершенствования
неавтоматических средств настройки по-прежнему остается актуальной.
В 2006 году Б. Новиков предложил производить настройку с участием администратора системы локальным методом, анализируя SQL -запросы и стоимость их плана выполнения.
На практике сложность настройки на основе существующих методов состоит в том, что:
по мере развития структура данных и запросы усложняются, что увеличивает как количество операций плана выполнения, так и количество параметров, на них влияющих;
объемы хранимых данных постоянно увеличиваются, так что недостаточно просто достичь требуемого времени выполнения. Необходимо исследовать динамику поведения системы и убедиться, что время выполнения будет соответствовать требованиям, как минимум, в ближайшей перспективе;
средства автоматической настройки не учитывают требований пользователей к времени ответа. Они лишь позволяют улучшить эффективность выполнения, если в результате работы автоматических средств удалось получить рекомендации по изменению параметров. Иногда такой настройки бывает недостаточно для удовлетворения требований к времени ответа, и требуется участие администратора системы;
настройка с участием администратора системы в настоящее время производится с использованием различных переборных схем, что с ростом количества параметров настройки становится чрезмерно трудоемко и затратно.
Таким образом, научная задача состоит в разработке метода анализа плана выполнения, позволяющего повысить оперативность настройки с
5 обеспечением требуемого качества показателей выполнения SQL-запросов
пользователей.
Объектом исследования является процесс настройки системы баз данных.
Предметом исследования является стоимость выполнения запросов пользователей.
Целью диссертационной работы является сокращение сроков настройки системы баз данных на основе разработки метода анализа плана выполнения запроса, позволяющего определить стоимость выполнения запроса от параметров системы.
Исходя из цели работы, в диссертации решались следующие основные задачи:
обоснование необходимости совершенствования процесса анализа планов выполнения запросов пользователей;
анализ доступной статистической информации, выделение значимой для достижения цели исследования;
построение и анализ свойств модели исполнения системы запросов с учетом статистической информации;
разработка способов обнаружения значимых с точки зрения используемых ресурсов подмножеств запросов или параметров и прогнозирования стоимости при изменении объема данных;
проектирование алгоритмов анализа запросов пользователей и настройка системы нагрузочного тестирования запросов пользователей с учетом результатов, полученных с помощью предложенного метода.
Методы исследования. При выполнении работы использованы методы теории асимптотических оценок, теории графов, теории множеств и алгебраических систем, основные положения линейной алгебры и теории информации, методы теории вероятностей и математической статистики,
компьютерного моделирования, математического анализа и теории случайных процессов.
Научная новизна результатов работы состоит в следующем:
разработан способ построения математической модели на основе свойств 0-болыное асимптотик стоимости выполнения SQL запросов в зависимости от значимых параметров системы;
даны рекомендации по реализации и применению предложенной модели стоимости путем преобразования ее к замкнутому виду и использованию гипотезы о стабильности поведения системы.
Практическая ценность диссертационной работы состоит в том, что:
даны практические рекомендации по определению адекватности математической модели на основе свойств 0-болыное асимптотических оценок и определению границ области изменения параметров, в которых выполняется предположение о стабильности поведения системы;
разработана методика построения с использованием свойств О-болыное асимптотик и анализа модели стоимости выполнения SQL запроса и даны практические рекомендации по расчету коэффициентов модели;
разработаны алгоритмы выбора показателей для анализа математической модели, учитывающие особенности предметной области и цели настройки.
Реализация и внедрение результатов исследований.
Разработанный способ построения математической модели стоимости, учитывающей статистическую информацию о функционировании системы, и методика анализа зависимостей были положены в основу предлагаемого метода анализа плана выполнения. С помощью программного комплекса, реализующего предложенный метод, была произведена модернизация подсистемы тестовых нагрузочных испытаний АБС
7 ОАО КБ «СЕВЕРГАЗБАНК», а результаты модернизации внедрены в
эксплуатацию.
В отличие от существующих, предлагаемая модель строится на основе статистики выполнения запроса, используя известные 0-болыное асимптотические оценки стоимости. На основе новой модели становится возможным определять новые критерии ранжирования операций плана выполнения и тем самым разнообразить в процессе настройки набор используемых эвристик. Разработанная методика анализа позволяет уменьшить количество тестовых испытаний, что сокращает сроки настройки.
Достоверность полученных результатов обеспечивается корректным
использованием математического аппарата, а также современных методов и
алгоритмов, что подтверждается практическими испытаниями. На примере
автоматизированной банковской системы (АБС)
ОАО КБ «СЕВЕРГАЗБАНК» усовершенствован процесс настройки системы баз данных путем модернизации подсистемы тестирования запросов, используя предложенный способ оценки стоимости и гипотезу о стабильности поведения системы. Результаты усовершенствования внедрены в рабочую эксплуатацию в АБС ОАО КБ «СЕВЕРГАЗБАНК».
Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на конференциях:
143-м семинаре Московской секции ACM SIGMOD (Москва, МГУ,
28 октября 2010 г.)
9-й международной конференции "Интеллектуальные системы и компьютерные науки" (Москва, МГУ, 23-27 октября 2006 г.);
7-ой международной научно - технической конференции «Кибернетика и высокие технологии XXI века» С&Т*2006. (Воронеж, 16-18 мая 2006 г.);
- 10-ой международной научно - технической конференции
"Системный анализ в проектировании и управлении". (Санкт-
Петербург, СПбГПУ, 28 июня - 10 июля 2006 г.).
Основные положения диссертации опубликованы в двух научных журналах, рекомендованных ВАК к публикации:
Борчук Л.Е., Кузьмин А.А. Оценка времени выполнения запроса в реляционной СУБД на основе асимптотических моделей затрат ресурсов// Наукоемкие технологии. - 2008. - №4. - С. 61-64;
Борчук Л.Е. Совершенствование процесса настройки запросов пользователей на основе асимптотических оценок затрат ресурсов// Информационные технологии. - 2008. - №6. - С. 6-11. Публикации. По теме диссертации опубликовано 10 печатных работ,
в том числе 6 статей и 4 тезиса докладов. На защиту выносится:
способ построения модели на основе свойств 0-болыное асимптотических оценок стоимости выполнения SQL запросов в зависимости от значимых параметров системы;
рекомендации по применению предложенной модели на основе свойств 0-болыное асимптотических оценок стоимости, учитывающие особенности предметной области и цели настройки;
программный комплекс реализации подсистемы тестирования запросов, используя предложенный метод анализа плана выполнения и гипотезу о стабильности поведения системы.
Структура и объем диссертации. Диссертационная работа состоит из списка сокращений, введения, четырех глав, заключения, библиографического списка из 195 наименований и приложений. Общий объем диссертации- 274 страниц машинописного текста, в том числе: 182 страниц основного текста и 92 страницы приложений, 35 рисунков, 11 таблиц.
