Содержание к диссертации
Введение
Глава I. Анализ банков данных и методов их оценки . 11
1.1. Место СУБД в программном обеспечении системы 11
1.2. Анализ функциональных возможностей систем управления базами данных 21
1.3. Существующие методы, используемые в процессе оптимизации банков данных 36
1.4. Обоснование необходимости развития моделей и процедур оптимизации банков данных 52
Глава 2. Процедуры оценки и выбора банка данных 61
2.1. Прямые преобразования при построении математических моделей банков данных 61
2.2. Формализация процесса оценки и выбора CMC класса банк данных 70
2.3. Прямые и обратные преобразования при выполнении процедур оценки и выбора СУБД 84
2.4. Прямые и обратные преобразования при выполнении процедур оценки и выбора логической структуры данных 100
Глава 3. Реализация процедур оценки и выбора СИЛС класса банк данных 116
3.1. Описание банков данных многомерными графами ЯЩФ 116
3.2. Реализация процедур оценки и выбора СУБД. 134
3.3. Реализация процедур оценки и выбора логической структуры данных 143
3.4. Интегральный критерий оптимальности банка данных 157
Заключение 163
Список литературы
- Анализ функциональных возможностей систем управления базами данных
- Обоснование необходимости развития моделей и процедур оптимизации банков данных
- Формализация процесса оценки и выбора CMC класса банк данных
- Реализация процедур оценки и выбора СУБД.
Введение к работе
Основной предпосылкой совершенствования социалистической системы народного хозяйства является развитие автоматизированных систем управления как систем управления, рационализированных применением средств вычислительной и автоматизационноЁ техники, которые быстро и оперативно обрабатывают необходимые для управления данные.
ХХУІ съезд КПСС в качестве одной из важнейших проблем определил "... совершенствование вычислительной техники, ее элементной базы и математического обеспечения, средств и систем сбора, передачи и обработки информации". ГІ, стр.1463.
В "Основных направлениях хозяйственного и социального развития ЧССР на I98I-I985 годы", принятых на 2УІ съезде КПЧ, также подчеркивается, что необходимо "... повысить действенность управленческого труда применением организационной и вычислительной техники, разработкой автоматизированных систем управления" [28, стр.1503.
Развитие и повышение эффективности АСУ вызвало быстрое развитие работ, связанных с созданием банков данных различного назначения. Современный этап характеризуется большим и резко возрастающим объемом информации и сложностью структур обрабатываемой информации. Первоначальный метод отличался обработкой отдельных файлов, однако недостатки этого метода очевидны. Это, главным образом, избыточность данных, связанная с повторным хранением одной информации в больше файлах. Далее невозможно было обрабатывать данные централизованным способом и обеспечить действенную защиту от незаконного доступа или от уничтожения данных.
По мере возрастания объема обрабатываемых данных этот способ стал неэффективным. Появилась необходимость создания качественно нового типа обработки данных, который устранил бы названные выше недостатки, а именно обработки данных, хранящихся в базе данных. Наряду с этим, современный этап характеризуется необходимостью коллективного доступа к различным элементам данных и высокими требованиями к скорости получения информации и ее достоверности.
Все эти факторы обусловили необходимость интеграции данных и централизации управления, т.е. необходимость разработки банков данных. Банк данных следует понимать как единство баз данных и системы управления базами данных. Данные централизованно сосредоточены в базе. Базу данных можно общим способом определить как совокупность данных, хранящихся во внешней памяти и относящихся к какой-нибудь области применения, с возможностью повторного использования, т.е. представлениями данных с точки зрения больше пользователей. Для обеспечения эксплуатации и для управления служит система управления базами данных. Это набор программ, которые позволяют обрабатывать все требования, возникающие в связи с обработкой данных в базе (описание данных, манипулирование с данными и т.д.).
Банки данных представляют собой качественно новый этап в использовании вычислительной техники и являются современным, очень действенным средством интегрированной автоматизированной обработки данных для управления. Поэтому на современном этапе банки данных и связанная с ними современная технология использования ЭВМ имеют огромное значение при применении вычислительной техники во всех сферах человеческой деятельности. В даль- нешем система банков данных будет еще более распространяться и будет играть все более важную роль. В связи с тем разработка банков данных будет еще долгое время одним из основных направлений деятельности в области обработки данных.
В настоящее время в мире существует большое количество систем банков данных, работающих под управлением различных систем управления базами данных (СУБД). Большое число разных
СУБД является следствием того факта, что в настоящее время не существует универсальной системы, подходящей для эффективного использования в разных проблемных областях и для разных типов задач. Поэтому разные СУБД приспособляются к среде и способу применения. Характеристики и возможности разных СУБД необходимо учитывать при проектировании конкретного банка данных. Решение о выборе СУЩ является первым шагом при проектировании конкретной установки банка данных.
Проектирование банков данных представляет собой длительный и трудоемкий процесс, завершающими стадиями которого являются оценка проекта банка данных и его усовершенствование или оптимизация. В настоящее время имеется большое количество монографий, посвященных вопросам проектирования и оптимизации банков данных. Однако организация и управление в банке данных оцениваются преимущественно интуитивно. Существующие способы оценки и выбора или же оптимизации отдельных параметров организации и управления, используемые в процессе оптимизации банков данных, не учитывают динамику вычислительного процесса и не охватывают этот процесс с достаточной степенью полноты и детализации. Оптимизация банка данных - это многоаспектная проблема.
Для решения такой сложной проблемы нужен системный подход, недостаточно только решать отдельные организационные вопросы.
Важным моментом процесса оптимизации банка данных является нахождение критериев оптимизации и выделение тех, которые можно получить автоматизированным путем. При оптимизации нужно подходящим способом комбинировать использование качественных оценок с количественными. С этим связана проблема нахождения соотношения автоматизированных и не автоматизированных частей этого процесса. Автоматизированным путем, прежде всего с помощью моделирования, можно получать количественные оценки альтернативных вариантов банка данных. Следующей важной проблемой для успешного решения задач оптимизации организации и управления в банке данных является выбор подходящего инструмента для получения количественных оценок.
Итак, важной задачей является создание методики, которая могла бы достаточно полно объединить существующие методы и способы оптимизации и помогла бы проектировщику использовать математические модели в процессе оптимизации.
Необходимость решения этих вопросов стала причиной выбора темы диссертации.
Цель и задачи исследования. Целью диссертационной работы является разработка предложений по практическому решению проблемы оптимизации организации и управления в банках данных. Для достижения этой цели были поставлены следующие задачи:
I. Провести анализ современных систем управления базами данных, используемых прежде всего в ЧССР, а также и за рубежом.
2* Провести анализ методов оценки СУБД и процессов проектирования и оптимизации банков данных и применяемых в этих процессах методов, средств и моделей.
3. Разработать модели управляющих и исполнительных компонентов банка данных различных уровней адекватности.
Разработать процедуры оптимизации организации и управления в банках данных.
Провести исследования и оценить альтернативные варианты организации и управления в банках данных.
Объектом исследования является процесс оптимизации организации и управления в банках данных, как один из этапов проектирования банка данных, и методы, используемые в этом процессе. Банк данных рассматривается как кибернетическая система, состоящая из управляющей и исполнительной подсистем. При. этом предполагается использование сосредоточенных (нераспределенных) банков данных, функционирующих на базе ЭВМ ряда ЕС.
Методология исследования. Методологической основой диссертации являются экономические материалы ХХУІ съезда КПСС,"Основные направления хозяйственного и социального развития ЧССР на I98I-I985 годы", принятые на ХУІ съезде ЮН, "Основные мероприятия по совершенствованию планового управления" и другие постановления КЕН и чехословацкого правительства по вопросам совершенствования системы управления экономикой Чехословакии* В ходе исследований использовались методы математического моделирования и управления в сложных системах. В процессе исследования были использованы научные труды советских и зарубежных ученых.
Научная новизна. В диссертации решается актуальная проблема, имеющая большое значение для повышения эффективности функционирования банков данных. Проблема оптимизации организации и управления в банках данных решена в теоретическом и практическом аспектах. В теоретическом аспекте проведена разработка математических моделей управляющей и исполнительной подсистем банка данных как кибернетической системы и оптимизации управ- лящих компонентов. В практическом аспекте проведен анализ совершенствования процесса проектирования и эксплуатации банков данных. При этом решены следующие задачи:
Разработаны процедуры оптимизации организации и управления в банке данных с помощью выбранного аппарата оптимизации, опирающегося на математические модели первого уровня адекватности. Формализован процесс построения математических моделей первого уровня адекватности.
Выполнены эксперименты с объектом и получены эксперименталь' ные данные, показывающие влияние параметров организации и управления в банке данных на экономические и временные характеристики его работы. Рассмотрен интегральный критерий оптимальности, которым считается полезность системы.
Практическая ценность работы. Разработанная на основе предложенного аппарата методика проведения исследований позволяет давать оценку организации и управления в банках данных и принимать решение о выборе одного из альтернативных вариантов организации и управления в банке данных, т.е. принимать решение об экономически целесообразной организации и методах управления в банке данных. Было проанализированно соответствие результатов исследований,наложенных в литературе, с исследованиями автора диссертации. Результаты работы используются в учебном процессе специальности АСУ в Высшей экономической школе в Праге. В результатах работы заинтересованы организации, данные которых использовались для проведения конкретных экспериментов.
Апробация работы. Теоретические положения и некоторые отдельные результаты работы изложены автором в докладе на кафедре АСУ Высшей экономической школы в Праге, а также в учебном процессе по курсу Структуры данных и банки данных, читаемому сту- дентам специальности АСУ того же вуза. По результатам работы опубликованы две печатных работы, список которых приведен в конце автореферата.
Объем и структура работы. Диссертация состоит из введения, трех глав, заключения, списка литературы и приложения. Общий объем диссертационной работы ієі страниц текста, она содержит 16 рисунков, 15 таблиц и 69 наименований библиографии. - II -
Анализ функциональных возможностей систем управления базами данных
Одним из важных шагов при проектировании банка данных является выбор системы управления базами данных, наиболее подходящей для данного объекта. При выборе СУБД следует решить вопрос о поддерживаемой структуре данных и о функциональных возможностях СУБД и провести сравнение возможных вариантов. Выбор подходящей СУБД - это не простая проблема, особенно, когда можно выбирать из нескольких систем. Правильным выбором СУБД можно выиграть очень много, и наоборот, неправильным решением можно многое потерять (время, деньги, доверие людей). Самым важным моментом является - оценить, насколько подходит данная СУБД для конкретного применения, т.е. для типа базы данных и для данной среды пользователя. Нужно также учитывать тот факт, что некоторые системы ограничены определенным типом ЭВМ, например, DBS--25 разработана для ЕС 1025, "СИОД" для М-4030, IMS для IBM 370, "РОДАН" для ЕС 1032 и т.д.
Рассмотрим и проведем сравнение систем, с которыми в дальнейшем проводятся практические исследования. Анализ систем проводится по следующим параметрам: по структуре данных, поддерживаемой рассматриваемыми СУБД, по способам представления данных с точки зрения пользователя, по способам размещения данных и доступа к ним, по функциям словаря данных, по языковым средствам рассматриваемых СУБД, по требованиям системы к средствам ЗВМ и по доступности для пользователя. В качестве примера системы, построенной на сетевой структуре, приводится IDMS. Эта система была выбрана потому, что она в настоящее время является самой распространенной СУВД в ЧССР. Она принадлежит к группе систем банков данных, которые были разработаны на основе результатов предложений рабочей группы КОДАСИЛ. С иерархическими структурами работают советская СУБД "ОКА" и. СУБД DBS-25, разработанная в ЧССР, как система, встроенная в операционную систему ДОС-З/ЕС для ЭВМ ЕС 1025 чехословацкого производства. Система "ОКА" служит основой для одного практического примера в третьей главе диссертации, но в сравнении она не приводится, так как ее функциональные возможности и характеристики похожи на систему DBS-25. Представителем систем управления базами данных, поддерживающих реляционные структуры, в диссертации является СУБД "СОФИС", разработанная также в ЧССР.
Начнем со сравнения структуры данных, поддерживаемой рассматриваемыми СУБД. В IDMS можно описать сетевую, а также и иерархическую структуру. Основным элементом структуры данных является набор, который состоит из записей-владельцев и записей -членов. Каждому типу набора может соответствовать во внешней памяти несколько конкретных экземпляров набора, а именно столько, сколько записей-владельцев этого типа набора имеется в базе данных. На способ использования набора не накладывается почти никаких ограничений. Основная структура, которую допускает DBS-25, это иерархическая структура. Единицей обработки в DBS-25 является сегмент, составная часть некоторой записи базы данных. Система может работать и с логической сетевой структурой, которую создает с помощью специальных соединительных сегментов (сегментов-указателей). Дело в том, что в физической иерархической базе данных между двумя сегментами может существовать только одна связь. Когда нужно больше связей между двумя сегментами или из одного сегмента нужно создать связи к сегментам других записей, образуется между физическими сегментами логическая связь с помощью соединительного сегмента. СУБД "СОФИС" работает с линейной структурой, и только в масштабе записи также со структурой иерархической (структуры в языке Кобол). Логическое представление основано на построении двумерных таблиц-отношений, о которых шла речь в параграфе I.I.
Структуру данных в IDMS можно считать статической. Плохим свойством статической структуры данных является, кроме другого, относительно большая зависимость существующих программ от структуры данных. Статичность структуры данных можно видеть в двух аспектах: с точки зрения доступа к данным и с точки зрения возможности изменений этой структуры. Статичность структуры данных с точки зрения доступа к ним состоит в том, что структура хранения "поддерживает" единственное представление данных, описанное схемой, и новые требования или изменения осуществляются довольно неэффективно.
Обоснование необходимости развития моделей и процедур оптимизации банков данных
Проектирование банков данных включает стадии сбора и анализа исходных требований к данным, логического проектирования, физического проектирования, оценки проекта и его усовершенствования или же оптшлизации. В течение эксплуатации (сопрововдения) и расширения (наращивания) банка данных ведутся также работы по оптимизации организации и управления в банке данных. Вопрос о применении в процессе оптимизации выбранной системы моделей "Синтез" является предметом исследований в диссертационной работе. Процесс оптимизации организации и управления в банке данных при этом рассматривается как итеративный процесс, включающий в общем случае на первой итерации пять этапов и на последующих четыре. Отдельные, этапы процесса оптимизации будут более подробно рассматриваться во второй главе диссертации.
Центральной проблемой проектирования любого банка данных является конструирование конкретной базы данных. Сегодня разработка и внедрение базы данных с использованием готовой системы управления базами данных может занимать и несколько лет. Вообще говоря, процесс разработки никогда не кончается, потому что базы данных, будучи информационной моделью части непрерывно меняющегося мира, должны соответствующим образом также меняться, чтобы адекватно отражать действительность.
Программное обеспечение также становится все более сложным. Системы управления базами данных должны все время совершенствоваться в связи с появлением новых требований пользователей банков данных. Поэтому имеется потребность в подходящих средствах проектирования и оптимизации банков данных.
При проектировании баз данных и выборе СУБД разработчики или пользователи сталкиваются с множеством сложных альтернатив. Чем больше альтернатив можно рассмотреть, тем больше вероятность, что найдется оптимальный вариант. Цель работ по оптимизации банков данных состоит в устранении недостатков, которые появляются из-за того, что разработчики не смогли рассмотреть все возможные решения и предугадать заранее все последствия принимаемых решений. Процесс проектирования и оптимизации банков данных может отличаться уровнем автоматизации или типами моделей, используемых в этом процессе. Под уровнем автоматизации понимаем соотношение функций, выполняемых вручную, и функций, выполняемых с помощью технических средств. Использование разных моделей и автоматизированных процедур оптимизации приводит к сокращению времени разработки и к сокращению рутинных и нетворческих работ.
Очень важной проблемой в процессе оптимизации организации и управления в банке данных является определение взаимодействия автоматизированных и неавтоматизированных частей этого процесса. Только автоматизированно процесс оптимизации сделан быть не может. Автоматизированным путем можно получить только количественные оценки факторов оптимальности банка данных. Однако, в процессе оптимизации, наряду с критериями, оцениваемыми количественно, учитываются также качественно оцениваемые критерии оптимальности, анализ которых проводится в зависимости от логических соображений, поэтому участие человека в процессе оптимизации является обязательным.
В диссертационной работе решается связанный с этим вопрос, каким способом при оптимизации банка данных комбинировать использование количественных оценок, получаемых с помощью моделирования и автоматизированных процедур, и качественных оценок при выборе оптиглального из альтернативных вариантов банка данных или некоторой из его составных частей. Далее предлагается способ получения количественных оценок с помощью системы моделей "Синтез".
В качестве количественных оценок, выражающих критерии оптимальности, оцениваемые количественно, могут служить, например: - стоимость и длительность выполнения прикладного задания под управлением того или иного варианта СУБД (или скорость получения ответа на запрос)
Формализация процесса оценки и выбора CMC класса банк данных
Проектирование банков данных - это трудоемкий процесс, завершающими стадиями которого являются оценка проекта банка данных и его усовершенствование или оптимизация. Процесс оптимизации никогда не оказывается полностью решенным. Работы по оптимизации должны проводиться по мере возможностей на протяжении всего процесса проектирования.
Оптимизация банка данных - это многоаспектная проблема, сущность оптимизации организации и управления в банках данных состоит в оценке альтернативных вариантов структуры базы данных и системы программ управления базой данных и выборе оптимального из них. Работу и степень полезности банков данных можно оценить по наборам системных экономических и временных характеристик. Оптимизация организации и управления в сложных информационно-логических системах класса банк данных может быть реализовашв рамках человеко-машинных итерационных процедур.
Итеративный процесс в общем случае должен включать пять этапов: "Анализ I", "Альтернатива", "План", "Оценка" и "Анализ 2". На первой итерации выполняются все пять этапов, на последующих -четыре.
На первом этапе, условно названном "Анализ I", проводится подробный анализ объекта исследования и его роли в функционировании вычислительной системы, анализ области применения банка дан - 71 ных ; выполняется анализ требований внешней среды, т.е. требований со стороны проектировщика, и возможности их реализации в физическом смысле. Исследователь должен ознакомиться с применяемой конфигурацией ЭВМ, операционной системой, а также с решаемыми прикладными программами. Он должен исследовать взаимодействие прикладных програмі, программ операционной системы и программ, входящих в состав моделируемой СУБД ; использование соответствующего ЯОД и ЯМД, обратить внимание на логическую и физическую организации данных в базе. Это делается потому, что основной целью первого этапа является отбор исходной информации, необходимой для построения альтернативных вариантов организации и управления проектируемого или развиваемого варианта банка данных и исходной информации об его нагрузке. Кроме того, на этапе "Анализ I" необходимо определить все критерии, существенные при выборе оптимального варианта, выяснить, какие из них можно оценивать количественно и какие качественно, и определить интегральный критерий оптимальности. Информация, нужная для построения альтернативных вариантов, приведена в первой главе к в необходимых случаях расширяется и дополняется и в последующих параграфах.
Второй этап процесса оптимизации условно назван "Альтернатива". На этом этапе генерируются альтернативные варианты организации и управления в банке данных и соответственно формируются математические модели этих вариантов. Основной принцип моделирования состоит в том, что все прикладные программы операционной системы и СУБД описываются графами ЯПЦФ. Помимо того в модель вводится и другая необходимая информация. Альтернативный вариант выбирается человеком, исходя из анализа, проведенного на первом этапе. Он характеризуется или организацией (со - 72 ставом и типами программных и информационных компонентов и способами их соединения) или управлением (методами управления, воздействием в процессе функционирования). Варьировать можно разные компоненты банка данных. Можно строить альтернативные варианты программного обеспечения банка данных (т.е. состава программ СУБД и операционной системы, возможности их решения другими программными модулями) или ршформационного обеспечения банка данных (логической и физической структуры данных). С помощью модели "Граф-Банк" можно также подобрать наиболее подходящее техническое обеспечение для конкретного типа базы данных или СУБД. Способ построения математических моделей с помощью графов ЯПЦФ приведен в параграфе 2.1. В параграфах 2.3 и 2.4 показывается, каким способом можно выбирать альтернативные варианты на этапе "Альтернатива". Описанные в этих параграфах возможности моделирования исследуются сначала на этапе "Анализ I". Но самая большая доля деятельности, т.е. работы, связанные с построением математических моделей, принадлежит этапу "Альтернатива".
В третьем этапе процесса оптимизации, который несет условное название "План", выполняется анализ альтернативных вариантов загрузки системы, т.е. определяется порядок пострупления заданий в модель, осуществляется выбор внешнего воздействия на модель так, чтобы можно было получить хорошие результаты с наименьшими затратами- Процесс выполнения заданий моделью организован таким образом, чтобы он соответствовал процессу фактического функционирования исследуемого банка данных. Основной целью этапа "План" является решение задачи выбора плана загрузки базовых вариантов организации СУБД или базы данных. Этап "План" нашей проблемы не касается, так как в нашем исследовании загрузка задана и не меняется.
Реализация процедур оценки и выбора СУБД.
В настоящем параграфе показывается на практических примерах, как в процессе оптимизации получаются количественные оценки альтернативных вариантов и как их можно использовать при выборе лучшего варианта СУБД. Эти действия представляют собой содержание этапов "Оценка" и "Анализ 2".
Начнем с рассмотрения одного из примеров получения количественных оценок выполнения прикладной программы при использовании СУБД "ОКА" без СЩ-"0ЕА" и с использованием СВД-"0КА". Математические модели 1-ого уровня адекватности прикладной программы и вызываемых ею системных программ, приведены в параграфе 3.1. Запись реальных описаний графов и их операторов проводится сервисной программой DISK7 . Для функционирования модели "Граф-Банк" нужно еще ввести описание машинной конфигурации ЭВМ, на которой выполняется прикладная программа, это обеспечивает сервисная программа YLG1.
Для отражения в модели работы программ операционной системы ОС/ЕС следует подобрать и ввести параметры DEL - длительность фаз начала и окончания выполнения операции обмена, т.е. время подключения процессора для выполнения операторов обмена с внешними устройствами, и далее параметр DELTA - время обработки одного прерывания (длительность интервала прерывания). Из всех возможных системных экономических и временных характеристик, предлагаемых исследователю моделью "Граф-Банк", необходимо выбрать те, которые существенны в данном случае. Мы выбираем вариант СУБД при заданной машинной конфигурации ЭВМ, поэтому нас не интересует, напржіер, такой показатель, как эффективность работы отдельных устройств вычислительной системы,, так как они загружены этой программой только в малой степени. В нашем случае существенными являются длительность выполнения задания и стоимость выполнения задания, или же накладные расходы на задание. По всем этим и по другим характеристикам видно, что исследуемую прикладную программу более выгодно решать под управлением СУБД "ОКА" с, использованием СПД-"0КА". Это можно объяснить тем, что в СВД-"0КА." имеются возможности автоматической генерации блоков DBD ИРБВ, в таком случае производительность системы выше, что способствует более эффективной обработке прикладной программы. Критерием эффективности при решении этой задачи можно считать также отношения производительности исследуемой вычислительной системы к стоимости выполнения работы. Если поделить соответствующие показатели, то видно, что второй результат выше. Итак, для рассматриваемой прикладной программы более эффективным является вариант обработки ее с использованием интерфейса СПД-"0КА".
Подобным способом можно проанализировать также и остальные задачи, которые решаются столь часто, что их эффективное выполнение будет влиять на выбор одного из альтернативных вариантов СУБД. Модель "Граф-Банк" предоставляет и возможность оценивать также задания, выполняемые в режиме мультипрограммирования.
Оценивая потом все полученные результаты вместе, можно получить представление об оптимальном варианте СУБД. Однако, для окончательного решения нужно учесть такие факторы, как стоимость дополнительного программного обеспечения, частоту выполнения программ и другие вопросы, связанные с режимом работы вычислительной системы. Только на основе глобальной оценки, учитывая всю совокупность факторов, можно сделать окончательный вывод об оптимальном варианте СУБД.
Следующим примером является рассмотрение выполнения прикладной программы под управлением СУБД "СОФИС" в двух ее возможных конфигурациях. Модульная структура СУБД "СОФИС" предоставляет хорошие возможности для варьирования ее состава и возможностей ее применения с помощью моделирования.
В первой конфигурации используется модуль МУВ и язык манипулирования данными. Когда работает только МУВ, взаимодействующий с ЯМД, имеется возможность работать лишь с отдельными строками таблицы, причем все они должны быть из одного файла. Если работать со строками, то объем порции обмениваемой информации меньше, но количество повторений в цикле больше и объем памяти на пункт не так велик по сравнению с использованием модуля ММВ и языка запросов РЕЛАН.
