Разработка графовых баз данных для ускорения операций выборки в автоматизированных системах управления производством Хтет Мин Пью

Содержание к диссертации

Введение

Глава 1. Современное состояние проблемы реализации информационного обеспечения и сопровождения жизненного цикла изделий в системах автоматизации технологических процессов и производств 14

1.1. Основные элементы современной индустриальной технологии создания систем автоматизации производства 14

1.2. Особенности технологий жизненного цикла изделия 18

1.3. Современные подходы к классификации систем автоматизации производства 20

1.4. CALS-технологии как инструментарий информационного обеспечения систем автоматизации производства 24

1.5. Принципы построения интегрированной информационной среды предприятия 29

1.6. Объектно- ориентированное представление данных об изделии (в соответствии со стандартами STEP) 31

1.7. Особенности разработки общей базы данных изделий 35

1.8. Постановка задачи диссертации 38

Выводы по главе 39

Глава 2. Методы и средства представления иерархических данных обизделии в системах автоматизации технологических процессов и производств 40

2.1. Особенности хранения данных сложной структуры в реляционной базе данных 40

2.2. Особенности хранения иерархических данных в реляционной базе данных 46

2.3. Методы повышения эффективности хранения иерархических данных в реляционных базах данных 54

2.4. Особенности хранения неиерархических графов в реляционных базах данных 64

2.5. Современные нереляционные подходы к повышению быстродействия обработки данных больших объемов 68

Выводы по главе

Глава 3. Разработка методики повышения быстродействия выборки иерархических данных в СУБД на основе графовой модели данных 71

3.1. Выбор модели данных общих баз данных об изделии для систем автоматизации производства 71

3.2. Формализованное представление оценки эффективности организации иерархических данных с точки зрения быстродействия их выборки 74

3.3. Разработка методики повышения быстродействия выборки иерархических данных 77

3.4. Разработка алгоритма преобразования схемы данных для повышения

быстродействия выборки в СУБД на основе графовой модели данных 78

Выводы по главе 81

Глава 4. Программная реализация методики и алгоритмов повышения быстродействия выборки иерархических данных в СУБД 82

4.1. Требования к параметрам и функциям современных АСУП/АУСТП.. 82

4.2. Разработка структуры программного обеспечения АСУП/АСУТП для использования методики повышения быстродействия выборки иерархических данных в СУБД на основе графовой модели данных 84

4.3. Разработка комплекса программных средств, реализующих разработанные методику и алгоритм повышения быстродействия выборки иерархических данных в СУБД 85

4.4. Оценка эффективности предложенных решений 86

Выводы по главе 92

Заключение 93

Список литературы 94

• Особенности технологий жизненного цикла изделия
• Особенности хранения иерархических данных в реляционной базе данных
• Формализованное представление оценки эффективности организации иерархических данных с точки зрения быстродействия их выборки
• Разработка структуры программного обеспечения АСУП/АСУТП для использования методики повышения быстродействия выборки иерархических данных в СУБД на основе графовой модели данных

Введение к работе

Актуальность проблемы. В настоящее время успешное функционирование автоматизированных систем управления производством (АСУП) и автоматизированных систем управления технологическими процессами производства (АСУТП) возможно только с применением интегрированной информационной среды (ИИС), базирующейся на использовании информационного обеспечения и сопровождения жизненного цикла изделий (ЖЦИ) с помощью, так называемых CALS¹ -технологий. При этом сама ИИС обеспечивает процесс комплексной автоматизации производства, корректность, актуальность, сохранность и доступность данных субъектам производственной деятельности и представляет собой совокупность распределенных баз данных, содержащих сведения об изделиях и их параметрах, производственных мощностях, ресурсах и процессах. Такие данные характеризуются сложностью организации, большим количеством элементов, высокой степенью их связности, многоуровневыми структурами иерархической вложенности и детализации. Это, с одной стороны, дает возможность повысить эффективность управляемых объектов, значительно снизив затраты на их создание и эксплуатацию, уменьшив их габариты, массу, потребляемую мощность, с другой же, приводит к совершенно новым проблемам, связанным с порчей, утратой и уничтожением нормативной, производственной и технологической информации о ЖЦИ.

Исследованиям в области комплексной автоматизации с помощью CALS-технологий посвящен ряд работ зарубежных специалистов Уйэла Н., Michael A. Rossi, Mark S. Dopfman, G. Rejda, S. Breidenbach, а также отечественных ученых Прохорова Н.Л., Рейзмана Я.А., Бондаревского А.С., Панасенко СП. и др. Однако все они связаны с изучением отдельных аспектов автоматизации, а вышеуказанная проблема остается довольно слабоизученной в силу следующих причин.

АСУП/АСУТП, в которых циркулируют большие объемы сложноструктурированных данных, используют для хранения и доступа к ним системы управления базами данных (СУБД). Подавляющее большинство современных СУБД используют реляционную модель данных, которая обладает рядом серьезных преимуществ, по сравнению с известными иерархической, сетевой или графовой, что обуславливает ее популярность.

Тем не менее, ряд задач, имеющих значение для АСУП/АСУТП, достаточно сложно реализуются в рамках реляционного подхода. Сложность реализации при значительных объемах обрабатываемой информации может привести к временным задержкам, то есть к неудовлетворительному уровню быстродействия и производительности рассматриваемых систем.

Таким образом, проблема повышения быстродействия выборки иерархических данных в СУБД, применяемых при автоматизации и управлении технологическими

CALS-технологии (от англ. Continuous Acquisition and Lifecycle Support — непрерывная информационная поддержка поставок и жизненного цикла изделий), или ИПИ (информационная поддержка процессов жизненного цикла изделий) — подход к проектированию и производству высокотехнологичной и наукоёмкой продукции, заключающийся в использовании компьютерной техники и информационных технологий на всех стадиях жизненного цикла изделия

процессами и производствами, является весьма актуальной. Не обладая достаточными возможностями, чтобы полностью заменить реляционные базы данных, СУБД на основе графовой модели могут успешно применяться для решения спектра задач хранения и обработки сильно связанных данных со сложной структурой.

Целью диссертации является повышение эффективности информационной поддержки и сопровождения ЖЦИ в интегрированной информационной среде АСУП/АСУТП за счет разработки и программной реализации методики и алгоритма повышения быстродействия выборки иерархических данных в СУБД на основе графовой модели данных.

Для достижения поставленной цели в работе решаются следующие основные задачи:

1. Аналитический обзор современных методов и средств представления иерархических данных об изделиях в системах автоматизации технологических процессов и производств.

2. Формализация оценки эффективности организации иерархических данных с точки зрения быстродействия их выборки.

3. Разработка методики повышения быстродействия выборки иерархических данных в СУБД на основе графовой модели данных.

4. Разработка алгоритма преобразования схемы данных для повышения быстродействия выборки в СУБД на основе графовой модели данных.

5. Программная реализация предложенной методики и алгоритма повышения быстродействия выборки иерархических данных в СУБД в виде комплекса программных средств.

Объект и предмет исследования. Объектом исследования является автоматизация технологических процессов производства.

Предмет исследования составляют методы повышения эффективности специализированного информационного обеспечения АСУП/АСУТП.

Методы исследования. Теоретическую и методологическую базу исследования составили системный подход к анализу сложных систем, ключевые положения кибернетики, общей теории систем. При решении конкретных задач использовались труды отечественных и зарубежных ученых в области теории баз данных и теории графов.

Научная новизна. Диссертационная работа представляет собой совокупность научно обоснованных технических разработок, направленных на развитие теории повышения быстродействия выборки иерархических данных в СУБД на основе разработанных методики и алгоритма, обеспечивающих повышение эффективности функционирования АСУП/АСУТП.

В процессе исследований и разработок получены следующие новые научные результаты:

1. На основе анализа базовых процессов функционирования современных АСУП /АСУТП определены требования к быстродействию СУБД информационного обеспечения и сопровождении ЖЦИ при непрерывном росте сложности изделий и увеличении сложности структур данных и степени связанности элементов данных.

2. Предложена методика повышения быстродействия выборки иерархических
данных об изделии с использованием СУБД на основе графовой модели
данных.

3. Разработано формализованное представление оценки эффективности организации иерархических данных с точки зрения быстродействия их выборки.

4. Предложен алгоритм преобразования схемы данных для повышения быстродействия выборки в СУБД на основе графовой модели данных.

5. Осуществлена программная реализация методики и алгоритмов повышения быстродействия выборки иерархических данных в виде комплекса программных средств, внедрение которого практически подтвердило повышение быстродействия выборки данных более чем в 3 раза. Достоверность полученных результатов подтверждается соответствием

результатов теоретического анализа данным экспериментальных исследований, практически подтвердивших повышение быстродействия выборки данных о составе изделия, представляющего собой семиуровневую иерархию, более чем в 3 раза.

Практическая ценность работы заключается в том, что основные положения, выводы и рекомендации диссертации ориентированы на широкое применение методики повышения быстродействия выборки иерархических данных в СУБД АСУП/АСУТП в области микроэлектроники, приборостроения и других высокотехнологичных отраслей промышленности. Результаты исследования доведены до конкретных алгоритмов, методики и программной реализации.

Самостоятельное практическое значение имеют:

методика повышения быстродействия выборки иерархических данных в СУБД на основе графовой модели данных;

алгоритм преобразования схемы данных для повышения быстродействия выборки в СУБД на основе графовой модели данных;

верификация методики повышения быстродействия выборки иерархических данных в СУБД на основе графовой модели данных;

программная реализация методики и алгоритма преобразования схемы данных для повышения быстродействия выборки в СУБД на основе графовой модели данных.

Практическая значимость подтверждена актами внедрения результатов диссертационной работы в учебном процессе МИЭТ и в НИР.

Личный вклад автора. Все основные результаты диссертационной работы получены автором лично. Главными из них являются следующие.

1. Исследованы базовые процессы функционирования современных АСУПУ АСУТП; выработаны требования к быстродействию СУБД для информационного обеспечения и сопровождения ЖЦИ при непрерывном росте сложности изделий и увеличении сложности структур данных и степени связанности элементов данных.

2. Разработана методика повышения быстродействия выборки иерархических данных в СУБД на основе графовой модели данных.

3. Разработано формализованное представление оценки эффективности организации иерархических данных с точки зрения быстродействия их выборки.

4. Предложен алгоритм преобразования схемы данных для повышения быстродействия выборки в СУБД на основе графовой модели данных.

5. Осуществлена программная реализация методики и алгоритмов повышения быстродействия выборки иерархических данных в СУБД в виде комплекса программных средств, внедрение которого практически подтвердило повышение быстродействия выборки данных о составе изделия более чем в 3 раза.

Реализация полученных результатов. Диссертационная работа выполнялась в соответствии с планом научно-технических исследований кафедры "Информатика и программное обеспечение вычислительных систем» Национального исследовательского университета «МИЭТ» и являлась составной частью исследовательских мероприятий в рамках НИР 59-ИПП «Разработка основ теории, принципов построения и алгоритмов работы высоконадежных систем управления силовыми агрегатами».

Все работы по разработке и реализации методики и алгоритма преобразования схемы данных для повышения быстродействия выборки иерархических данных в СУБД на основе графовой модели данных проводились под руководством или при непосредственном участии автора. Результаты диссертационной работы используются в учебном процессе кафедры ИПОВС в материалах курсов "Управление программными проектами", "Проектирование и архитектура программных систем", "Методология программной инженерии", НИР «Разработка основ теории, принципов построения и алгоритмов работы высоконадежных систем управления силовыми агрегатами», шифр 59-ИПП.

В результате проведенных исследований получены и выносятся на защиту следующие основные научные результаты:

1. Методика повышения быстродействия выборки иерархических данных в СУБД на основе графовой модели данных.

2. Формализованное представление оценки эффективности организации иерархических данных с точки зрения быстродействия их выборки.

3. Алгоритм преобразования схемы данных для повышения быстродействия выборки в СУБД на основе графовой модели данных.

4. Программная реализация методики и алгоритмов повышения быстродействия выборки иерархических данных в СУБД в виде комплекса программных средств.

Апробация работы. Основные положения диссертации были представлены и обсуждались на 6 международных, всероссийских и межвузовских научных конференциях:

5. Микроэлектроника и информатика - 2011. 18-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов. МИЭТ, 2011.

6. Актуальные проблемы информатизации в науке, образовании и экономике -2011. 4-я Всероссийская межвузовская научно - практическая конференция. МИЭТ, 2011

3. Микроэлектроника и информатика - 2012. 19-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов. МИЭТ, 2012.

4. Молодежь и наука. 15-я Международная телекоммуникационная конференция молодых ученых и студентов. НИЯУ МИФИ, 2012.

5. Микроэлектроника и информатика - 2013. 20-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов. МИЭТ, 2013.

6. Современные вопросы науки и образования - 21 век. Международная заочная научно-практическая конференция. Тамбов, 2012.

Публикации. По материалам диссертации опубликовано семь тезисов докладов и три статьи в журналах, входящих в перечень ВАК. Подана заявка на регистрацию программы для ЭВМ "Программное средство повышения быстродействия выборки иерархических данных в СУБД".

Структура и объём диссертационной работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Работа содержит 127 страниц основного текста, включая 28 рисунков, 5 таблиц, а также список литературы из 60 наименований и 2 приложения.

Особенности технологий жизненного цикла изделия

Для решения проблем совместного функционирования компонентов САПР различного назначения, координации работы систем CAE/CAD/CAM, управления проектными данными и проектированием разрабатываются системы, получившие название систем управления проектными данными PDM (ProductDataManagement). Системы PDM либо входят в состав модулей конкретной САПР, либо имеют самостоятельное значение и могут работать совместно с разными САПР.

Управление данными об изделии — категория программного обеспечения, позволяющая сохранять данные об изделии в базах данных. К данным об изделии, прежде всего, относят инженерные данные, такие как CAD-модели и чертежи, цифровые макеты (DMU), спецификации материалов (ВОМ). Метаданные содержат информацию о создателе файла и текущем статусе соответствующего компонента. Система PDM позволяет организовать совместный доступ к этим данным, обеспечивая их постоянную целостность, вносить необходимые изменения во все версии изделия, модифицировать спецификацию материалов, помогать конфигурировать варианты изделия. Система PDM в качестве интегрирующей подсистемы используется на протяжении всего жизненного цикла изделия в рамках концепции управления этим циклом (PLM). Большинство PDM-систем позволяют одновременно работать с инженерными данными, полученными от разных CAD-систем. [11]

На большинстве этапов жизненного цикла, начиная с определения предприятий-поставщиков исходных материалов и компонентов и кончая реализацией продукции, требуются услуги системы управления цепочками поставок— SCM. Цепь поставок обычно определяют как совокупность стадий увеличения добавленной стоимости продукции при её движении от компаний-поставщиков к компаниям-потребителям. Управление цепью поставок подразумевает продвижение материального потока с минимальными издержками.

Координация работы многих предприятий-партнеров с использованием интернет-технологий возлагается на системы электронной коммерции, иногда выделяемые в класс системам управления данными в интегрированном информационном пространстве — СРС (collaborative product commerce).

Информационная поддержка этапа производства продукции осуществляется автоматизированными системами управления предприятием и автоматизированными системами управления технологическими процессами. К АСУП относятся интегрированные системы планирования ресурсов предприятия (ERP), системы планирования производства (MRP, MRP II), SCM-системы. Наиболее развитые системы ERP выполняют различные бизнес-функции, связанные с планированием производства, закупками, сбытом продукции, анализом перспектив маркетинга, управлением финансами, персоналом, складским хозяйством, учетом основных фондов ит.п. Системы MRP II ориентированы, главным образом, на бизнес-функции, непосредственно связанные с производством. SCM и MRP II могут быть реализованы как подсистемы ERP.

Промежуточное положение между АСУП/АСУТП занимает производственная исполнительная система— MES, предназначенная для решения оперативных задач управления проектированием, производством и маркетингом.

В состав АСУТП входит система SCADA, выполняющая диспетчерские функции (сбор и обработка данных о состоянии оборудования и технологических процессов) и помогающая разрабатывать программное обеспечение для встроенного оборудования. Для непосредственного программного управления технологическим оборудованием используют системы CNC (computer numerical control) на базе контроллеров (специализированных промышленных компьютеров), которые встроены в технологическое оборудование с числовым программным управлением.

На этапе реализации продукции выполняются функции управления отношениями с заказчиками и покупателями, проводится анализ рыночной ситуации, определяются перспективы спроса на планируемые изделия. Эти функции возложены на систему CRM.

Функции обучения обслуживающего персонала возложены на интерактивные электронные технические руководства IETM (interactive electronic technical manuals), с их помощью выполняются диагностические операции, поиск отказавших компонентов, заказ дополнительных запасных деталей и некоторые другие операции на этапе эксплуатации систем.

Управление данными в информационном пространстве, едином для различных автоматизированных систем, возлагается на систему управления жизненным циклом продукции— PLM (product lifecycle management). Технологии PLM объединяют методики и средства информационной поддержки изделий на протяжении всех этапов жизненного цикла изделий. Характерная особенность PLM— обеспечение взаимодействия, как средств автоматизации разных производителей, так и различных автоматизированных систем многих предприятий, то есть технологии PLM (включая технологии СРС) являются основой, интегрирующей информационное пространство, в котором функционируют САПР, ERP, PDM, SCM, CRM и другие автоматизированные системы многих предприятий.

На этапах проектирования, ТПП и производства нужно обеспечить выполнение требований, предъявляемых к производимому продукту, при заданной степени надежности изделия и минимизации материальных и временных затрат, что необходимо для достижения успеха в конкурентной борьбе в условиях рыночной экономики. Понятие эффективности охватывает не только снижение себестоимости продукции и сокращение сроков проектирования и производства, но и обеспечение удобства освоения и снижения затрат на будущую эксплуатацию изделий. Особую важность требования удобства эксплуатации имеют для сложной техники, например, в таких отраслях, как авиа- или автомобилестроение. Достижение поставленных целей на современных предприятиях, выпускающих сложные технические изделия, оказывается невозможным без широкого использования автоматизированных систем (АС), основанных на применении компьютеров и предназначенных для создания, переработки и использования всей необходимой информации о свойствах изделий и сопровождающих процессов. Специфика задач, решаемых на различных этапах жизненного цикла изделий, обусловливает разнообразие применяемых АС. На рис. 1.2 указаны основные типы АС с их привязкой к этапам жизненного цикла изделий. [12]

Особенности хранения иерархических данных в реляционной базе данных

Существует много подходов к организации хранения сложных структур данных - массивов, списков, деревьев, сетей, графов и т.п. Часто для их реализации для прикладной задачи создается собственное новое программное обеспечение, управляющее записью, чтением и поиском данных.

Основная альтернатива этому - использование готовых систем управления базами данных. Главная проблема при этом - эффективное отображение сложных структур данных в схему базы данных. [17]

Современный рынок систем управления базами данных (СУБД) обширен и многообразен.

Выбор СУБД определяет прежде всего модель данных, которая лежит в основе данной СУБД. На современном этапе развития этой отрасли выбор, как правило, останавливается на реляционных СУБД, в основе которых лежит реляционная модель. Реляционная модель обладает рядом преимуществ, которые и обеспечили ей самое широкое распространение.

Подавляющее большинство современных систем, оперирующих с данными, хранимыми на долговременной основе, используют реляционные базы данных. Подходы, основанные на реляционной модели, давно доказали эффективность применения в транзакционной обработке данных (OLTP).

Реляционная модель пришла на смену навигационным моделям, которые закладывали в схему связи, существующие между элементами данных в соответствующей предметной области. Реляционная модель, в частности, обеспечила более высокий уровень абстракции, удалив «навигацию» из структур данных.

Связи между элементами данных в зависимости от вида связи реализуются с помощью внешних ключей или специальных связывающих отношений (таблиц).

Снижение быстродействия может возникнуть в том случае, если необходимо хранить и обрабатывать множество однотипных элементов с высокой степенью связанности. Пример - граф: множество вершин, связанных ребрами.

В общем, любая реляционная база данных представляет собой множество взаимосвязанных таблиц.

Несмотря на некоторые известные недостатки реляционной модели, ее многочисленные преимущества обеспечили массовое ее применение в базах данных для практически любой сферы человеческой деятельности.

В том числе и большинство систем управления производствами и технологическими процессами, в том случае если им требуется надежное долговременное хранение данных, используют реляционные базы данных.

Практически реляционная организация данных представляет собой набор взаимосвязанных таблиц, структура которых проектируется методами, обеспечивающими нормализацию данных (исключение избыточности хранения), что позволяет поддерживать целостность интенсивно изменяемых данных.

Тем не менее, существует ряд задач хранения и обработки данных для которых реляционный подход плохо применим или связан с некоторыми сложностями. Прежде всего это задачи, связанные с хранением и обработкой мультимедиа-данных, геоинформации, экстремально больших объемов данных.

Разные СУБД в разной степени соответствуют реляционной теории, поддерживают разные диалекты стандартного реляционного языка SQL, но все они основаны на понятиях отношений и связей между ними.

Тем не менее, реляционная БД зачастую уступает навигационным в скорости выполнения запросов, более того, указанные проблемы наиболее остро проявляются именно при работе со сложными структурами данных, реализованными в виде большого количества таблиц, которые должны быть соединены в ходе выполнения запросов. Незапланированный рост объема данных и/или нагрузки на такую систему приводит к существенному снижению быстродействия.

Скорость выполнения запросов прежде всего зависит от аппаратных характеристик сервера баз данных, возможностями конкретной СУБД по управлению данными в оперативной и внешней памятью.

В рамках заданных аппаратных и программных возможностей производительность конкретного запроса зависит от оптимальности плана выполнения запроса, сформированного оптимизатором запросов СУБД.

Оптимизатор запросов является частью программного обеспечения, которая моделирует выполнение запроса СУБД. При этом оптимизатор использует статистику, которая генерируется для столбцов таблиц и индексов, и сохраняется СУБД. Полученная модель определяет порядок выполнения запроса и используемые для этого инструменты. Таким образом, оптимизатор должен найти самый лучший план для запроса. Он решает использование индексов, применяемый способ соединения и т.д.

Полученное решение основано на расчете «цены» варианта плана выполнения запроса. Оптимизатор генерирует и оценивает множество планов и выбирает план с наименьшей ценой.

Иногда, оптимизатор выбирает не самый эффективный план, если предполагается, что поиск займет время большее, чем выполнение не самого эффективного плана. Оптимизатор ищет план с наименьшей стоимостью за минимально возможное количество итераций, то есть наименьшее процессорное время.

Доступ к запрашиваемым элементам данных, хранящимся в таблицах, выполняется сканированием всей таблицы илис помощью поиска по индексу.

Вопросы представления данных тесно связаны с операциями, при помощи которых эти данные обрабатываются. К числу таких операций относятся: выборка, изменение, добавление и удаление данных. В основе всех перечисленных операций лежит операция доступа, которую нельзя рассматривать независимо от способа представления.

В задачах поиска предполагается, что все данные хранятся в памяти с определенной идентификацией и, говоря о доступе, имеют в виду прежде всего доступ к данным (называемым ключами), однозначно идентифицирующим связанные с ними совокупности данных.

Если необходимо организовать доступ к файлу, содержащему набор одинаковых записей, каждая из которых имеет уникальное значение ключевого поля. Самый простой способ поиска - последовательно просматривать каждую запись в файле до тех пор, пока не будет найдена та, значение ключа которой удовлетворяет критерию поиска. Очевидно, этот способ весьма неэффективен, поскольку записи в файле не упорядочены по значению ключевого поля.

Формализованное представление оценки эффективности организации иерархических данных с точки зрения быстродействия их выборки

Использование реляционной модели - классический вариант. Преимущества этого подхода неоднократно описаны, широко известны и коротко описаны выше. Слабым местом является скорость выполнения запросов к базам данных со сложной структурой (большое количество связываемых таблиц, большое количество записей).

Использование графовой модели даст преимущества только в том случае, если значительная часть хранимых и обрабатываемых данных представляют собой или достаточно легко могут быть представлены в виде графов. Пример использования графовых баз данных вместо реляционной модели приведен в [44].

Графовые системы управления базами данных являются он-лайн системами, включающими в себя возможности создания, чтения, обновления и удаления элементов графовой модели данных. Графовые СУБД, как правило, ориентированы на использование в транзакционных системах (OLTP), то есть они поддерживают целостность транзакций и оперативную доступность данных.

Очевидно, что использование графовой модели для работы с графами оптимально. Но связи в структуре изделий, которая легко отображается в виде графа, только часть хранимой информации.

Графовая модель данных является мощный инструментом увеличения производительности данных, представляемых в виде графа, но системы автоматизации производства работают с большим количеством атрибутов, характеризующих как изделие в целом, так и его состав. Кроме этого ОБДИ должна содержать много дополнительной информации,плохо отображаемой на основе графовой модели.

Исходя из этих соображений, перспективным представляется реализация третьего подхода - декомпозиция данных, использование двух и более БД, построенных на разных принципах, и имеющих возможности репликации данных(экспорта-импорта).

Для решения задачи увеличения эффективности обработки иерархических данных - это совместное использование для хранения данных реляционной модели и графовой модели (рис. 3.1).

Там где идет речь об «обычных» данных, легко приводимых к форме отношений реляционной алгебры, данные хранятся в реляционной базе данных. Параллельно часть данных об обширных и сложных связях между объектами, хранится в графовой базе данных.

Применение дополнительной графовой БД для увеличения быстродействия операций с данными в ИИС Главное преимущество этого подхода - использование в текущий момент той системы хранения данных, которая максимально соответствует решаемой задаче: реляционной или графовой (ориентированной на отображение связей).

Этот подход имеет серьезный недостаток - заметное усложнение системы (соответственно это приведеткусложнению проектирования и сопровождения).

Использование двух моделей (гибридной системы), требует дополнительной разработкисистемы синхронизации данных, которая включает в себя подсистемы передачи данных между БД, подсистему контроля целостности данных - соответствия данных этих подсистем.

Таким образом, процесс проектирования системы требует реализации методики повышения быстродействия выборки иерархических данных в АСУП/АСУТП, которая должна включать не только декомпозицию данных между БД разных моделей данных, но и способ определения эффективности такой декомпозиции..

Формализованное представление оценки эффективности организации иерархических данных с точки зрения быстродействия их выборки Применение графовой модели как средства повышения быстродействия обработки сложноструктурированных данных должно быть обосновано. Рассмотрим в общем виде процесс выборки из БД иерархических данных большого объема. Очевидно, что для графов небольшой сложности распределение данных между разными БД не имеет смысла. Формализуем процесс оценки эффективности организации иерархических данных с точки зрения быстродействия их выборки.

Время выборки данных из БД в общем случае пропорционально количеству запрашиваемых строк (для реляционной модели) или узлов (для графовой модели). Для выборки некоторой иерархической структуры из БД имеем:

Введем коэффициент и, отражающий степень ускорения доступа к связанным данным за счет структуры, ориентированной на хранение логических связей. Тогда степень эффективности применения дополнительной графовой БД (рис. 2).выражается отношением: На основе приближенных оценок времени выполнения запросов Гр2ел_оц и ГГр_0Ц построена качественная зависимость эффективности использования дополнительной ГБД от коэффициента а и количества уровней L отражена ниже (рис. 3.2).

Графическая интерпретация зависимости времени выборки иерархических данных от количества уровней иерархии и коэффициента ускорения доступа к связанным данным Как следует из рисунка, эффективность использования графовой БД для хранения логических связей растет вместе со сложностью схемы данных, то есть с увеличением глубины иерархии. Чем выше увеличение скорости выборки данных за счет применения технологий, ориентированных на работу со связанными данными, тем меньшей сложности структуры достаточно для получения существенного результата.

В соответствии с приведенным обоснованием применимости графовой модели как средства повышения быстродействия обработки сложноструктурированных данныхразработана методика повышения быстродействия выборки иерархических данных в АСУП/АСУТП, включающая следующие этапы.

Оценка глубины и степени связанности данных. Глубина определяется как среднее значение эксцентриситетов корневых вершин хранимых иерархий. Связность данных определяется по формуле:

В общем (без учета специфики предметной области) преобразование схемы реляционной модели в схему графовой модели может быть проведено на основе анализа существующих первичных и внешних ключей в реляционной схеме. Каждый экземпляр связи между отношениями преобразуется в связь между вершинами в графовой модели.

Так как в нашей задаче использование дополнительной графовой БД предполагается только для множества связей, представляющих состав изделий, в преобразовании будут участвовать только эти связи.

С целью программной реализации вышеприведенной методики разработан алгоритм преобразования схемы данных для повышения быстродействия выборки на основе использования графовой модели данных (рис. 3.3).

Разработка структуры программного обеспечения АСУП/АСУТП для использования методики повышения быстродействия выборки иерархических данных в СУБД на основе графовой модели данных

В общем (без учета специфики предметной области) преобразование схемы реляционной модели в схему графовой модели может быть проведено на основе анализа существующих первичных и внешних ключей в реляционной схеме. Каждый экземпляр связи между отношениями преобразуется в связь между вершинами в графовой модели.

Так как в нашей задаче использование дополнительной графовой БД предполагается только для множества связей, представляющих состав изделий, в преобразовании будут участвовать только эти связи.

С целью программной реализации вышеприведенной методики разработан алгоритм преобразования схемы данных для повышения быстродействия выборки на основе использования графовой модели данных (рис. 3.3).

Алгоритм преобразования схемы данных для повышения быстродействия выборки в СУБД на основе графовой модели данных Выводы по главе

Разработана методика повышения быстродействия выборки иерархических данных на основе использования дополнительной БД на основе графовой модели данных для хранения информации об иерархических связях.

Методика позволяет не только реализовать данный подход путем трансформации данных хранимых в РБД, но и определить эффективность его применения.

Также разработан алгоритм преобразования схемы данных для повышения быстродействия выборки иерархических данных на основе предложенной ранее методики. Глава 4. Программная реализация методики и алгоритмов повышения быстродействия выборки иерархических данных в СУБД

Современные тенденции развития автоматизации производства требуют от внедряемой АСУТП как выполнения традиционных функций сбора, передачи, обработки, хранения и анализа информации о технологическом процессе конкретного производства, так и объединения всех уровней управления производственными и технологическими процессами в единое информационное пространство.

Таким образом, специфические требования к параметрам и функциям АСУТП обусловлены характером технологических процессов и особенностями конкретного производства, однако архитектурное, структурно-аппаратное решение и программная реализация диктуются общими системообразующими требованиями [23-26,28-31]. Ниже перечислены наиболее значимые. [32-36, 38-41]

Требования к параметрам и функциям современных АСУП/АУСТП 1. Интегрируемость. АСУТП должна интегрировать в единой распределенной информационной среде задачи управления всеми аспектами производства. 2. Открытость или совместимость со всеми современными стандартами, поддержка Intranet (Internet) технологий, а также возможность наращивания функциональности за счет взаимодействия с программным обеспечением независимых поставщиков, а при необходимости и с собственными наработками пользователей. Масштабируемость. Ключевое требование с точки зрения экономии вложений, гарантирующее, что не придется перестраивать АСУТП по мере роста объема производства и количества одновременно работающих АРМ. Переносимость - способность работать на различных аппаратных платформах, операционных системах, серверах баз данных. 5. Адаптируемость - возможность легкой настройки для конкретных нужд.

Расширяемость - возможность наращивания функциональности АСУТП в рамках принятой изначально концепции развития и технологической базы, в соответствии со специфическими потребностями пользователей. 7. Локализация - поддержка национальных требований и стандартов в области бухучета, финансового контроля, документооборота, организации процесса обучения.

Разработку АСУТП целесообразно начинать с анализа существующей аппаратно-программной и телекоммуникационной инфраструктуры производства (предприятия), как наиболее важной системообразующей составляющей. Одновременно необходимо провести поэтапное внедрение подсистем на основе предложенных моделей.

В этом контексте особенно важными становятся: широкий спектр готовых к применению промышленных прикладных систем для различных типов производства (как правило, предлагаются одним производителем); широкое применение стандартных компонентов, что позволяет внедрять систему помодульно, начиная с отдельных, наиболее приоритетных для производства подсистем; создание отраслевого решения на основе единого, стандартного и открытого системного фундамента.

АСУТП должна представлять собой интегрированную систему, обеспечивающую функционирование единого информационного пространства с целью выполнения конкретного технологического процесса конкретного производства.

Предложенная в данной диссертационной работе программная реализация разработана с учетом вышеприведенных требований к программному обеспечению АСУТП. Особенностью данной АСУТП является программное обеспечение, которое согласно [42, 43] классифицируется как индивидуально дорабатываемая вычислительная система. Такая система характеризуется ориентацией на индивидуальные требования заказчика по автоматизации технологических процессов производства продукции различной номенклатуры, где задачи защиты авторских прав решаются программными средствами наряду с обеспечением функциональности системы, и конструктивно составляют единое целое.

Разработка структуры программного обеспечения АСУП/АСУТП для использования методики повышения быстродействия выборки иерархических данных в СУБД на основе графовой модели данных

Разработана структура программного обеспечения АСУП/АСУТП, включающей КПС, обоснованы характеристики и особенности пользовательского интерфейса, представлена программная реализация алгоритма и методики.

Интерфейсы пользователя ф \ Система аутентификации f f Структурный блок "Ь Функциональный блок і \ і 1 »" " Блок БД г У ЕД о технологической среде БДИ(элементы) БДИ(связи) Рисунок 4.1. Структура программного обеспечения АСУП/АСУТП при использовании предложенной методики

Разработка комплекса программных средств, реализующих разработанные методику и алгоритм повышения быстродействия выборки иерархических данных в СУБД Комплекс программных средств, реализующих разработанные методику и алгоритм повышения быстродействия выборки иерархических данных в СУБД включает 6 модулей согласно требуемому функционалу. Ниже приведено назначение каждого модуля. Модуль управления координирует работу комплекса программных средств и его взаимодействие с остальными компонентами АСУП. Модуль формирования запросов к реляционной БД преобразует входные команды в структурированный вид, соответствующий языку SQL. Модуль формирования запросов к графовой БД преобразует входные команды в структурированный вид, соответствующий языку CQL. Модуль оценки применимости графовой БД формирует оценку числа уровней и степени связности элементов БД, необходимые для преобразования реляционной в графовую БД.