Содержание к диссертации
Введение
Глава 1. Проблемы и задачи разработки моделей и методов повышения эффективности разработки и функционирования автоматизированных информационно-управляющих систем в социально-экономической сфере .. 13
1.1. Структура функции и особенности управления объектами социально-экономической сферы крупных городов и регионов. 13
1.2. Проблемы создания и функционирования автоматизированных информационно-управляющих систем в социально-экономической сфере 28
1.3 Проблемы и задачи повышения эффективности разработки и функционирования
автоматизированных информационно-управляющих в социально-экономической сфере, 42
Краткие выводы 51
Глава 2. Разработка методов и средств создания распределённых интегрированных информационных систем с использованием систем управления сверхбольшими базами данных, СУБД Ну Tech 53
2.1. Методы увеличения производительности поисковых операций . 54
2.2. Разработка методов доступа, обеспечивающих повышение быстродействия СУБД
при выполнении сложных многокритериальных поисковых запросов. 66
2.3. Разработка методов повышения производительности и надежности операций
модификации. 73
2.4. Повышение эффективности методов физической организации данных. S3
Краткие выводы 111
Глава 3. Исследование и разработка языковых в программных средств систем моделирования процессов принятия решений в автоматизированных информационно-управляющих системах 113
3.1. Анализ языковых и программных средств систем моделирования процессов принятия решений в АИУС 114
3.2. Разработка аппарата анализа экстремальных ситуаций в АИУС, требующих принятия оперативных решений 124
3.3. Исследование и разработка методов систем алгоритмов управления с использованием таблиц применяемости 138
Краткие выводы 154
Глава 4. Разработка методов и средств представления и обработки документов в автоматизированных информационно-управляющих системах 157
4.1. Разработка методов представления и обработки документов в АНУС 159
4.2. Разработка методов анализа отчетных документов на основе нелинейной оценки компромиссов 179
4.3 Программно-алгоритмическая реализация предложенных методов принятия решений при контроле многосвязпых документов 192
Краткие выводы 200
Глава 5. Постановка и решение задач обеспечения достоверности информации в автоматизированных информационно-управляющих системах 202
5.1. Анализ методов и технологий обеспечения достоверности при обработке дагшых в АИУС 203
5.2 Разработка модели и методов анализа достоверности в системах обработки данных АИУС. 212
5.3 Использование предложенных методов обеспечения достоверности информации в деятельности Государственной налоговой инспекции 229
Краткие выводы 235
Глава 6. Использование групповой технологии и Q -анализа при планировании обработки данных в АИУС 237
6.1. Методы группирования при планировании решения задач обработки данных в АИУС. 238 6.2 Разработка и исследование методов решения задач группирования обработки данных в АИУС с использованием процедур Q-анализа 247
6.3. Оптимизация распределения групп задач пользователей по ЭВМ сети АИУС. 255
Краткие выводы 263
Глава 7. Использование разработанных моделей, методов и средств (СУРБД HyTech) при проектировании АИУС различного класса и назначения 265
7.1. Типовая система информационного обеспечения АИУС крупных городов ирегионов... 265
7.2. Примеры практического применения разработанных математических моделей и
методов. 277
7.2.1. Структура и характеристики АИУС «Собственность высшей школы» 277
7,2.2. Автоматизированная информационная система «Налог-Москва» 284
7.2.3 Общегородская справочная система 288
7.2.4 Информационная система Московского Городского Бюро Технической Инвентаризации 293
7.2.5 Информационная система Московской Регистрационной палаты 296
7-2.6 Информационная система Комитета по управлению имуществом 298
Краткие выводы 303
Заключение 305
Литература 311
- Структура функции и особенности управления объектами социально-экономической сферы крупных городов и регионов.
- Методы увеличения производительности поисковых операций
- Анализ языковых и программных средств систем моделирования процессов принятия решений в АИУС
- Разработка методов представления и обработки документов в АНУС
Введение к работе
Актуальность темы. Основным содержанием современного этапа развития человечества является переход к обществу, в котором определяющая роль принадлежит управлению и информации. Они становятся стратегическим ресурсом любого общества. Инфраструктуру общества формируют способы и средства сбора, обработки, хранения и распределения информации. Поэтому информация, информационный фонд в условиях создания, функционирования и развития систем регионального и городского управления являются главным источником эффективного принятия решений- В этих условиях одной из характерных особенностей современного этапа научно-технического прогресса является широкое и интенсивное использование математических методов, методов управления, средств информатики и вычислительной техники в системах регионального и городского управления. Разрабатывается, вводится в действие и модернизируется большое число автоматизированных информационно-управляющих систем (АИУС) в самых различных городах и регионах России, В этой связи повышение качества и эффективности создаваемых систем, сокращение сроков и затрат на их разработку и внедрение являются важными народнохозяйственными задачами.
Крупный вклад в развитие теории и прикладных методов создания автоматизированных информационно-управляющих систем для сложных социально-экономических объектов внесли труды многих отечественных и зарубежных ученых. В их числе: А.А.Воронов, В.М.Глушков, Д.М.Гвишиани, С.В.Емельянов, КА,Кузнецов, ННМоисеев, Г.С.Поспелов, И.В.Прангишвили, В. Трапезников, В-Н.Бурков, КХН.Иванов, ЭЛИцкович, В.МВишневский, Ю.С Логосов, В.ВЛСульба, БЛСоветов, ВИСкурихин, В.Ф.Кротов, А.Д.Цвиркун и другие.
Эффективное использование вычислительной техники городского и регионального управления требует значительных трудозатрат на создание программного и информационного обеспечения соответствующих АИУС. Одним из направлений повышения эффективности создаваемых в массовом масштабе систем является использование при их разработке формальных методов и моделей проектирования программного и информационного обеспечения и современных средств управления сверхбольшими распределенными базами данных. Кроме того, актуальным является создание и исследование математического и программного обеспечения системы моделирования процессов принятия решений в АИУС, разработка моделей и методов оперативного планирования обработки данных с использованием групповой технологии, генерация многосвязных табличных документов с учетом достоверности содержащейся в них информации.
Анализ содержания задач управления городским и региональным хозяйством показывает, что только распределенная АИУС, построенная на базе современных средств вычислительной техники и средств связи, позволит на основе достоверных и оперативных данных оптимизировать подготовку и процедуру принятия решений, как руководящих органов, так и структур исполнительной власти с последующим контролем их выполнения.
Решение проблем создания эффективных АИУС, функционирующих на базе быстродействующих СУРБД, позволит перейти на качественно новый, более прогрессивный уровень в использовании средств вычислительной техники Б управлении региональным и городским хозяйством. Именно назревшая необходимость организационной перестройки технологии административного управления регионами и городами на современном уровне делают актуальной проблему разработки распределенной АИУС, оптимальной по архитектуре, технологии обработки заданий и управлению распределением вычислительных ресурсов, от качества которой будет существенно зависеть эффективность управления городским хозяйством.
Цель работы. Целью диссертационной работы является разработка и исследование моделей, методов и алгоритмов проектирования АИУС крупных городов и регионов, высокоэффективной системы управления сверхбольшими базами данных и их использование при разработке крупномасштабных систем.
Методы исследования. Основные результаты диссертационной работы получены и математически обоснованы с использованием аппарата системного анализа и исследования операций, реляционной алгебры, теории графов, методов оптимизации и других разделов современной теории управления.
Научная новизна, В результате проведенных исследований, анализа и обобщения опыта проектирования и эксплуатации автоматизированных систем управления городами и регионами впервые:
• определены особенности крупных городов и регионов как крупномасштабных объектов управления;
• предложена новая информационная технология создания, ведения и использования сверхбольших баз данных с использованием разработанной высокоэффективной СУРБД Ну Tech;
•разработаны и использованы в СУРБД Ну Tech модификации косвенного метода реализации операций реляционной алгебры, и эффективный метод доступа к данным» основанный на предложенной технологии обработки индексных массивов с использованием битовых последовательностей;
•разработаны и исследованы модели и методы оперативного планирования обработки данных в АИУС с использованием групповой технологии;
•разработаны и использованы математическое и программное обеспечение системы моделирования процесса принятия решений в АИУС;
• поставлены и решены задачи автоматической генерации многосвязных документов табличного типа с учетом их достоверности;
• на основе расширенных возможностей СУРБД Ну Tech, принципов модульности и типизации разработана структура типовой системы информационного обеспечения крупных городов и регионов.
Практическая ценность. Предложенные модели, методы и инструментальные средства позволяют создавать эффективные распределенные интегрированные АИУС для управления крупными городами и регионами. Использование предложенных методов, алгоритмов и программ проектирования интегрированных АИУС и СУРБД Ну Tech позволяет снизить трудоемкость и приведенные общие затраты на разработку, внедрение и функционирование создаваемых систем в среднем в 10 - 100 раз.
Разработанные методы, алгоритмы, программные средства и СУРБД Ну Tech могут быть использованы при создании автоматизированных информационно-управляющих систем широкого класса и назначения в научно-исследовательских институтах, проектных организациях и вычислительных центрах, разрабатывающих, внедряющих и эксплуатирующих автоматизированные системы управления.
Внедрение. Эффективность разработанных в диссертационной работе методов, моделей и СУРБД HyTech подтверждена положительным опытом их широкого использования при проектировании АИУС различного уровня и назначения для крупных городов, регионов и отраслей народного хозяйства- При непосредственном участии автора они использованы при проектировании, внедрении и эксплуатации функциональных подсистем АИУС федерального (Интегрированная информационная система Фонда социального страхования РФ; Реестр собственности, Системы анализа, прогнозирования доходности и контроля за выполнением условий договоров Министерства образования РФ) и муниципального уровня для г, Москвы: (Общегородская справочная система, Информационная система Московского бюро технической инвентаризации, Информационная система Московской регистрационной палаты, Информационная система Комитета по управлению имуществом Москвы, Информационная система Налоговой инспекции по г, Москве и Управления Департамента Налоговой полиции). А также при разработке и внедрении информационной системы Налоговой инспекции по гЛвери; информационно-аналитической системы Международной корпорации «Техноком Лимитед» для спутниковой связи IntelSat; информационной биллинговой системы для международного оператора связи «ТЕЛЕПОРТ-ТП»; информационной системы Международного коммерческого управления "Аэрофлот", автоматизированной системы медицинского обслуживания Онкологического центра России и других автоматизированных системах различного назначения.
Использование разработанных моделей, методов и СУРБД Ну Tech позволило существенно сократить временные и стоимостные затраты на проектирование, внедрение и эксплуатацию АИУС, повысить их функциональные характеристики- Официально подтвержденный экономический эффект от внедрения разработанных моделей, методов и СУРБД Ну Tech составил более 8 млн. рублей в год.
Связь диссертационной работы с планами научных разработок.
Диссертационная работа выполнена в соответствии с координационными планами научных исследований РАН по комплексной проблеме "Кибернетика" на 1986-1990тт\ (раздел 1Л2.4 "Разработка методологии проектирования проблемно-ориентированных АСУ"), в рамках Постановления Правительства Москвы и плана информатизации г. Москвы, с координационными планами научных исследований РАН по приоритетному направлению 2.3.ЮЛ. - «Теория построения распределенных и модульных автоматизированных информационно-управляющих систем».
Личный вклад. Все основные положения и результаты, выносимые на защиту, получены автором самостоятельно.
Апробация работы. Результаты диссертационной работы докладывались и обсуждались на Ученых Советах МИФИ, МЭИ, ИЛУ РАН, на международных, всесоюзных и ведомственных научно-технических конференциях, симпозиумах и семинарах "Семиотические модели для проектирования и управления" (Краснодар, 1979), "Управление сложными космическими объектами" (Москва, 1979), "Современные технологии машиностроения" (Москва, 1981), "Проектирование систем реального времени" (Москва, 1982), "Планирование и управление в производственных системах" (Одесса, 1983), "Модульные информационно-вычислительные системы" (Новосибирск, 1989), "Методы и программы решения оптимизационных задач на графах и сетях" Новосибирск, 1989), "Методы синтеза и планирования развития структур крупномасштабных систем" (Звенигород, 1979), "Проблемы управления безопасностью сложных систем" (Москва, 1998п, 1999г., 2000г. , 2001г), "Проблемы регионального и муници пального управления" (Москва, 2000г., 2001г., 2002г.) и др.
Публикации. По теме диссертации автором опубликовано более 70 печатных работ.
Структура и объем диссертации. Диссертация состоит из введения, семи глав, заключения, списка литературы, приложения. Работа содержит 332 стр. машинописного текста, 46 рисунков, 21 таблицу, а также список литературы (255 наименований).
Содержание работы. Содержание работы распределено по главам следующим образом.
В первой главе проведен детальный анализ структур и основных функций органов федерального и муниципального управления, на базе которого определяются главные направления совершенствования процессов управления социально-экономическим развитием крупных городов и регионов в условиях экономической реформы- При этом основное внимание уделено выбору рационального уровня децентрализации городского управления и развития местного самоуправления.
Сформулированы особенности крупных городов и регионов как крупномасштабных систем. Показано, что основные задачи управления городом слабо формализованы, а для построения интегрированной (универсальной) АИУС и использования математических методов решения задач регионального и городского развития необходима разработка адекватного математического описания основных подсистем АИУС и реализуемых ими функций.
Проведен анализ эффективности систем управления базами данных различных типов и сформулированы основные требования к ее характеристикам в интегрированных системах. На основе результатов анализа показано, что муниципальные базы данных относятся к классу условно-постоянных с относительно низкой динамикой изменений, основным критерием выбора СУРБД для которых, является производительность при выполнении локальных и распределенных поисковых запросов.
Во второй главе предложена новая информационная технология создания, ведения и использования сверхбольших баз данных с использованием разработанной высокоэффективной СУРБД HyTech.
В СУРБД Ну Tech разработаны и использованы модификации косвенного метода реализации операций реляционной алгебры, и эффективный метод доступа к данным, основанный на предложенной технологии обработки индексных массивов с использованием битовых последовательностей;
Показаны преимущества использования инвертированных списков при поиске информации в БД, к которым относятся: поиск в ассоциаторе без обращения к самим данным; время поиска не зависит от длины записи и от длины ключа; время поиска практически не зависит от числа записей-целей и от общего числа записей в БД.
Разработанная новая технология доступа к данным, обеспечивает резкое ускорение выполнения реляционных операций в запросах SQL за счет исключения чтения данных на этапе поиска, а также расширение синтаксиса языка SQL стандарта ANSL
На основе предложенных модификаций операций реляционной алгебры в базах данных и соответствующих методов доступа разработана система управления сверхбольшими базами данных (HyTech), защищенная патентом Российской Федерации, и получившая сертификат качества Минобороны РФ и лаборатории доктора Добба.
Приведены сравнительные оценки эффективности СУБД HyTech.
В третьей главе исследуется проблема создания языковых и программных средств формализации знаний ЛПР, инвариантных относительно достаточно широкого класса сложных систем и доступных для практического использования специалистам, не обладающим специальной подготовкой в области математики и программирования.
Показано, что одним из путей решения выделенной проблемы является использование проблемно-ориентированных языков, табличного типа, в том числе языка таблиц решений (ЯТР). ЯТР относится к классу неалгоритмических языков, позволяющих одновременно формально описать задачу и формализовать способ ее решения. В связи с этим в данной главе ставятся и решаются следующие задачи:
• Выделение класса систем принятия решений, допускающих описание посредством совокупности таблиц решений (ТР) и таблиц применяемости (ТП).
• Разработка стратегии поиска решений по совокупности решающих таблиц с учетом спецификации управления сложными системами.
• Анализ возможности автоматической иерархии схемы решений путем формирования классов подобных ситуаций.
• Исследование существующих и разработка новых методов трансляции ТР и ТП в вычислительные программы, реализующие стратегии принятия решений; разработка методики исследования алгоритмов трансляции,
Разработка и конкретная реализация принципов построения системы, моделирующей процесс принятия решений при управлении сложными систе мами, базирующейся на ЯТР и являющейся компонентом диалоговой адаптивной системы принятия решений,
В четвертой главе рассматривается задача разработки математической модели управления данными, органически сочетающей в себе возможности структурного хранения и доступа к данным (СУБД) и возможности нетривиальной вычислительной обработки этих данных, т.е. модели сочетающей в себе универсальную идею гибкой настройки на предметную область пользователя с внешней простотой и эффективностью специализированной замкнутой системы. Основной целью проведенных исследований является разработка и исследование математического и программного обеспечения проблемы создания адаптивной модели отчетных документов и их последующего анализа для автоматизации процессов принятия решений работниками муниципальных служб. Для достижения поставленной цели ставятся и решаются следующие задачи:
L Исследование типов табличных документов, поступающих в муниципальные службы от юридических лиц, и методов представления этих документов в современных АИУС.
2. Построение универсальной модели представления как отдельного табличного документа и пакета взаимосвязанных документов.
3. Выделение списка базовых процедур анализа табличных документов и доказательство корректности этого базового набора,
4. Разработка алгоритмов исследования пакетов взаимосвязанных таблиц оптимальных по критерию времени просмотра данных и синтеза результатов.
5. Разработка методов построения и реализации информационных систем, ориентированных на анализ табличных документов,
В пятой главе исследуются постановка и решение задач обеспечения достоверности информации в автоматизированных информационно-управляющих системах. Необходимая достоверность информации в АИУС обеспечивается выбором рациональных способов построения БнД, структур баз данных (БД), систем контроля и исправления ошибок при эксплуатации БнД на всех этапах сбора, передачи, ввода, хранения, поиска, обработки и выдачи информации из БнД, Обеспечение требуемого уровня достоверности информации в АИУС осложняется тем, что проектирование и эксплуатация их программного и информационного обеспечения осуществляются в условиях ограниченных ресурсов.
Представлена разработанная автором универсальная модель анализа АИУС, названная «Модель взаимодействующих табличных объектов» (ВТО модель), а также методы определения достоверности функционирования АИ-УС, построенных с помощью этой ВТО-модели. С этой целью ставятся и решаются следующие задачи:
•Классификация методов и механизмов контроля и обеспечения достоверности информации при ее обработке, предназначенных для выявления ошибочных знаний в исходных и полученных данных.
•Анализ существующих технологий построения информационных систем и моделей анализа их функционирования.
• Исследование структур обработки данных в информационных системах региональных и муниципальных служб как основы для определения источников возникновения ошибок в системе.
• Разработка модели анализа поведения АИУС, автоматизирующих деятельность работников региональных и муниципальных служб
• Разработка методов оценки достоверности данных при функционировании АИУС
В шестой главе исследуется использование групповой технологии Q-анализа при планировании обработки данных в АИУС. Целью проведенных исследований является постановка и разработка методов решения задач распределения вычислительных работ по ЭВМ сети с использованием методов группирования.
Для достижения поставленной цели в работе выделяются возникающие при оперативном планировании задачи группирования; проводится анализ методов решения задач группирования; разрабатываются алгоритмы решения выделенных задач группирования и исследуется их эффективность; разрабатываются постановка и методы решения задач и формирования плана распределения решения множества задач обработки данных по ЭВМ сети с использованием общих технологических ресурсов АИУС
Для решения поставленных задач предложены:
• метод решения задач группирования, основанный на использовании Q-анализа и заключающийся в определении степени взаимосвязи элементов, образующих симшшциальныи комплекс. Введенное понятие группы симплексов позволило определить достаточное условие для декомпозиции симплициально-го комплекса. Это сделало возможным определение задач обработки данных, которые целесообразно объединять в одну группу;
• метод решения NP-трудной задачи декомпозиции симплициального комплекса на части при наличии ограничений на вес симплексов, входящих в группу;
• метод решения задачи максимизации функции эффективности матрицы, задающей симплициальный комплекс, что позволило определить последовательность решения множества задач обработки данных АИУС, минимизирующую общее время их решения.
Показано, что поставленная задача является NP-трудной и имеет большую размерность, поэтому при ее решении целесообразно использовать эвристические алгоритмы, в которых для уменьшения области поиска решения используются методы группирования. Исследованы методы решения задач группирования (кластерный анализ, эвристические алгоритмы, теоретико-графовые методы, Q-анализ), Для разработки алгоритмов группирования предложено использовать Q-анализ, как обеспечивающий выделение непересекающихся групп.
В седьмой главе представлена разработанная на основе использования расширенных возможностей СУРБД Ну Tech и принципов модульности и типизации структура типовой системы информационного обеспечения интегрированных АИУС крупных городов и регионов. Гибкость типовой системы обеспечивается не только характеристиками разработанной СУБД, но и возможным совмещением функций файл-сервера и телекоммуникационного сервера с SQL-сервером БД.
Представлены основные характеристики разработанного программного, информационного и технического обеспечения типовой системы. Приведены примеры эффективного использования разработанных математических моделей, методов и инструментальных средств СУБД Ну Tech при проектировании и внедрении функциональных подсистем АИУС федерального (Интегрированная информационная система Фонда социального страхования РФ; Реестр собственности, Системы анализа, прогнозирования доходности и контроля за выполнением условий договоров Министерства образования РФ) и муниципального уровня для г. Москвы; (Общегородская справочная система, Информационная система Московского бюро технической инвентаризации, Информационная система Московской регистрационной палаты, Информационная система Комитета по управлению имуществом Москвы, Информационная система Налоговой инспекции по г. Москве и Управления Департамента Налоговой полиции).
Структура функции и особенности управления объектами социально-экономической сферы крупных городов и регионов.
В данной главе производится анализ структур и основных функций органов муниципального и городского управления, на базе которого определяются основные направления совершенствования процессов управления социально-градостроительным и экономическим развитием крупных городов и регионов в условиях экономической реформы.
Основное внимание уделяется проблеме выбора рационального уровня децентрализации регионального управления и развития местного самоуправления.
Показано, что крупные регионы относятся к классу крупномасштабных систем, сформулированы их особенности. Конкретизирован ряд первоочередных задач, стоящих перед правительствами регионов (на примере г. Москвы), в условиях проводимой экономической реформы. В качестве одной из основных задач рассматривается задача создания и управления развитием автоматизированной информационно-управляющей системы (АИУС) для г, Москвы.
На основе анализа эффективности существующих систем управления базами данных (СУБД) и требований пользователей к характеристикам АИУС сформулированы критерии выбора системы управления распределенной базой данных (СУРБД) регионального уровня.
Показано, что городские и муниципальные базы данных относятся к классу условно-постоянных с относительно низкой динамикой изменений, основным критерием выбора для которых СУРБД является производительность при выполнении локальных и распределенных запросов.
Проведен анализ основных проблем и задач разработки моделей и методов повышения эффективности разработки и функционирования АИУС в социально-экономической сфере крупных городов и регионов.
Структура функции и особенности управления объектами социально-экономической сферы крупных городов и регионов. Главной особенностью научно-технического прогресса на современном этапе развития общества является его информатизация, которая характеризуется внедрением во все сферы человеческой деятельности средств вычислительной техники и коммуникаций. Важность феномена информатизации потребовала рассмотрения его в Государственной Думе (1996г.), а также разработки ряда Федеральных законов, важнейшими среди которых являются: "Об информации, информатизации и защите информации1 (1995г.), "Об участии в международном информационном обмене" (1996г.), "Доктрина информационной безопасности РФ" (2000г.). Кроме того, изданы соответствующие Указы Президента РФ и постановления правительства РФ по вопросам информатизации страны. Начиная с 1999 года были последовательно разработаны Концепция государственной информационной политики и Концепция федеральной целевой программы "Развитие информатизации России на период до 2010 года", регламентирующие формирование и развитие единого информационного пространства России и соответствующих государственных информационных ресурсов, а с 2001 года начались работы по федеральной целевой программе "Электронная Россия". Аналогичные программы и концепции создаются большинством ведущих стран мира: США в 1993 году разработан "План действий администрации США в области Национальной информационной инфраструктуры". В рамках Комитет Европейского Сообщества принят план действий в документе "Европейский путь в информационное общество" (1994г.)- Финляндия создала концепцию "Финский путь в информационное общество" (1995г.), а ФРГ в 1996 году разработала программу "Путь Германии в информационное общество". Все это свидетельствует о значимости проблемы информатизации, ибо от ее решений зависит будущее человечества, его социальный и научно-технической прогресс. В процессе эволюции культуры информация, выступающая как результат деятельности человека, его взаимодействия с окружающей средой, стала мощным фактором развития цивилизации, совершенствования методов и форм управления сложными крупномасштабными социально-экономическими системами (СЭС). К глобальным последствиям процесса информатизации относятся: структурные изменения в экономике, характеризующие значимость информатики как отрасли, создающей информационный ресурс (число занятых в производстве компьютеров, сетей и программ, доля в ВВП, полученная за счет информационной деятельности, число информационных услуг); изменения в характере управления крупномасштабными СЭС, образованием, медициной, городами и регионами в целом за счет повышения эффективности принимаемых решений, оперативности представления необходимой и достоверной информации. В нашей стране в условиях экономической реформы широким фронтом развернулась работа по совершенствованию управления СЭС на основе использования современных научных методов, которые в последнее время все более ориентируются на создание автоматизированных информационно-управляющих систем. Рассмотрим особенности их разработки, внедрения и функционирования на примере систем управления городами и регионами. Крупные города и регионы относятся к классу крупномасштабных систем (КПС). КПС - класс сложных (больших) систем, характеризующихся комплексным взаимодействием элементов системы, рассредоточенных на значительной территории, требующих для своего развития существенных затрат ресурсов и времени. Основными особенностями КПС являются: необратимый характер развития, то есть интегральные характеристики, определяющие "выходной" продукт системы в целом, не убывают в процессе развития (в то же время отдельные элементы системы могут развиваться различным образом), размытость границ (в процессе развития состав элементов системы и характер их взаимосвязи между собой и с внешней средой существенно изменяется, территория, охватываемая системой, может расширяться от региональных до глобальных масштабов), тесная взаимосвязь с другими крупномасштабными системами и с окружающей средой, комплексный характер управления, значительные затраты ресурсов и времени на проектирование и развитие,
Методы увеличения производительности поисковых операций
Особая роль при проектировании баз данных отводится выбору функционально полного набора операций, задачей которого является поддержание языка высокого уровня для манипулирования данными.
Рассмотрим подмножество операций реляционной алгебры над нормализованными отношениями (табл. 2,1.1) [42-44].
Представленное множество операций покрывает все языковые интерфейсы распространенных реляционных СУБД. Особенностью реляционных операций, связанных с интеграцией данных является возможность порождения значения вычисляемых атрибутов, входящих в схемы результирующих отношений. Вычисления производятся на основе арифметических выражений над значениями атрибутов исходных отношений, а сами арифметические выражения могут входить и в состав выражений отбора.
В соответствии с двухуровневой структурой обработки данных, все реляционные операции обычно разбивают на два класса [9]- Первый составляют операции первичной обработки. Сюда входят операции селекции по условию, проекции отношения без удаления дублей, конвертирования и присваивания. Эти унарные операции являются массовыми и могут быть реализованы как в буферной памяти ЭВМ, так и непосредственно в устройствах массовой памяти (УМП). Поскольку указанные операции выполняются за один просмотр отношения, то сложность их оценивается в О(п), где п - кардинальность отношения-операнда.
Второй класс составляют такие массовые операции над отношениями, сложность которых оценивается как 0(п2). Сюда включаются бинарные операции реляционной алгебры, а также унарные операции проекции с удалением дублей, операции с использованием группировки (group by). С некоторыми допущениями сюда включена также операция сортировки отношений.
Алгоритмы интерпретации операций классифицируются по типу метода материализации результирующих отношений, который определяет, в каком виде формируется результат операций. Можно выделить два метода формирования результата: прямой (или непосредственный) и косвенный. При прямом методе в результате каждой операции, независимо от структур хранения в УМП, формируется в явном виде отношение, которое, в отличие от исходного, отношения называется промежуточным, или рабочим.
Это рабочее отношение обычно является операндом для следующей операции в последовательности, реализующей один запрос, или может быть результирующим отношением запроса, которое выдается как результат целиком или покортежно. При косвенном методе результатом операции являются вспомогательные структуры данных, по которым можно воссоздать результирующее отношение. В качестве таких структур могут быть использованы: множества или списки идентификаторов кортежей; всевозможные битовые шкалы отображения кортежей или атрибутов, которые формируют результирующее отношение; кортежи исходных, отношений, помеченные маркерными битами [9].
При косвенном методе материализация результирующего отношения проводится в самом конце запроса при выводе результата.
Таким образом, способ формирования результирующих отношений полностью определяет не только алгоритмы интерпретации каждой операции, но и алгоритм реализации запроса в целом. Поскольку косвенный метод формирования результата связан со специальными (нетрадиционными) структурами хранения отношений в УМП, все алгоритмы реализации реляционных операций разбиваются на два класса в зависимости от метода формирования результата в массовых операциях первого типа (селекции и проекции) над отноше ниями в устройствах массовой памяти. При этом косвенный метод формирования результата селекции над отношениями в УМП характерен в основном для баз данных, в которых поддерживаются структуры хранения типа транспонированных отношений.
Обычно отмечают два очевидных преимущества прямого метода материализации по сравнению с косвенным: универсальность и применимость для всех операций реляционной алгебры; инвариантность относительно структур хранения в устройствах массовой памяти.
Однако эти утверждения являются достаточно спорными, поскольку и для косвенного метода можно достичь как "универсальности и применимости для всех операций реляционной алгебры", так и "инвариантности относительно структур хранения". К тому же в реальных условиях (имеется в виду интегрированная распределенная информационная система) значительно меняются соотношения времени формирования идентификаторов кортежей и начитывание результирующего отношения. При малом числе записей-целей косвенный метод будет реализован в десятки и даже сотни раз быстрее прямого метода, а при большом числе записей целей ситуация будет прямо противоположной- С целью детального анализа имеющихся возможностей повышения реактивности СУБД для каждого типа алгебраической операции рассмотрим эквивалентное ей выражение на языке реляционного исчисления. Для обозначения хранимых отношений в алгебре воспользуемся обозначением Rl(x, у, z,...), R2(a, b, с, „.) -и т.п., а в исчислении - соответствующие предикаты Pl(t), P2(t) и т.п.» где t -переменная — кортеж [46].
Каждое выражение на языке исчисления будет иметь вид {tp/P}, Эта запись означает множество кортежей tp» удовлетворяющих условию Р. Здесь x,y,z будет означать кортеж с тремя компонентами, тогда как t++r кортеж, получаемый с помощью присоединения (конкатенации) кортежа г к концу t, t- -г означает кортеж t, укороченный путем выбрасывания атрибутов, входящих в кортеж г.
Анализ языковых и программных средств систем моделирования процессов принятия решений в АИУС
При нормальном завершении транзакции осуществляется запись рабочих копий заголовков в журналы таблиц. Эта операция протоколируется в журнале транзакций на случай аварийного сброса системы. Завершается транзакция снятием пометок с таблиц, и они снова оказываются доступны для модификации другими пользователями.
Параллельный режим выполнения транзакций характеризуется тем, что все выполняемые в любой момент времени транзакции «не видят» друг друга и обрабатываются параллельно, Кавдый пользователь, проводящий такую транзакцию, пишет свои изменения в локальные журналы таблиц, доступные только ему. Разрешение возможных коллизий (модификация одних и тех же записей) откладывается на момент завершения транзакций. Первая удачно завершившаяся транзакция переносит свои изменения в таблицы для общего пользования. При завершении других транзакций на данных таблицах выполняется проверка возможных коллизий. Если такие коллизии обнаружены, результаты транзакции аннулируются. Для параллельных транзакций нет ограничения на время выполнения, так как они не занимают критических ресурсов ядра. Однако в этом случае существует возможность аварийного завершения в случае обнаружения коллизий.
Параллельные транзакции удобно применять в тех случаях, когда технология обработки данных не предполагает частого пересечения пользователей по используемым данным. Например, каждый налоговый инспектор работает со своим списком курируемых предприятий, и эти списки у разных инспекторов не пересекаются.
Для разграничения доступа пользователей к таблицам и их записям используется механизм замков (захватов) [92], Замки позволяют пользователю таблицы уведомить других пользователей о том, что он распоряжается конкретной записью (группой записей или таблицей целиком) в данный момент времени. Наличие замков не мешает выполнению операций поиска в таблице и доступа к найденным записям и проверяется при выполнении операций модификации.
Единицей захвата данных является запись- Однако можно захватить определенную группу записей таблицы, например, найденных в процессе поиска, или всю таблицу. Захваченные ресурсы остаются блокированными до явного снятия замков, лишая других пользователей возможности модификации записей или таблиц, из чего следует, что необходимо избегать длительного захвата ресурсов. Для реализации системы захватов используются специальные файлы замков. Для каждой совместно используемой таблицы создается общий файл замков, содержащий битовую строку. Каждый бит этой строки соответствует записи таблицы. Номер бита в строке равен номеру записи- Файл замка удлиняется по мере увеличения числа записей в таблице. Захваченные записи метятся в этом файле установленными битами. Для того, чтобы отличить «свои» захваты от прочих, для каждого пользователя таблицы, работающего с замками, создается еще один файл замка - локальный замок. Структура этого файла полностью совпадает с файлом общего замка. Если для какой-либо записи имеются установленные биты как в общем замке, так и в локальном замке пользователя, это означает, что запись «своя» и с ней можно свободно работать. Если бит установлен только в общем замке, значит запись захвачена кем-то другим и недоступна. Основная цель использования любой СУБД состоит в поиске нужных пользователям данных и доступе к ним для обработки, В СУБД HyTech поиск любого вида реализован предельно эффективно. Используемые методы индексации и хранения результатов позволяют быстро выполнять сложные многокритериальные запросы, и, что очень важно, итеративно уточнять полученные результаты без проведения новых поисков, В СУБД HyTech реализуются следующие основные классы реляционных операции над таблицами: селекция, конвертирование, присваивание, проекция с удалением дублей и без них, объединение, декартово произведение, соединение, в т,ч. внешнее, деление, агрегатные функции, сравнение, сортировка. Для каждого класса операций имеется широкий набор функций, обеспечивающих удобные средства выполнения запросов. Ниже рассмотрены особенности выполнения некоторых классов операций. СУБД HyTech обеспечивает выполнение поиска записей таблицы, в которых значение заданного поля удовлетворяет следующим условиям или их инверсии (такой поиск далее по тексту называется атомарным): равно заданному условию, больше, больше или равно, меньше, меньше или равно, находится в заданных пределах (включая или исключая границы), попадает в заданный список значений, принимает NULL значение (только для полей, имеющих такие значения), подобно шаблону с учетом и без учета регастра символов (только для символьных полей), удовлетворяет произвольному условию пользователя (вызов его функции). Кроме этого, имеются функции, позволяющие выполнить логические операции над результатами атомарного поиска. К таким операциям можно отнести NOT, OR, AND и Х Ж Поиск записей таблицы, удовлетворяющих условию, может быть выполнен как на неключевых полях таблицы, так и на тех из них, для которых построены индексы. Как уже упоминалось выше, в качестве индексов используются инвертированные списки. Применение инвертированных списков позволяет сразу определить число записей, удовлетворяющих поисковому условию, и получить список номеров этих записей. Это особенно важно при поисках по вторичным ключам. Причем для выполнения этих действий не требуется обращения к данным записей и, что очень важно, последующее чтение списка номеров найденных записей не требует случайного позиционирования головок дискового накопителя, так как номера расположены последовательно. Легко решается также задача отрицания полученного результата. Второй, не менее важной проблемой сложных, многокритериальных поисков является обеспечение высокой скорости выполнения логических операций над промежуточными результатами, что реализуется в СУБД HyTech применительно к сложному поиску в одной таблице следующим образом: используя один из ключей, находится список номеров записей, удовлетворяющих одному из условий поиска. Выбор ключа первого поиска большого значения не имеет, хотя лучше использовать условие, максимально сужающее результирующее множество записей. Найденные номера записей собираются либо в упорядоченный список номеров (если он мал), либо в битовую строку, каждый бит которой идентифицирует соответствующий номер записи,
Разработка методов представления и обработки документов в АНУС
В деятельности большинства федеральных и муниципальных служб, таких как, Министерство по налогам и сборам РФ, Министерство образования РФ, Фонд социального страхования РФ, Государственный комитет по статистике и др., на данный момент, значительную роль играет обработка отчетных документов предприятий и организаций (юридических лиц). Отчетные документы юридических лиц представляются в виде таблиц, отдельные показатели которых связаны между собой различными математическими зависимостями. При этом одни и те же показатели могут входить составляющими элементами в несколько зависимостей, что приводит к образованию, т.н. многосвязных документов. Сравнительный анализ этих связей позволяет оценивать различные аспекты хозяйственной деятельности предприятий, качество и правдоподобие составления самих отчетов, а также определить дальнейшие экономические схемы работы с ними, т,е, получение дополнительной более детальной информации, проведение дополнительных проверок и т.д. [152, 154] Данные, предоставляемые в отчетных документах, носят социально-экономический характер и, отражая хозяйственную деятельность подотчетных организаций, подвергаются частым структурным и смысловым изменениям. Это может быть полная или частичная модификация структуры документа, изменение экономического смысла, либо правил заполнения отдельных показателей документа, что, естественно, влечет за собой изменение зависимостей в данных, а, следовательно, и процесса анализа документов. Все эти изменения связаны» как с нестабильным и очень динамичным законодательством РФ, так и с изменчивостью хозяйственной деятельности организаций. В этих условиях пользователям АИУС трудно отслеживать происходящие изменения предметной области, а значит и эффективно проводить анализ, принимать рациональные решения.
Используемые в настоящее время подходы к созданию информационных систем муниципальных служб приводят, как правило, к появлению замкнутых программных комплексов с жестко задаваемыми типами документов и правилами их обработки. Примерами таких систем, например, могут служить АИУС, находящиеся в эксплуатации в подразделениях налоговой службы, разработанные ГНИВЦ при МНС РФ, ЗАО «ОВИОНТ», Кооперативом «БИТ», КБ «Российский Кредит» и др. В системах такого рода существуют проблемы оперативного изменения информации. Путем привлечения большого числа юристов, программистов и операторов эту проблему можно решить, хотя при этом всегда будет существовать вероятность того, что какие-то изменения не удалось отследить или оперативно сообщить о них пользователю. К числу вышеперечисленных проблем следует добавить проблему неоднозначного толкования законодательства в разных подразделениях одного и того же ведомства, что еще больше усложняет поддержку такой системы. Самое незначительное изменение в законодательстве может привести к необходимости переработки всей информационной системы, т.е, к работе, сопоставимой по сложности и затратам с реализацией нового проекта, который, очевидно, далеко не каждый заказчик хочет финансировать [158].
Подобные проблемы возникают во всех организациях, связанных с хранением и алгоритмической обработкой данных, и тому есть объективные причины: наборы данных не моделируют объекты, их строение и связи, а лишь фиксируют количественные характеристики протекания процессов и явлений во времени. Моделями же этих процессов и явлений служат программные модули, созданные на основе алгоритмов, предложенных предметными специалистами. Предлагается следующий вариант снятия проблемы перманентной модификации программных систем - организовывать данные так, чтобы пользователь имел возможность самостоятельно вносить изменения в используемые отчетные документы путем корректировки информационных баз данных.
В этой связи представляется актуальной разработка математической модели управления данными, органически сочетающей в себе возможности структурного хранения и доступа к данным (СУБД) и возможности нетривиальной вычислительной обработки этих данных, модели, сочетающей в себе универсальную идею гибкой настройки на предметную область пользователя с внешней простотой и эффективностью специализированной замкнутой системы [159-162].
Целью данной главы диссертационной работы является разработка и исследование математического и программного обеспечения проблемы создания адаптивной модели отчетных документов и их последующего анализа для автоматизации процессов принятия решений работниками муниципальных служб. Для достижения поставленной цели ставятся и решаются следующие задачи: 1. Исследование типов табличных документов, поступающих в муниципальные службы от юридических лиц, и методов представления этих документов в современных АИУС. 2. Построение универсальной модели представления как отдельного табличного документа так и пакета взаимосвязанных документов. 3. Выделение списка базовых процедур анализа табличных документов и доказательство корректности этого базового набора. 4. Разработка алгоритмов исследования пакетов взаимосвязанных таблиц оптимальных по критерию времени просмотра данных и синтеза результатов. 5. Разработка методов построения и реализации информационных систем, ориентированных на анализ табличных документов 6. Практическое подтверждение эффективности полученных результатов. Внедрение предложенных методов и средств было проведено в Министерстве по налогам и сборам РФ (МНС РФ), Министерстве образования РФ (МО РФ), Фонде социального страхования РФ (ФСС РФ), МосГорКомСтате, АКБ «МосБизнесБанк», регистрационной Шлаге Москвы и др. Документы составляют основу деятельности федеральных и муниципальных служб. Согласно данным различных консалтинговых служб, ежедневно генерируется более 1 миллиарда страниц документов, а в архивах осело более 1.5 триллиона документов. Поток деловой информации не только огромен в количественном отношении, но и удивительно разнообразен по видам ее представления и источникам. Однако среди всего этого разнообразия можно выделить три составляющие части. Приблизительно 15% информации структурировано, имеет электронный вид, хранится и управляется с помощью СУБД. 15% информации, с которой приходится работать не менее активно, представляет собой неструктурированные данные в электронном виде. И, наконец, более 70% информации хранится на бумаге- При использовании «бумажной» технологии приходится тратить многие часы на то, чтобы вручную найти проанализировать данные по необходимому документу.
