Содержание к диссертации
Введение
ГЛАВА 1. Обзор существующих подходов к повышению эффективности использования потоковых данных и методах оптимизации процесса вычисления 10
1.1. Обзор моделей распределения потоковых данных 10
1.2. Общее время распада на корреляционные элементы
1.3. Мониторинг и анализ функционирования многопроцессорных и распределенных вычислительных систем 23
1.4. Методы реализации повышения производительности системы и выбора тестовых показателей
1.5. Практическое разложение модели потоковых систем 37
1.6. Постановка цели и задач работы 39
ГЛАВА 2. Разработка математической модели и метода оптимизации систем передачи потоковых данных 41
2.1. Обобщенный метод расчета в системах потоковой передачи данных 42
2.2. Модели разложения потока данных на корреляционные элементы 44
2.3. Методы выборки из потока 60
2.4. Выводы 66
ГЛАВА 3. Реализация алгоритма повышения производительности узлов распределенных систем 67
3.1. Поиск адаптивных образцов из элементов последовательности 67
3.2. Алгоритм поиска элементов 70
3.3. Применение алгоритма сквозной выборки в параллельных вычислениях 77
3.4. Выводы 93
ГЛАВА 4. Экспериментальное исследование и результаты практической апробации метода оптимального распределения потоковых данных 94
4.1. Модельный эксперимент по исследованию загруженности программных узлов 94
4.2. Структура и реализация программного комплекса мониторинга 103
4.3. Выводы 118
Заключение 119
Список литературы 120
- Мониторинг и анализ функционирования многопроцессорных и распределенных вычислительных систем
- Модели разложения потока данных на корреляционные элементы
- Алгоритм поиска элементов
- Структура и реализация программного комплекса мониторинга
Введение к работе
Актуальность темы. Достижения современной науки и технологии привели к массивным данным (или так называемым большим данным). Некоторые данные прибывают как потоки. Примеры включают сетевые пакеты данных, проходящие через маршрутизатор, данные о состоянии окружающей среды, собранные сенсорными сетями и поисковыми запросами, полученными поисковыми системами. Во многих случаях такие массивные данные потоковой передачи необходимо контролировать в реальном времени, где повышение производительности систем обработки данных заключается в конструктивном использовании пропускной способности каналов.
Проблема использования высокопроизводительных ЭВМ и распределенных вычислений для решения ресурсоемких задач в настоящее время является наиболее актуальной. Так как параллельные вычисления универсальны, они могут использоваться в любой области науки, где традиционного последовательного способа обработки данных недостаточно или необходимо существенно ускорить процесс вычислений.
Развертывание алгоритма потоковой передачи в массивных данных дорого в вычислительном отношении и может значительно снизить производительность системы. Цель разрабатываемых алгоритмов состоит в том, чтобы решить вычислительные проблемы, без необходимости просмотра каждого входного элемента данных. Однако в создаваемом алгоритме входные данные часто хранятся статически, так как осуществляется просмотр любой части входных данных в любое время.
Система с резервированием (арбитражем) обеспечивает работоспособность при любом единичном отказе, а при отсутствии отказов в системе повышена производительность за счет обеспечения мультипроцессирования. Так, если при развитии сети и увеличении числа пользователей заменить сеть Ethernet на сеть Fast Ethernet не меняя сервера, то канал связи перестает быть "узким местом", но не дисковая подсистема сервера. Нагрузка на дисковую подсистему увеличится, и, следовательно, ее ресурсные затраты возрастут. При эксплуатации сети затраты ресурсов не должны быть выше допустимых пороговых значений, т.е. если зависимость времени реакции от затрат ресурсов дисковой подсистемы сети меньше, чем для канала связи, тогда скорость выполнения операций увеличится.
В качестве базовых критериев разрабатываемой концепции модульной обработки потоков данных выделены следующие: максимизация средней скорости обработки потоков между модулями программных систем; минимизация задержек при обработке в реальном времени; обеспечение возможности обработки потоков как можно большего объема; обеспечение возможности обработки как можно большего количества величин; максимизация количества экземпляров модулей в цепи обработки потока; минимизация объема оперативной памяти, требуемой для хранения промежуточных данных.
Таким образом, актуальность темы диссертационной работы продиктована необходимостью дальнейшего развития алгоритмов обработки параллельных и распределенных потоковых данных, систем управления заданиями, средств анализа прохождения потока задач в многопроцессорных вычислительных системах.
Работа выполнена в ФГБОУ ВПО «Воронежский государственный технический университет» в рамках научного направления «Вычислительные комплексы и проблемно-ориентированные системы управления».
Цель и задачи исследования. Цель работы заключается в разработке средств математического и программного обеспечения для обработки потоковых данных в распределенных программных системах, обеспечивающих улучшение эффективности использования вычислительных ресурсов, за счет применения алгоритмов обработки данных с использованием метода корреляционного разложения потока.
Для достижения поставленной цели в диссертационной работе необходимо решить следующие задачи:
разработать механизм сокращения времени обработки больших потоков данных в распределенных информационных системах;
разработать формальные методы разбиения потока данных для распределения нагрузки программных узлов и алгоритмы поиска рационального пути прохождения заданий в вычислительных системах;
реализовать алгоритм выделения ресурсов для задач, представляемых в виде потока данных;
провести численные эксперименты и осуществить анализ эффективности использования вычислительных ресурсов;
разработать архитектуру и принципы структурной организации системы мониторинга и управления состоянием распределенной информационной системы для исследования эффективности предложенных подходов.
Методы исследования. В качестве теоретической и методологической основы диссертационного исследования использованы методы математического моделирования, оптимизации, объектно-ориентированного проектирования, теория множеств и теория графов.
Тематика работы соответствует следующим пунктам паспорта специальности 05.13.11: п. 3 «Модели, методы, алгоритмы, языки и программные инструменты для организации взаимодействия программ и программных систем», п. 8 «Модели и методы создания программ и программных систем для параллельной и распределенной обработки данных, языки и инструментальные средства параллельного программирования», п. 10 «Оценка качества, стандартизация и сопровождение программных систем».
Научная новизна. В работе получены следующие результаты, отличающиеся научной новизной:
- математическое обеспечение процедуры планирования распределения
задач между узлами, отличающееся реализацией метода совместного
протоколирования метаданных и метрик загрузки ресурсов, обеспечивающее
предотвращение отказа системы за счет использования отображения задач на вычислительные ресурсы;
модификация алгоритма выделения ресурсов, отличающаяся использованием локализованного хэширования, и обеспечивающая учёт типов атрибутов и их значимости для потребления ресурсов при выборке элементов;
математическая модель распределенной вычислительной среды на основе корреляционного разложения данных, построенная на основе иерархической модели доступа к данным и внутреннего информационного взаимодействия, и обеспечивающая повышенную оперативность формирования данных на основе запросов, описание технологии системы с входным потоком и емкостью узлов коэффициентом, стремящимся к бесконечности;
архитектура программного комплекса мониторинга, реализующая механизмы на основе мультипроцессорных решений, отличающиеся возможностью масштабирования и обеспечивающая требуемое быстродействие при межмодульном взаимодействии за счет формирования однотипных запросов в рамках СУБД с использованием методов адаптивной выборки.
Практическая значимость заключается в программной реализации системы мониторинга и управления состоянием распределенной информационной системы с целью оперативного формирования и управления нагрузкой системы. Разработана архитектура программного комплекса, созданы инструменты управления электронной очередью заданий на обслуживание многопроцессорных систем. Использование разработанных в диссертации моделей и алгоритмов позволяет тиражировать разработки, осуществлять их массовое внедрение при существенном сокращении средств и трудозатрат. На элементы программных средств получено свидетельство о государственной регистрации.
Реализация и внедрение результатов работы. Теоретические и практические результаты исследований, реализованные в виде программного комплекса мониторинга и управления состоянием распределенной информационной системы, получили внедрение в рабочий процесс ООО ФПК «Космос-Нефть-Газ».
Основные результаты работы внедрены в учебный процесс Воронежского государственного технического университета в рамках дисциплин: «Вычислительные машины, системы и сети», «Информационные сети и телекоммуникационные технологии», при выполнении курсового и дипломного проектирования.
Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на следующих конференциях: XIX-ой Международной научно-практической конференции «Modern Informatization Problems» (Yelm, WA, USA, 2014); XX-ой Международной открытой научной конференции «Modern informatization problems in the technological and telecommunication systems analysis and synthesis» (Yelm, WA, USA, 2015); XII-ой Международной научно-практической конференции «Современные инструментальные системы, информационные технологии и инновации»
(Курск, 2015); Международной летней научной школе «Парадигма» (Варна, Болгария, 2015).
Публикации. По теме исследования опубликовано 14 работ, отражающих основные положения исследования, в т.ч. 4 статьи в журналах, рекомендованных ВАК РФ; 2 свидетельства о государственной регистрации программ для ЭВМ.
В работах, опубликованных в соавторстве, и приведенных в автореферате, личный вклад соискателя состоит: в [1,3] – техники оптимизации управления сложными объектами в системах моделирования; [2,4,8] – разработка модели базы данных распределенной информационной системы с анализом временных рамок использования пространственной памяти и коммуникационной сложности и их программная реализация; [7,11,14] – предложен метод расчета с применением хеш-функции по бесконечно длинным последовательностям в системах потоковой передачи данных; [10,12] – математическая модель распределенной вычислительной среды на основе корреляционного разложения данных, обеспечивающая повышенную оперативность формирования данных системы с входным потоком и емкостью узлов коэффициентом, стремящимся к бесконечности; [5,6] – организация универсального программного комплекса распределенной информационной системы мониторинга.
Объем и структура работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы. Она содержит 129 страниц основного текста, 39 рисунков, 2 таблицы. Список библиографических источников включает 131 наименование.
Мониторинг и анализ функционирования многопроцессорных и распределенных вычислительных систем
В приложениях связывающих распределенные источники данных (таких как распространение контента, мониторинг внутренней сети и обработка данных датчиками), ни один узел не просматривает все данные, но агрегаты должны быть вычислены при объединении данных, наблюдаемых во всех узлах. Решением данной проблемы могла бы послужить отправка всех потоков к одному накопителю, но такой подход является слишком дорогостоящим, так как существует связь и метка для каждого элемента в каждом потоке. Чтобы повысить производительность, потоки данных должны быть объединены более эффективно, для того, чтобы свести к минимуму использование сетевых ресурсов. Это очень важно, особенно в сенсорных сетях.
В разрабатываемом методе будет определен агрегатор для каждого потока. Каждый агрегатор поддерживает небольшое пространство – эскиз, суммирующий свой локальный поток. Все эскизы для совместных потоков могут быть объединены распределено. Эскизы локальных потоков будут объединены компактно и без потерь, то есть сложность коммуникации и точность эскиза при объединении такие же, как для локальных потоков. Кроме того, эскизы при объединении могут быть построены по требованию, на выходе новых запросов. Отличие от предыдущих работ [100; 101; 114] в расчете синхронной модели распределенных потоков, где рассматривается совокупное вычисление распределенных потоков при асинхронном прибытии. Такие случаи возникают в реальной сетевой среде за счет маршрутизации на многолучевые направления, чтобы увеличить вероятность доставки данных, но только одну копию таких повторных вхождений следует учитывать при оценке агрегатов по потоку.
В данной работе рассмотрено время распада при потоковой обработке асинхронных данных, спроектированы пространственные алгоритмы для больших данных в условиях распределенных информационных потоков.
Рассматривается метод сохранения эскизов элементов данных в скользящих окнах при потоковой обработке асинхронных данных. Эскизы могут дать точные оценки в скользящих окнах двух основных агрегатов потока чисел: суммы и медианы. Пространство и время, необходимые для выполнения запросов по эскизам рассчитываются логарифмически относительно максимального размера окна. После чего эскизы могут быть компактно и без потерь объединены, что значимо при объединении информационных данных.
При асинхронной модели данных, передаваемых в распределенных информационных системах, многие приложения исследуют только самые последние элементы в потоке, данные играют важную роль в вычислении агрегатов и статистики, а старые стираются. Например, в потоке данных фондового рынка, программное обеспечение может отслеживать скользящее среднее значение цены на акции, наблюдаемых за прошедший час. В сети мониторинга, полезно контролировать объем трафика, предназначенного для данного узла во время последнего окна. В сенсорных сетях, только самые последние данные при зондировании актуальны, например, измерения сейсмической активности в течение нескольких минут. Разработка приложений и алгоритмов для поддержания агрегатов скользящих окон требует много затрат [79; 84; 95; 97; 101; 114]. До сих пор все работы для поддержки агрегатов скользящих окон использованы лишь при обработке синхронных данных, где порядок поступления данных в потоке такой же, как временной порядок, в котором они были созданы. Однако это предложение не может быть применимо к распределенным системам.
Проблема с поддержанием агрегатов временных меток скользящих окон заключается в том, что данные в окне могут быть большого объема, без возможности хранения данных в рабочей области агрегатора. Чтобы преодолеть это ограничение используется фундаментальный метод вычисления агрегатов, используется небольшое пространство - эскиз, который содержит краткое изложение всех данных прибывших в пределах окна. Как правило, размер эскиза значительно меньше, чем размер данных в пределах окна. Цель в том, чтобы вычислить и создать эскизы, размеры которых логарифмически укладываются в пределы окна. Эскиз строится достаточного объема, что позволяет эффективно расположить в нем вычисления агрегатов. Так как эскиз не может сохранить полную информацию о потоках в небольшом пространстве памяти, существует относительная погрешность эскиза по отношению к точному значению агрегата. Размер эскиза зависит от этой относительной погрешности.
Модели разложения потока данных на корреляционные элементы
Непосредственно предполагать способ поддержки значения U межпроцессорным арбитром, чтобы обеспечить Процессору-А и Процессору-В непрерывный обмен их потоковыми элементами. Арбитр делает простое вычисление U за один проход двух потоков, используя O(log n) бит рабочей области [34].
Однако такой подход приводит к высокой стоимости связи между программными узлами, что запрещено во многих приложениях. Чтобы сократить стоимость связи, Gibbons P. и Tirthapura S. (в дальнейшем - GT) предложили ускоренный вариант вычислительной методики [101], где каждый программный узел сохраняет структуру данных малого пространства без передачи данных друг другу и арбитру на протяжении потоковой обработки массива данных. При поступлении запроса, арбитр сначала уведомит Процессор-А и Процессор-В, а затем от начальных вариаций восстановит знание U. Тем не менее, в соответствии с распределенной схемой вычислений при удаленности программных узлов необходимо Q(n) бит, чтобы получить точное значение U даже для смешанных (детерминированных) алгоритмов [89].
Показано, что необходимо Q(4n) бит рабочей области с границей относительной погрешности на каждом программном узле для вычисления приближенного значения U, если Процессор-А и Процессор-В независимо распределяют свои потоки [100]. Для того чтобы придти к компромиссу между использованием рабочей области и эффективностью коммуникационных связей, GT предложили технику скоординированной адаптивной выборки (четкое осуществление выборки), которая использует только 0((lls2)\og(\l8)\ogn) бит рабочей области на каждом программном узле и определяет арбитр 0((11 є2 )\og(\l 8)\ogn) бит на коммуникации ссылок и запросы. Таким образом, данный метод гарантирует (є,д) -оценку для U [101].
Данный алгоритм может быть тривиально расширен, чтобы обеспечить (є,8) -оценку для U при работе с большим количеством потоков, не изменяя параметры рабочей области и пространство коммуникационной связи. Определение 1. Параметры є и 8 д(є,8(\, где (є,8) оценка неотрицательной переменной X (X случайная переменная): Рг[х-х Г 1- (3) В частности, (є,0) -оценка - также использует є -оценку. Определение 2. Поток бит {аъа2,...,ап} называется у -случайным битовым потоком, если все элементы в потоке взаимно независимы и Рг[аг = 1] у для i=1,2,...,n, где 0 у 1- константа. Необходимо разработать дискретный способ распределения информационных потоков в системах обмена данными, применив иную хэш функцию, обеспечивающую: повышение производительности системы, уменьшение временных рамок обработки потоков, снижение требований к объему памяти [94].
С использованием метода быстрой выборки (просмотр потока осуществляется без необходимости проверки каждого потокового элемента ai+l, ai+2,..., dj+d-i) увеличится скорость обработки (є, 8) -оценки и уменьшится среднее общее время обработки у -случайного битового потока до Of—log 2«log —), при использовании программным узлом ys2 3 Of\hg-hgn) бит рабочей области. При этом каждый программный узел будет поддерживать образец некоторого известного размера а, храня бит-индекс потокового расположения в образце с некоторой вероятностью р. Вероятность образца определяется уровнем образца l, который начинается с 0 и увеличивается по направлению 1,2,... . Q(4N) бит рабочей области необходимо каждому программному узлу для оценки распределенного расчета при относительной погрешности и использовании общей хэш-функции. При имитации проведения процедуры отбора образцов n-потоковых элементов из 1/2/+1 + 1/2/+2+...+1/2и 1/2/ (где каждое потоковое расположение выбирается с вероятностью ,Р/=1/2/), количество объединенных 1-бит умноженное на 1/ /тах будет возвращено арбитру в качестве ответа на запрос U. Рекурсивное разложение основано на некоторых свойствах хэш-функции h:{l,2,...,n}- {0,l,...,p-l} и определяется как: h(x)=(ax+b) mod p. Так как значения в памяти равномерно распределены на промежутке {0,1,...,р-1}, вероятность отбора любого 1-бит в типовом уровне l определяется по формуле Pl=\Rl\lp = [pl2l ]1р \121 , что будет использовано при скоординированной адаптивной выборке. Структура высокого уровня разрабатываемого метода является координируемым адаптивным осуществлением выборки GT [101], но использует другую хэш-функцию при случайной выборке. Случайная выборка из потока данных происходит без необходимости проверки каждого потокового элемента. Таблица 1.1 представляет сравнение производительности разрабатываемого метода и метода GT.
Алгоритм поиска элементов
В работе описано полное представление о методе расчета при объединении нескольких потоков, с доказательством работы программы и анализом временных рамок использования пространственной памяти и коммуникационной сложности [5].
Формальное описание алгоритма представлено на рисунке 1. Один образец алгоритма автоматически не приводит к параметру (є, S) для оценки U, но производит оценку в пределах фактора с постоянной вероятностью є. Стандартная методика сокращения вероятности - возвращение медианы результатов пользователю из образцов от константы к входному параметру 8, в подобных случаях занимает 0(hg(l/S)) времени.
Полная структура алгоритма является координируемым адаптивным осуществлением выборки, но использует хэш-функцию h, и поэтому может использовать сквозную выборку в качестве подпрограммы для более быстрой пробующей процедуры. Беспорядочно выбирается парами независимая хэш-функция h, далее для координируемого осуществления выборки, хэш-функция h разделяет потоковые Процессоры-А -Б и арбитр. Каждый параметр программного узла начинается с пустого образца размера а = [60/є2] и типового горизонтального уровня / = 0.
Алгоритм не проверяет хэш-значение каждого потокового элемента. После обработки потокового элемента алгоритма а{ используется функция
DirectSample(i+l,l,p,а,b), для поиска следующего потокового элемента, который нужно проверить в текущем типовом горизонтальном уровне /. Алгоритм находится в режиме ожидания, пока функция не сработает.
Когда найден элемент, чей индекс расположения вернул DirectSample, он будет выбран образцом, если это часть уровня /. Алгоритму не нужно проверять элементы хэш-значений, так как они гарантировано существуют, чтобы параметр Rj присутствовал в DirectSample. После того, как элемент потока обработан, обращение к функции дает следующее потоковое расположение, в котором нужно будет проверить потоковый элемент. Рисунок 3.5 – Процесс отбора образцов из элементов потока
Если после вставки нового элемента образец становится избыточным, типовой уровень увеличится на единицу. Все потоковые элементы, которые находятся в настоящий момент в образце, если их хэш-значения принадлежат Rl , иначе они будут сброшены. Типовой уровень будет продолжать увеличиваться, пока образец не заполнится. Есть вероятность при которой типовой уровень может превысить [log p], если это происходит -предложенный алгоритм следует скорректировать.
Так как разработанный метод использует координируемое адаптивное осуществление выборки на высоком уровне, но использует функцию ускорения решения DirectSample, то доказательство корректности работы метода следует из структуры доказательства метода GT [100]. Полное доказательство с иной хэш-функцией представлено ниже. Разница между Алгоритмами 1 и 4 в поведении программных узлов. Программные узлы в Алгоритме 1 обрабатывают каждый поступающий потоковый элемент, тогда как программные узлы Алгоритма 4 пренебрегают теми потоковыми элементами, которые не имеют возможности быть выбранными в образец. Благодаря корректности функции DirectSample Алгоритм 4 предназначен для более быстрого осуществления выборки, получившего тот же поток данных и используя ту же хэш-функцию. Программный узел, используя Алгоритм 1, завершит поиск с тем же количеством отобранных элементов, что и программный узел, используя Алгоритм 4 после обработки потока. Поведение арбитра в обоих алгоритмах идентично: те же распространяемые потоки и хэш функционируют для координируемого осуществления выборки. Ответ, возвращенный арбитру Алгоритмом 1 будет тем же, что возвращено арбитру Алгоритмом 4. Поэтому, доказательство корректности Алгоритма 4 представлено доказательством правильности программы Алгоритма 1 [100].
Так lA={l i n\af = 1}, /5 = {1 / % = 1} и lv = {1 і ф. vbt = 1}. Поскольку процедуры отбора элементов на программных узлах и арбитра координируются, полученный от арбитра в момент запроса образец можно рассматривать единично, чьи элементы непосредственно берет арбитр из потокового IJJ . Качество ответа возвращенного арбитру определяет этот образец, так доказательство правильности работы программы будет сконцентрировано на анализе этого образца. Так как U(A,B) = =l(at vbt), следовательно \lu\ = U(A,B). U использовано для представления в виде U(А;B). Следующий процесс гипотетический, служит только доказательством корректности программы и фактически не оказывает действия на арбитраж. Арбитр поддерживает образцы [1оР] + 1 уровня / = 0,1,...,[log р]. Для каждого і є lv элемент і выбирается в образце уровня /, тогда и только тогда, когда h(i) є Rj.
Структура и реализация программного комплекса мониторинга
Мониторинг каналов подачи данных в разложении по времени позволяет контролировать чувствительность (интервал агрегации), адаптивность (количество историй) и стабильность (контроль задержки) процесса. Измерение временного интервала агрегации данных, на котором могут быть обнаружены ошибки, определяет степень его детализации.
Кратковременный интервал допускает обнаружение незначительных ошибок степени детализации, но вводит значительные различия в процесс. Длинный временной интервал более стабилен и надежен в работе, но может скрывать компенсирующие ошибки (в пределах одного временного интервала может наблюдаться разное количество файлов). Обнаружение ошибок с использованием нескольких временных интервалов агрегации позволяет эффективно бороться с этой проблемой.
Длина скользящего окна определяет степень актуальности данных и используется для построения прогнозируемой модели. Длинное окно не позволит быстро идентифицировать новые ошибки, в то время как короткое окно может привести к некорректной обработке, поэтому необходимо использовать многократные длины окон. Контролирующая временная задержка и ее измерение, определяет и сигнализирует, как быстро ошибки могут быть обнаружены. Короткая контрольная временная задержка позволяет быстро сравнить образец с наблюдаемым объектом, но не учитывает перемену графиков входных каналов данных. Долгое время задержки мониторинга гарантирует прием данных с запаздываниями, но администратор не сможет своевременно отреагировать на сбои.
Где уровень обработки данных включает: распределенное хранение статистики, хранение данных в исходном - не агрегированном виде, редупликацию и агрегацию информации, корреляцию событий с использованием временных меток и сервисной модели. Осуществляется автоматическое вычисление динамических границ параметров на основе коррелированных данных, прогнозирование изменения их значений. Использование служб API для интеграции с внешними информационными системами.
Программа «Система управления электронной очередью заданий на обслуживание» [32] предназначена для организации обслуживания потока заявок на обслуживание, а также предусматривает возможность интеграции программного комплекса с системами оперативного учета и дополнения возможностей онлайн сервисов. Программа обеспечивает пользователю следующие возможности: — расчет вероятных времен ожидания обслуживания; — запись и управление потоком заявок на обслуживание; — распределение заявок после выхода их из очереди; — вывод информации об эффективности обслуживания; — вывод информации о потерях заявок на обслуживание; — сохранение и распечатка результатов. Используя WEB-интерфейс в локальной сети организовано взаимодействие системы с СУБД. При реализации функционала системы исполнены основные блоки, показанные на рисунке ниже.
После разработки структурной модели установлен общий алгоритм взаимодействия данных в модулях системы, то есть четко разграничено какие модули и в какой момент будут передавать необходимые данные пользователю либо другим модулям и их библиотекам. Все отчеты генерируются автоматически, используя выборки информации из баз данных.
Корректность обработки заданий определяется степенью тестирования процесса обработки и выборки значений переменных в периоды их изменения. Крайне сложно для много-структурированных программ проведение тестирования до ввода в эксплуатацию с учетом всех значений переменных, которые могут появиться лишь при реальном функционировании программы. Контроль чтения и записи экземпляров объединяет построение информационных связей между операторами и выявление недопустимых сочетаний операций считывания и записи экземпляров. Так же необходима проверка записей и их хранением в памяти, чтобы избежать накладок дополнительной записи в одну область памяти разных величин [35].
Так как данная система предназначена для обработки запросов внутренних задач, то необходимо разграничение прав доступа к ресурсам. При разработке схемы алгоритма учтены следующие функции: контроль работы системы; просмотр, редакция и добавление запросов. Порядок работы модуля представлен на рисунке 4.14.
Работа с данными представлена как обработка записей отчета с помощью запросов, формируемых посредством графического интерфейса. Для реализации вывода отчетов используется программный модуль, обеспечивающий доступ к базе данных, выборку из нее необходимой информации по параметрам и вывод документа на печать. Проверка корректности запроса и наличия информации по указанным параметрам, при наличии ошибок или отсутствии данных сообщит об ошибке. Схема работы модуля вывода отчетов представлена на рисунке 4.15.
В данной системе каждая из функций реализована программным модулем, каждый из которых имеет возможность выполнения обусловленных операций (таких как: корректировка информации, поиск данных, формирование отчетов). Процессы заполнения, корректировки и поиска данных во всех модулях реализованы единым способом. При добавлении и редактировании данных применяется контроль правильности ввода информации, путем ее сравнения с необходимым типом, диапазоном изменения возможных значений, маской ввода и т.д. При заполнении некорректной информации использована система предупреждения сообщениями. Основой для работы системы является реляционная база данных. Для упрощения разработки использована CMS (система управления данными), размещенная на одном из серверов.