Содержание к диссертации
Введение
1 Современные технологии сбора и обработки оперативной информации 9
1.1 Средства сбора и обработки оперативных данных 9
1.2 Структура представления данных в потоковых информационных системах 10
1.2.1 Архитектура обмена информацией 11
1.2.2 Модель хранения оперативных данных 15
1.3 Выводы по первой главе 28
2 Структура СОБДВР 29
2.1 Минимизация области хранения числовых потоковых данных 29
2.1.1 Использование современных алгоритмов сжатия информации 29
2.1.2 Принцип хранения данных в приращениях (Структура СОБДВР)... 43
2.1.3 Концепция организации СОБДВР (Поиск данных) 49
2.2 Выводы по второй главе 52
3 Метод обработки данных при последовательном опросе источников 52
3.1 Линейная коррекция значений по трем точкам и метод среднеквадратичного приближения 52
3.2 Выводы по третьей главе 63
4 Оперативная система сбора информации для экспериментальной установки радиоактивных имитаторов 63
4.1 Состав и назначение экспериментальной установки ИПХТ 64
4.2 Требования к системе контроля, сбора и отображения информации установки ИПХТ 68
4.3 Технические средства, используемые для контроля экспериментальных процессов 70
4.3.1 Характеристики датчиков 70
4.3.2 Характеристики вторичных приборов 77
4.3.3 Характеристика системы контроля 82
4.3.4 Система контроля параметров ИПХТ 83
4.3.5 Состав и принцип действия системы 84
4.3.6 Программное обеспечение системы контроля параметров 85
4.3.7 Отображение информации 88
4.3.8 Конструктивная проработка системы 92
4.3.9 Тестирование программного обеспечения СОБДВР 93
4.4 Выводы по четвертой главе 94
Заключение 95
Список использованных источников
- Структура представления данных в потоковых информационных системах
- Использование современных алгоритмов сжатия информации
- Линейная коррекция значений по трем точкам и метод среднеквадратичного приближения
- Требования к системе контроля, сбора и отображения информации установки ИПХТ
Введение к работе
Появление на информационном рынке все более быстродействующих компьютерных технологий, влечет за собой разработку и внедрение все более насыщенного с технической точки зрения программного обеспечения (ПО), создание программных пакетов (ПП), предназначенных для решения сложных задач вычислительного характера. Сфера применения программных средств обширна и распространяется практически на все области деятельности человека, среди которых наиболее актуальной, по мнению автора, является область автономных систем сбора, обработки и хранения оперативной информации (в контексте данной работы понятие оперативных данных более расширено по отношению к общепринятому их понятию)1. Такие системы могут иметь место и для мониторинга физических объектов в условиях радиационной обстановки, и в экономической сфере или сфере финансов — для хранения информации о курсах валют или ценных бумагах. В той или иной степени каждая такая система решает круг схожих по составу задач:
сбор информации о наблюдаемом объекте;
обработка уже накопленной информации;
выдача управляющих воздействий в той или иной форме.
В зависимости от вида системы, управление представляет собой воздействия на физическом или информационном уровне, направленные на поддержание или улучшение функционирования управляемого объекта в соответствии с имеющимся алгоритмом или целью управления.
Различают два основных типа систем сбора, обработки и хранения: 1. системы, предназначенные для различных процессов в широком смысле этого слова, используются при непосредственном управлении, технологическими процессами на физическом уровне процесса или в экономической области - для сбора важных сведений о различных ценовых показателях;
1 Оперативные данные - это текущие и исторические данные, доступ к которым необходим в реальном времени.
2. системы информационного управления, имеющие дело с объектами организационной природы, предназначенные для решения задач наблюдения за такими сложными объектами, как крупные технические, военные, строительные подразделения и т.д.
Главное отличие между ними заключается в характере объекта наблюдения и управления. В первом случае это всевозможные установки, механизмы, приборы, станки и прочее оборудование, во втором — прежде всего люди. Но как первый тип, так и второй имеет одну общую черту, которая заключается в том, что, несмотря на назначение системы, в любом случае информация об объекте должна поддаваться анализу, вследствие чего, ее необходимо интенсивно собирать и при этом долговременно хранить.
Как правило, персоналу, занятому, в сфере рассматриваемой предметной области всегда не хватает данных о состоянии контролируемых объектов. Операторам, специалистам, ремонтному персоналу, начальникам - всем нужен доступ к текущим и накопленным оперативным данным, итоговой информации и т.д. Все они хотели бы иметь какое-нибудь единое средство доступа к данным, например, мощную и открытую систему, предоставляющую такую возможность. Типичным примером подобных систем могут служить программные пакеты SCADA (системы диспетчерского управления и сбора данных), которые наряду со средствами управления включают и средства для организации области хранения данных. Концепция SCADA предопределена всем ходом развития систем управления и результатами научно-технического прогресса. Внедрение SCADA-технологий в системы сбора, обработки и хранения позволяет достичь высокого уровня автоматизации в решении широкого круга задач по управлению сложными промышленными объектами. При этом полноценный эффект от применения достигается посредством взаимодействия с базами данных (БД), оптимизированными для хранения временных рядов (БДВР).
Если со вторым типом систем управления вопросов о хранении информации не возникает, так как используемые БДВР унаследовали весь аппарат,
накопленный за время существования передовых СУБД, то с первым типом возникает ряд законных соображений.
База данных временных рядов как технология предназначена, как для хранения данных второго типа систем, так и для долговременного хранения данных первого типа с возможностью быстрого доступа к накопленной ранее информации, в том числе — для полноценной организации всей информационной системы (ИС) контролируемого объекта, и обладающая для этого характерными особенностями:
имеет заранее определенный динамический характер;
обрабатываемая информация представляет собой, числовую последовательность с привязкой ко времени;
опрос контролируемых параметров происходит последовательно, в заранее установленном порядке.
Следуя выше отмеченному, можно сказать, что ИС для системы сбора, и обработки есть специализированная оперативная БДВР (СОБДВР), разработанная согласно особенностям промышленной, экономической, а в частном случае технологической системы, а перечисленные выше моменты характеризуют технические требования к этой СОБДВР.
Актуальность темы. На данный момент системы сбора и обработки оперативных данных основываются на различных концепциях проектирования БДВР, в частности на реляционной, ,которая получила в этой среде чрезвычайно большое распространение. Связано это с тем, что технология является достаточно простой, полностью отработанной и общепринятой в современных приложениях, а мощь и гибкость языка SQL превосходят характеристики различных узкоспециализированных интерфейсов, пришедших в производственную среду. Но применение реляционных БД (РБД) для хранения временных рядов при отсутствии минимизации объема хранимых данных не всегда позволяет обеспечить эффективный сбор и сохранить большой количество информации без потерь, а с применением настоящих методов сжатия - обеспечить к ним быстрый доступ:
Производственные или экономические процессы генерируют данные в реальном времени и больших объемов, так, что порождаемые ими потоки представляют собой интенсивно добавляющиеся числовые данные, не подвергающиеся какому-либо сжатию на этапе работы системы. Например, многомесячная БДВР завода с 7500 рабочими переменными может требовать дисковой памяти объемом свыше 1 Терабайта [27].
Современные методы сжатия не обеспечивают оперативный доступ к сохраненным данным.
Инструментальные средства сбора и хранения располагают недостаточными возможностями для дополнительной обработки привязанных ко времени данных.
Цель работы состоит в разработке математического и программного обеспечения специализированной БДВР, направленного на повышении эффективности хранения числовых данных в системах сбора и обработки оперативной информации.
Для достижения поставленной цели решаются следующие основные задачи:
анализ применимости современных способов организации БДВР;
разработка принципиальной структуры специализированной оперативной БДВР (СОБДВР);
построение логического представления СОБДВР;
разработка метода хранения оперативных числовых данных, с ограничением на конечную разность первого порядка;
разработка основных принципов взаимодействия с СОБДВР;
разработка нового метода коррекции временного ряда получаемых числовых данных;
разработка программного обеспечения, основанного на предложенном методе хранения и восстановления данных.
Обоснованность научных положений, выводов и рекомендаций.
Обоснованность и адекватность новой структуры СОБДВР подтверждается результатами проведенных экспериментальных исследований, продемонстрировавших существенное сокращение объемов БДВР при хранении оперативной информации с возможностью малого времени доступа к данным. Научная новизна диссертационной работы состоит в следующем:
разработан метод хранения значений числового временного ряда, основанный на вычислении конечных разностей первого порядка и обеспечивающий возможность, сокращая объем хранимых данных при ограничении на конечную разность, одновременно получить быстрый доступ к ним;
предложен алгоритм оперативного восстановления данных для разработанного метода хранения;
разработан метод коррекции временного ряда получаемых числовых данных при последовательном опросе информационных источников.
Практическая ценность результатов работы заключается в:
организации специализированной БДВР, позволяющей обеспечить хранение оперативной числовой информации на основе предложенного метода хранения;
реализации комплекса программных средств, позволяющих в 10 раз сократить объем дисковой памяти, необходимой для размещения БДВР и обеспечить высокую скорость доступа к информации.
На базе предложенной концепции и разработанных в диссертации принципов организации систем сбора и обработки оперативных данных было разработано и зарегистрировано (Приложение А) программное обеспечение, характеризующее основные преимущества СОБДВР, и используемое в данный момент на опытной промышленной установке радиоактивных имитаторов в ГУП МосНПО «Радон».
Структура представления данных в потоковых информационных системах
В качестве программных интерфейсов связи между ЭВМ оператора и узлами, определяющими специфику объекта наблюдения, как правило, выступают два стандарта обмена данными: DDE с его модификацией NETDDE и протокол обмена ОРС.
Динамический обмен данными (DDE - Dynamic Data Exchange) представляет собой технологию, существующую достаточно давно. Она связана с передачей данных между приложениями, работающими под управлением операционной системы Windows. Два приложения (сервер и клиент) динамически взаимодействуют и обмениваются текстовыми сообщениями во время их выполнения, при этом изменения в одном приложении немедленно отражаются во втором приложении. Технология имеет ряд преимуществ, среди которых имеется возможность не только обмениваться данными, но и управлять одним из клиентских приложений [13].
При динамическом обмене две программные системы, участвующие во взаимодействии через стандарт DDE соблюдают некоторые соглашения и устанавливают между собой непосредственную связь на время передачи данных. При этом программа, запрашивающая данные, становится клиентом, а программа, служащая источником данных, является сервером. В зависимости от направления передачи данных одно и то же приложение может одновременно быть и клиентом, и сервером.
Организация обмена данными через протокол DDE включает в себя два этапа:
1. установление связи между клиентом и сервером (может устанавливаться как при разработке, так и при выполнении приложения);
2. собственно передача текстовых данных, при этом возможны следующие действия: - получение данных от сервера; - передача данных на сервер; - посылка серверу команд [13].
Обычно комплектация аппаратно-программных средств оперативной обработки (ПЛК) включает в состав некоторую реализацию сервера обмена DDE, тогда как клиентская часть разрабатывается своими силами при помощи доступных для решения этой задачи программных средств (например, как в нашем случае Delphi).
Следующим шагом в развитии протоколов обмена информацией послужил стандарт ОРС. ОРС - это аббревиатура от OLE for Process Control, или OLE для Управления Процессами. Если принять это во внимание, то можно сказать, что ключевыми словами для понимания изложения являются технология Microsoft OLE и интеграция. Точнее, спрятанное под термином OLE обозначение СОМ. Стандарт позиционируется для взаимодействия программных компонентов систем сбора данных и характеризует, прежде всего, два основных понятия:
1. Автоматизация, то есть собственно автоматизация производства. Но, кроме того, это также OLE-автоматизация (даже без приставки OLE).
2. Интерфейс в общепринятых смыслах (их несколько). Но это также интерфейсы объектов СОМ. И ещё это интерфейсы серверов (например, интерфейс автоматизации) [23].
На первый взгляд отличия интерфейса ОРС от стандарта DDE не значительны: одни приложения читают или записывают данные в другие приложения. Тогда как при детальном изучении протокола ОРС можно определить его характерные преимущества; среди них: поддержка числовых типов данных, внедрение между приложениями обмена событиями, оповещение о нештатных ситуациях (тревогах), доступ к данным, зарегистрированных в технологических архивах. Кроме того, появилась возможность располагать взаимодействующие приложения как на одном компьютере, так и сделать их распределенными по сети.
Независимо от фирмы-поставщика стандарт OLE for Process Control, признанный и поддерживаемый всеми ведущими фирмами-производителями SCADA-систем и оборудования, способен обеспечивает их совместное функционирование. То есть, сегодня разработка автоматизированных систем сбора данных может не ориентироваться целиком на «монолитные» решения, предлагаемые тем или иным поставщиком, гарантирующим совместимость работы своего оборудования, а выбирать оптимальные для своей системы компоненты (оборудование и программное обеспечение).
Стандарт состоит из трех основных спецификаций: 1. Data Access; 2. Alarms & Events; 3. Historical Data Access.
Спецификация Data Access (DA) предназначена для поставки оперативных данных от оборудования и/или к оборудованию. DA имеет две версии интерфейсов: 1.0 и 2.0. С точки зрения СОМ, это самостоятельные спецификации. ОРС-клиент предварительно запрашивает, может ли он работать с нужным ему СОМ-интерфейсом в используемом ОРС-сервере. С точки зрения функциональности, в версии 2.0 механизм уведомления клиента приведён к стандартному механизму COM/DCOM, что упрощает программирование.
Спецификация Alarms and Events - спецификация СОМ-интерфейсов для обслуживания событий (event) и нештатных ситуаций (alarm).
Спецификация Historical Data Access - спецификация СОМ-интерфейсов для работы с хранилищами данными, которые, лежат в основе систем сбора, обработки и хранения информации.
ОРС-взаимодействие реализовано по клиент-серверной, как и в DDE, схеме. ОРС-клиент, вызывая определенные функции объекта ОРС-сервера, подписывается на получение определенных данных с определенной частотой (рисунок 1.2).
Использование современных алгоритмов сжатия информации
На данный момент большинство современных систем слежения за протекающими процессами в сфере производства и экономики организуются со гласно схеме последовательного получения данных с объектов наблюдения (различных установок, механизмов, органов управления, технологических датчиков и т.д.). При большом количестве таких объектов, а соответственно и параметров наблюдения в пределах одной системы, полученные данные могут оказаться не совсем корректными или «качественными».
Для каждого опрашиваемого параметра характерна его динамика изменения. Учитывая данного рода динамику можно определить, на сколько изменится его значение через заданное время.
Процесс обновления оперативных данных происходит в два этапа: - инициализация запроса к серверу обмена; - получение данных от сервера.
Таким образом, с целью повышения достоверности опрашиваемой информации предлагается использование дополнительного метода обработки на этапе получения данных от сервера обмена.
Как первый, так и второй этап фиксируется во времени {tj, t2), при этом разница Авр = t2\ характеризует время запаздывания, вследствие которого, интенсивно меняющиеся числовые данные принимают ошибочные значения для текущего момента опроса.
Для сопоставления данных их времени опроса предлагается использовать следующий метод:
1. С течением времени определяется порядок опроса каналов, и наиболее интенсивно меняющиеся параметры наблюдения опрашиваются первыми. Это уменьшает задержку на получение новых значений, а соответственно возрастает их «качество».
2. С получением данных производится их корректировка относительно времени запаздывания. В результате чего информация в СОБДВР фиксируются согласно установленному периоду опроса каналов.
Итак, условие задачи состоит в том, чтобы максимально сопоставить значение параметра соответствующему моменту времени его запроса. Для этого: - период опроса устанавливается, как т; - каждый параметр наблюдения опрашивается последовательно, в порядке формируемой, согласно пункту 1, очереди; - для каждого получаемого значения находится упомянутое ранее Авр; - скорость изменения в пределах одного участка обновления (r+t3an) считается постоянной.
На рисунке 3.1 представлена схема вероятного развития событий при опросе и получении данных одного параметра, ограниченная участком времени [tj.]-, ti+j]. Согласно ему, скорость изменения данного параметра для времени tt в действительности не известна, поэтому в рамках данного метода рассматриваются 2 возможных варианта: 1. изменение скорости произошло непосредственно в момент запаздывания (ti+t3an);
В результате совмещения двух рассматриваемых случаев получаяется числовой отрезок [Z,j, ZtJ\ (рисунок 3.4), определяющий перечень вероятных значений параметра для заданного момента опроса.
Однако, для выбора конкретного из этих значений исходных данных явно не достаточно. Поэтому, выход предлагается путем введения в систему некоторого вспомогательного коэффициента Д характеризующего числовое соотношение между периодом г и интервалом запаздывания t3an:
Данное соотношение /? предусматривает, к какой из двух установленных границ Zij или Zij наиболее приближен результат. А для достижения данного результата, наряду с /? необходимо их определение. В итоге, согласно последнему условию о неизменности скорости на всем участке
обновления параметра, рассчет Ztj и Ztj ведется исходя из уравнения прямой. Следовательно, для Z/ /:
Линейная коррекция значений по трем точкам и метод среднеквадратичного приближения
Термопреобразователи ТСМУ-205 и ТХАУ-205 предназначены для непрерывного преобразования температуры жидких, газообразных и сыпучих веществ в унифицированный токовый выходной сигнал в системах автоматического контроля, регулирования и управления технологическими процессами.
По защищенности от воздействия окружающей среды термопреобразователи выполнены в пылеводозащитном исполнении. Степень защиты от проникновения пыли и воды IP54 по ГОСТ 14254-96.
В соответствии с ГОСТ 12997-84 термопреобразователи: - по устойчивости к климатическим воздействиям при эксплуатации соответствуют группе исполнения ДЗ при температуре окружающего воздуха от -50 С до +70 С; - по устойчивости к механическим воздействиям при эксплуатации соответствуют группе исполнения N3.
В соответствии с ГОСТ 30232-94 и ГОСТ 13384-93 термопреобразователи являются: - по зависимости выходного сигнала от преобразуемой температуры -с линейной зависимостью; - по связи между входными и выходными цепями - с гальванической связью.
Все датчики имеют встроенный преобразователь в токовый унифицированный сигнал 4-20 мА, обеспечивающий линейность преобразования во всем диапазоне измерения.
Показывающие приборы, используемые в оперативной системе сбора, контроля и отображения информации, предназначены для измерения температуры, а также других неэлектрических величин, значения которых преобразуются в электрические сигналы силы и напряжения постоянного тока или активное сопротивление.
Приборы являются универсальными по типу подключаемых датчиков и цифровыми по виду отображаемой на индикаторах и передаваемой в систему верхнего уровня информации.
Для исп ользования в составе автоматизированной системы выбраны показывающие приборы фирмы ЭЛЕМЕР ИРТ-5920 (одноканальный) и ТМ-5103 (восьмиканальный).
Данные приборы являются микропроцессорными приборами и предназначены для применения в автоматизированных системах контроля и управления как в автономном режиме, так и под управлением компьютерной программы через интерфейс RS-485.
Микропроцессорный блок управления прибора рассчитывает текущее значение измеряемой величины (по данным опроса АЦП), производит его преобразование (масштабирование, извлечение квадратного корня, линеаризацию), выводит преобразованное значение на индикатор, опрашивает клавиатуру, управляет исполнительным реле, модулями АЦП, ПВИ, выводит на индикаторы сообщения об ошибках и осуществляет связь по интерфейсу RS-485 с операторской ЭВМ.
Исполнительные реле релейного блока включаются (выключаются) в зависимости от соотношения величин измеряемого сигнала и уставок. Алгоритм поведения исполнительных реле задается (программируется) пользователем.
Модуль индикации содержит два четырехразрядных семисегментных светодиодных индикатора, светодиоды и кнопки управления. Модуль интерфейса RS-485 служит для подключения к компьютеру нескольких (до 100) приборов, объединенных в сеть. Схема подключения приведена на рисунке 4.7.
Для создания автоматизированной системы контроля параметров ИПХТ был проведен выбор технических средств и разработан комплект до ) кументации включающий в себя: - технологическую схему установки ИПХТ; - функциональную схему автоматизации установки ИПХТ; - структурную схему информационно-измерительного комплекса; - общую электрическую схему системы контроля; - принципиальную электрическую схему пульта контроля 1; - принципиальную электрическую схему пульта контроля 2; - принципиальную электрическую схему подключения датчиков к приборам ИРТ-5920; - принципиальную электрическую схему подключения датчиков к приборам ТМ-5103; - внешний вид передней панели пульта контроля 1; - внешний вид передней панели пульта контроля 2; - инструкции оператору для работы с СОБДВР; - инструкции инженеру для работы с СОБДВР.
Требования к системе контроля, сбора и отображения информации установки ИПХТ
Специализированный программный комплекс автоматизации «Холодный тигель» разработан с целью обеспечения автоматического слежения за изменениями технологических параметров установки во время проведения экспериментов и выполняет следующие задачи согласно спроектированным алгоритмам: - отображает показания технологических параметров; - проводит расчет тепловых потерь; - отображает тренды значений параметров в реальном времени и сохраняет их на жесткий диск в графическом формате; - сохраняет показания технологических переменных в 2-х режимах: а) стандартный архив параметров (в формате текстового файла); б) дублированный архив (в формате текстового файла и таблиц СОБДВР); - предоставляет оператору механизмы доступа к базе данных параметров во время работы программы.
Как было сказано выше, обмен информацией между нижним и верхним уровнем системы управления осуществляется с помощью специализированного программного обеспечения фирмы «Элемер» — «Elemer_OPC_Server».
Данный метод обмена данными программ верхнего уровня автоматизированных систем с приборами нижнего уровня через программу-посредник выбран, исходя из широкого применения и благодаря своей универсальности, так как одно и то же программное обеспечение верхнего уровня может работать с приборами различных производителей, для которых есть соответствующие программы-посредники.
Принцип работы программного обеспечения верхнего уровня автоматизированной системы представлен на рисунке 4.13.
Обмен данными между показывающими приборами и программой «Elemer_OPC_Server» является асинхронным и независимым по отношению к обмену данными между ПО «ColdCruicible» с интегрированной СОБДВР и программой «Elemer_OPC_Server». 1. - запрос программы «ColdCruicible» на получение значений технологических параметров; 2. - запрос программой «Elemer ОРСServer» данных с приборов; 3. - ответ приборов на запрос программы «Elemer OPCServer»; 4. - получение программой «ColdCruicible» запрошенных данных о текущих значениях технологических параметров и запись их в СОБДВР.
Программное обеспечение для автоматизированной системы оперативного сбора, отображения и хранения информации разработано с использованием пакета Delphi 6.0 фирмы Borland, ОРС-сервера фирмы «Элемер» и специального программного модуля DOPC vl.35, обеспечивающего доступ к данным ОРС-сервера.
В основе разработанного программного обеспечения лежит принцип раздельного программирования в рамках одной системы. То есть, каждый программный раздел предназначен для решения определенного круга задач (опрос приборов, ведения СОБДВР, отображение трендов и т.д.). Данный подход обеспечивает простую и понятную структуру организации разработанного программного обеспечения.
Программный комплекс «Холодный тигель» обладает рядом достоинств и преимуществ по отношению к готовым SCADA-пакетам или технологическим СУБД: - открытой архитектурой; - большими возможностями по модернизации; - небольшой ресурсоемкостью; - повышенной надежностью хранения накопленных данных; - большой функциональностью; - оперативным доступом к сохраненной информации.
Значения технологических параметров отображаются в реальном времени как на приборах, установленных на пультах контроля, так и на мнемосхемах верхнего уровня системы. При этом вся полученная информация отображается в цифровом и графическом виде.
В цифровом виде представлены значения технологических параметров считанные непосредственно с приборов, а в графическом виде - рассчитан ные данные о величине тепловых потерь. Значения тепловых потерь отображаются следующими видами диаграмм: - круговая диаграмма, отображающая рассчитанные данные о величине тепловых потерь в текущий момент времени; - график со сплошной закраской изменения значений тепловых потерь во времени.
На экранной форме (мнемосхеме), приведенной на рисунке 4.15, отображаются основные технологические устройства и значения всех технологических параметров установки ИПХТ.
