Содержание к диссертации
Введение
Глава 1. Измерительно-Вычислительный Комплекс ИЯС 18
1.1. Описание предметной области 18
1.2. Эволюция ССОД ИЯС (1987-2000 гг.) 22
1.2.1. ССОД «Конвейер», 1987г 24
1.2.2. ССОД-93, 1993г 25
1.2.3. БД Libra 29
1.2.4. Многоканальный диагностический комплекс Captain 38
1.2.5. Графическая оболочка XPlus 40
1.2.6 Развитие ССОД-93 42
1.3. ИВК ИЯС 43
1.3.1. Компоненты ИВК ИЯС 44
1.3.2. Информационно-вычислительные ресурсы ИВК ИЯС 50
Глава 2. Хранение экспериментальных данных установок УТС 53
2.1. Концептуальная модель данных ИВК ИЯС 53
2.2. Хранение данных в ИВК ИЯС 57
2.2.1. БД DASSQL 58
2.2.2. Формат записи данных в ИВК ИЯС 60
2.2.3. Универсальная структура для работы с данными THead 61
2.2.4. Локальные архивы DAS TFile ...67
2.2.5. Текстовый формат данных DAS Text 69
Глава 3. Набор интерфейсов, сетевых сервисов и утилит ИВК ИЯС 73
3.1. Набор утилит для работы с БД DASSQL 75
3.2. Задачный интерфейс 80
3.3. Унифицированная графическая оболочка для работы с экспериментальными данными DAS Tools 82
3.4. Сетевой сервис DASWeb 87
3.5. Платформа SigmaWeb для запуска расчетных кодов 88
3.6. Сетевой сервис для доступа к данным DASTCP 89
3.7. Программный интерфейс DAS API 91
3.8. Использование MATLAB в ИВК ИЯС 92
3.9. Использование MDSPlus для стандартного представления данных 92
3.10. Создание узла научно-образовательной сети УТС 93
3.11. Доступ удаленного пользователя к ресурсам ИВК ИЯС 94
3.12. Безопасность данных 95
Глава 4. Программное обеспечение ИВК ИЯС ...96
4.1. Особенности разработки информационных систем для экспериментальных установок УТС 96
4.2. Стандартное ПО в составе ИВК ИЯС. 98
4.3. Программное ядро ИВК ИЯС 100
4.4. Математическая обработка данных DAS Processing 102
4.4.1. Сглаживание данных 105
4.4.2. Вычитание постоянной наводки (Zero line) 107
4.4.3. Подавление случайных выбросов 107
4.4.4. Детализация 108
4.4.5. Интерполяция данных многочленом Лагранжа 108
4.4.6. Использование быстрого преобразования Фурье 109
4.4.7. Представление экспериментальных данных в виде профилей и поверхностей 111
Заключение из
Приложения 118
- Многоканальный диагностический комплекс Captain
- Универсальная структура для работы с данными THead
- Унифицированная графическая оболочка для работы с экспериментальными данными DAS Tools
- Математическая обработка данных DAS Processing
Введение к работе
Актуальность проблемы. Эксперименты на различных импульсных и квазистационарных установках управляемого термоядерного синтеза (УТС) имеют много общего в организации и характеристиках информационных потоков, в методах обработки данных, в способах представления результатов измерений. К настоящему времени создано множество проблемно-ориентированных кодов, позволяющих на основе экспериментальных данных производить расчеты неизмеряемых параметров и моделировать процессы в плазме. Накоплено значительное количество экспериментальных данных, и их объем быстро растет, иногда опережая темпы детального изучения полученной информации, этому способствует появление новых многоканальных диагностик с высоким разрешением. Для повышения эффективности исследований, проводимых на установках УТС, нужен новый уровень работы с экспериментальными данными. Кроме того, инфраструктуру исследовательских установок и накопленную экспериментальную информацию целесообразно использовать в учебном процессе при подготовке специалистов. Для обмена экспериментальными данными и эффективного использования специализированных кодов становится актуальной унификация информационной среды для установок УТС, интеграция экспериментальной базы и исследовательских ресурсов отдельных установок в общую российскую и международную (Fusion Grid, ) научно-образовательную информационную сеть на основе Интернет.
Продолжение масштабных исследований в области физики плазмы требует создания адекватных информационных систем (ИС). Для интеграции ИС российских и зарубежных установок УТС необходимо наличие и использование общих корпоративных стандартов. Это подразумевает разработку:
специализированной базы данных (БД) для экспериментальных установок УТС;
эффективной унифицированной программной среды для работы с экспериментальными данными на этапах сбора и обработки; набора средств для представления данных в стандартном виде и доступа к ним из приложений и математических пакетов в различных операционных системах (ОС), из глобальной сети Интернет и Fusion Grid. При создании нового программного обеспечения (ПО) следует найти приемлемый уровень унификации с учетом специфики предметной области и необходимости интеграции с другими ИС, разработать платформу для создания новых прикладных подсистем. При этом следует максимально широко использовать открытые алгоритмы и системы, современные технологии и индустриальные решения.
л еоС НАЦИОНАЛЬНАЯ )
1 БИБЛИОТЕКА і
ИМИ 111 -- — ...-,--.-4
Цель работы состояла в разработке и реализации подхода к созданию ИС и унифицированной высокоэффективной программной среды для проведения научных исследований на импульсных и квазистационарных термоядерных установках и интеграции исследовательских ресурсов установок УТС в российскую и международную научно-образовательную информационную сеть. Для достижения сформулированной цели автором решались следующие основные задачи:
Определение состава и требований к ПО ИС крупных плазменных установок на основе анализа их информационной среды. Разработка унифицированных форматов, алгоритмов и ПО для работы с экспериментальными данными на этапах сбора, хранения и обработки.
Разработка специализированной базы данных (БД) для эффективной работы с данными различных установок УТС.
Разработка архитектуры и создание программных средств измерительно-вычислительного комплекса (ИВК) установок и стендов ИЯС (то-камак Т10, плазменный нейтрализатор ПН-3, плазменный сепаратор ПС -1, испытательный гиротронный стенд ИГС и др.). Разработка и создание сетевых сервисов, обеспечивающих доступ к информационным и вычислительным ресурсам экспериментальных установок через Интернет. Создание на основе ПО ИВК унифицированных grid-узлов для доступа к экспериментальным данным и средствам их обработки в ИЯС, ТРИ-НИТИ (токамак Т-11М), ИОФ РАН (двухзаходный стелларатор Ли-вень-2М (Л-2М)), на профильных кафедрах МГТУ им. Баумана, МЭИ и МИФИ. А также, применение разработанных средств для совместных работ на установках Физико-технического института им. А.Ф. Иоффе (токамак Туман-ЗМ и сферический токамак Глобус-М).
Научная новизна
Обоснован и реализован подход к построению ИС для работы с экспериментальными данными термоядерных установок с использованием современных информационных технологий, индустриальных решений, открытых алгоритмов и систем.
Разработан подход к созданию новых типов данных на основе специальной структуры записи, и создан ряд унифицированных форматов для работы с данными в виде произвольных временных рядов, таблиц переменной размерности и с медиа данными.
Предложена архитектура системы управления данными (СУД), обеспечивающая одновременную работу с данными нескольких больших термоядерных установок.
Разработана специализированная расширяемая БД DASSQL для эффективной работы с данными различных установок УТС.
Разработаны унифицированные программные средства для работы с экспериментальными данными различных установок УТС на этапах сбора и обработки.
Разработана архитектура экономичного, масштабируемого ИВК, обеспечивающего проведение исследований сразу на нескольких крупных установках.
Обеспечен унифицированный удаленный доступ к экспериментальным данным различных установок УТС и методам их обработки из прикладных программ, работающих в различных ОС, а также через Интернет браузер и интерфейс MDSPlus.
Автор считает, что перечисленные достижения не имеют равноценного аналога на российских термоядерных установках. Предложенные решения могут быть взяты за основу при создании унифицированной Системы сбора и обработки данных (ССОД) и хранилища экспериментальных данных российских термоядерных установок, а также использованы в проекте международного термоядерного реактора ИТЭР.
Практическая ценность.
На основе предложенной архитектуры и разработанного ПО создан экономичный, масштабируемый и тиражируемый ИВК для импульсных и квази стационарных установок со следующими основными возможностями:
Многоканальная регистрация аналоговой и видео информации в условиях физического эксперимента.
Хранение разнообразных измерительных данных и поиск по заданным критериям.
Представление в стандартном виде экспериментальных данных различных установок.
Предварительная обработка данных в ходе эксперимента.
Интегрируемость с другими ИС и средствами обработки данных.
Для участников совместных работ обеспечен регламентируемый доступ через Интернет к следующим ресурсам: БД и средства обработки данных; Управление некоторыми диагностиками; Выполнение транспортных кодов на сервере приложений. В ИЯС созданный ИВК позволил решить следующие задачи:
Унифицировать сбор, хранение, обработку и обеспечить стандартное представление экспериментальных данных различных установок; Снизить затраты за счет централизации, унификации и стандартизации вычислительных ресурсов и ПО;
Увеличить объем получаемой диагностической информации и повысить эффективность работы с экспериментальными данными; Обеспечить унифицированный регламентируемый доступ через Интернет к вычислительным и информационным ресурсам эксперимен-
тальных установок;
Начать интеграцию отечественных установок УТС в Fusion Grid. Ресурсы ИВК ИЯС используются также для подготовки студентов старших курсов профилирующих кафедр МГТУ им. Баумана, МЭИ и МИФИ в рамках программы «Интеграция науки и высшего образования России на 2002-2006 годы».
Созданные автором программные средства и информационно-вычислительные ресурсы успешно обеспечивают проведение экспериментальных кампаний в течение многих лет на установках Т-10, ПН-3 и ИГС. ИВК ИЯС обеспечил качественно новые возможности при проведении экспериментов и последующей работе с экспериментальными данными, существенно повысил эффективность исследований в области УТС и ИТЭР. Кроме того, разработанные решения и ПО используются:
в ФТИ им. Иоффе в совместных работах по инжекторам (Туман-ЗМ и Глобус-М);
в ИОФ РАН в рамках исследования удержания высокотемпературной плазмы в замкнутой магнитной ловушке стеллараторного типа; в ТРИНИТИ для подготовки совместных исследований на Т-10 и Т-11М;
на профильных кафедрах МГТУ им. Баумана и МИФИ, в ИЯС, ТРИНИТИ и ИОФ РАН для создания grid-узлов научно-образовательной сети. Предложенные автором подходы и решения обеспечивают тиражирование отдельных модулей и комплекса в целом, позволяют сократить затраты на разработку систем автоматизации эксперимента (САЭ), объединить ССОД действующих установок УТС в общее информационное пространство и отработать механизмы интеграции в международную сеть Fusion Grid.
На защиту выносится:
Концепция построения ИС установок УТС с использованием современных технологий, индустриальных решений, открытых алгоритмов и систем;
СУД, архитектура и унифицированная программная среда масштабируемого ИВК, обеспечивающего проведение исследований сразу на нескольких крупных установках УТС и интеграцию этих установок в научно-образовательную сеть типа Fusion Grid;
Метод создания унифицированных форматов экспериментальных данных и алгоритмы для работы с ними;
Специализированная расширяемая БД DASSQL для разнообразных данных различных установок УТС с набором утилит и задачных интерфейсов;
Подход к разработке и реализация набора программных модулей для создания новых приложений в среде ИВК, сетевых сервисов и кросс -
платформенной библиотеки для доступа к экспериментальным данным и средствам их обработки через Интернет;
Многофункциональная графическая оболочка DAS Tools для работы с экспериментальными данными различных установок УТС на этапах сбора и обработки.
Реализация результатов. Основные результаты диссертации были использованы:
1988г. при создании графического интерфейса ССОД «Конвейер»;
1991г. при разработке ПО диагностики WASA-II по заказу Центрального института электронной физики, Берлин;
1993г. при создании ССОД-93 токамаков Т-10, Т-15 на основе распределенных вычислительных ресурсов в компьютерной сети с файловым сервером, специализированной БД Libra, унифицированными многоканальными диагностическими комплексами (МДК) Captain и рабочими станциями для обработки данных в программе XPlus;
1994г. при разработке ПО для диагностики XRAY на базе VAX по заказу General Atomics;
1998г. при разработке ПО цифровой системы автоматического регулирования системы питания полоидальных полей токамака Т-15;
2000г. при разработке ПО для измерения и анализа вибраций элементов установок Т-10 и TEXTOR;
1998-2002гт. при разработке и внедрении ПО ИВК ИЯС, обеспечивающего проведение экспериментальных кампаний на установках и стендах: Т-10, ПН-3, ИГС, ДИНА;
2002-2004гт. при создании на основе ПО ИВК ИЯС центров удаленного обучения студентов по специальностям теория физики плазмы и плазменные технологии в МГТУ им. Баумана, МИФИ и МЭИ;
2003г при разработке ПО для управления вакуумной системой Т-15;
2004г. при создании на основе ПО ИВК ИЯС и MDSPlus grid-узла в ТРИНИТИ;
2004г. при освоении инжекторов нейтралов на установках Туман-ЗМ и Глобус-М в Физико-технический институте им. А.Ф. Иоффе; 2004г. при использовании ПО ИВК ИЯС в ИОФ РАН для Л-2М.
Апробация работы.
Результаты диссертации представлялись на следующих конференциях: IV Всесоюзный семинар по обработке физической информации. Ереван, май 1988. 16th Symposium on Fusion Technology. 3-7 September 1990 London. 5-й Всесоюзная конференция по проблемам ТЯР. Ленинград, октябрь 1990г.
8-й международный симпозиум по проблемам модульных информационно-вычислительных систем и сетей. Дубна, сентябрь
онно-вычислительных систем и сетей. Дубна, сентябрь 1991. International congress on plasma physics Praha 06.29-07.03.1998. 21 st Symposium on Fusion Technology (SOFT-21) Madrid, Spain, September 11-15,2000.
10-я Всероссийская конференция физики плазмы. Троицк, 2003. 30th EPS Conference on Controlled Fusion and Plasma Physics St Petersburg 7-11.07,2003.
31 -й конференция по ФП и УТС. Звенигород 2004. Всего с 1988г. по теме диссертации сделано 11 докладов на отечественных и зарубежных конференциях. Выполненные при участии и под руководством автора разработки становились лауреатами конкурса в области инженерных и технологических разработок РНЦ «Курчатовский институт» в 1992, 1994 и 2002г.
Личный вклад автора.
Автором диссертации сформулированы задачи и принципы построения современных ИС крупных установок УТС, определен состав программных и вычислительных средств, архитектура масштабируемого ИВК, а также предложены, разработаны и внедрены:
Терминальный и программный интерфейсы для БД ССОД «Конвейер» образца 1988г.
БД Libra с графическим интерфейсом XPlus и архитектура ССОД-93 образца 1993 г.
Метод идентификации данных для работы с данными различных установок в общей БД и структура записи данных для хранения разнотипной измерительной информации с произвольным количеством описательных параметров. Механизм создания новых типов данных и форматы для работы с временными рядами, таблицами, видео и др. Механизм индексируемых параметров для поиска данных средствами SQL.
СУД ИВК ИЯС, локальные архивы DAS TFile, DAS Heap и БД DASSQL.
Набор сетевых сервисов и библиотека DAS Access для удаленного доступа.
Набор программных модулей, составляющий ядро специализированного ПО и обеспечивающий быструю разработку новых прикладных подсистем ИВК ИЯС.
Многофункциональная графическая оболочка DAS Tools для работы с экспериментальными данными различных установок на этапах сбора и обработки, интегрируемая с другими программными средствами.
Задачный интерфейс к БД и локальным архивам.
Это составляет ядро и большую часть специализированного ПО ИВК ИЯС. Кроме того:
Разработка унифицированных диагностических подсистем Captain и
DAS Sampler на разных этапах велась с В.В. Тимониным, Д.Ю. Шугаевым и И .Д. Кучеренко.
Совместно с Г. Б. Игонькиной велась разработка платформы Sig-maWeb, интерфейса DASWeb, библиотеки SQL-запросов к БД DASSQL, алгоритмов обработки данных DAS Processing и интеграция разработанного ею кода Function minimize в DAS Tools. Интеграция MDSPlus в среду ИВК ИЯС осуществлена совместно с В.А Вознесенским.
Развитие ИВК ИЯС по пути создания российской сети подобной Fusion Grid осуществляется совместно с профилирующими кафедрами МИФИ, МГГУ им. Бауманаи МЭИ. Большое влияние на принятые при создании ИВК ИЯС решения оказал период совместной работы 1987-1992гт. с АН. Фяхретдиновым, В.В. Тимониным, Ю.В. Балабановым и Д.Ю. Шугаевым, а также опьп, переданный Л.А. Маталиным-Слуцким.
Публикации. Основные положения диссертации опубликованы в материалах и сборниках 9-ти конференций и 3-х статьях, выпущено 6 отчетов, 2 работы подготовлено к печати.
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка использованной литературы и приложения. Текст диссертации изложен на 147 страницах, включает 64 рисунка, 11 таблиц и библиографический список из 70 наименований.
Многоканальный диагностический комплекс Captain
Параметры Т , N и DT используются для описания временных окон, по которым вычисляется значение времени для каждого измеренного значения во временном ряду. Использование механизма временных окон позволяет распределить ограниченное число измеряемых точек таким образом, чтобы в наиболее важные периоды разряда производить измерения с максимальной частотой. Тип точки в массиве данных, который в записи может следовать сразу за паспортом данных, задается в параметре DTYPE и может принимать описанные выше значения parameter type.
Для сжатия измерительных данных в БД Libra использована комбинация метода Хаффмана и дельта-метода, предложенного А.Н. Фяхретдиновым.
Метод сжатия Хаффмана позволяет уменьшить среднюю длину кодового слова для символов алфавита. На основе статистического анализа входных данных определяется частота появления одинаковых байт, затем символам входного потока, которые встречаются большее число раз, сопоставляют цепочку бит меньшей длины. И напротив, редко встречающимся символам - цепочку большей длины. Дельта-метод сжатия данных основан на использовании того факта, что разрядность реально измеренных величин меньше разрядности слов памяти, куда они записываются. Например, данные 10-ти разрядного АЦП будут записаны 16-бинтые слова; Кроме того, измеряемые во времени величины, как правило, достаточно плавно меняются. Это позволяет дополнительно понизить разрядность для хранения измеряемых величин, если вместо измеренных значений величин: vl,v2,v3, ... хранить их приращения: vl, (v2-vl), (v3-v2), ... , при этом приращения кодируются 4-битами с учетом смещения. В окончательной реализации дельта-метода в ПО ИВК ИЯС в качестве 4-х битного основания для кодирования приращений используется число $0D (1101). При этом старшие разряды записываются перед младшими. Например, если первое значение приращения D1, а второе D2, то текущее значение восстанавливаемой величины будет равно V = D1 $0D + D2. Для реализации алгоритма, представляющего сохраняемое значение в виде цепочки приращений и алгоритма, восстанавливающего сохраненное значение на основе цепочки приращений, оказалось удобным использование рекурсии. Простота алгоритма, реализующего дельта-метод, позволила быстро сжимать и разжимать данные даже на малопроизводительных ПК с процессором Intel286. Знаки приращения кодируется следующим образом: «+» = $0F (1111) и «-» = $0Е (1110). Дополнительно, знаки приращений являются разделителей между отдельными цепочками приращений. Если следующее значение совпадает с предыдущим, то записывается только разделитель-знак приращения «+». Для обозначения завершения последовательности приращений используется два записанных подряд разделителя «-».
При сохранении на диск записи записывались в файл одна за другой, без разделителей. Имя файла формировалось из порядкового номера импульса и расширения «.DAT», например 47932.DAT.
Следующие возможности БД LIBRA обеспечивают ее эффективное использование совместно с программными комплексами Captain и XPlus: . возможность многопользовательского доступа к данным на файловом сервере или использования в качестве локального архива на ПК; . хранение разнообразной измерительной информации с дополнительным описаниєм в виде дополнительных параметров в паспорте данных; . быструю переносимость на другой ПК; . компрессирование хранимых данных на 25-80%; . быстрый поиск, доступ, уничтожение и добавление новых данных; . быструю восстанавливаемость при сбоях на диске или случайном уничтожении индексных файлов; . наличие набора утилит с простым интерфейсом пользователя; . наличие программного интерфейса для Pascal, Fortran и С; . возможность импорта-экспорта данных в текстовом формате; . поиск данных по критериям на основе информационных записей «O.inf».
Набор утилит к БД Libra реализует ряд специальных функций на основе параметров, задаваемых в командной строке или через конфигурационный файл. Все утилиты имеют встроенную краткую инструкцию пользователя, которая появляется при запуске задач без указания параметров в командной строке, например, XLOAD.EXE - загрузчик паспортизованных данных в БД Libra:
GET.EXE - получение данных из БД LIBRA по заданному имени записи и номеру импульса. Утилита включает первичную обработку данных, на выходе -текстовый файл или файл в формате БД Libra.
SHOW.EXE - генерация отчета в виде текстового файла о содержащихся в БД Libra данных, используется при создании собственной навигации в приложении для работы с БД Libra.
Пользовательский программный интерфейс к БД Libra включает в себя исполняемый модуль А10.ЕХЕ и набор процедур для вызова из пользовательских программ, написанных на языках Pascal, Fortran или С. Основная идея интерфейса А10 состоит в том, что в клиентском приложении заполняется переменная структура запроса и выделяется память для возвращаемых значений, затем автоматически вызывается внешняя задача А10 и в качестве параметра в командной строке ей передается адрес структуры запроса, включающий адрес выделенной для результатов запроса памяти. Этот подход возможен только в DOS, с его моделью памяти. Далее задача А10 обращается к БД Libra и реализует переданный ей через общую память запрос, выполняя все необходимые расчеты и подготовку результатов, после чего результаты помещались в указанную клиентским приложением область памяти. Через программный интерфейс А10 пользовательские приложения получали информацию для навигации по БД (списки номеров импульсов и каналов), а также экспериментальные данные и результаты их предварительной обработки.
Гибкий, в принципе, подход к описанию экспериментальных данных в БД Libra имел определенные ограничения. Например, максимальное количество описательных параметров паспорта, длина имена записи и длина строки комментария ограничены, но всегда занимают зарезервированное под них место, кроме того, сам размер данных не мог превышать 65Кб.
Универсальная структура для работы с данными THead
Первым шагом на пути интеграции экспериментальных установок в общее информационное пространство со стандартными средствами представления и обработки данных является разработка унифицированного формата данных. В условиях физического эксперимента на установках УТС приходится работать с разнотипными измерительными данными большого объема и с дополнительными описательными параметрами, характеризующими условия проведения эксперимента н настройки аппаратуры.
Концептуальная модель данных СУД ИВК ИЯС отображает специфику измерений проводимых на плазменных установках и последующую работу с данными. Идентификация объектов данных отражает циклический характер проведения экспериментов и разделение данных по их принадлежности к различным установкам, диагностикам и каналам, а также по источнику данных. Источником сырых экспериментальных данных являются системы сбора данных, при этом измерительные данные в большинстве случаев имеют вид временных рядов целочисленного типа с разрядностью зависящей от типов используемых АЦП. Измеренные данные диагностик с высоким временным разрешением могут иметь значительный объем - несколько Мб на каждый канал, и после сжатия размер данных может произвольно меняться. Источником обработанных данных служат программы обработки экспериментальных данных. Вид информации являющейся результатом обработки измерительных данных может быть самым разнообразным как по форме, так и по типу. Например, после сглаживания и преобразования метрических шкал временного ряда полученного с АЦП, его значения будут представлены в виде чисел с плавающей запятой. Результатом обработки измерений многоканальной диагностики могут быть профили или поверхности представимые в виде много-размерной таблицы с колонками значений разного типа. Кроме данных, полученных в ходе измерений или обработки, сохраняется справочная информация: индексируемые параметры рабочего режима к каждому импульсу для последующего поиска данных по определенным критериям (например, название ре жима, ток плазмы, продольное поле, плотность электронов по центральной хорде и др.); . дополнительные сведения о каналах, диагностиках и установках (например, размерности, описание, сведения о владельце и т.п.); . параметры измерительной аппаратуры для каналов диагностик (например, коэффициенты пересчета значений АЦП в физическую величину или расписание временных окон, определяющих частоту оцифровки данного измерения) и параметры математической обработки. Источником индексируемых параметров, характеризующих рабочий режим установки в конкретном импульсе, могут быть показатели технологических систем установки и программы обработки измеренных значений, или, они могут добавляться вручную ведущим экспериментатором. Фактически индексируемые параметры рабочего режима образуют справочник для последующего поиска по рабочим импульсам установки.
Исходя из импульсно-циклического характера работы экспериментальных установок УТС, выбрана структура записи результатов эксперимента в БД в виде дерева. Информация разделена по принадлежности к определенной установке (или разделу), диагностике, каналу и номеру импульса. Поскольку разные установки образуют отдельные разделы общей БД, название установки можно использовать и для определения принадлежности данных к сырым экспериментальным данным или к результатам обработки. Например, в разделе «ТІ0» хранятся измерительные данные, а в разделе «T10.N» - нормализованные и обработанные данные установки Т-10.
Идентификация данных осуществляется по названию установки (device), номеру импульса (shot) и имени записи канала (name). Общую информацию в виде наборов описательных параметров в паспорте данных для отдельных диагностик и импульсов целесообразно хранить в информационных записях с фиксированным именем (например, «O.inf» для импульса и «ИмяДиагностики.inf» для диагностики). предложена структура, включающая фиксированный заголовок, паспорт переменной длины и поле данных переменной длины. Паспорт данных представляет собой последовательность параметров (кортеж), каждый из которых имеет поле, описывающее тип параметра (дата-время, число, текст, бинарные структуры), имя параметра переменной длины и значение параметра переменной длины:
Размер поля «Значение параметра» однозначно определяется исходя из поля «Тип Параметра». Например, параметр типа word занимает 2 байта, а размер параметра типа ShortString содержится в первом байте поля abstract. Таким образом, всегда есть возможность последовательного чтения всех параметров паспорта без использования дополнительных мета данных. Для обеспечения высокой производительности при интенсивной работе с паспортом данных (чтение, добавление, удаление, редактирование параметров) можно использовать бинарное сбалансированное дерево, надстраиваемое над кортежем параметров.
Такая структура обеспечивает эффективное хранение и доступ к данным в виде произвольных временных рядов, таблиц переменной размерности и абстрактных бинарных образов. Возможность добавления в паспорт данных произвольного числа описательных параметров позволяет реализовать описание новых структур измерительных данных вне прикладных программ пользователя и обеспечить возможность унифицированного подхода при работе с экспериментальными данными.
Унифицированная графическая оболочка для работы с экспериментальными данными DAS Tools
Эффективная работа с большим количеством анализируемых данных обеспечена продуманным интерфейсом и сценарием работы при выборе данных и задании параметров математической обработки. Для выполнения частых однотипных операций с данными различных импульсов разработан механизм наборов данных - создание и дальнейшее обращение по имени к группе каналов с заданием индивидуальных атрибутов обработки и визуализации для каждого канала. Подобный механизм создан для работы с наборами графиков Set. Из размешенных на сайте www.fusion.ru описаний ИВК ИЯС, для пользователей DAS Tools предназначены следующие документы:
. «DAS Tools. Специализированная программа для работы с экспериментальными данными» dastools.doc; . «DAS Query. Поиск по критериям в базе данных DASSQL» dasquery.doc; . «DAS Processing. Предварительная обработка экспериментальных данных плазменных установок» dasprocessing.doc. Широкий набор методов работы с экспериментальными данными плазменных установок, дружественный пользовательский интерфейс и наличие подробной документации позволяют применять программу DAS Tools на различных экспериментальных установках (Т-10, Т-11, ПН-3, Туман-ЗМ, Глобус-М, Л-2М и др.), а также использовать ее в учебном процессе. Все примеры обработки и визуализации данных, приводимые далее в диссертации, сделаны исключительно средствами программы DAS Tools (исключая примеры использования DASWeb).
Данные ИВК ИЯС из БД DASSQL автоматически публикуются в Интернет на сайте www.fusion.ru в разделе «Объединенная БД ИВК ИЯС». Web-сервис созданный на основе технологии ISAPI, обеспечивает формирование запросов к БД через Интернет браузер одновременно с указанием способов обработки данных и вывода результатов. Все вычисления производятся на стороне сервера, и пользователю передаются уже результаты обработки в виде динамически создаваемых HTML страниц и изображений, без создания на сервере промежуточных файлов. Для увеличения быстродействия производится сжатие HTML-страниц методом Zlib Deflate. Это обеспечивает возможность работы с БД через медленный канал Интернет, с любого ПК с любой ОС, при наличии Интернет браузера. Основные возможности DASWeb:
Получение справочной информации по диагностикам, каналам и импульсам. - Выполнение предварительной обработки данных, построение профилей и поверхностей для многоканальных измерений. . Получение результатов в Интернет браузере в виде графика или текста. . Сохранение результатов на стороне клиента в виде файлов GIF, текстовых и бинарных файлов данных. В приложении «Пример удаленного лабораторного практикума на основе DASWeb» приведены примеры работы с БД DASSQL в Интернет браузере. Для увеличения скорости передачи HTML-страницы упаковываются методом Deflate. Запускаемые коды имеют доступ к БД DASSQL и к собственным архивам. Выполнение кода в многопользовательском режиме обеспечивается созданием временного контекста для каждой запускаемой копии кода. Входными данными кодов являются значения и параметры, передаваемые методом POST из Интернет-браузера клиента, а также файлы из архива кода на сервере приложений. Главное требование к расчетному коду для возможности его запуска на платформе SigmaWeb - входные параметры и выходные данные должны представляться в виде текстового файла. На случай «зависания» кода предусмотрен механизм снятия процесса по тайм-ауту. Код может представлять собой группу исполняемых модулей, объединенных в командный файл. Простые требования к задачному интерфейсу расчетного кода облегчает написание новых кодов для запуска в многопользовательском режиме на платформе SigmaWeb. Дружественный интерфейс пользователя, наличие гиперссылок с описанием кодов и инструкцией пользователя позволяют использовать платформу SigmaWeb в учебном процессе. 3.6. Сетевой сервис для доступа к данным DASTCP Для доступа к данным ИВК ИЯС через TCP-stream из пользовательских программ, работающих в различных ОС, разработан data socket к БД. Сетевой сервис DASTCP, в соответствии с разработанным набором команд, передает пользовательской программе результаты запросов к БД по сети TCP/IP. Возможности задавать число возвращаемых точек в указанном интервале времени, производить обработку данных на стороне сервера и сжимать передаваемые данные позволяют эффективно работать с БД даже при медленном канале Интернет. DASTCP выполняет следующие задачи: Многократное использование ограниченного числа SQL-соединений; Контроль доступа к БД и вычислительным ресурсам сервера приложений; Обмен данными с клиентом через сеть Интернет (сжатие и передача информации для навигации, данных и результатов обработки). Для унифицированной работы с различной измерительной информацией сервис DASTCP конвертирует подходящие типы данных в универсальную бинарную таблицу. Реализованные механизмы авторизации, диагностики ошибок и эффективной передачи данных позволяют надстраивать над сервисом DASTCP распространенные протоколы и средства представления данных.
Математическая обработка данных DAS Processing
Особенностью систем автоматизации экспериментальных установок УТС является наличие большого числа разнообразных диагностических подсистем. Поисковый характер разработки алгоритмов обработки экспериментальных данных и управления экспериментом, а также отсутствие базовых установок для их отработки приводит к необходимости разработки и адаптации нового программного обеспечения в условиях продолжающихся физических исследований. При создании ПО САЭ существует неопределенность в исходных требованиях, которая объясняется экспериментальным характером работ - алгоритм работы системы складывается постепенно, в ходе эксплуатации. Фактически адаптация ПО некоторых подсистем идет параллельно с проведением эксперимента. Это приводит к необходимости разработки программного обеспечения в сжатые сроки при высоких требованиях к качеству программного продукта. Очевидна необходимость унифицированного подхода к созданию программных комплексов для систем автоматизации эксперимента. В основу унификации должна быть положены гибкие форматы данных и модульная структура, позволяющая легко создавать новые программные комплексы и обладающая широкими возможностями согласования с различными источниками информации. В сочетании с необходимостью обеспечивать интеграцию разрабатываемых систем с уже существующими информационными решениями и средствами работы с экспериментальными данными это приводит к следующим требованиям к ПО САЭ: модульность, открытость, использование перспективных и распространенных решений и стандартов. Для выполнения указанных требований целесообразно подходить к разработке различных систем в составе САЭ с общих позиций. Это означает, что необходимо разработать комплекс программных средств, образующих ядро любой прикладной системы, а также правила, по которым должны строиться дополнительные программные средства конкретных систем. ПО САЭ можно разбить на два раздела: системный (СУД, стандартная обработка данных и представление данных) и проблемно-ориентированный (выполнениє заданных функций прикладной системы). Системный раздел ПО САЭ должен составлять ядро отдельных прикладных систем, тогда создание новой прикладной системы будет состоять из этапов: . разработка сценария работы и взаимодействия с другими задачами в составе САЭ; . разработка алгоритма работы системы; . разделение функций прикладной системы по принадлежности к системным и проблемно-ориентированным; . реализация проблемно-ориентированных функций системы; . согласование интерфейсных функций с задачным ядром и программными библиотеками САЭ. Такой подход облегчает возможность композиции программирования сложных прикладных систем сверху - вниз на основе структурного проектирования и программирования. Вновь создаваемая прикладная система образуется путем добавления к указанной основе совокупности программных модулей, реализующих соответствующие процедуры данной системы. Это позволяет сократить объем программных средств, которые необходимо разработать при создании новой прикладной системы, сократить общее время разработки и адаптации программного обеспечения и отвязать прикладного программиста от разработанной системы, обеспечив возможность дальнейшего сопровождение системы другими программистами. Кроме того, обеспечивается концептуальное единство всех систем, составляющих комплекс автоматизации, что является необходимой чертой больших программных проектов.
Для обеспечения требуемой в международном проекте ИТЭР открытости и высокой эффективности САЭ установок УТС (как по производительности, так и по соотношению цена-качество) необходимо найти компромисс и приемлемый уровень унификации при выборе готовых компонентов и разработке новых. Причем, целесообразно создавать компоненты, которые можно будет многократно использовать при создании новых систем. При создании унифицированной программной среды для установок ИЯС наряду с оригинальными форматами, алгоритмами и решениями широко использовались современные информационные технологии, средства операционной среды и готовые решения, открытые алгоритмы, протоколы и общепринятые стандарты, учитывалась возможность использования распространенных математических пакетов для обработки и стандартного представления данных. Исходя из требований, предъявляемых к ИС установки УТС, был определен необходимый для реализации набор функциональных возможностей. При этом учитывалось, что в состав САЭ входит множество подсистем (диагностических, технологических и управляющих), которые в свою очередь должны эффективно взаимодействовать. Одновременно рассматривались существующие компоненты и технологии на предмет применимости их в разрабатываемой ИС. В отличие от технической интероперабельности (совместной деятельности) основанной, например, на основе архитектуры промежуточного слоя CORBA, рассматривалась инте-роперабельность в широком смысле соответствия выбранных и вновь создаваемых компонентов контексту решаемой задачи. Для сокращения времени разработки и повышения надежности создаваемой проблемно-ориентированной ИС, были выбраны подходящие компоненты интероперабельные в среде ИВК ИЯС. Такими компонентами стали, например, сервисы, встроенные в операционную среду MS Windows 2000 server, пакет MDSPlus для представления данных в среде Fusion Grid, технологии ADO, DirectX, ISAPI и Web, программные компоненты для работы и шифрования данных в сети TCP/IP и некоторые другие. При этом конечный продукт - разработанная ИС для работы с экспериментальными данными установок УТС в свою очередь тоже является интероперабельным компонентом, обеспечивающим повторное использование в среде научно-образовательной сети УТС. Представленный подход позволяет снизить затраты на разработку и сопровождение ИС, обеспечить развитие программной среды вместе с развитием используемых компонентов, облегчить кооперацию при создании и использовании ПО для различных установок УТС.
