Введение к работе
Актуально сть
Исторически сложилась такая ситуация, что вопросы архивизации наблюдательных данных стали интенсивно обсуждаться в отечественной и зарубежной литературе только в последние годы [1*]. До этого основное внимание астрономов и специалистов в различных областях автоматизации астрофизического эксперимента было сосредоточено на методах совершенствования самих астрономических инструментов (телескопов), приемно-измерптельных комплексов и приборов, а также непосредственно па системах обработки экспериментальных данных. Вместе с тем внедрение прогрессивных технологий, особенно все более совершенных компьютерных средств, в различные сферы наблюдательного процесса неуклонно приводило к росту потоков наблюдательной информации. К настоящему времени за предшествующие годы накоплены огромные объемы экспериментального материала, и только лишь малая часть всех этих данных в той или ипой степени обработана.
Фактически речь идет о потенциальных знаниях, которые могут быть извлечены из результатов в большинстве случаев уникальных астрофизических экспериментов. Причем это относится как к классическим областям астрономии — оптической и радио, так и к UV-, IR-, рентгеновской и гамма-астрономии, развитие которых в первую очередь связано с запуском космических лабораторий.
В качестве примеров актуальности архивизацини данных можно привести по крайней мере три аспекта исследований:
Изучение физической переменности и эволюции различных объектов.
Сопоставление результатов наблюдений, выполненных в разное время с помощью инструментов, отличающихся по своим характеристикам (длине волны, разрешению, чувствительности и т.п.).
Реализация совместных наблюдательных программ различными астрономическими центрами с использованием как наземных телескопов, так и орбитальных лабораторий.
Таким образом, обращение астрономов к архивной информации в большинстве случаев не только целесообразно, но и просто необходимо
Учитывая это, в настоящее время многие ведущие обсерватории и исследовательские центры разрабатывают п реализуют собственные проекты архивизации наблюдательных данпых. Например, ESO Archive Project, NRAO's VLA/VLBA archives, NSSDC archives, HST Archive System, IUE Archive, ROSAT Public Data Archive, GRO Archive и т.д. [1*,2*].
Для Специальной астрофизической обсерватории — крупнейшего наблюдательного центра — выработка политики формирования п поддержки своего информационного фонда имеет чрезвычайно важное значение еще и по следующим причинам:
-
В С АО функционируют два уникальных инструмента — радиотелескоп РАТАН-600 и оптический 6-м телескоп БТА, с помощью которых можно проводить комплексные многоаспектные астрофизические исследования.
-
В процессе наблюдений астрономы используют большое количество как собственно астрономических приборов, так и регистрирующих программно-аппаратных комплексов, которые в совокупности определяют десятки разнообразных наблюдательных методов (фотометрические, спектральные оптические, радионаблюдения в континууме, многочастотные солнечные исследования п т.д.).
-
Проектирование и внедрение новых астрономических приборов, в частности, на основе CCD-матриц для наблюдений в оптическом диапазоне, а также реализация режимов сбора данных в радиодиапазоне с повышенным временным разрешением, приводят не только к расширению возможностей телескопов, но и к резкому возрастанию объемов экспериментальных данных.
-
Проведение большого числа совместных исследовательских программ, и как следствие — интенсивный обмен информацией с другими астрономическими центрами, вызывают еще большую потребность в систематизированном хранении наблюдательного материала и обеспечении к нему эффективного доступа для последующей обработки и/или транспортировки.
Кроме перечисленных выше факторов необходимо указать еще один существенный аспект использования архива наблюдательных данных как информационной системы обсерватории [20*].
Результаты многоуровнего статистического анализа архивной информации предоставляют различным категориям астрономов объективные сведения о:
состоянии и эффективности использования инструментов в целом;
функционировании систем управления телескопами;
работе отдельных приборов, аппаратурно-измерительных комплексов и систем сбора данных;
распределении и эффективности использования телескопного времени;
содержании фактически выполняемых наблюдательных программ;
условиях проведения наблюдений;
объемах поступающей информации;
требуемых компьютерных ресурсах и т.д.
Причем, чем в большей степени параметризованы исходные данные, тем более гибкий анализ может быть проведен.
Все это дает возможность не только оценивать текущее состояние инструментов и их отдельных узлов, но и обоснованно прогнозировать работу телескопов на конкретных временных интервалах.
Таким образом, создание и поддержание архива наблюдательных данных в САО является чрезвычайно актуальной и многогранной задачей. Комплексный подход к ее решению и накопленный опыт конкретных разработок в этой области позволили акцептировать внимание на наиболее важных моментах, которые принципиальным образом влияют на эффективность функциошірования обсерватории как научного центра.
Цель работы
Осповной целью работы являлась раоработка концепции единого архива наблюдательных данных САО РАН и ее поэтапная реализация. В связи с этим были поставлены следующие задачи:
-
Анализ существующих в обсерватории типов наблюдательных данных, их структур и способов получения.
-
Разработка принципов организации локальных архивов, связанных с конкретными астрономическими приборами, и их интеграции в единую Базу наблюдательных данных.
-
Разработка первой версии интегрированной системы архивизации п ее внедрение в качестве штатной системы в наблюдательные процессы телескопов РАТАН-600 и БТА.
-
Поддержание постоянно расширяющейся Базы наблюдательных дашгых и обеспечение к пей автоматизированного доступа для последующей обработки информации и получения разнообразных астрофизических результатов.
-
Проведение многоаспектного статистического анализа архивных оптических и радиоданпых для оцепкп функционирования отдельных подсистем телескопов.
Научная новизна и практическая ценность
Впервые в отечественной астрономии разработана методология информационной интеграции разнородных типов наблюдательных данных.
Впервые создана концепция унифицированного интерфейса между различными типами систем, составляющих основу технологии наблюдательных процессов, — системами сбора, архивизации, обработки и транспортировки наблюдательных данных.
Впервые создана информационная модель обобщенной системы сбора экспериментальных данных, предусматривающая многоуровневые процессы сбора информации, включая процессы журнализацпи астрофизических экспериментов.
Разработаны принципы стандартизации представления любых типов наблюдательных данных в обсерватории, обеспечивающие совместимость с международным стандартом — FITS-форматом [3*-13*].
Впервые разработана и внедрена первая версия интегрированной системы архивизации ODA, которая стала штатным звеном в общей технологической цепочке "сбор - обработка наблюдательных данных" для телескопов БТА и РАТАН-600. С ее помощью сформированы архивы сканера, двухкапального фотометра, светосильного эшелле-спектрометра "ЗЕБРА", эшелле-спектрометра высокого разрешения "РЫСЬ" телескопа БТА и радиометров сплошного спектра облучателей N1, N5 и N6 радиотелескопа РАТАН-600.
Многолетняя эксплуатация системы ODA, а также архивных систем, являющихся ее прообразом, позволила:
сохранить десятки тысяч наблюдений, выполненных как в оптическом, так и радиодиапазоне, включая данные глубоких обзоров "Холод", и получить уникальные астрофизические результаты;
систематизировать архивную информацию и представить ее в исключительно компактной и надежной форме с использованием современного уровня компьютерной технологии;
обеспечить высокоэффективный автоматизированный доступ к Базе наблюдательных данных на основе аппарата регулярных выражений;
провести общий статистический анализ архивного материала и получить информацию об использовании наблюдательного времени РАТАН-600 и БТА, влиянии работы АСУ РАТАН-600, функционировании радиометров сплошного спектра РАТАН-600 и т.д.
Основные положения, выносимые на защиту
-
Результаты архивизации и первичной обработки первых глубоких многочастотных обзоров "Холод" радиотелескопа РАТАН-600.
-
Концепция единого архива наблюдательных данных САО РАН.
-
Разработка и результаты внедрения первой версии интегрированной системы архивизации наблюдательных данных ODA.
-
Результаты статистического анализа многолетней архивной информации телескопов РАТАН-600 и БТА.
Личный вклад автора
Вклад автора был определяющим в разработке идеологии, архитектур и программного обеспечения архивных систем, их внедрении в технологические процессы телескопов РАТАН-600 и БТА, в формировании и поддержании баз наблюдательных данных, в разработке и реализации принципов информационной интеграции различных типов наблюдательных данных.
Апробация работы
Осповные результаты диссертации изложены в 27 печатных работах [1-27], докладывались на XIV конференции молодых европейских радиоастрономов (Германия, 1981), симпозиуме MAC N104 "Ранняя эволюция Вселенной и ее настоящая структура" (Крит, 1982), XV Всесоюзной конференции по галактической и внегалактической радиоастрономии (Харьков, 1983), XXV (Пущипо, 1993) и XXVI (С.-Петербург, 1995) радиоастрономических конференциях [28-39], па международной научной конференции "Современные проблемы астрономии" (Одесса. 1996), па общих, радиоастрономических и лабораторных семинарах САО, семинарах по Информатике и Автоматизации научных исследований и описаны в 25 научных отчетах.
Структура и объем диссертации