Введение к работе
Актуальность темы. В диссертационной работе рассматриваются" вопросы повышения эффективности организации хранения $щц\А на внешних запоминающих устройетвах( ВЗУ) путем исполь-"зовайия встроенных алгоритмических методов едагия данных.
Проблема уменьшения объема данных без потери их семантического наполнения ставится давно, но имеет разную интерпретацию в зависимости от области приложения. В работах Да. Мартина, Т.Тиори, Дж.Фрай, И.М.Еобко, А. Сименски и других авторов рассмотрены различные алгоритмические методы сжатия данных и некоторые вопросы их применения.
Однако, несмотря на большой дефицит внешней памяти у современных отечественных ЭВМ и ухе ставшие традиционными трудности в размещении необходимых данных, подобная проблема не ставилась как систематизированная и одна из главных в приложении к системам информатики вообще и промышленной информатики в частности. Имеющиеся исследования носят чаще всего либо описательный, либо локальный характер.
С появлением новых классов ЭШ (персональных и супермини-ЭВМ) вполне обоснована мысль, что актуальность .этой проблемы, если не сошла на нет, то значительно потеряла смысл в связи с увеличением мощностей ВЭУ. Однако, значение этой проблемы не ослабевает при создании информационных систем производственного назначения.
Во-первых, современный уровень производства требует создания информационных систем, используемых в реальном времени для ситуационного управления. Для этого нузшы такая высокая степень детализации данных и такая полнота описания объектов, что для ЭВМ средних классов ещё не скоро объём внешней памяти перестанет быть достаточным даже с учётом перспективы развития ВТ в нашей стране, да и в мире.
Во-вторых, динамизм производственных систем и высокая степень неопределённости в их функционировании приводят со временем к росту этих баз, как за счёт необходимости использования статистики, так и из-за перехода к базам знаний и г. экспертным системам.
В-третьих, диспропорция между быстродействием процессора
и окорооть обмена меаду внеинбй и оперативной памятью отала еще более значительной, что объясняется постоянным качественным совершенствованием элементной базы ЭВМ и почти неизменяющимся принципом работы ВЗУ. Средства сжатия данных, преобразуя данные в более компактную форму, уменьшают зону, занимаемую данными на БЗУ, что почти всегда приводит к увеличению скорости работы этих устройств.
Кроме того, для сетевых архитектур компактность данных прямо и сильно влияет на эффективность сети, а для промышленной информатики эту эффективность следует поднять на несколько порядков.
Существует несколько различных подходов, которые с достаточно высоким уровнем эффективности позволяют сокращать объемы данных. И одним из самых гибких и мощных классов является класс алгоритмических методов сжатия данных.
Цель работы. Целью диссертационной работы является:
анализ эффективности алгоритмических методов сжатия данн:
реализация программных компонент средств сжатия данных на базе ЭВМ типа СМ-4.
Основные задачи, решаемые в работе:
анализ подходов к минимизации объемов баз данных(БД);
уточнение понятия алгоритмических методов сжатия данных, исходя из общего определения;
выбор и обоснование комплекса критериев, позволяющих произвести адекватную оценку эффективности методов сжатия данных;
исследование проблем организации и принципов построения программных средств,реализующих сжатие в базах данных;
выбор комплекса алгоритмических методов сжатия данных, обеспечиванюших наибольший эффект при использовании в системах промышленной информатики;
апробация результатов исследования при разработке подсистемы сжатия данных на базе ЭВМ типа СМ-4.
Научная новизна. В работе содержатся следующие результаты, представляющие научный интерес:
- обобщены и проанализированы особенности подходов, су-
ществбнно влиякшщх на объем баз данных информационных систем, уточнены границы использования алгоритмических методов сжатия данных;
уточнено понятие алгоритмических методов сжатия данных: выявлены их специфические особенности, их роль, место среди других методов и в системном программном обеспечении информационных систем;
построена система классификации алгоритмических методов сжатия, позволяющая произвести одноякачное разбиение методов на классы, непересекающиеся по объекту сжатия, исходя из общих критериев оценки эффективности СУБД. Эта классификация показала, что возможно одновременное использование нескольких методов сжатия для интегрированных объектов баз данных -файлов;
построена система критериев, позволяющая однозначно ранжировать алгоритмические методы сжатия данных по их эффективности, установлена их взаимосвязь и взаимообусловленность;
разработана методика исследования методов сжатия;
произведена параметризация и аналитическая оценка алгоритмических методов сжатия данных;
предложена и реализована архитектура встроенной системы сжатия данных;
построен программный аппарат для моделирования и оценки методов сжатия данных по критерию времени и произведены модельные испытания подсистемы сжатия данных по этому критерию;
предложены модификации существующих и принципиально новый алгоритм сжатия данных.
Практическая ценность. Методика исследования, разработанная в диссертации может быть использована для изучения алгоритмических методов сжатия данных. Результаты исследования алгоритмических методов сжатия носят достаточно общий характер для построения подсистем сжатия данных для различных типов ЭВМ.
Практическая реализация в составе Базовых Средств для
построения Пакетов Прикладных программ для сетей мини- и микро-ЭВМ типа СМ-4 (БСШ), подтвердила'правильность предложенной общей архитектуры, состава и функций подсистемы сжатия данных.
Результаты внедрения. Предложенная архитектура подсистемы сжатия данных была реализована в составе БСПП
Работы проводились в ВЦ СО АН СССР и в ИВЗП СО АН QCCP по планам АН СССР на 1986-1990 гг. (тема "Разработка принципов построения ПО АСУП на базе локальных сетей мини- и микро-ЭВМ, их реализация и внедрение на базе действующих систем". Пост. ГКНТ и АН СССР от 30.10.85 555 по проблеме 0.80.02. задание 3.35.13.02), а также по хоздоговорам и договорам о научно-техническом сотрудничестве ВЦ СО АН с НЗХК (г. Новосибирска), ПО "0ЭМЗ"(г. Омск), ВНИИТарматура (г. Алма-Ата), НПО "Электроника" (г. Воронеж), НПО "Полет" (г. Челябинск).
Публикации. По результатам диссертации опубликовано 11 работ (И8 них 5 в соавторстве).
Похожие диссертации на Исследование и разработка алгоритмических методов сжатия данных
