Введение к работе
Актуальность темы. В связи с всевозрастающей потребностью общества в информационном обмене возрастают и объем, и сложность решаемых вычислительных задач. В частности задача обработки потоковой информации лежит в основе функционирования множества прикладных систем: систем мобильной телефонной связи, биржевых и банковских систем, систем продажи билетов в железнодорожном и авиационном транспорте, систем обмена текстовыми, голосовыми и видео сообщениями в Интернете и многих других.
Указанные задачи, как правило, связаны с обработкой больших потоков данных. С одной стороны, в этой области большинство прикладных и персональных компьютерных технологий не могут обеспечить требуемой производительности за счет одной платформы, а с другой – специализированные вычислительные комплексы неэффективны из-за высокой стоимости оборудования и трудностей в эксплуатации. Поэтому для решения подобных задач целесообразно применение универсальных вычислительных комплексов.
На сегодняшний день все большее значение приобретают высокопроизводительные и надежные вычислительные системы, предназначенные для обработки потоковой информации, построенные на базе вычислительных систем среднего и персонального класса. Данные системы более просты и дешевы в эксплуатации, чем специализированные вычислительные комплексы и суперкомпьютеры, которые часто стоят много больше, чем экономическая выгода от решения поставленных задач. Кроме того, системы на базе стандартных ЭВМ среднего уровня с достаточно широкими возможностями постепенного наращивания производительности доступны для приобретения и реализации средними и малыми предприятиями и научными организациями. При этом, нередко такие системы построены с использованием ЭВМ различных типов, то есть образуют гетерогенную систему.
Таким образом, актуальность темы данного исследования логически подтверждается следующими положениями:
наличием большого количества научных и практических задач, требующих для своего решения вычислительных ресурсов, превосходящих возможности обычных персональных компьютеров;
высокой стоимостью и сложностью эксплуатации высокопроизводительных систем (типа суперкомпьютеров и многопроцессорных систем);
необходимостью разработки специализированного программного обеспечения и аппаратных технических средств параллельной обработки индивидуально для каждой частной задачи;
наличием достаточного количества гетерогенных сетей, связывающих большое количество вычислительных ресурсов средней и малой вычислительной мощности в единую телекоммуникационную систему.
Эффективное использование гетерогенных комплексов требует разработки специальных методов распределения нагрузки, как правило, заметно более сложных, чем методы, применяемые в однородных комплексах.
Потоки мультимедийной информации, по сравнению с большинством других видов информации, характеризуются значительной неоднородностью. Как правило, наблюдается большой разброс объёмов заданий и большой разброс времени их обработки (прежде всего это характерно для случаев применения алгоритмов из области искусственного интеллекта). Отсюда возникает потребность в разработке таких моделей вычислительных комплексов, которые бы учитывали основные особенности процесса обработки мультимедийной информации.
Различные схемы распределения нагрузки в гетерогенных комплексах при одной и той же аппаратной базе могут различаться по эффективности использования ресурсов в несколько раз, поэтому возникает необходимость в моделировании и исследовании различных вариантов архитектур и соответствующих им схем управления работой комплекса.
Объект исследований. Объектом исследования является математическое и программное обеспечение распределённых систем обработки потоковой мультимедийной информации.
Целью работы. Повышение эффективности работы распределённых гетерогенных комплексов обработки потоковой мультимедийной информации.
Научная задача. Минимизация среднего времени пребывания задания в распределённой системе обработки потоковой информации при неизменных аппаратных ресурсах.
Задачи исследования. Для решения поставленной цели в диссертационной работе определены следующие задачи исследования:
-
проанализировать существующие методы и средства распределения задач обработки между вычислительными узлами в системах обработки потоковой информации;
-
разработать обобщенную математическую модель функционирования распределённой гетерогенной вычислительной системы;
-
в рамках предложенной модели разработать и исследовать метод управления, минимизирующий среднее время пребывания задания в системе;
-
разработать метод управления для расширенной модели гетерогенной вычислительной системы с полной информацией о состоянии обработчиков, минимизирующий среднее время пребывания задания в системе;
-
реализовать программные средства управления распределённым гетерогенным комплексом обработки потоковой мультимедийной информации.
Методы исследования. Методы исследования основаны на использовании теории программирования распределенных систем, теории вероятности, теории систем массового обслуживания, теории проектирования человеко-машинных интерфейсов.
Научная новизна. Предложена новая модель функционирования гетерогенного распределённого комплекса обработки потоковой информации в виде сети массового обслуживания без циркуляции. В рамках полученной модели найдены выражения для вероятностей распределения заданий по обработчикам, минимизирующие среднее время пребывания задания в системе. Разработан программный интерфейс подключаемых модулей обработки мультимедийной информации, основанный на технологии XML, накладывающий минимальные ограничения на формат входных и выходных данных и позволяющий единообразно осуществлять контроль и преобразование передаваемых данных.
Практическая ценность и реализация. Практическая ценность исследования заключается в возможности повышения эффективности работы распределённых гетерогенных комплексов обработки потоковой информации за счёт применения предложенной схемы распределения нагрузки на основе сети массового обслуживания. В отличие от традиционных схем распределения нагрузки (типа асинхронного распределения заданий или фиксированной привязки входных каналов к отдельным вычислительным узлам), разработанная схема позволяет гибко регулировать распределение нагрузки в зависимости от мощности входного потока, что позволяет заметно поднять общую эффективность работы комплекса. Результаты диссертационного исследования нашли применение в виде практической реализации вычислительных комплексов, разработанных в рамках научно-исследовательских и опытно-конструкторских работ «Творение-2А», «Проза» (ФГУП «18 ЦНИИ» МО РФ); «Ребус-КУ-Р» (ФГУП НИИ Радио). При этом внедрение на данных комплексах систем распределения заданий на основе разработанной модели позволило добиться уменьшения их среднего времени отклика более чем на 15%.
Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на 4-м международном конгрессе «Звук и вибрация» (С.-Петербург, 1996 г.), Международной конференции «Речь и компьютер» (г. Москва, 1996 г.), 8-й региональной научно-практической конференции «Проблемы муниципального управления '99. Применение ГИС технологий», (г. Таганрог, 1999 г.), 10-й сессии Российского акустического общества (г. Москва, 2000 г.), Всероссийской научно-технической конференции с международным участием «Компьютерные технологии в инженерной и управленческой деятельности» (г. Таганрог, 2000 г.), Всероссийской научно-технической конференции с международным участием «Компьютерные технологии в инженерной и управленческой деятельности» (г. Таганрог, 2002 г.), Всероссийской научной конференции «Научный сервис в сети Интернет» (г. Новороссийск, 2004 г.), Международной научно-практической конференции "Методы и алгоритмы прикладной математики в технике, медицине и экономике", (г. Новочеркасск, 2006 г.), Восьмой международной научно-практической конференции «Информационная безопасность-2006» (г. Таганрог, 2006 г.), IV Международной научно-технической конференции «Теория, методы проектирования, программно-техническая платформа корпоративных информационных систем» (г. Новочеркасск, 2006 г.), IX Международной научно-практической конференции «Моделирование. Теория, методы и средства» (г. Новочеркасск, 2009 г.).
Публикации. По теме диссертации опубликовано 30 печатных работ. Из них 9 научных статей, 17 тезисов докладов, один патент РФ и 4 свидетельства об официальной регистрации программы для ЭВМ.
Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения и списка литературы. Работа содержит 131 страницу основного текста и включает 27 рисунков, 12 таблиц. Список литературы состоит из 68 наименований на 8 страницах.
