Введение к работе
Актуальность. В настоящее время интеллектуальные системы обработки информации получили широкое распространение в различных областях человеческой деятельности. Искусственные нейронные сети (ИНС), системы на нечеткой логике, символьная регрессия, эволюционные алгоритмы и другие интеллектуальные информационные технологии (ИИТ) способны решать сложные задачи обработки информации, с которыми не справляются классические методы. Во многих случаях полезным подходом является гибридизация, когда в систему обработки информации включаются несколько ИИТ, в том числе и различных типов. Данный подход становится все более распространенным с ростом производительности вычислительной техники.
Однако, разработка и настройка даже одной ИИТ - нетривиальная задача. Проектирование и разработка коллектива ИИТ с необходимыми свойствами – задача на порядок сложнее. Для ее решения необходим эффективный инструментарий.
Таким инструментарием могут быть алгоритмы эволюционного поиска, наиболее известными из которых являются генетический алгоритм (ГА) и алгоритм генетического программирования (ГП).
Генетический алгоритм является эффективной процедурой решения сложных задач оптимизации. Он ищет решение в гиперкубе, определяемом бинарной строкой, которой кодируется это решение. Задача ГА – определить, какая (какие) точка гиперкуба доставляют экстремум целевой функции. ГП отличается тем, что генотип индивида представлен не линейно (в виде бинарной строки, или массива чисел), а в виде иерархической структуры – дерева. Исследователь не ограничивает пространство поиска, а только определяет элементы и связи, при помощи которых строятся решения. Элементы, объединяясь в иерархические структуры, порождают системы с новыми (эмерджентными) свойствами, которые изначально не предполагались исследователем. Поэтому ГП является одним из наиболее привлекательных инструментов поиска и адаптации в пространстве сложных структур.
Однако эффективное применение ГА и ГП требует глубокого знания теории эволюционного поиска, что ограничивает их распространение на практике. Конечный пользователь должен обладать навыками определения эффективных настроек и параметров ГП и ГА (типы селекции и рекомбинации, уровень мутации, критерий останова и т.д.). Снятие данного ограничения позволило бы существенно расширить аудиторию пользователей ГП и ГА. Одним из решений этой проблемы является разработка самонастраивающихся алгоритмов, которые самостоятельно адаптируются под решаемую задачу, выбирают эффективные настройки и определяют параметры. В этой связи разработка и исследование новых алгоритмических схем для автоматизации проектирования ИИТ с помощью эволюционных алгоритмов является актуальной научно-технической задачей.
Цель диссертационной работы состоит в повышении обоснованности принятия решений при применении интеллектуальных технологий обработки информации за счет автоматизации их проектирования с использованием самоконфигурируемых эволюционных алгоритмов.
Сформулированная цель предопределила следующую совокупность решаемых задач:
-
Разработать генетический алгоритм для эффективной оптимизации в дискретных пространствах;
-
Разработать алгоритм генетического программирования, решающий задачи символьной регрессии, для эффективного поиска на дискретных структурах;
-
Разработать алгоритм генетического программирования для автоматического генерирования нейронных сетей произвольной архитектуры;
-
Разработать подход для автоматического выбора настроек и параметров эволюционных алгоритмов в ходе решения задачи.
-
Разработать процедуру принятия решений коллективом ИИТ для повышения эффективности моделирования сложных систем и процессов;
-
Реализовать разработанные подходы в виде программных систем;
-
Проверить работоспособность предложенных подходов на тестовых и реальных практических задачах.
Методы исследования. В данной работе использовались методы эволюционных вычислений, нейросетевого моделирования, оптимизации, символьной регрессии, теории вероятности и математической статистики, системного анализа, методика разработки интеллектуальных информационных систем и другие.
Научная новизна работы заключается в следующем:
-
Разработан, реализован и исследован модифицированный оператор равномерной рекомбинации для генетического алгоритма оптимизации, отличающийся от известных наличием селективного давления на этапе скрещивания и позволяющий повысить эффективность работы алгоритма.
-
Разработан, реализован и исследован новый оператор равномерной рекомбинации для алгоритма генетического программирования, отличающийся от известных способом формирования потомка и наличием селективного давления на этапе скрещивания и позволяющий повысить эффективность работы алгоритма.
-
Разработан, реализован и исследован новый метод самоконфигурирования эволюционных алгоритмов моделирования и оптимизации, отличающийся от известных способом адаптивного выбора эффективных генетических операторов в ходе решения задачи и позволяющий сократить вычислительные затраты без снижения точности и надежности.
-
Разработан, реализован и исследован новый эволюционный алгоритм автоматического генерирования нейросетевых моделей, отличающийся от известных методом формирования структуры нейронных сетей и позволяющий редуцировать их размеры без снижения эффективности.
-
Разработан, реализован и исследован новый эволюционный алгоритм построения гетерогенных ансамблей интеллектуальных информационных технологий, отличающийся от известных способом выбора членов коллектива из предварительного набора и методом формирования коллективного решения и позволяющий повысить эффективность решения задач обработки информации.
Теоретическая значимость результатов диссертационного исследования состоит в разработке новых эволюционных алгоритмов моделирования и оптимизации, основанных на модификации равномерного скрещивания, позволяющей эффективнее использовать генетическую информацию за счет увеличения селективного давления, и методе самоконфигурирования, позволяющем автоматически выбирать эффективные настройки в ходе решения задачи за счет адаптации вероятностей применения генетических операторов.
Практическая ценность. Разработанные самоконфигурируемые эволюционные алгоритмы моделирования и оптимизации позволяют экономить время и вычислительные ресурсы при выборе их настроек, не снижая при этом эффективности их применения конечным пользователем.
Разработанная процедура коллективного принятия решений позволяет использовать полезные свойства нескольких методов при решении практических задач и не требует от конечного пользователя экспертных знаний в области эволюционного моделирования и оптимизации.
В ходе выполнения работы успешно решены задачи анализа данных из области техники, медицины, банковского скоринга, компьютерной безопасности и распознавания речи.
Реализация результатов работы. Разработанные алгоритмы использованы при выполнении исследований в рамках российско-германских проектов 2011-1.9-519-005-042 «Распределенные интеллектуальные информационные системы обработки и анализа информации в диалоговых информационно-коммуникационных системах» ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы (с участием научных и исследовательских организаций стран Европейского Союза)» (ГК №11.519.11.4002) и 2011-1.2.1-113-025-002 «Математическое и алгоритмическое обеспечение автоматизированного проектирования аппаратно-программных комплексов интеллектуальной обработки информации в распределенных высокопроизводительных системах космического назначения» ФЦП «Научные и научно-педагогические кадры инновационной России на 2009-2013 годы (с участием научно-исследовательских и научно-образовательных организаций Германии)» (ГК № 16.740.11.0742). Кроме того, данная работа была поддержана молодежными инновационными грантами Сибирского федерального университета 2007-2009 гг. и Фондом содействия развитию малых форм предприятий в научно-технической сфере в рамках программы «Участник молодежного научно-инновационного конкурса» (У.М.Н.И.К.).
Две программные системы прошли государственную экспертизу и были зарегистрированы во ВНТИЦ, три программные системы зарегистрированы в Роспатенте.
Разработанные в диссертации программные системы используются в учебном процессе Института информатики и телекоммуникаций СибГАУ при выполнении лабораторных и курсовых работ и, кроме того, переданы для использования в две инновационные IT-компании.
Основные положения выносимые на защиту:
-
Разработанный генетический алгоритм оптимизации с модифицированным оператором множественной рекомбинации превосходит стандартный генетический алгоритм по надежности и быстродействию.
-
Новые операторы равномерного скрещивания в алгоритме генетического программирования по надежности сравнимы со стандартным и превосходят одноточечное скрещивание и предотвращают чрезмерное усложнение решений.
-
Эволюционный алгоритм автоматического генерирования нейронных сетей является эффективным средством построения нейросетевых моделей произвольной структуры.
-
Разработанный способ самоконфигурации эволюционных алгоритмов позволяет избегать затрат на их настройку, не снижая при этом эффективности моделирования и оптимизации.
-
Предложенная процедура принятия решения коллективом ИИТ является эффективным средством повышения точности моделирования сложных систем и процессов.
Апробация работы. Процесс разработки алгоритмов и результаты проведенных исследований докладывались в период 2006-2012 гг. на 24 конференциях различного уровня, среди которых 6 зарубежных, 6 международных, 4 всероссийских с международным участием и 8 молодежных научных конференций, в том числе: Biologically Inspired Optimization Methods and Applications (Bohinj, Slovenia, 2012), Advances in Swarm Intelligence (Shenzhen, China, 2012), Informatics in Control, Automation and Robotics (Rome, Italy, 2012), Congress on Evolutionary Computations of the IEEE World Congress on Computational Intelligence (Brisbane, Australia, 2012), Computational Intelligence in Security for Information Systems (Ostrava, Czech Republic, 2012), XII и XIII Национальные конференции по искусственному интеллекту с международным участием (г. Тверь, 2010, г. Белгород, 2012 гг.), XIII Международная научно-техническая конференция «Кибернетика и высокие технологии XXI века» (г. Воронеж, 2012), I и II Всероссийские научные конференции с международным участием «Теория и практика системного анализа» (г. Рыбинск, 2010, 2012 гг.), VII Всероссийская научно-практическая конференция с международным участием "Информационные технологии и математическое моделирование" (Томск, 2008), и др. Кроме того, отдельные результаты работы были обсуждены на научном семинаре института информационных технологий университета г. Ульм (Германия, 2011), а диссертация в целом обсуждалась на научных семинарах института проблем управления РАН имени В.А.Трапезникова (Москва, 2012) и института системного анализа РАН (Москва, 2012), а также на научно-техническом семинаре кафедры системного анализа и исследования операций СибГАУ.
Публикации. По материалам данной работы опубликовано более 25 печатных работ, в том числе 5 статей в научных изданиях Перечня ВАК.
Структура работы. Работа состоит из введения, пяти глав, заключения, списка литературы и приложений.
