Содержание к диссертации
Введение
Глава 1. Проблема повышения качества программного обеспечения интеллектуальных систем принятия решения при построении сложных организационно-технических комплексов 20
1.1 Анализ существующего состояния дел (проблем) в области разработки интеллектуальных систем принятия решения в сложных организационно-технических комплексах 20
1.2. Методологические основы повышения качества программного обеспечения интеллектуальных систем принятия решения 33
1.3 Анализ моделей и методов повышения качества программного обеспечения интеллектуальных систем принятия решения 43
1.4 Классификация интеллектуальных систем принятия решения 48
1.4.1 Актуальность продукционной модели знаний в интеллектуальных системах 51
1.4.2 Актуальность искусственной нейронной сети, основанной на трехслойном персептроне, в интеллектуальных системах 56
1.5. Основные этапы жизненного цикла интеллектуальных систем принятия решения 61
1.6 Анализ существующих методов отладки программного обеспечения интеллектуальных систем принятия решения 67
1.6.1 Анализ существующих методов статического анализа баз знаний 67
1.6.2 Анализ существующих методов тестирования баз знаний 75
1.7. Выводы 86
Глава 2. Модели и методы повышения качества программного обеспечения интеллектуальных систем 89
2.1 Общая постановка задачи повышения эффективности функционирования человеко-машинной системы по векторному критерию 89
2.2 Постановка задачи повышения качества программного обеспечения интеллектуальных систем 91
2.3. Основные этапы решения задачи 93
2.4 Модели и алгоритмы формирования дерева событий, используемого при анализе качества программного обеспечения интеллектуальных систем 95
2.5 Модели и алгоритмы проверки выполнимости плана операций по повышению качества программного обеспечения интеллектуальных систем 107
2.5.1 Проверка выполнимости плана операций с помощью аппарата булевых функций и продукционных моделей 107
2.5.2 Определение вероятности выполнения плана операций с помощью дифференциальных уравнений Колмогорова – Чепмена 112
2.6. Выводы 141
Глава 3. Разработка моделей и методов системной динамики для повышения качества программного обеспечения при проектировании и эксплуатации интеллектуальных систем 143
3.1 Постановка задачи, ограничения и допущения 143
3.2 Общий подход к решению 145
3.3 Разработка модели системной динамики для проверки выполнимости плана операций по повышению надежности функционирования программного обеспечения интеллектуальной системы 147
3.3.1 Определение внешних факторов 147
3.3.2 Формирование графа причинно-следственных связей 148
3.3.3 Формирование системы дифференциальных уравнений 150
3.4. Выводы 219
4. Повышение качества программного обеспечения на основе предложенной методологии отладки баз знаний интеллектуальных систем принятия решения 221
4.1 Общий подход к разработке методологии отладки баз знаний 221
4.2 Классификация ошибок в продукционных базах знаний 224
4.2.1 Формальные модели ошибок в продукционных базах знаний 224
4.3 Модели ошибки продукционной базы знаний, связанные с противоречивостью предметной области 259
4.3.1 Ошибки типа «забывание об исключении» 260
4.3.1 Ошибки типа «критическое сочетание событий» 263
4.4 Модели ошибок нейросетевых интеллектуальных систем принятия решения 264
4.5 Методы отладки баз знаний на основе разработанных моделей ошибок 268
4.5.1 Метод отладки продукционной базы знаний 268
4.5.2 Метод отладки нейросетевой базы знаний 269
4.6 Выводы 275
5. Методы тестирования баз знаний интеллектуальных систем принятия решения на основе предложенной методологии 278
5.1 Разработка метода тестирования продукционных баз знаний 278
5.1.1 Построение полного множества тестов продукционной базы знаний на основе модернизированного алгоритма PODEM 285
5.1.2 Алгоритм формирования полного множества тестов продукционной базы знаний 286
5.1.3 Пример построения тестов 290
5.2 Разработка метода тестирования нейросетевых базы знаний 294
5.2.1 Алгоритм преобразования нейросетевой информационной структуры к виду решающих правил 296
5.2.2 Пример построения тестов нейросетевой базы знаний ИСПР 300
5.2.3. Метод генерации полного тестового множества нейросетевой ИСПР, обнаруживающего ошибки типа «забывание об исключении» 303
5.3 Оценка эффективности разработанного метода генерации тестов баз знаний ИСПР 310
5.3.1 Оценка эксплуатационных характеристик разработанных методов построения тестового множества базы знаний ИСПР 314
5.4 Выводы 319
Глава 6. Опыт внедрения результатов исследований на промышленных предприятиях и в организациях 321
6.1. Постановка задачи разработки ИСПР по обнаружению неисправностей газоперекачивающих агрегатов 321
6.1.2 Постановка задачи диагностики причин неисправностей ГПА 326
6.1.3. Описание экспертной системы определения неисправностей газоперекачивающих агрегатов 338
6.2. Разработка ИСПР для прогноза комплаентности в офтальмологии 360
6.2.1 Актуальность решения задачи прогноза компланентности 360
6.2.2 Особенности реализации нейросетевой ИСПР прогнозирования комплаентности 366
6.2.3 Структура нейросетевой ИСПР прогнозирования комплаентности 371
6.2.4 Основные функции нейросетевой ИСПР прогноза комплаентности 375
6.2.5 Результаты тестирования и внедрения нейросетевой ИСПР прогноза комплаентности 377
6.3 Разработка интеллектуальной системы принятия решения в области неотложной кардиологии 379
6.3.1 Актуальность решения задачи разработки ИСПР по неотложной кардиологии . 379
6.3.2. Особенности предметной области неотложной кардиологии 385
6.3.3 Модель представления знаний в ИСПР по неотложной кардиологии 386
6.3.4. Результаты тестирования и внедрения ИСПР по неотложной кардиологии 391
6.4 Подтверждение достоверности разработанного математического обеспечения на примере интеллектуальной системы по обнаружению неисправностей газоперекачивающих агрегатов 395
6.4.1 Общий подход к анализу достоверности разработанного математического обеспечения 395
6.4.2 Проверка выполнимости плана операций по обеспечению требуемого качества функционирования программного обеспечения интеллектуальной системы, используемой для обнаружения неисправностей газоперекачивающих агрегатов 397
6.4.3 Проверка выполнимости плана операций с помощью продукционных моделей 401
6.4.4 Определение вероятности выполнения плана операций при критическом сочетании событий 404
6.5 Использование результатов диссертационной работы в учебно-методическом комплексе высшего образования 414
Заключение 419
Список литературы: 422
Приложение 1. 458
Приложение 2. 465
Приложение 3 469
Приложение 4 486
Приложение 5 492
Приложение 6 518
Приложение 7 539
Приложение 8 542
Приложение 9 556
- Методологические основы повышения качества программного обеспечения интеллектуальных систем принятия решения
- Формирование системы дифференциальных уравнений
- Разработка метода тестирования продукционных баз знаний
- Актуальность решения задачи разработки ИСПР по неотложной кардиологии
Введение к работе
Актуальность темы исследования. Повышение уровня компьютеризации сложных организационно-технических систем, таких как промышленные, энергетические и транспортные, безусловно, привело к возрастанию их эффективности. Однако дальнейшее развитие этих систем сдерживается недостаточным качеством программного обеспечения их систем управления, что приводит к увеличению вероятности возникновения аварий и катастроф.
Один из путей решения этой проблемы связан с разработкой новых, более совершенных моделей и методов построения интеллектуальных систем принятия решений для повышения оперативности и качества управления сложными организационно-техническими комплексами.
Создание интеллектуальных систем принятия решений в соответствии с Указом Президента РФ от 07.07.2011 г. № 899 отнесено к приоритетному направлению развития науки, технологий и техники в Российской Федерации и является одним из направлений программы «Цифровая экономика Российской Федерации», утвержденной Правительством РФ 28.07.2017 г. В связи с этим данное диссертационное исследование, направленное на создание теоретического и методологического базисов решения проблемы повышения эффективности и качества принятия решений в интеллектуальных системах управления организационно-техническими комплексами, имеет важное хозяйственное значение.
Степень разработанности проблемы. Общие принципы и подходы к созданию систем управления сложными системами достаточно широко представлены в работах В.М. Буркова, Д.А. Новикова, Э. Фейгенбаума, Н.П. Бусленко, Г.С. Поспелова, Д.А. Поспелова, А.П. Еремеева, О.И. Ларичева, В.А. Ирикова, А.Ф. Резчикова, Р.И. Макарова, А.Д. Цвиркуна, Р.М. Юсупова, Р. Дорфа, Р. Бишопа и других известных отечественных и зарубежных ученых. Однако возрастающая сложность современных промышленных и организационно-технических объектов вызывает необходимость использования при управлении ими методов системного анализа и теории искусственного интеллекта, позволяющих осуществить комплексный анализ всего спектра формальных знаний по выработке управляющих воздействий. При создании интеллектуальных систем управления наибольшую сложность представляет работа со знаниями. Методы их извлечения и формализации в настоящее время достаточно хорошо разработаны, однако методология организации систем поддержки принятия решений, основанных на них, до сих пор остается весьма ограниченно формализованной, базирующейся в основном на экспертном подходе, требующем больших временных и финансовых затрат, но не гарантирующей отсутствие ошибок в базе знаний.
Среди трудов, посвященных классификации ошибок в базах знаний экспертных систем и обеспечению их корректной работы, следует отметить работы И.Г. Поспелова, Л.Я. Поспеловой, С.А. Зыковой, А. Нариньяни, В Скотта, Б. Нгуэна, Я. Тепанди и М. Стендела. При этом наибольшего успеха добились исследователи, развивающие статические методы обеспечения корректной работы базы знаний, которые не требует запуска системы на выполнение. Однако, несмотря на полученные результаты, до сих пор не существует единого подхода к формализации структурных ошибок в базах знаний, выявляемых статическими методами. К тому же статически корректные базы знаний не гарантируют правильности управленческих решений за счет ошибок в самих знаниях, часто связанных со сложностью предметной области, допускающей дублирующие системы рассуждений.
Тестирование базы знаний до сих пор решает ограниченный круг задач по обнаружению ошибок в них. Известны лишь отдельные попытки автоматизации методов построения тестов для узкого круга моделей знаний.
Объект исследования – программные средства интеллектуальных систем принятия решений, используемых при управлении сложными организационно-техническими комплексами.
Предмет исследования – методы и модели построения интеллектуальных систем принятия решений для управления сложными организационно-техническими комплексами на основе продукционных и нейросетевых баз знаний.
Целью диссертационной работы является решение важной научно- технической проблемы, заключающейся в разработке задач, моделей и методов построения интеллектуальных систем принятия решений для управления сложными организационно-техническими комплексами, что позволит обеспечить эффективность и качество функционирования программных средств, а также корректную работу продукционных и нейросетевых баз знаний, положенных в основу построения этих систем.
Для достижения данной цели необходимо решить следующие задачи:
– выполнить анализ состояния работ в области построения ИСПР, сформировать основные направления исследования в части разработки методологии повышения эффективности и качества их функционирования;
– построить комплекс математических моделей, позволяющих в широком диапазоне интервалов времени получать прогнозные значения основных показателей качества функционирования ИСПР, определить общий подход к построению данного комплекса моделей;
– предложить и обосновать процедуру построения системы нелинейных дифференциальных уравнений, основанную на использовании математического аппарата теории причинно-следственных комплексов и системной динамики Форрестера, для прогнозирования показателей качества программного обеспечения ИСПР;
– разработать модели и алгоритмы формирования плана операций по повышению качества функционирования ПО в виде дерева событий, позволяющие осуществлять построение плана операций для большого множества вершин и дуг;
– выполнить классификацию и формализацию основных типов ошибок в базах знаний ИСПР и установить их связь с надежностью, безопасностью и другими показателями качества функционирования организационно-технических комплексов;
– разработать подходы к устранению сбоев программного обеспечения ИСПР, включая тестирование их БЗ, позволяющие выявлять сложный класс ошибок – «забывание об исключении»;
– провести апробацию методологии повышения эффективности и качества функционирования ИСПР на примерах реальных объектов.
Научная новизна работы соответствует пунктам 10, 11 и 13 паспорта специальности 05.13.01 «Системный анализ, управление и обработка информации» и заключается в следующем:
1. Разработана формальная постановка задачи повышения эффективности функционирования ИСПР как задачи векторной оптимизации с ограничениями в виде равенств и неравенств. Установлено, что для ее решения необходимо разработать математические модели, численные методы, алгоритмы и комплексы программ, позволяющие осуществить оптимизацию целевой функции,
характеризующей качество программного обеспечения интеллектуальных систем производственного назначения на различных временных интервалах.
-
Осуществлена формальная постановка задачи повышения качества программного обеспечения интеллектуальных систем при неблагоприятном стечении обстоятельств, установлена ее принадлежность к классу задач вариационного исчисления на условный экстремум, предложен и обоснован эвристический подход к решению данной задачи.
-
Установлено, что задача повышения качества программного обеспечения может быть сведена к задаче синтеза комплексного плана операций по повышению надежности программного обеспечения и анализу его выполнимости при различных управляющих воздействиях и состояниях среды.
-
Разработаны модели и алгоритмы синтеза комплексного плана операций по повышению качества программного обеспечения в виде дерева событий, позволившие построить план операций из нескольких сотен вершин и дуг.
-
Предложена и обоснована методика проверки выполнимости плана операций с помощью аппарата булевых функций и продукционных моделей, позволяющая представить проверяемый план в виде совокупности дискретных логических устройств, единичный сигнал на выходе которых свидетельствует о возможности исполнения плана в заданный момент времени.
-
Сформированы модели и алгоритмы проверки выполнимости плана операций по повышению качества с помощью минимальных сечений графа состояний, позволяющие определить вероятности неисполнения данного плана при неблагоприятном стечении событий из решения систем дифференциальных уравнений Колмогорова – Чепмена.
-
Разработаны математические модели, позволяющие определить вероятности возникновения неблагоприятных стечений событий в процессе реализации плана операций из решения систем дифференциальных уравнений Колмогорова – Чепмена для трех-, четырех-, пяти- и шестиэлементных минимальных сечений, что позволят повысить надежность программного обеспечения интеллектуальных систем.
-
Предложена и обоснована процедура проведения вычислительных экспериментов с математическими моделями минимальных сечений, использованная для подтверждения адекватности разработанного математического обеспечения.
-
Разработана процедура построения системы нелинейных дифференциальных уравнений, основанная на использовании математического аппарата системной динамики Форрестера, обеспечивающая комплексный учет основных внутренних и внешних факторов и их взаимосвязей, определяющих функционирование ИСПР. Построена система нелинейных дифференциальных уравнений, отражающая изменения характеристик программного обеспечения ИСПР в процессе ее функционирования.
-
Разработаны модели и алгоритмы построения плана операций по повышению эффективности и качества функционирования ПО ИСПР в виде дерева событий (графа), позволяющего определять пути, приводящие к корневому событию (вершине дерева) и определять минимальное количество комбинаций событий, которые могут вызвать его.
-
Представлена классификация и формализация основных типов ошибок в продукционных и нейросетевых базах знаний, используемых при построении ИСПР, позволяющая сократить количество моделей ошибок, ограничив его числом выделенных классов.
-
Разработаны подходы к устранению сбоев программного обеспечения ИСПР, а также к тестированию их БЗ, позволившие выявлять наиболее сложный класс ошибок – «забывание об исключении», приводящих к наибольшему материальному ущербу при функционировании организационно-технических комплексов.
-
Проведена апробация методологии повышения эффективности и качества функционирования ИСПР на примерах из области энергетики и медицины.
Методология и методы исследования. Для решения поставленных задач использовались: системный анализ, теория управления, методы искусственного интеллекта и теория принятия решений.
Основные положения, выносимые на защиту:
-
Методология системно-ориентированного подхода к повышению эффективности и качества функционирования ИСПР, позволяющая рассматривать этот процесс с учетом взаимосвязи внутренних и внешних факторов, определяющих поведение системы.
-
Комплекс математических моделей, позволяющих на различных интервалах времени определять прогнозные значения основных показателей качества функционирования ИСПР.
-
Формализованные модели ошибок для продукционного и нейросетевого способов представления знаний, основанного на трехслойном персептроне.
-
Комплекс алгоритмических методов генерации тестов для БЗ, основанных на продукционном и нейросетевом (трехслойном персептроне) способах представления знаний, позволяющих выявить наиболее трудный для выявления тип ошибок – «забывание об исключении».
-
Результаты экспериментального исследования алгоритмов, реализующих разработанные методы генерации тестовых данных для отладки БЗ ИСПР, и анализ их эффективности по обнаружению и исправления ошибок.
-
Результаты реализации методологии системно-ориентированного подхода к повышению эффективности и качества функционирования ИСПР в области энергетики и медицины.
Теоретическая и практическая значимость диссертационного исследования заключается в разработке концептуальных основ создания интеллектуальных систем принятия решений, а также методов отладки баз знаний интеллектуальных систем принятия решений, повышающих безотказность функционирования сложных организационно-технических комплексов.
Результаты исследования внедрены в ряде организаций, в том числе на предприятиях энергетической отрасли Саратовской области, в клиниках ФГБОУ ВПО «Саратовский государственный медицинский университет имени В.И. Разумовского, НУЗ «Дорожная клиническая больница на станции Саратов-II ОАО «РЖД»» (НУЗ ДКБ), а также в учебном процессе ФГБОУ ВО «Саратовский государственный технический университет имени Гагарина Ю.А., ФГБОУ ВО «Новосибирский государственный университет экономики и управления».
Личный вклад. Все основные результаты, выводы и положения, выносимые на защиту, а также информационное и программное обеспечение получены автором лично или под его руководством. В совместных работах автору принадлежит ведущая роль в разработке общей концепции работы, ее структуры, методик исследований, методологии реализации интеллектуальных систем принятия решений, создании математических моделей и программ на их основе. Автором диссертации разработаны алгоритмы программ, на которые получены свидетельства о государ-
ственной регистрации программ для ЭВМ, зарегистрированные под № 2016619717, 2014612271, 2014612272, 2011610038, 2013661540, 2007615261.
Реализация результатов работы. Исследования выполнены в соответствии с планами госбюджетных НИР Саратовского государственного технического университета (СГТУ) имени Гагарина Ю.А.:
-
Проблема 03В.06. Современные методы обработки многомерных данных и временных рядов (2000-2005 гг.).
-
Проблема 03В.03. Построение методов контроля качества функционирования интеллектуальных систем (2010-2012 гг.).
-
Проект 03В.02. Разработка методов проектирования интеллектуальных систем в слабо формализованных предметных областях для производственных и социально-экономических задач (2013-2015 гг., 2016-2018 гг.).
-
Федеральная целевая программа «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы», мероприятие 5.3 «Развитие системы демонстрации новых достижений и трансфера передового опыта по проблемам развития науки и инноваций».
Результаты диссертационной работы нашли применение при создании интеллектуальных систем принятия решений для реальных организационно-технических комплексов, в том числе имеющих повышенные требования к надежности принимаемых решений, обеспечению бесперебойной работы приборов и устройств в энергетике, принятию решений в медицине и других важных для народного хозяйства областях.
Результаты работы использованы также при устранении сбоев программного обеспечения интеллектуальных систем принятия решений: СВФ-АНАЛИЗ (Экспертная система (ЭС) прогноза дефектов промышленных изделий), NNetwork (программа реализации нейросетевого эмулятора для разработки ЭС, основанных на трехслойных персептронах), Glaucoma Complaint (ИСПР прогноза комплаентно-сти офтальмологических больных), NNetwork Tester, NNetwork Translator, NNetwork Complex (программный комплекс генерации тестов для отладки баз знаний) и ИСПР прогноза развития нестабильной стенокардии), ИСПР GAZDETECT для определения причин неисправностей газоперекачивающих агрегатов.
Материалы исследований использованы в учебном процессе при чтении лекций, выполнении курсового и дипломного проектирования студентами кафедры «Прикладные информационные технологии» ФГБОУ ВО «Саратовский государственный технический университет имени Гагарина Ю.А.), в лекционных курсах в ФГБОУ ВО «Новосибирский государственный университет экономики и управления». Разработанное ПО для тестирования ИСПР внедрено и функционирует в СГТУ, в ООО «Сателлит Софтлабз», ООО «Геофизмаш». Созданные ИСПР для принятия решений в неотложной кардиологии, прогноза комплаентности успешно функционируют в клиниках Саратовского государственного медицинского университета им. В.И. Разумовского, НУЗ ДКБ, ИСПР GAZDETECT – на предприятиях энергетической отрасли РФ (АО «НЕФТЕМАШ»-САПКОН, ООО «СЭПО-ЗЭМ», ООО «Геофизмаш», ООО НПО «Поволжская энергетическая компания»).
Достоверность полученных результатов обеспечивается корректным применением методов, подходов и исследований, которые строго обоснованы в научной литературе, апробированы и хорошо себя зарекомендовали при проведении научных исследований, и подтверждается успешным внедрением разработанных алгоритмов, программных средств и интеллектуальной системы принятия решений в различных организациях и предприятиях.
Апробация результатов диссертации. Результаты работы докладывались на международных научных конференциях «Математические методы в технике и технологиях»: ММТТ-13 (Саратов, 2000); ММТТ-16 (С.-Петербург, 2003); ММТТ-17 (Кострома, 2004); ММТТ-21 (Саратов, 2008); ММТТ-22 (Псков, 2009); ММТТ-23 (Саратов, 2010); ММТТ-24 (Саратов, 2011); ММТТ-25 (Харьков, 2012); ММТТ-26 (Н.Новгород, 2013); ММТТ-27 (Саратов, 2014); ММТТ-28 (Саратов, 2015); Международной научно-технической конференции «Проблемы управления и связи» (Саратов, 2000); международных конференциях по инженерным наукам и образованию ICEE (Чешская Республика, 2004; Венгрия, 2008; Польша, 2010; ЮАР, 2013; Марокко, 2013); III Всероссийской конференции «Инновационные технологии в обучении и производстве» (Камышин, 2005); Всероссийской научной школе-семинаре «Методы компьютерной диагностики в биологии и медицине» (Саратов, 2008); Всероссийской конференции «Проведение научных исследований в области, обработки, хранения, передачи данных и защиты информации» (Ульяновск, 2009); Всероссийской научно-практической конференции «Инновации и актуальные проблемы техники и технологий» (Саратов, 2010); Всероссийской конференции «Проблемы управления в социально-экономических и технических системах (Саратов, 2010-2017); XVIII Всероссийской научно-методической конференции «ТЕЛЕМАТИКА» (С.-Петербург, 2011); Международной конференции «Информационно-коммуникационные технологии в образовании, производстве и научных исследованиях» ICIT (Саратов, 2012, 2014, 2016, 2017); Международной конференции по клауд-вычислениям, обработке больших данных и надежности ICBDT (Индия, 2013); Международной научно-технической конференции «Перспективные информационные технологии (ПИТ)» (Самара, 2014, 2017); Международной конференции по компьютерным наукам CSOC (Жлин, Чешская Республика, 2015, 2017); Международной конференции по компьютерным сетям CN (Брунов, Польша, 2015, 2017); V Международном совещании по компьютерным наукам (Москва, 2015); I Открытом статистическом российском конгрессе (Новосибирск, 2015).
Основные публикации. По материалам диссертации опубликовано 55 печатных работ, в том числе 20 статей в ведущих рецензируемых журналах, рекомендованных ВАК Минобрнауки РФ, и 10 – в изданиях, индексируемых в международной базе SCOPUS, 2 монографии и получено 6 свидетельств о государственной регистрации программ для ЭВМ.
Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка использованной литературы, включающего 339 наименований. Работа изложена на 563 страницах, включая приложения, содержит 205 рисунков и 92 таблицы.
Методологические основы повышения качества программного обеспечения интеллектуальных систем принятия решения
Согласно стандарта ISO/IEC 25000:2014 под качеством программного обеспечения понимается способность программного продукта при заданных условиях удовлетворять установленным или предполагаемым потребностям.
В теории качества программного обеспечения существуют прямо противоположные подходы: от формального подхода, описанного в литературе [80,81,100] и оформленного в международных и отечественных стандартах ГОСТ Р ИСО/МЭК 9126-93. ISO/IEC 25010:2011, ГОСТ Р ИСО/МЭК 25010-2015 до так называемого функционального [95-98], основанного на том, что функциональные возможности и степень удовлетворенности пользователей программного продукта важнее структурных характеристик при определении качества программного обеспечения, что «качество программного продукта является показателем того, насколько он меняет мир к лучшему» [95]; понятия качества программного обеспечения как субъективного по своей природе, поскольку зависит от людей, оценивающих качество [99]. Очевидно, что качество ИСПР является комплексным многокритериальным показателем, учитывающим не только качество работы каждой подсистемы, но и причинно-следственные взаимодействия элементов системы. Вместе с тем, до сих пор методы обеспечения качества базы знаний, являющейся центральной частью интеллектуальной системы, до сих пор не формализованы, не существует единого подхода к решению данной проблемы. С другой стороны, процесс интеллектуализации систем управления, поддержки принятия решений сопровождается существенным увеличением объемов баз знаний, что требует создания эффективных методов контроля качества этой важнейшей составляющей интеллектуальной системы принятия решения.
Развитие теории качества применительно к современным информационным системам, использующим интеллектуальные, сетевые технологии, облачные и грид-вычисления, требуемые для решения управленческих задач большой размерности, происходит недостаточно эффективно. Основными причинами является то, что модели и методы классической теории качества не могут описать и дать адекватные оценки объектам, работоспособность которых нарушается не только вследствие отказов физической природы, а из-за ошибок проектирования, информационных воздействий, ошибках в базах знаний и др. Для таких объектов трудно определить само понятие отказа и определить множество причин, порождающих его.
С другой стороны, разработка интеллектуальных систем принятия решения сегодня часто производится специалистами иной инженерной философии, базирующейся, по- прежнему, на подходах к разработке и анализу результатов скорее, как искусству, а не как строгой науке; сохраняется ориентация на качественные, а не количественные инструментарии оценки, не укладывающиеся в математический аппарат строгих формальных методов [5].
В последние годы в зарубежных исследованиях появился новый термин «dependability» для обозначения качества современных программных систем [1,2,4,5,7]. В российских источниках ближе всего к данному термину термин «гарантоспособность», включающий выполнение таких характеристик, как
доступность (availability) - свойство доступности ресурсов программной системы для предоставления требуемых услуг;
безотказность (reliability) - свойство непрерывно предоставлять требуемые услуги;
достоверность (high confidence) - свойство правильно оценивать корректность предоставляемых услуг, т.е. определять степень доверия к услуге;
сопровождаемость (maintainability) - свойство приспособленности к модификациям;
конфиденциальность (confidentiality) — свойство препятствовать неавторизованному доступу к информации об услугах;
функциональность (functionality) - способность выполнять функцию или множество функций.
безопасность (safety). Под безопасностью систем принятия решения принято понимать прежде всего информационную безопасность.
Базовый принцип гарантоспособных вычислений (dependable computing) сформулированный в работе [9], определяет вычисления, устойчивые к отказам аппаратных средств и программных средств, т.е. к отказам, обусловленным проявлением дефектов, внесенных при разработке и не выявленных при отладке. Еще одно ключевое понятие гарантоспособных программных систем - безопасная отказоустойчивость (secure fault tolerance), введено в работе [10] и определяется как механизм, средство, поддерживающее другие свойства гарантоспособности. Данный подход к трактовке отказоустойчивости обоснован, т.к. с помощью рассмотренных средств может обеспечиваться (повышаться) и безотказность, и готовность, и безопасность, и живучесть. В этой же работе предложен принцип его реализации для различных программных систем. Таким образом, гарантоспособность программных систем принятия решения представляет собой комплексный критерий, определяющий свойство осуществлять требуемые услуги, которым можно оправданно доверять [11]. Комплексный критерий гарантоспособности состоит из трех основных компонентов: угрозы, атрибуты, средства. Структура критерия гарантоспособности приведена на рисунке 1.3.
В стандарте ISO 9126 предложено использовать для описания качества программного обеспечения многоуровневую модель. Верхний уровень определяет шесть базовых характеристик качества. Каждая характеристика описана соответствующими атрибутами, в свою очередь определяющимися наборами метрик. Структура качества ПО, определенная стандартом ISO 9126, приведена на рисунке 1.4.
Перечень характеристик и атрибутов качества ПО, а также наборы метрик для оценки атрибутов по стандарту ISO 9126 приведены в приложении 2. Отметим, что в данном стандарте отсутствуют характеристики, связанные с мобильностью (mobility).
Надежность ИСПР в основном характеризует восстанавливаемость работоспособного состояния программного обеспечения системы после имеющих место отказов или сбоев. Устойчивость к отказам зависит от уровня не устраненных дефектов и ошибок, и способности ИСПР реагировать на их проявление так, чтобы это не отражалось на показателях надежности [80]. В ГОСТ Р 51904-2003 отказоустойчивость определяется как свойство системы продолжать правильное выполнение функций при наличии ограниченного числа аппаратных или программных дефектов.
На рисунке 1.5 приведены характеристики программного обеспечения, являющегося составной частью ИСПР [81].
ИСПР обладают следующими основными свойствами:
функциональность,
юзабилити,
стоимость,
качество,
гарантоспособность.
Под отказом ИСПР будем понимать факт возникновения события, когда результат работы системы отличается от предполагаемого. Угрозы классифицируются как отказы, ошибки, некорректная работа. Система может работать неверно, если не соответствует спецификации или спецификация адекватно не соответствует функции системы. Ошибкой может являться частью состояния системы, которое может вызвать соответствующий отказ. Отказ является активным, когда он вызывает ошибку, в противном случае он считается пассивным. Способы проявления отказов называются режимами. В свою очередь режимы отказов могут классифицироваться по степени серьезности: 1.
Формирование системы дифференциальных уравнений
В специальной литературе содержатся описание двух подходов к формированию дифференциальных уравнений системной динамики, описывающих изменение моделируемых переменных [201-205]. В рамках первого из них первоначально строится граф причинно-следственных связей, каждой вершине которого ставятся в соответствие дифференциальные уравнения в виде выражений
При использовании второго подхода вначале формируется матрица А( M+Fak X Е ) графа причинно-следственных связей G , для каждой строки которой составляются уравнения (3.5). В данном исследовании используется второй подход, так как он данном конкретном случае позволяет упростить процедуру формирования (3.5) и сделать ее более наглядной.
Рассмотрим более подробно процедуру формирования каждого из уравнений системной динамики, характеризующих качество программного обеспечения.
Значения элементов матрицы выбраны в соответствии с мнением экспертов о релевантности причинно-следственных связей, влияющих на моделируемую переменную. Эти значения могут быть изменены при внедрении разрабатываемого математического обеспечения для требуемого уровня качества программного обеспечения интеллектуальных систем на конкретном предприятии.
Нормировка выполняется с помощью множителя I/TW. , где т. максимальное значение уровня функциональных возможностей рассматриваемого программного обеспечения в выбранной числовой шкале измерений.
Дифференциальное уравнения, характеризующее изменение степени надежности программного обеспечения (переменная m/t) ). Данное уравнение строится по второй строке матрицы А( M+Fak X Е) графа причинно-следственных связей G , приведенной в табл.3.2. Выбор значений элементов матрицы А( M+Fak X Е) выполняется, как и при формировании предыдущего дифференциального уравнения. Подграф G графа причинно-следственных связей G для системной переменной m (t)приведен на рис. 3.3.
Нормировка выполняется с помощью множителя \/Wl где Ш максимальное значение степени надежности рассматриваемого программного обеспечения, измеренные в выбранной числовой шкале.
Дифференциальное уравнения, характеризующее изменение степени обеспечения (переменная m (t)). Данное практичности программного 3 уравнение строится по третьей строке матрицы А( M+Fak X Е) графа причинно-следственных связей G , приведенной в табл.3.3. Выбор значений элементов матрицы А( M+Fak X Е) выполняется, как и при формировании второго дифференциального уравнения. Подграф G графа причинно-следственных связей G для системной переменной mJt) приведен на рис. 3.4.
С учетом данного графа дифференциальное уравнение для переменной m (t ) имеет следующий вид
Нормировка выполняется при помощи множителя 3 , где 3 максимальное значение степени практичности рассматриваемого программного обеспечения, измеренное в выбранной числовой шкале.
Дифференциальное авнения, характеризующее изменение степени эффективности программного обеспечения (переменная m/t) ). Данное уравнение строится по четвертой строке матрицы А( M+Fak X Е) графа причинно-следственных связей G , приведенной в табл.3.4. Выбор значений элементов матрицы 4( M+Fak X Е) выполняется экспертами по аналогичной методике, использованной при формировании предыдущего уравнения. Подграф G графа причинно-следственных связей G для системной переменной m 4 (t) приведен на рис. 3.5.
Разработка метода тестирования продукционных баз знаний
Используем введенное автором [109] и используемое в работах [213,221] определение теста продукционной базы знаний.
Тестовый пример Т для продукционной системы Р, содержащей правила вида (1.3), это набор фактов с приписанными им истинными значениями. Используя тестовый пример Т, интерпретатор системы / формирует целевое заключение g є G, где g является результатом выполнения тестового примера Т для Р.
Определение 32. Тестом продукционной базы знаний называется пара (T,g% где g -определенный экспертным образом правильный результат выполнения тестового примера T.
Для обнаружения всех возможных ошибок базы знаний, в том числе и ошибок типа «забывание об исключении», типа «критическое сочетание событий» базу знаний представим в виде логической сети, что даст возможность использовать для построения множества тестов соответствующие методы технической диагностики, например, метод PODEM [250,251]. В [47] автором показано, что логика ПБЗ, представляемая И/ИЛИ графом Г, после выполнения статического анализа и приведения базы знаний к состоянию статической корректности может быть задана соответствующей графу Г связной логической схемой (ЛС). Графу, изображенному рисунке 5.1 соответствует логическая схема, приведенная на рисунке 5.2. Переход к схемотехническому представлению ПБЗ дает возможность применить для построения тестов методы, используемые в технической диагностике цифровых устройств. Функциональный базис логической сети продукционной базы знаний содержит только элементы «ИЛИ» и «И», следовательно, не является полным, что дает возможность в
В диагностике цифровых устройств одной из моделей неисправностей является константная неисправность (см., например, [252]). В логической схеме, которая содержит константную неисправность, всегда в состоянии ноль или единица находится выход одного из вентилей независимо от состояний его входов. Ошибки типа (4.24) и типа (4.25) будем считать неисправностью «константный ноль» , проявляющуюся только при одном наборе значений сигналов в логической сети. В данном случае для построения тестов ошибки (4.24) и (4.25) могут рассматриваться как ошибки одного типа.
В терминах логической сети под тестом, обнаруживающим неисправность типа (4.24), понимается множество установленных и неустановленных фактов, обеспечивающих активизацию правила ri и активизацию соответствующего пути в логической сети от линии ri до одной из выходных линий, соответствующим целям продукционной базы знаний [252]. Факты f1 ,..., fk должны быть при этом установлены. Если активизация правила ri и соответствующих путей невозможна при установленных фактах f1, ..., fk, то тест не существует.
При помощи задания по крайней мере одного набора входных фактов SeC можно установить любой непротиворечивый набор фактов S в Р. Очевидно, что множество разрешенных комбинаций С также должно быть задано относительно входных фактов продукционной базы знаний. Такое представление С получаем при выполнении обратного логического вывода для всех запрещенных комбинаций фактов, содержащих внутренние факты Р. На основании вышесказанного можно сделать вывод, что тесты ПБЗ можно генерировать в виде наборов ее входных фактов.
Так как неизвестным является множество фактов fi ,...,fk, при одновременной установке которых правило г. перестает выполняться, то для проведения г. необходимо перебрать все возможные варианты активизации правила г. и все способы проведения соответствующего правилу г. сигнала логической сети до одного из ее выходов. При этом должны устанавливаться в 1 все факты, состояние которых несущественно для активизации г. и путей от г. до выходов сети. Отметим, что в общем случае, правило г. может быть оказаться ошибочным при нескольких комбинациях фактов. Предложенный подход к формированию тестового множества для гг обеспечит обнаружение всех таких ситуаций.
В базе знаний могут присутствовать кратные ошибки, когда неверными могут быть сразу несколько правил, что соответствует часто встречающейся ситуации при разработке БЗ. Путем объединения тестовых множеств всех правил из множества R сформируем полный тест ПБЗ Р. Сгенерированное таким образом множество тестов для Р обозначим через Т.
Убедимся, что тестовое множество Г обеспечивает обнаружение любых кратных ошибок Р типа (4.24). Поскольку функциональный базис логической сети, соответствующей графу Г, является неполным (не содержит инверсий), следовательно, кратные ошибки не маскируют друг друга. Воспользуемся введенным автором в [221] определением листьевой продукции базы знаний.
Определение 33. Листьевой называется продукция ги в условиях которой присутствуют только входные факты логической сети продукционной базы знаний.
Приведем важную для сокращения процедуры построения тестов продукционной базы знаний теорему, сформулированную и доказанную автором в [221].
Теорема. Если в продукционной базе знаний любой факт активизируется только одним правилом, то тесты, сформированные для проверки листьевых продукций, позволяют обнаружить ошибки типа «забывание об исключении» вида (4.24) во всех правилах базы знаний.
Доказательство. Вначале докажем следующее утверждение:
Пусть Ft - множество фактов в условии правила r, Ri - множество правил, где факты - следствия которых являются элементами Ft. Пусть 71 -множество тестовых наборов входных фактов для правил Rt. Тогда элементами ТІ являются все тестовые наборы для правила Гі. Методом от противного докажем теорему. Пусть Si - тестовый набор для правила Гі и Si ТІ. По определению тестового набора 5,- обеспечивает активизацию всех правил, входящих в Rt, и активизацию по крайней мере одного пути от г до одного из выходов ЛС. Поскольку в логической схеме линия ri является выходом конъюнктора, то существует активный путь от любого из правил Ri до одного из выходов схемы. Таким образом, Si является одним из тестовых наборов для правил Ri, и следовательно, входит в 71. Этот результат противоречит принятому предположению, поэтому оно является неверным. Следовательно, 71 содержит все тестовые наборы для п.
Утверждение теоремы получаем из доказанного индукцией по правилам в направлении к выходам логической сети. Теорема доказана.
В методах технической диагностики соседние двоичные наборы представляются принято представлять в виде кубов. Кубом называется набор символов, в котором могут присутствовать значения «0», «1», символы «X» и «D», и где состояние каждой соответствующей линии логической сети обозначается символом куба. Если линия сети обозначается символом «X», то ее состоянием может быть как «1», так и «0». Установленный факт соответствует единичному состоянию линии, неустановленный - нулевому. Факт, который может быть как установленным, так и неустановленным, обозначается символом «X».
Сформированный таким образом D-куб представляет собой вектор размерностью n, каждая координата которого имеет одно из значений: 0, 1, x, D, D. Для D-куба выходная координата равна D, что применяется для построения активизированного пути логической схемы.
Символом D обозначается линия, принимающая состояние «0» в неисправной логической сети и состояние «1» в исправной. При построении тестов будем использовать операцию D - пересечения кубов, выполняемую по следующим правилам, приведенным в таблице 5.1.
Для построения тестов множество С допустимых наборов входных фактов будем представлять в виде наборов D-кубов. Отметим, что эксперты чаще всего допускают ошибки при формировании допустимых комбинаций фактов, однако, гораздо реже ошибаются при генерации запрещенных комбинаций. Запрещенные комбинации фактов также строятся в виде D-кубов. Множество разрешенных наборов С получим в результате обратного логического вывода, используя операцию вычитания кубов после приведения этих ограничений к виду кубов входных фактов.
Актуальность решения задачи разработки ИСПР по неотложной кардиологии
Сегодня именно сердечно-сосудистые заболевания чаще всего встречаются в практике и определяют значительные потери трудоспособности и летальность. По официальным данным ВОЗ[294] именно от сердечно-сосудистых заболеваний (ССЗ) ежегодно умирает наибольшее число людей. Ежегодно от ССЗ в мире умирает 17,5 млн. человек, чаще всего смерть наступает от инфаркта миокарда и инсульта, в тоже время 80% преждевременных инсультов и инфарктов могло быть предотвращено [294].
В 2015 году Президент РФ В.В. Путин в Послании Федеральному собранию отмечал, что Российская Федерация впервые вошла в рейтинг ВОЗ, как страна, имеющая среднюю продолжительность жизни более 70 лет и предложил «объявить 2015 год Национальным годом борьбы с сердечнососудистыми заболеваниями, которые являются основной причиной смертности российских граждан». Распоряжение Правительства РФ № 367-р от 5 марта 2015 г. объявило 2015 год Годом борьбы с сердечно-сосудистыми заболеваниями, но несмотря на то, что Минздрав показал, что в 2015 году смертность от ССЗ в РФ сократилась на 3,4%, сердечно-сосудистые заболевания продолжают лидировать по числу смертельных исходов.
Именно нестабильная стенокардия (НС) угрожает риском инфаркта миокарда или внезапной смертью (от 15 до 40% случаев) [295]. Вместе с тем в литературе в основном описаны лишь некоторые клинические критерии отнесения пациентов с нестабильной стенокардией к группам повышенного риска [296,297], но даже при этом в них риск развития инфаркта или внезапной смерти составляет от 30 до 80%, что, безусловно, не является точным прогнозом, практически не описаны рекомендации по прогнозу развития нестабильной стенокардии для конкретных случаев, особенно нетривиальных. Нужно отметить, что время инфаркт миокарда и внезапная смерть могут развиваться и у людей, не соответствующих описанным критериям.
Для определения адекватного прогноза развития НС, определения тактики лечения или назначения интенсивной терапии в случае неотложных ситуаций врачу необходим большой практический опыт, хорошие аналитические способности, а также разнообразные специфические знания по многим другим разделам медицины. Отметим, что рядовой врач не обладает подобным комплексом знаний и опыта, а имеющийся опыт у врачей-экспертов недостаточно систематизирован для использования их в повседневной практике.
Следствием этого являются возможные многочисленные ошибки в действиях врача, связанные с несвоевременным началом интенсивного лечения, поздней госпитализацией, значительным числом повторных вызовов подразделений скорой помощи, нерациональным использованием коечного фонда, сильнодействующих и дорогостоящих препаратов, наличие осложнений от интенсивной терапии, вплоть до тяжелых, например, остановки кровообращения.
На практике достаточно успешно могут использоваться в практике различные клинические и лабораторные критерии прогноза развития НС, но помощь подавляющему числу пациентов со нестабильной стенокардией в поликлиниках, в приемных отделениях стационаров, в бригадах скорой помощи начинаю оказывать врачи общей практики, не обладающие полным комплексом специальных знаний. Сами по себе знания по прогнозу нестабильной стенокардии достаточно специфичны и не всегда доступными большинству рядовых кардиологов, не имеющих большого опыта в данной области.
Несмотря на активное использование в медицине для решения задач прогноза методов многомерной статистики, в литературе не описано их успешное применение для оценивания зависимости особенностей течения нестабильной стенокардии на прогноз развития инфаркта [298]. Отметим также, что несмотря на то, что такая предметная область как медицина считается наиболее пригодной для использования методов искусственного интеллекта, создание ИСПР, основанных на традиционных формах представления знаний, среди которых преобладает продукционная, не принесло желаемого результата в данной области. Такие известные ИСПР, реализованные в форме экспертных систем (ЭС), в области кардиологии как, DIAGNOZER, Predictive instrument, ANGY, ANGINA, ANNA, EMERGE, MECSAI и др.[300-304] не получили широкого распространения в практическом здравоохранении ни за рубежом, ни в РФ. Основная причина заключается в том, что, существующие экспертные системы либо предназначены для решения слишком узкого круга задач, либо выдают неверные решения для сложных случаев. Подавляющее число ЭС требует для принятия решения большого числа входных данных, что делает их практически непригодными для неотложных ситуаций. Зарубежные разработки кардиологических экспертных систем для неотложной кардиологии в большинстве своем используются для определения необходимости нахождения в блоке интенсивной терапии или решают, в основном, общие дифференциально-диагностические задачи для широкого контингента пациентов. Функцией прогноза развития неотложных состояний в кардиологии не обладает ни одна из описанных программных систем.
Одной из причин подобной ситуации является принятое в практической медицине утверждение о том, что почти нереально достаточно точно определить ближайший исход развития заболевания каждого пациента, и только ретроспективно можно поставить диагноз "прединфарктное состояние" [295]. Учитывая риск развития инфаркта или внезапной смерти, действует принятое ВОЗ правило о необходимости экстренной госпитализации всех больных с нестабильной стенокардией в блок интенсивной терапии, тем не менее, часто реальной необходимости у многих госпитализируемых пациентов в этом нет.
Пароксизмальная тахиаритмия (ПТ) является другой опасной для пациента и сложной для врача разновидностью кардиологических заболеваний. Мерцательная аритмия сегодня выявлена более чем у 6 млн. человек в Европе , более чем у 5 миллионов в США, более чем у 2 миллионов человек в Бразилии и Венесуэле, и до 8 миллионов в Китае и более 800000 человек в Японии, при прогнозе увеличения их числа в 2,5 раза к 2050 году [305]. После 40 лет риск развития ПТ составляет один к четырем. Отметим также, что нерациональное использование сильнодействующей и дорогостоящей медикаментозной терапии приводит к тому, что интенсивное лечение ПТ почти в 20% случаев приводит к осложнениями, связанными с нарушением кровообращения, либо с образованием тромбов в полости предсердий [306].
Использование ЭС для прогноза развития ПТ достаточно давно обосновано [307-309] и продолжает считаться весьма перспективным. В литературе описаны различные аритмологические экспертные системы [310-314], в основном они автоматизируют распознавание ЭКГ, либо осуществляют назначение лекарственной средств и имеют часто справочно-информационный характер. До настоящего времени не разработано ИСПР, способных прогнозировать эффективности терапии и особенно ее осложнений.
Учитывая важность решения описанной выше задачи, в нашей стране ведется разработка кардиологических экспертных систем, в большинстве случаев для дифференциальной диагностики, некоторые ИСПР уже доведены до коммерческих экземпляров, но их теоретическая платформа и результаты внедрения не опубликованы в медицинской литературе, и, как следствие, подобные системы мало используются на практике.
Для решения вышеописанной проблемы прогноза развития нестабильной стенокардии и эффективности и/или риска антиаритмической терапии автором разработана интеллектуальная система принятия решения, реализованная в форме экспертной системы-консультанта (ЭСК), работающей в режимах стационара, скорой помощи и поликлиники [315-319].
Для быстрого принятия решения при дефиците времени в режиме скорой помощи реализована подсистема экспресс-анализа. На рисунке 6.32 приведена структурная схема системы принятия решения.
Как показано на рисунке 6.32, ЭСК является гибридной системой, исходя из потребностей лечебного учреждения, объединяющей в себе, как непосредственно функции интеллектуальной системы принятия решения, так и функции информационно-справочной системы.
Информационно-справочная система (ИСС) предназначена для организации ведения формализованного архива кардиологических пациентов и предусматривает хранение данных о пациентах, выдачу выходных форм, принятых в лечебном учреждении: истории болезни пациента, отчета о пребывании больных в отделениях стационара, отчета о движении пациентов. В состав ИСС входит база данных, предназначенная для хранения сведений о состоянии пациента на момент проведения консультации, а также для анализа и контроля динамики изменения состояния пациента при нахождении его в стационаре. В ЭСК для нестабильной стенокардии реализовано две подсистемы консультаций: 1) для стационара, когда можно получить полные данные о текущем состоянии пациента и динамике изменений, данные о проведенных дополнительных обследованиях (чрезпищеводная стимуляция предсердий, холтеровское мониторирование, неинвазивное исследование гемодинамики); 2) для реализации быстрого т.н. экспресс-анализа, предназначенного для определения риска развития инфаркта миокарда и назначения неотложной терапии в условиях дефицита времени, например, в режиме скорой помощи.