Содержание к диссертации
Введение
Глава 1. Современное состояние и тенденции развития экспертных систем 7
1.1. Введение в теорию экспертных систем 7
1.2. Экспертные системы первого поколения 13
1.3. Экспертные системы второго поколения 17
1.4. Экспертные системы статистической обработки оценок 26
Выводы, цель и задачи исследования 31
Глава 2. Общие принципы построения экспертных систем 34
2.1. Методика определения численности группы экспертов 36
2.2. Оценка согласованности мнений экспертов 46
2.3. Метрический подход к оценке согласованности 55
2.4. Методы оценки качества радиотехнических приборов 64
2.5. Комплексные показатели качества 69
2.6. Выбор и оценка весовых коэффициентов 77
Выводы 86
Глава 3. Математические методы оценки качества радиотехнических приборов 87
3.1. Экспертно-статистический метод 87
3.2. Анализ погрешности экспертных оценок 93
3.3. Компонентный метод 104
3.4. Выделение главных компонент 108
Выводы 118
Глава 4. Исследование методов оценки качества радиотехнических приборов 119
4.1. Реализация экспертного метода оценки качества радиотехнических приборов 119
4.2. Оценка особенностей применения экспертно-статистического метода 126
4.3. Эффективность использования компонентного метода оценки качества радиотехнических приборов 131
Выводы 140
Заключение 141
Литература
- Экспертные системы первого поколения
- Метрический подход к оценке согласованности
- Анализ погрешности экспертных оценок
- Оценка особенностей применения экспертно-статистического метода
Введение к работе
Актуальность темы
В последнее время в деятельности соответствующих подразделений МВД и уголовно-исполнительной системы (УИС) значительное внимание уделяется вопросам оценки качества радиотехнических приборов (РТП) и систем, предназначенных для организации безопасности и охраны объектов различного назначения. Данное обстоятельство связано с тем, что на рынке охранных услуг периодически появляются новые, технически и технологически более совершенные радиотехнические приборы и системы на их основе. Поэтому, в задачах выбора и внедрения современных технических средств охранного назначения возникает необходимость объективной и достоверной оценки их уровня качества, что приобретает особую актуальность при оснащении передовыми технологиями соответствующих ведомственных подразделений.
Следует заметить, что оценка качества РТП проводится в основном на заводах-изготовителях, которые заинтересованы в реализации своей продукции. Однако, в последующем, при проведении испытаний заказчиками и эксплуатации данного оборудования в условиях реальных объектов, часто выявляется, что некоторые параметры РТП не соответствуют тактико-техническим характеристикам, заявленным заводом-изготовителем. Кроме того, в связи с постоянным увеличением на рынке охранных услуг объема и ассортимента технических средств охраны возникает острая потребность в оценке качества близких по своим характеристикам радиотехнических приборов и систем. Достаточно важно отметить, что оценка качества готовых к эксплуатации РТП проводится заказчиком в основном с помощью эвристических процедур без использования соответствующего математического аппарата. Последнее обстоятельство, как правило, приводит к не всегда достоверным результатам, что может в последующем принести значительный ущерб заказчику. Устранение указанных недостатков возможно при использовании методов теории экспертных систем и соответствующего математического аппарата, предназначенного для оценки качества РТП.
С учетом изложенного выше установим, что актуальность темы исследования определяется необходимостью повышения эффективности оценки качества радиотехнических приборов и систем за счет использования современного математического аппарата и разработки новых моделей, синтеза алгоритмов, а также проверки полученных результатов с помощью программных средств.
Данная диссертационная работа выполнялась в соответствии с позицией 47 плана научно-исследовательской деятельности Воронежского института МВД России на 2006 год.
Цель и задачи работы
Целью диссертационной работы является разработка методов, моделей, алгоритмов и программного обеспечения экспертных систем статистической обработки оценок качества радиотехнических приборов и систем, используемых при оборудовании объектов уголовно-исполнительной системы.
Для достижения поставленной цели возникает потребность в решении следующих основных научных задач:
Обоснование эффективности применения экспертных систем статистической обработки оценок для процесса моделирования оценки качества радиотехнических приборов и систем.
Разработка функциональной модели интерпретатора экспертной системы статистической обработки оценок качества радиотехнических приборов и систем.
Разработка математического метода и алгоритма формирования группы экспертов и оценки согласованности их мнений.
Разработка математической модели системы оценки качества радиотехнических приборов, совмещающей в себе методы экспертного, компонентного и экспертно-статистического анализа.
Разработка инструментальных средств в виде комплекса алгоритмов и программ, предназначенных для оценки качества радиотехнических приборов и систем, экспериментальной проверки целесообразности применения предложенных математических моделей и алгоритмов и их использование при оборудовании объектов уголовно-исполнительной системы.
Объект исследования — процесс оценки качества радиотехнических приборов и систем, предназначенных для оборудования соответствующих ведомственных объектов МВД и УИС.
Предмет исследования — поиск подходов и методов совершенствования процесса оценки качества РТП.
Методы исследования
Для решения перечисленных задач в диссертационной работе были использованы методы математического моделирования, теории вероятностей, экспертных оценок, регрессионного анализа, математической статистики, корреляционного и компонентного анализа.
Научная новизна диссертационной работы
Разработана функциональная модель интерпретатора экспертной системы статистической обработки оценок качества, совмещающая в себе принципы работы с экспертными процедурами и элементы традиционного программирования.
Предложен математический метод и алгоритм формирования группы экспертов, основанный на определении не только количественного, но и качественного состава экспертной группы, отличающийся наличием процедур статистической обработки экспертных данных.
Обоснован с использованием методов функционального анализа и разработан алгоритм вычисления метрического коэффициента согласованности мнений экспертов в группе.
Разработан и программно реализован алгоритм оценки качества радиотехнических приборов, основанный на экспертном методе с использованием критерия знаков и метрического коэффициента.
Практическая значимость работы
Основные результаты исследования реализованы в виде комплекса программ, предназначенного для автоматизации процесса оценки качества радиотехнических приборов и систем. Практические результаты, полученные в данной работе, могут найти применение в соответствующих подразделениях, которые осуществляют всесторонние испытания РТП в целях их рекомендации (или не рекомендации) для оборудования систем охраны различных ведомственных объектов.
Реализация и внедрение результатов работы Основные теоретические и практические результаты работы реализованы в виде алгоритмов, программ и используются в деятельности отдела метрологии и стандартизации ФГУ МЦИТО ФСИН России, а также внедрены в учебный процесс кафедры ИТОД УИС ВИ МВД России по дисциплине «Системы сбора и обработки информации» о чем получены соответствующие акты. Апробация работы
Основные результаты работы докладывались и обсуждались на следующих конференциях:
Всероссийская научно-практическая конференция «Охрана, безопасность и связь — 2003» (Воронеж, 2003 г.).
Всероссийская научно-практическая конференция «Современные проблемы борьбы с преступностью» (Воронеж, 2004 г.).
Всероссийская научно-практическая конференция «Актуальные вопросы эксплуатации систем охраны и защищенных телекоммуникационных систем» (Воронеж, 2004 г.).
Всероссийская научно-практическая конференция «Современные проблемы борьбы с преступностью» (Воронеж, 2005 г.).
Всероссийская научно-практическая конференция «Актуальные вопросы эксплуатации систем охраны и защищенных телекоммуникационных систем» (Воронеж, 2005 г.).
Всероссийская научно-практическая конференция «Проблемы управленческого консультирования» (Воронеж, 2005 г.).
Всероссийская научно-практическая конференция «Новые технологии в научных исследованиях, проектировании, управлении, производстве» (Воронеж, 2005 г.).
Всероссийская научно-практическая конференция «Охрана, безопасность и связь — 2005» (Воронеж, 2005 г.).
Международная школа - конференция «Высокие технологии энергосбережения» (Воронеж, 2005).
Публикации
По теме диссертации опубликована 21 печатная работа (5 статей, 15 материалов научных конференций, 1 монография).
Структура и объем работы
Диссертационная работа состоит из введения, четырех разделов, заключения, списка литературы из 159 наименований и 6 приложений. Работа изложена на 182 страницах машинописного текста (основной текст занимает 154 страницы), содержит 27 рисунков и 20 таблиц.
Экспертные системы первого поколения
Экспертные системы в своем развитии должны пройти три условные стадии своего развития: системы, выступающие в роли пассивного ассистента-пользователя, партнерские системы, системы-лидеры [ПО]. На первой стадии экспертные системы представляют собой системы с интеллектом пассивного ассистента-пользователя: они располагают только л теми знаниями, которые были получены от экспертов, переработаны «инженерами знаний» и введены в память системы (в базу знаний) в удобном для машины виде. Система способна манипулировать этими знаниями, имитируя процесс логического вывода, и выдавать ответы на запросы пользователя. Такими свойствами обладают экспертные системы первого поколения.
Самые первые экспертные системы в области искусственного интеллекта разрабатывались в конце 60-70 годов XX века [101,119]. щ Большинство экспертных систем первого поколения, согласно приведенной выше классификации, были статическими. Рассмотрим более подробно данные системы. Типичная статическая экспертная система состоит из следующих основных компонентов (рис. 1.2.1) [82]: решателя (интерпретатора); рабочей памяти (РП), называемой также базой данных (БД); базы знаний (БЗ); компонентов приобретения знаний; объяснительного компонента; диалогового компонента.
Структура статической экспертной системы База данных (рабочая память) предназначена для хранения исходных и промежуточных данных решаемой в текущий момент задачи. Этот термин совпадает по названию, но не по смыслу с термином, используемым в информационно-поисковых системах (ИПС) и системах управления базами данных (СУБД) для обозначения всех данных (в первую очередь долгосрочных), хранимых в системе [23].
База знаний (БЗ) в ЭС предназначена для хранения долгосрочных данных, описывающих рассматриваемою область (а не текущих данных), и правил, описывающих целесообразные преобразования данных этой области [5,7,61,78,121]. Интерпретатор используя исходные данные из рабочей памяти и знания из БЗ, формирует такую последовательность правил, которые, будучи примененными к исходным данным, приводят к решению задачи. Компонент приобретения знаний автоматизирует процесс наполнения ЭС знаниями, осуществляемый пользователем-экспертом.
Объяснительный компонент объясняет, как система получила решение задачи (или почему она не получила решение) и какие знания она при этом использовала, что облегчает эксперту тестирование системы и повышает доверие пользователя к полученному результату.
Диалоговый компонент ориентирован на организацию дружественного общения с пользователем, как в ходе решения задач, так и в процессе приобретения знаний и объяснения результатов работы.
В разработке ЭС участвуют представители следующих специальностей: эксперт в предметной области, задачи которой будет решать ЭС; инженер по знаниям — специалист по разработке ЭС, (используемые им технологию, методы называют технологией методами инженерии знаний); программист по разработке инструментальных средств (ИС), предназначенных для ускорения разработки ЭС.
Необходимо отметить, что отсутствие среди участников разработки инженеров по знаниям (т, е. замена последней категории программистами) либо приводит к неудаче процесс создания ЭС, либо значительно удлиняет его. Эксперт определяет знания (данные и правила), характеризующие проблемную область, обеспечивает полноту и правильность введенных в ЭС знаний. Программист разрабатывает инструментальное средство (если оно разрабатывается заново), содержащее все основные компоненты ЭС, и осуществляет его сопряжение с той средой, в которой оно будет использовано [127].
Завершая обзор экспертных систем первого поколения, рассмотрим недостатки данных ЭС и инструментариев в следующих терминах: стадия существования, область применения и класс решаемых задач, состав и способ представления знаний, процедуры вывода, средства общения, объяснительные способности, способности к приобретению знаний.
Метрический подход к оценке согласованности
Рассмотрим процедуру оценки качества РТП группой экспертов. При этом эксперты формируют объекты и понятия данной предметной области, производят измерение их характеристик. Другими словами, экспертное оценивание в этом случае представляет собой процесс измерения, характеризуемый как процедура сравнения объектов (приборов) по выбранным показателям (признакам). В процедуре сравнения экспертам необходимо установить причинно-следственные связи между объектами, степень превосходства одних объектов перед другими [23].
Предположим, что в процессе проведения опроса каждый эксперт дает одну оценку по каждому признаку. Используя критерий знаков, данная оценка будет представлена в виде «+» или «-». При этом, если показатель рассматриваемого объекта характеризует его с лучшей стороны, то эксперт оценивает такой показатель знаком «+». А если указанное условие не выполняется, то — знаком «-». Оценка каждого рассматриваемого экспертом объекта может определяться как количеством плюсов или минусов, так и разницей между ними. Совокупность данных по всем объектам образуют вектор оценок эксперта. Если рассматривать «-мерное пространство, то «длина» или норма вектора будет определяться по формуле X = 2+JC2+... + JC2, (2.3.1) где х — координаты вектора (оценки эксперта). Для удобства рассмотрим трехмерное эвклидово пространство, в котором построены векторы оценок экспертов. Причем по осям координат отложены значения признаков исследуемых объектов, по которым эксперты давали оценки. Используя методы парного сравнения и функционального анализа, можно определить согласованность мнений пар экспертов в группе. В этом случае согласованность двух экспертов (х и у) определяется метрикой — расстоянием между радиус-векторами. При этом удобнее пользоваться следующим выражением для определения метрики в эвклидовом пространстве Ф,У)=Ш-Х -УІЇ, (2.3.2) где х. и у. — векторы оценок /-го признака экспертов х и у соответственно.
Анализируя данную формулу, можно заметить, что чем меньше значение d(x,y), тем больше согласованность экспертов. Минимальная согласованность (максимальная рассогласованность) между двумя экспертами будет иметь место в том случае, если вектор оценок одного эксперта содержит минимально возможные значения, а вектор второго эксперта - максимально возможные значения оценок. Для определения согласованности между тремя и более экспертами предлагается использовать следующий подход. Предположим, что требуется определить согласованность мнений т экспертов, осуществляющих оценку п объектов. При этом шкала оценок эксперта может изменяться в интервале от нуля до к. Тогда согласованность мнений экспертов будет определяться значением метрического коэффициента, рассчитываемого по формуле [18] где R —расстояние между векторами оценок экспертов, Rm —максимально возможное расстояние между векторами оценок экспертов, характерное для соответствующего количества экспертов, объектов и максимального значения шкалы оценок кт. При этом величина R определяется из нижеприведенной формулы ти-1 т /=1./=/+1 J (2.3.4) где dtj — расстояние между г и j экспертом, рассчитываемое по формуле (2.2.2). Следует отметить, что величина Rm также рассчитывается по формуле (2.2.4), но при этом она должна быть максимальна для данного количества объектов, экспертов и шкалы оценок. В качестве примера на рис. 2.2.1 указано расстояние между векторами оценок трех экспертов оценивающих три объекта.
Анализ погрешности экспертных оценок
На следующем шаге проведения экспертно-статистического метода необходимо осуществить анализ погрешности экспертных данных. Следует заметить, что при проведении измерений техническими средствами в качестве истинного значения измеряемой величины используются результаты, полученные с помощью эталонного прибора. Однако при оценке качества продукции (приборов) экспертным методом такой эталон, как правило, отсутствует. Следовательно, в качестве истинного значения оценки качества необходимо использовать усредненное мнение всех экспертов, привлекаемых к процедуре оценки. При этом среднеквадратическая погрешность оценки і-го объекта экспертами рассчитывается с учетом следующего выражения [103] D У=1 (3.2.1) D-1 ]= тогда среднеквадратическая погрешность оценки V{ і-го объекта будет определяться D Щ(УУ-У,У Vt (3.2.2) (D-l)Z) или при интервальном оценивании равна половине длины доверительного интервала a = ta J Vt (3.2.3) В том случае если величина д1 а соизмерима с оценкой V, то результаты экспертных оценок этого объекта необходимо признать неудовлетворительными и исключить их из дальнейшего рассмотрения.
Погрешность j-го эксперта AVj в оценке всей совокупности рассматриваемых объектов можно охарактеризовать значениями математического ожидания Ак) и среднеквадратической погрешности стД уЭ], определенными на множестве объектов к. Следовательно, математическое ожидание и среднеквадратическое отклонение погрешности оценок экспертов соответственно определяются из следующих выражений л 1 л 1 и к( j D Л DH J (3.2.4) к/]= г к( і D у V-.—YV.. 4 и D4IJ к-\ у (3.2.5) Необходимо отметить, что первое выражение характеризует систематическую составляющую погрешности j-го эксперта, а второе выражение определяет среднеквадратическое значение ее случайной составляющей. С учетом данного обстоятельства для нормального закона распределения экспертных оценок Vy погрешность j-го эксперта будет находиться в доверительном интервале (AV;-ІДАУ;\ AV;+ta Av;\) (3.2.6) При этом максимальная погрешность j-го эксперта, рассчитывается по нижеприведенной формуле Sj max=max A +rJA ],(A - JA _ (3.2.7) где а — доверительная вероятность, равная 0,95. Полученные значения величин Sj max всех экспертов сравниваются между собой, и если максимальная погрешность j-го эксперта значительно превосходит аналогичные значения погрешности остальных экспертов, то данными j-го эксперта необходимо пренебречь.
На заключительном этапе данного метода определяется математическая модель комплексного показателя качества. Для этого последовательно выдвигается предположение о виде математической модели V = J {A ,A2f;Am,c ,C2f-iCx))X . Ш, (3. Z. о) Л Л Л и методом наименьших квадратов находятся оценки с\,С2,...,ст ее параметров, а затем производиться качественный и количественный анализ полученных результатов [103].
Достаточно важно заметить, что вид математической модели можно принять линейным по вектору параметров с и вектору единичных показателей А т Г = 5 ,4, (3.2.9) ы или линейным по вектору параметров с и нелинейным по вектору единичных показателей А т Г = 2 ,.1оёЛ,.; (3.2.10) т т F = c0+2 +2cH/2; (3.2.11) 1=1 /=1 т т V = с0 +5 /4 + 2 „ log Л, log Л, ; (3.2.12) /=i /,y=i или нелинейным по вектору с и вектору А Г = с0ПлЛ (3.2.13) /=i При использовании последней модели необходимо перейти к линейной зависимости, что возможно при логарифмировании правой левой части выражения. В результате получается следующая формула т logV = с0 + Y,c І log At. /=1 Необходимо отметить, что параметры зависимостей (3.2.9)-(3.2.13) определяются методом наименьших квадратов путем минимизации функционала к /=1 /" /(- 1/ - 2/» " - /и/»с1 с21"чсх) -\2 ,к х (3.2.14)
Следует заметить, что математическая модель комплексного показателя качества и РТП должна правильно отражать его физический смысл, т.е, например, комплексный показатель качества должен увеличиваться с улучшением значений показателей назначения и эксплуатационных характеристик приборов. Данное условие должно проверяться на этапе анализа математической модели комплексного показателя качества. Кроме того, на этапе анализа математической модели, как правило, определяется значимость ее отдельных параметров.
В свою очередь отметим, что значимость параметров (признаков) модели может быть определена одним из следующих способов: вычислением коэффициентов корреляции между единичными и комплексными показателями; методами дисперсионного анализа.
При этом для линейных моделей, определяемых выражениями (3.2.9) и (3.2.10), коэффициенты корреляции рассчитываются при помощи формулы (3.1.2). Коэффициенты корреляции для остальных линейных зависимостей вычисляются с учетом следующих особенностей: предварительно осуществляется переобозначение параметров моделей и независимых переменных, например следующим образом где, например, для рассматриваемой линейной модели (3.2.11) получаются следующие обозначения
Оценка особенностей применения экспертно-статистического метода
Представляется целесообразным более подробное изучение особенностей комплексной оценки качества радиотехнических приборов экспертно-статистическим методом. В целях сравнения результатов полученных экспертным и экспертно-статистическим методами рассмотрим выборку радиотехнических приборов, характеристики которой представлены в экспертном методе и воспользуемся окончательным списком единичных показателей качества, полученном там же. При этом для проведения экспертного опроса будет привлечена экспертная комиссия в том же составе. Как отмечалось ранее, экспертно-статистическии метод состоит из трех этапов: 1) подготовка к опросу экспертов, сбор и обработка экспертных данных; 2) анализ экспертных данных: проверка воспроизводимости экспертных данных и оценка погрешности экспертных данных; 3) определение математической модели комплексного показателя качества и ее анализ.
В процессе экспертного опроса специалистам предоставляется информация о характеристиках каждого прибора и его единичных показателях, анализируя которую они производят их оценку. При этом оценка производится знаками «+» и «-». В том случае, если параметр какого-либо прибора значительно превосходит параметры других приборов, то эксперт оценивает его двумя плюсами «+» «+». По данным, полученным от экспертов необходимо определить значимость параметров приборов и согласованность мнений экспертов. Для этого по экспертным данным, согласно приведенной ранее методике, формируются две таблицы , в первой из них указываются экспертные оценки о значимости параметров приборов, а во второй экспертные оценки качества всех приборов. Данные таблицы (П.2.9 и П.2.10) представлены в приложении 2. По полученным данным, представленным в таблице П.2.10, определяют согласованность мнений экспертов. При этом используется представленная ранее методика, основанная на расчете метрического коэффициента. Согласно проведенным расчетам метрический коэффициент составил 0,85. Данное обстоятельство свидетельствует о высокой согласованности мнений экспертов. Используя значения единичных показателей качества приборов и данные таблицы П.2.9, приведенные в приложении 2 по формулам (3.1.2) и (3.1.3) можно определить значимость всех показателей. Результаты расчета значимости показателей качества приборов в экспертных оценках представлены в таблице 4.2.1.
Анализируя таблицу 4.2.1, необходимо отметить, что для показателей 5, 6 и 7 (температурный диапазон, масса, габариты) принимается гипотеза о их не значимости в экспертных оценках, так как для этих показателей выполняется условие г \ Kh при 5 % и 1 % уровне значимости.
Следовательно, данными параметрами в дальнейших исследованиях можно пренебречь. На следующем шаге проведения экспертно - статистического метода необходимо осуществить анализ погрешности экспертных данных. Сущность данного этапа заключается в определении половины длины доверительных интервалов S a и максимальных погрешностей экспертов 8j max при оценке всей совокупности приборов. Причем при определении первой величины необходимо предварительно рассчитать среднеквадратическую погрешность Л оценки сг[д .] і-го объекта, используя выражение (3.2.2). Определяя второй л параметр, рассчитывают математическое ожидание AVj и среднеквадратическую погрешность crAVj3\ по формулам (3.2.4), (3.2.5) и (3.2.7). Значения указанных величин, полученных в результате расчета, представлены в приложении 2 в таблице П.2.11.
Сопоставляя данные таблиц П.2.11 и П.2.10 видно, что значения величин 8 а всех двадцати пяти приборов существенно меньше значений их комплексных показателей. Следовательно, можно сделать вывод о том, что экспертные оценки комплексных показателей технического совершенства всей исследуемой совокупности приборов следует признать удовлетворительными. Максимальные погрешности оценок каждого из экспертов при доверительной вероятности а = 0,95 представлены в таблице П.2.12. Как видно из таблицы, погрешности оценок, допускаемых экспертами, соизмеримы и при определении параметров регрессионной зависимости можно пользоваться усредненными оценками.
Согласно рассматриваемой ранее методике, на заключительном этапе экспертно-статистического метода, необходимо определить вид математической модели комплексного показателя качества, найти оценки ее параметров, а затем произвести качественный и количественный анализ полученных результатов. Затем по полученным результатам определить комплексные показатели качества и технико-экономический уровень рассматриваемой совокупности приборов.
Похожие диссертации на Статистические методы экспертных систем оценки качества радиотехнических приборов уголовно-исполнительной системы
