Содержание к диссертации
Введение
1. Задача комплексной количественной оценки качества систем 10
1.1 Постановка задачи исследования 10
1.2 Основные требования к формированию множества единичных показателей качества и комплексных критериев 16
Выводы 20
2. Задачи и функции нормирования единичных показателей качества систем 21
2.1 Некоторые теоретические вопросы нормирования. 21
2.2 Анализ основных функций нормирования единичных показателей качества и выбор базовых алгоритмов 28
2.3 Алгоритм функционально - экспертного нормирования...39
Выводы 47
3. Выбор методов количественной оценки уровня качества систем 48
3.1 Классификация методов оценки уровня качества по комплексным критериям 48
3.2 Анализ основных методов количественной оценки уровня качества систем 53
3.2.1 Методы расчета комплексного критерия, основанные на свертках единичных показателей качества 55
3.2.2 Методы введения метрик в пространстве нормированных единичных показателей качества...57
3.2.3 Методы экспертных оценок 61
3.3 Разработка метода комплексной экспертной оценки качества систем 64
Выводы 71
4. Реализация методов и алгоритмов комплексной количественной оценки качества систем в программном комплексе «Вердикт» 72
4.1 Структура и состав разработанного программного комплекса . 72
4.2 Методика использования разработанного программного комплекса 77
Выводы 80
Заключение 81
Приложение 83
Список используемой литературы 104
Акты о реализации результатов работы 108
- Основные требования к формированию множества единичных показателей качества и комплексных критериев
- Анализ основных функций нормирования единичных показателей качества и выбор базовых алгоритмов
- Классификация методов оценки уровня качества по комплексным критериям
- Структура и состав разработанного программного комплекса
Введение к работе
Вопросам повышения качества промышленной продукции в настоящее время уделяется исключительное внимание.
Это обусловлено объективными жесткими требованиями как * внутренней, так и внешней экономической необходимости. Установление государством порядка обязательного лицензирования отдельных видов » деятельности, производств, продукции и услуг (например, разработка и производство вооружения и военной техники, средств связи и других стратегически важных видов продукции) требует наличия сертифицированной системы качества.
Законодательством ряда стран (а с 2000г. и российским) во всех спорных ситуациях, связанных с качеством и безопасностью продукции и услуг, требуется подтверждение соответствия поставляемого на рынок продукта современному научно-техническому уровню.
Наличие на предприятии поставщика сертифицированной системы качества позволяет без дополнительных финансовых, временных и организационных издержек преодолеть устанавливаемые рядом стран нетарифные (технические) барьеры.
В России и в ряде зарубежных стран получение государственного заказа зависит, прежде всего, от наличия на предприятии сертифицированной системы качества. Кроме того, Государственные органы . исполнительной власти в России обязаны поддерживать поставщиков продукции и услуг для нужд государства в деле разработки и сертификации систем качества [1].
Участие российских предприятий в процессе международного разделения труда предполагает выполнение возрастающего объема подрядных работ. Возможность получения предприятием субподрядов, как от зарубежных заказчиков, так и от российских предприятий, работающих на экспорт, часто также обуславливается наличием на предприятии системы качества [2,3].
Условия тендеров и других конкурсных форм размещения заказов на поставки продукции, как на внешнем, так и на внутреннем рынке России обычно включают в себя требования к наличию у поставщика системы качества. Например, поставки продукции для топливно-энергетического комплекса, для предприятий химической промышленности и других отраслей осуществляется в России с учетом наличия системы качества у поставщика [4,5]. Сертификация системы качества обеспечивает предприятию необходимый уровень доверия на рынке. Стабильность поставок даже известных российских фирм в условиях современной неустойчивой экономики нуждается в дополнительном подтверждении. Таким общепризнанным подтверждением является соответствующим образом документированная и эффективно работающая система качества. Страхование, факторинг и другие виды поддержки финансовыми институтами сделок на поставку продукции и услуг на внешний и (все чаще) на отечественный рынок требуют подтверждения стабильности фирмы, прежде всего в части рисков, связанных с качеством и безопасностью продукции. Эти риски и обусловленная ими административная и имущественная ответственность существенно снижаются при наличии действующей системы качества. Это в свою очередь позволяет привлечь солидных страховщиков и банки, кредитующие предприятия по факту отгрузки, а также снизить ставки по кредиту и страховке.
Использование системы управления качеством позволяет также совершенствовать бизнес - модели компаний по следующим направлениям: «скрытое производство» (т.е. исправление брака) при создании системы качества становится явным. Нередко объемы скрытого производства составляют от 30 до 40% трудозатрат производства, и эти значительные издержки при внедрении системы качества значительно сокращаются; предупреждение претензий и связанных с ними потерь является важным примером реализации принципа системы качества в понимании стандартов ИСО серии 9000. Конструктивные принципы международных стандартов позволяют предприятию иметь четкий механизм предупреждающих мер и избегать провалов на рынке; реструктуризация управления предприятием среди 350 основных функций управления любым предприятием около 60-70% прямо связаны с обеспечением качества в понимании международного стандарта ИСО 8402. Таким образом, внедрение системы качества является одним из важнейших шагов в создании на предприятии современного управления; роль высшего руководства в обеспечении необходимого качества сбыта продукции и услуг до настоящего времени заключалась только лишь в оперативном контроле над деятельностью всех служб предприятия. Оптимальная номенклатура и объем делегируемых полномочий, матрицы ответственности и другие инструменты, предлагаемые стандартами серии ИСО для систем качества, позволяет значительно улучшить управляемость предприятием и изменить роль высшего руководства, сосредоточив его внимание на стратегическом управлении. Этим достигается высокое качество во всем: в проектировании и организации закупок, в освоении эффективных технологий производства и маркетинга, в управлении персоналом и т.д.; участие персонала в деле обеспечения качества всех производственных процессов (от анализа спроса до технического обслуживания) на всех уровнях является единственным выходом для российских предприятий в условиях отсутствия внешних ресурсов. Идя по этому пути, Германия и Япония после Второй мировой войны, а
Чехия и Венгрия за последние годы смогли за короткое время достичь значительных успехов в экономике. При этом политика руководства предприятия в области качества была доведена до всех сотрудников.
Система управления качеством оказывает влияние и на финансовую привлекательность и надежность компаний: внедрение и сертификация системы качества аккредитованным органом повышает уровень надежности предприятия как потенциального получателя заемных средств. Прежде всего, это касается оборотных средств под контрактные поставки, т.к. наличие сертифицированной системы качества является как для зарубежных, так и для отечественных кредиторов важным дополнительным свидетельством стабильности поставок; создание совместных предприятий и других структур с участием инвесторов без системы качества является довольно проблематичным. Во-первых, возникают сомнения в состоятельности менеджмента предприятия (если, например, отсутствует анализ затрат на обеспечение качества выпускаемой продукции или другие функции контроля, предусмотренные стандартами ИСО серии 9000). Во-вторых, возможности выхода на новые рынки без гарантии радикального изменения отношения к обеспечению качества, по мнению многих инвесторов, ограничены; нефинансовые активы предприятия вследствие создания и сертификации системы качества растут за счет повышения стоимости торговой марки производителя, а также за счет капитализации, вызванной ростом оборота (рост цены высококачественной продукции, освоение новых рынков сбыта и т.д.). При этом после сертификации системы качества аккредитованным органом обычно повышается курс акций акционерных компаний.
Таким образом, сегодня уже очевидно, что успех на стороне тех компаний, которые отдают приоритет качеству - от технологии производства до используемых стандартов в обслуживании клиентов и поставках продукции.
Уделяя должное внимание качеству, компания способствует укреплению своих позиций на мировом рынке в условиях растущей конкуренции и становится способной использовать новые возможности. В действительности, все больше и больше покупателей перед началом работы с поставщиками требуют от них проведения независимой сертификации для подтверждения обязательств в области качества.
Общепринятыми в мире на сегодняшний день считаются стандарты ИСО (ISO).
ИСО - международная неправительственная некоммерческая организация по стандартизации основана в 1947г. Основная цель выработка общих подходов и требований к качеству как к системе.
Основной задачей сертификации фирмы согласно стандартам ИСО 9001 «Системы управления качеством» является получение конкурентных преимуществ на рынке.
Стандарты серии ИСО 9000 предусматривают выделение 20 элементов системы качества продукции, влияющих на конечный результат.
Результаты внедрения и применения на практике стандартов в мире в целом показывает, что идеи, изложенные в стандартах, добились определенного признания в деловом мире.
В соответствии с процедурами ИСО, все стандарты, принятые этой организацией, каждые пять лет должны подвергаться анализу, задача которого - определить какие из них требуют подтверждения, пересмотра или отмены, т.к. они должны соответствовать современному пониманию системы качества, отвечающей требованиям глобального рынка.
Стандарт ИСО 9001 «Системы управления качеством» акцентирует особое внимание на комплексном управлении качеством продукции. Таким образом, качество становится действительным объектом управления. Однако управлять можно только тем, что измеримо. Это диктует необходимость количественно измерять (рассчитывать, оценивать) качество с учетом всего многообразия потребительских свойств продукции.
В настоящее время признано [6], что именно последним обстоятельством объясняется возникновение в начале 60-х годов нового направления в науке - квалиметрии - научной области, изучающей и разрабатывающей принципы и методы количественной оценки качества.
Вместе с тем не только необходимость, но и возможность количественной оценки качества систем доказана работами таких ученых, как Г.Г.Азгальдов, А.В.Гличева, И.Б.Погожева, Э.И.Райхмана, В.И.Сиськова, Я.Б.Шора и др. Причем, еще в работах 60-х и начала 70-х годов [7,8,9] была вскрыта природа качества систем, определены основные понятия квалиметрии, разработаны основные методы и практические рекомендации по их применению.
В работах ряда авторов более позднего периода [10,11,12] находят широкое применение отображение как теоретические, так и практические вопросы квалиметрии.
Следует отметить, что в различных областях науки, техники, производства всегда существовала задача сравнения между собой объектов, выходные (потребительские) свойства которых определялись совокупностью (множеством) числовых характеристик разной физической природы. Причем, она обусловлена не технической (либо математической), а концептуальной сложностью, вытекающей, прежде всего из принципиальной неспособности человека оперировать при мыслительном анализе одновременно большим количеством данных [13,14,15,16].
Формальное (и строгое) решение указанной задачи заключается в том, что вводится некоторый комплексный критерий качества, т.е. некоторое математическое выражение, которое позволяет сопоставить множеству числовых характеристик, описывающих систему, некоторое число. Определяющее качество этой системы.
Выбор критерия качества находится в общем случае в компетенции исследователя, который может его построить, исходя из знаний системы, условий ее использования, возможностей оценки системы в составе некоторой высшей по иерархии и т.п. [17,18,19].
Очевидно, что весьма важно при решении этой задачи максимально исключить субъективизм, как в формировании комплексных критериев, так и в выборе методов и алгоритмов оценки.
Таким образом сущность решаемой научной задачи заключается в разработке методов и алгоритмов, позволяющих минимизировать риск принятия нерационального решения при выборе систем за счет комплексного использования различных методов количественной оценки качества альтернативных систем. Актуальность данной научной задачи обусловлена постоянно возрастающими требованиями к обоснованности решений принимаемых при сравнительном анализе перспективных систем на этапе проектирования, необходимостью учета как технических характеристик так и экспертных оценок свойств этих систем, а также появлением новых технических возможностей для автоматизации этого весьма сложного и трудоемкого процесса, в том числе с появлением достаточно производительных компьютеров.
В интересах обоснованного решения сформулированной научной задачи в работе решаются следующие частные задачи: анализ функций нормирования единичных показателей качества систем; разработка новых алгоритмов нормирования единичных показателей качества; анализ и классификация методов количественной оценки уровня качества систем; разработка метода комплексной экспертной оценки качества систем; разработка программного комплекса, реализующего методы и алгоритмы комплексной количественной оценки качества систем; создание методики использования программного комплекса, реализующего методы и алгоритмы комплексной количественной оценки качества систем;
Работа состоит из введения, четырех разделов, заключения и приложения, изложена на 107 страницах машинописного текста, иллюстрируется 14 рисунками и 8 таблицами.
В первом разделе сформулирована постановка задачи комплексной количественной оценки качества систем, выделены этапы ее решения, сформулированы общие требования к единичным показателям качества и комплексным критериям систем.
Второй раздел посвящен анализу функций нормирования единичных показателей качества, обоснованию необходимости разработки нового алгоритма нормирования единичных показателей и содержит описание * предлагаемого алгоритма функционально - экспертного нормирования.
В третьем разделе дана общая классификация и проведен анализ методов количественной оценки уровня качества систем, изложена сущность разработанного метода комплексной экспертной оценки качества систем.
В четвертом разделе описана структура и состав, разработанного программного комплекса «Вердикт», реализующего методы и алгоритмы комплексной количественной оценки качества систем, а также предлагаемая методика его использования для проведения технико-экономического анализа и сравнения альтернативных вариантов сложных систем.
В заключении приведены основные результаты исследований.
В приложении приведено описание базовой версии программного комплекса «Вердикт» для комплексной количественной оценки качества сложных технических систем.
Научная новизна результатов работы заключается в следующем: * разработан алгоритм функционально-экспертного нормирования, позволяющий повысить адекватность математических моделей, исследуемых систем за счет использования знаний экспертов для определения вида функции нормировки наиболее подходящей для каждого единичного показателя качества; разработан метод комплексной оценки качества систем, применение которого позволяет снизить риск выбора нерационального варианта проектируемой системы за счет комплексного использования всех возможных методов количественной оценки уровня качества альтернативных систем; предложена методика использования программного комплекса, реализующего разработанные методы и алгоритмы, для проведения технико-экономического анализа и сравнения альтернативных вариантов систем.
Практические результаты работы: * разработан программный комплекс, реализующий методы и алгоритмы комплексной количественной оценки качества систем на персональных компьютерах и обеспечивающий эффективное решение задачи оценки, сравнения и выбора;
Разработанные методы и алгоритмы применялись для сравнительной оценки вариантов эскизного проекта комплекса «БРС», ранжирования объектов повышенной степени риска в топливно-энергетическом комплексе
Украины и при проведении научных исследований в Академии Государственной противопожарной службы МЧС России. На защиту выносится:
Алгоритм функционально-экспертного нормирования.
Метод комплексной экспертной оценки качества систем.
Методика использования программного комплекса, реализующего разработанные методы и алгоритмы, для проведения технико-экономического анализа и сравнения альтернативных вариантов систем.
Полученные в работе результаты прошли апробацию в ходе обсуждений на научно-исследовательских семинарах и конференциях, проводимых в Военной Академии ПВО СВ (Киев, 1990,1991г.), КВЗРИУ (Киев, 1990,1991г.), на международной конференции «Банковские системы и сети» (Ялта, 2001-2003г.), Межведомственном суперкомпьютерном центре (Москва, 2002,2003 г.), Московском научно-исследовательском телевизионном институте (Москва, 2002,2003 г.), Центре визуализации спутниковых информационных технологий ИВМС РАН (Москва, 2002-2004г.), опубликованы в 7 научных статьях.
Основные требования к формированию множества единичных показателей качества и комплексных критериев
При подготовке исходных данных по единичным показателям качества для расчета комплексного критерия по любой из принятых форм необходимо следить, чтобы выбираемые показатели отвечали следующим основным требованиям: 1. Полноты. В совокупности выбранные показатели должны охватывать и отображать все существенные свойства исследуемых систем, в которых проявляется их качество и изменение которых приводит к значительному изменению качества вышестоящей в иерархии системы. 2. Репрезентативности. Число показателей должно быть достаточным для отображения всех основных требований, предъявляемых со стороны надсистемы (или заказчика), причем каждый из них должен наиболее полно отражать одно или несколько требований к потребительским свойствам. Другими словами, выбранные показатели должны соответствовать такой номенклатуре требований. 3. Определенности. При выборе и номенклатуры и оценке значений единичных показателей должны быть известны условия, при которых получена их численная оценка с учетом степени достоверности. В указанном смысле, например, нельзя сопоставлять варианты, получаемые при эскизном и техническом проектировании без учета большей погрешности оценок на ранней стадии. 4. Однозначности. а)Должно быть обеспечено однозначное соответствие между величиной показателя и вектором свойств системы - качеством, т.е. увеличению (уменьшению значения показателя должно соответствовать улучшение (ухудшение) качества и наоборот. Это свойство, в частности, предопределяет возможность выражать единичный показатель обязательно некоторым числом. б)Показатель должен выражаться в терминах, не допускающих двойного толкования, иметь, по возможности, простой метод численного расчета. 5. Точности. Дисперсия численного значения показателя должна соответствовать поставленной цели и характеру исследований по оценке качества рассматриваемых систем, а также диспресиям исходных для его расчета величин. 6. Зависимости от параметров систем. Показатель качества должен зависеть от внутренних (конструктивных) параметров систем, их структуры и топологии. Кроме того, зависеть также и от параметров назначения, условий эксплуатации и функционирования, так как последние определяют возможность и область сравнительной оценки исследуемых систем. 7. Представительности. Выбранные единичные показатели качества систем должны быть определенным образом связаны с аналогичными для вышестоящей системы и не противоречить им. Как правило, множество выбранных единичных показателей качества рассматриваемых систем должно быть множеством варьируемых параметров для вышестоящей системы. Непротиворечивость в данном случае означает следующее: улучшение (ухудшение) показателя качества систем не должно противоречить к ухудшению (улучшению) соответствующих показателей качества вышестоящей системы. 8. Простоты и наглядности (в физическом смысле). Зависимость величины единичного показателя качества от определяющих его внутренних (конструктивных) параметров систем, а также от его структуры, топологии и условий использования должна иметь простой и наглядный физический смысл. 9. Сопоставимости. а)Показатели качества сравниваемых вариантов должны быть сопоставимы по уровню разработки и степени их достоверности (например, необходимо учитывать, получены ли они в техническом предложении, в эскизном, техническом или рабочем проекте, расчетным или экспериментальным путем и т.п.). б)Показатели качества в итоге должны быть нормированы так, чтобы обеспечивать корректное сравнение вариантов систем при различных размерностях этих показателей. в)Показатели качества должны быть приведены к стандартному виду, т.е. должно быть принято условие, сопоставляющее максимальному качеству максимальное или минимальное значение показателя. Выделение совокупности показателей, удовлетворяющих перечисленным требованиям, есть, таким образом, сложный процесс, который должен базироваться прежде всего на содержательном анализе как отдельных свойств исследуемых систем, так и их взаимосвязей, физической сущности отраженных показателями свойств, рассмотрении их влияния на вышестоящую систему и т.п. Опыт практической работы по использованию количественных методов оценки качества различных систем показывает,.что, как правило, основные выходные характеристики, предъявляемые разработчиком в проектной и иной технической документации, на базе которых заказчиком и формируются единичные показатели качества, в целом соответствуют указанным требованиям. Однако, существует ряд особенных вопросов, которые необходимо специально рассмотреть с учетом выполненной выше математической формулировки задачи. Важность правильного выбора формы комплексного критерия для практических расчетов и наиболее общие требования к нему отмечалась выше. К настоящему времени в квалиметрии сложился ряд конкретных требований [6,34], которые целесообразно учитывать при рассмотрении, выбора и использовании комплексных критериев качества. К ним относят следующие. 1. Репрезентативность (представительность) комплексного критерия должна быть обеспечена включением в его состав в качестве единичных действительно основных выходных характеристик системы, в полной мере отражающих качество этой системы. 2. Монотонность предполагает обязательность наличия строгой монотонной зависимости комплексного критерия от нормированных единичных показателей. Только в этом случае, например, улучшение любого из единичных показателей качества при фиксированных остальных будет вызывать соответствующее улучшение комплексного критерия.
Анализ основных функций нормирования единичных показателей качества и выбор базовых алгоритмов
Нормированные значения метрических характеристик систем иногда называют также оценками характеристик [6,39]. В соответствии с теорией принятия решений [27,39] построение функций оценок вида К,=/(к,)-аналогично построению функций полезности.
Очевидно, что в общем случае для каждой метрической характеристики системы необходимо использование "истиной" функции нормирования. При этом в каждом конкретном случае должно быть обеспечено максимальное приближение к истинной (неизвестной в общем случае) функции полезности.
Важно, что выбор «истинной» функции нормирования — задача ЛПР и чем сложнее исследуемая система, тем меньше вероятность адекватности отображения ее метрических характеристик в каноническом пространстве одной из стандартных функций нормировок. По информированности ЛПР, мы можем разделить системы на два существенно различающихся класса -системы, где ЛПР сам может дать им оценку как в целом, так и по отдельным свойствам, описанным метрическими характеристиками), и системы где ЛПР не обладает достаточной информацией, чтобы иметь целостное представление об альтернативных вариантах.
Для исследования систем второго класса, из-за трудности получения информации о них, для решении задачи оценивания привлекаются люди, обладающие специальными знаниями и опытом работы с данной системой или близкой к ней. Их называют экспертами, а решение задачи оценивания -экспертизой.
На рис.2.8 показана схема решения задачи оценивания, смысл которой состоит в сопоставлении рассматриваемой системе вектора из R„, где R„ -множество вещественных чисел.
Решение задачи оценивания можно разделить на два этапа [23]: определение множества допустимых оценок (МДО) и определение наиболее точной оценки. В соответствии с указанными этапами решение задачи оценивания сводится к последовательному решению двух задач выбора: (R, 9Я,) и (Q, ОП), где ОП1 - принцип оптимальности, задающий допустимость оценки; ОП - принцип оптимальности, задающий точность оценки из Q. Эксперты участвуют в решении второй задачи выбора (Q,ОП). Для построения Q необходимо иметь общее представление о свойствах системы, которое не всегда есть у специалиста в какой-либо конкретной области. Поэтому эксперт решает не исходную задачу выбора (?,0Л), а, вообще говоря, отличную от нее задачу выбора (Q3,OIJ3)t где Q3 - МДО для эксперта, ОПэ - принцип оптимальности эксперта, задающий точность его оценки, выбираемой из Q3. Например, в рассматриваемой далее задаче ранжирования систем из т объектов должна быть сопоставлена перестановка чисел от единицы до т. При этом Q состоит из всех возможных перестановок чисел. Однако, чтобы найти требуемую перестановку, экспертам может быть предложено сделать по парное сравнение всех объектов. При этом они решают задачу оценивания с другим МДО Q3, состоящим только из перестановок двух чисел. Результирующая перестановка определяется после обработки оценок экспертов. Вопросы, связанные с экспертизой, рассматриваются и решаются исследователем (консультантом). Он определяет Q, Q3 и все другие параметры схемы экспертизы, осуществляет подбор экспертов, организует реализацию экспертизы. Анализ описаний существующих экспертиз [21,22,28,29,45] показывает, что в процессе их построения можно выделить следующую общую последовательность действий: 1. Исследователь находит множество допустимых оценок Q, в котором содержится искомая оценка. 2. Исследователь определяет множество допустимых оценок Q3% из которого осуществляют выбор эксперты. 3. Каждый эксперт выбирает свою оценку А,=сХ 23) 6,(/ = 1, ),-т.е. решает задачу выбора наилучшей оценки из Q3. При этом эксперты могут взаимодействовать между собой. 4. По заранее разработанному алгоритму (формуле) исследователь производит обработку полученной от экспертов информации и находит результирующую оценку из Q, являющуюся решением исходной задачи оценивания. 5. Если полученное решение не устраивает исследователя, он может предоставить экспертам дополнительную информацию, т.е. организовать обратную связь, после чего они вновь решают соответствующие задачи выбора.
Классификация методов оценки уровня качества по комплексным критериям
Для решения сформулированной задачи комплексной количественной оценки качества, в настоящее время в большинстве случаев используются две группы методов, основанные на решении однокритериальной и многокритериальной задач [23,24]. Однако, число конкретных математических методов (функциональных зависимостей), направленных на решение этой задачи достаточно велико. В каждом конкретном случае определение метода для решения задачи оценки качества и выбора системы также представляет собой достаточно сложную задачу. Для ее решения необходимо провести классификацию известных в настоящее время методов. Классификации целесообразно проводить по четырем признакам: критерии выбора системы, содержательные свойства данных, формальные свойства данных, применяемый математический аппарат.
Рассматривая методы оценки системы можно выделить две основные формы критерия: точечный (равенство какому-либо заданному значению) и сравнительный (больше или меньше заданного значения).
К содержательным свойствам данных относятся свойства, определяющие смысловое содержание полученного результата решения. Например, данные являются метрическими характеристиками систем или оценками экспертов. Под формальными свойствами понимаются свойства, определяющие возможность применения того или иного математического аппарата. Например, если в исходных данных есть нулевые элементы, то невозможно применение математического аппарата, включающего в себя деление на нулевой элемент. Все наиболее известные методы целесообразно разделить как показано на рис.3.1. Хотя данная классификация несколько условна, однако она весьма полезна по двум причинам: 1) определяется область выбора наиболее подходящего для каждой конкретной задачи метода среди известных на настоящее время; 2) формируются предпосылки для разработки новых методов (например, путем модификации, совмещения, комплексирования и т.п.). Далее дается краткая характеристика перечисленных на рис.3.1 методов. Физический метод основан на выявлении аналитической взаимосвязи между принятым комплексным критерием и единичными показателями качества. Такое выявление базируется на учете (наиболее полном) физических законов и принципов, использованных при создании данных изделий. Другими словами, этот метод основан на построении строгой функциональной зависимости между показателями и критерием качества, получаемой всегда аналитически.
Например, если за комплексный критерий оценки качества некоторой энергетической установки принять вырабатываемую электрическую мощность эл,то при расчетах можно использовать аналитическую зависимость [35] для ее определения в виде
Как следует из анализа вывода формулы (3.1) в [46], она отражает физическую взаимосвязь между величинами, перечисленными выше, которые в данном случае и должны быть приняты за единичные показатели качества.
Широкое использование физического метода при комплексных оценках качества сложных систем было бы весьма желательным. Однако определение (выбор) небольшого числа (а тем более одного) необходимых агрегированных критериев типа (3.1) является очень сложной задачей и, как правило, на практике неразрешимой. Обычно в каждой конкретной (получаемой, известной) аналитической формуле взаимосвязанных единичных показателей качества небольшое число и они отражают лишь отдельные (локальные) свойства систем. Кроме того, для рассматриваемого типа систем не просто выделить единичные показатели, которые находятся в явной физической взаимосвязи. Последние обстоятельства являются серьезным недостатком физического метода, который может быть успешно применим лишь при оценке и сравнении отдельных свойств.
Математические методы анализа единичных показателей с целью получения значений комплексных количественных критериев обычно применяют при технико-экономическом исследовании некоторой выборки систем (совокупности вариантов) одного назначения. В этом случае исследование взаимосвязи между единичными показателями качества и комплексным критерием базируется не на изучении физических процессов, а на анализе принятой однородной выборки систем. При этом предполагается, что если физическая зависимость между показателями качества существует, то она должна проявиться в процессе анализа и выбора. Опыт использования различных математических методов в области квалиметрии показывает, что такое предположение всегда подтверждается.
В зависимости от математического аппарата, применяемого в таких исследованиях, к математическим методам, достаточно широко используемым на практике, можно отнести, методы кластерного анализа [47,48], методы сверток единичных показателей и введение метрик в пространство этих показателей [6,34] статистические методы [32,49,]. Кроме того, иногда применяются и другие, базирующиеся, например, на построении функции пригодности (функции соответствия требованиям) [50], матриц выигрышей и потерь качества [22].
Статистические методы построения зависимости типа (1.7) также предполагают существование определенной взаимосвязи между единичными показателями качества и выбранным в качестве комплексного. В этом случае выполняется статистический анализ совокупности единичных показателей и выявляется необходимая зависимость, которая и может служить основой для построения моделей для комплексного показателя.
Различают четыре типа таких методов (см. рис.3.1), имеющих в своей основе различный математический аппарат из арсенала теории вероятности, математической статистики, теории планирования эксперимента при анализе выборки однотипных вариантов исследуемых систем одного назначения. Это корреляционный, регрессионный, компонентный и факторный методы.
Следует заметить, что основным ограничивающим требованием при использовании статистических методов является следующее требование к исследуемой выборке изделий: число вариантов систем должно быть больше числа характеризующих их единичных показателей качества.
Только тогда получаемые модели (например, регрессионные или корреляционные уравнения) для оценок комплексного показателя могут быть статистически значимы. Однако на практике это требование, как правило, не выполняется, поэтому для оценки качества систем статистические методы почти не используются. Более подробно эти методы изложены в [49,51].
Методы экспертных оценок используются когда выбор, упорядочение и классификация не могут быть выполнены на основе точных количественных оценок характеристик систем. В таких случаях используют качественные оценки экспертов, которые необходимо формализовать.
Для обработки информации, полученной от экспертов применяются специальные процедуры, логические приёмы и математические методы, получившие названия методов экспертных оценок [21,22].
Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов, принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение задачи [28,29].
Структура и состав разработанного программного комплекса
В диссертационной работе были достаточно подробно исследованы вопросы как построения собственно методики, так и программного комплекса для решения задач оценивания, упорядочения и выбора систем (объектов, процессов), характеристики, которых могут быть заданы количественными оценками.
При этом, одной из основных задач, была задача максимально широкого охвата проблематики экспертных оценок, квалиметрии и разработка предпосылок эффективной практической реализации их алгоритмов и методов в виде программного комплекса для персональных компьютеров [72,73,74].
Практическим результатом проведенного исследования является создание программного комплекса для персональных компьютеров, позволяющего пользователям в диалоговом режиме выполнять расчеты по комплексной количественной оценке качества сложных технических систем [75]. Результатом таких расчетов являются разрабатываемые пользователем рекомендации для обоснованного выбора наилучших вариантов из альтернативных.
Отличительная особенность используемой здесь методики-возможность ее гибкого применения для создания различных комбинаций нормировок-методов при проведения анализа и задания параметров их использования.
Другая важная особенность методики состоит в возможности проведения выборочной нормировки характеристик исследуемых, систем всеми допустимыми функциями из представленных [77].
В программном комплексе реализован метод комплексной экспертной оценки систем, позволяющий исследовать системы высокой размерности и минимизировать риск принятия необоснованного решения при выборе наилучших вариантов из альтернативных. Использование программного комплекса предполагает выполнение ряда этапов. 1. Подготовка исходных данных Данные готовятся в виде матрицы "альтернативы-характеристики" и представляют собой таблицу ASCII кодов, каждая строка которой является вектором характеристик системы. Подготовка данных может осуществляться как вне программного комплекса, так и внутри него. Но в обоих случаях информация об исследуемых системах записывается в следующем виде: 1) имена характеристик; 2) направление вектора оптимизации; 3) метрические характеристики систем (оценки экспертов). Направление вектора оптимизации указывается в виде чисел: «1» - увеличение числа соответствует улучшению качества системы; «-1» - уменьшение числа соответствует улучшению качества системы; «О» - характеристика системы не учитывается или не нормируется. Все числа предполагается записывать как вещественные. Возможна корректировка количества анализируемых альтернатив и их метрических характеристик. 2. Анализ исходных данных Анализ проводится автоматически с целью определения статистических характеристик и формальных свойств исходных данных. В первую очередь это необходимо для диагностики ошибок выбора методики исследования и работы системы предупредительных сообщений. Так, например, при назначении логарифмического нормирования и средневзвешенной степенной свертки появится предупредительное сообщение запрещающее эту комбинацию из-за наличия в математическом аппарате метода свертки деления на метрические характеристики, которые не должны иметь нулевые значения. А в случае назначения ранжирования в сочетании с I, -нормой будет сообщено о некорректности использования данной пары, так как несмотря на формальную возможность математического аппарата реализовать данную методику, она не имеет содержательного смысла. Но, если исследователь имеет основания для реализации именно данного варианта методики, он может это осуществить. В другом варианте реализации методики решения задачи выбора, ориентированной в большей степени на экспертные оценки, анализ проводится непосредственно пользователем с целью определения качества исходных данных. В первую очередь необходимо оценить согласованность мнений экспертов. Согласованность показывает являются ли мнения экспертов «белым шумом» или отражают некоторую существующую, устойчивую закономерность. Для оценки согласованности применяется коэффициент конкордации: - коэффициент согласия при парном сравнении; - дисперсионный коэффициент для ранжированных рядов. Если расчетное значение критерия «Х-квадрат» для данного коэффициента конкордации больше табличного, то мнения экспертов согласованны. В случае, если мнения оказались согласованы, то дальнейший анализ можно и не проводить, если у пользователя нет на то особых причин. При наличии несогласованности мнений экспертов целесообразно продолжить анализ для выявления причин их неоднородности. Проводится проверка на непротиворечивость мнений, в ходе которой выявляются эксперты, мнения которых существенно отличаются от общего мнения группы. Для оценки меры сходства мнений каждой пары экспертов могут быть использованы различные методы. Наиболее грубый подход основан на расчете коэффициентов ассоциации, с помощью которых учитывается лишь число совпадающих и несовпадающих ответов и не учитывается их последовательность. Более точную проверку согласованности пар мнений экспертов можно провести, используя методы ранговой корреляции Кендалла и Спирмена [78]. Отметим, что метод расчета коэффициента ранговой корреляции, предложенный Спирменом вычисляется проще и быстрее. Кроме того, при необходимости пользователь может оценить часто используемые статистические характеристики: - математическое ожидание; - среднее квадратичное отклонение; - коэффициент вариации. 3. Оценка альтернатив Оценка может производиться одним из методов, реализованных в пакете, в соответствии с выбранной методикой исследования. Выбор конкретного метода определяется условиями решаемой задачи [15,79,80]. Так, например, при отсутствии нормирования выбирается метод непосредственной оценки, а при ранжировании исходных данных - метод ранжирования, если данные представляют собой оценки экспертов и количество сравниваемых систем более десяти рекомендуется использовать метод парных сравнений. Если исходные данные представляют собой количественные характеристики альтернатив, то целесообразно применять методы сверток и введения метрик в пространстве. Применение метода средневзвешенной арифметической свертки, определит в качестве лучшей систему близкую к средней. Метод «Евклидова расстояния» выберет систему наиболее близкую к «идеальной».
