Содержание к диссертации
Введение
ГЛАВ А 1. Процесс принятия решений. Оценка состояния вопроса 9
1.1 Классификация принимаемых решений 10
1.2 Понятие управленческого решения 12
1.3 Наука об управлении Фредерика Уинслоу Тейлора 13
1.4 Причинно-следственные диаграммы Исикавы 17
1.5 FMEA-AHATO 18
1.6 Метод Quality Function Deployment (развертывание (структурирование) функции качества) 22
1.7 Методология «Шесть сигм» 26
1.8 Методы Гэнити Тагути 29
1.9 Система БИЛ (бездефектное изготовление продукции) 34
1.10 Система КАНАРСПИ (качество, надежность, ресурс с первых изделий) 38
1.11 Современные методы принятия решений 39
1.12 Экспертное оценивание. Экспертные оценки в квалиметрии 41
1.13 Выводы 46
Глава 2 Разработка общей методики определения качества управленческих решений с использованием квалиметрии 47
2.1 Качество управленческих решений 47
2.2 Понятие качества управленческого решения 48
2.3 Критерии качества управленческих решений 48
2.4 Разработка опросного листа в бумажной и электронной формах 52
2.5 Анализ результатов бумажного и электронного опроса 57
2.6 Разработка математического аппарата для формирования бальных оценок 59
2.7 Выводы 72
Глава 3 Разработка методик оценки единичных показателей качества и риска для управленческих решений 73
3.1 Оценка рисков при принятии решений 73
3.2 Оценка единичного показателя «целенаправленность» 77
3.3 Оценка единичного показателя «своевременность» 87
3.4 Оценка единичного показателя «экономичность» 91
3.5 Оценка единичного показателя «правомочность» 92
3.6 Оценка единичного показателя «научная обоснованность» 94
3.7 Оценка единичного показателя «масштабность» 96
3.8 Выводы 98
Глава 4 Разработка программно-методического комплекса (ПМК) «Auctoritas» 99
4.1 Алгоритм ПМК «Auctoritas» и его особенности 100
4.1.1 Алгоритм ПМК «Auctoritas» 100
4.1.2 Описание ПМК «Auctoritas» и его особенности 101
4.1.3 Настройка ПМК «Auctoritas» 101
4.1.4 Ввод исходных данных 103
4.1.5 Дополнительные возможности ПМК 106
4.2 Определение количественного и качественного состава экспертов 109
4.3 Оформление результатов экспертизы 115
4.4 Выводы 116
Заключение 117
Список используемых источников 119
- Метод Quality Function Deployment (развертывание (структурирование) функции качества)
- Разработка опросного листа в бумажной и электронной формах
- Оценка единичного показателя «своевременность»
- Определение количественного и качественного состава экспертов
Введение к работе
Актуальность работы заключается в том, что во всем мире управленческие решения принимаются в условиях неопределенности и риска, ввиду отсутствия полной информации о том, что необходимо сделать.
Управленческие решения (УР), всегда связаны с работой организации, их инициатором обычно выступает должностное лицо или соответствующий орган, несущий полную ответственность за последствия контролируемых или реализуемых решений. Границы компетенции, в рамках которой он принимает решение, чётко обозначены в требованиях формальной структуры, однако регламент процедуры принятия решений может быть самый разнообразный ввиду отсутствия такой документации.
Подготовка управленческих решений в современных организациях нередко отделена от функции их принятия и предусматривает работу целого коллектива специалистов. В «классической» теории управления она, как правило, является функцией штабных служб.
Процесс осуществления решения связан с реализацией специального плана, который представляет собой совокупность мероприятий, направленных на достижение целей и сроков их реализации. Разработка такого плана – прерогатива соответствующих служб в аппарате управления. Однако сегодня к его разработке привлекаются те, кто будет его реализовывать, то есть непосредственные исполнители.
Управленческое решение – это выбор альтернативы, осуществлённый руководителем в рамках его должностных полномочий и компетенции и направленный на достижение целей организации. В расширенном плане принятие управленческого решения понимается как весь процесс управления и в этом смысле к нему применим процессный подход рекомендуемый ИСО 9000/2008.
Управленческое решение – это творческий акт субъекта управления, направленный на устранение проблем, которые возникают в объекте управления.
Качество принимаемого управленческого решения — комплексная характеристика, включающая такие показатели, как своевременность, целенаправленность, экономичность, масштабность, правомочность, научная обоснованность и др.
На стадии принятия решения осуществляется разработка и оценка альтернативных решений и курсов действий, проводимых на основе многовариантных расчетов; производится отбор критериев выбора оптимального решения; выбор и принятие наилучшего решения.
На настоящее время практика оценки качества решений связана с их обсуждением на различных инстанциях, совещаниях и регламент выполнения таких оценок отсутствует. В работе предлагается оценку качества решений выполнять в два этапа.
На первом этапе качество решения оценить с использованием комплексного показателя качества.
Для этого решается задача определения весовых коэффициентов qi и бальных оценок Q i для единичных показателей качества УР.
На втором этапе оценивается риск принимаемого решения.
Разработка методик для реализации первого и второго этапов является актуальной научной задачей и при доработке может использоваться как основа стандартов предприятий по оценке качества принимаемых управленческих решений.
Учитывая изложенное, исследования можно признать актуальными, особенно для этапа самооценки принимаемых управленческих решений.
Работа выполнялась в инициативном порядке.
Цель работы: повышение качества УР путем разработки методики оценки качества принимаемых решений, с использованием квалиметрической оценки единичных показателей и решения в целом с помощью комплексного показателя качества, а также оценка ожидаемого уровня риска от приятия УР.
Для достижения поставленной цели сформулированы и решены следующие задачи исследования:
-
Адаптация и модернизация существующих способов обеспечения качества к методике принимаемых УР.
-
Определение совокупности единичных показателей качества (критериев) принимаемых УР и весовых коэффициентов для этих показателей.
-
Разработка методики оценки рисков принимаемых УР.
-
Разработка методики определения комплексного показателя качества принимаемых УР на основе единичных показателей и их весовых коэффициентов.
-
Разработка программно-методического комплекса (ПМК), позволяющего максимально автоматизировать механизм принимаемых УР и априорную оценку их качества.
Методы и средства исследования. При выполнении работы использовались научные положения всеобщего управления качеством, методы системного анализа, основные положения квалиметрии, теория управления проектами и процессами, возможности текстового и электронного анкетирования с использованием лицензионного программного продукта Microsoft Windows SharePoint Services 3.0, а также обобщался опыт оценки УР по литературным источникам и по ведущим предприятиям г. Москвы и предприятий Тульского региона.
Наиболее существенные научные результаты, полученные лично соискателем:
- установление совокупности единичных показателей качества управленческих решений и определение весовых коэффициентов каждого из них путем проведения опроса экспертов и специалистов;
- в разработке универсальной методики определения относительных бальных оценок для единичных показателей, базирующейся на аналитических зависимостях, учитывающих предельные значения оцениваемого параметра, тенденцию изменения ситуации и вариацию управляемого параметра;
- в создании общей методики оценки рисков от принятия управленческих решений, адаптированной к оценке рисков по отдельным единичным показателям;
- в разработке программно-методического комплекса «Auctoritas» для квалиметрической оценки качества и рисков принимаемых управленческих решений, который принят к внедрению в компании ООО «Электронные Офисные Системы (проектирование и внедрение)».
Научная новизна заключается:
в обосновании нового способа экспертизы, отличающегося от известных тем, что бальные оценки единичных показателей формируются с учетом минимально и максимально возможных последствий управленческого решения, тенденции изменения ситуации, а также с учетом переменного параметра, например, времени его реализации.
в разработке методики оценки рисков принимаемого управленческого решения, основанной на определении приоритетного числа риска (ПЧР).
Отличие результатов работы от результатов, полученных другими авторами (Азгальдов Г.Г., Кураченко Ю.П., Гличев А.В., Незговорова Е.М., Литвак Б.Г. и др.) заключается в разработке универсальной методики определения бальных оценок для единичных показателей, базирующейся на аналитических зависимостях, учитывающих предельные значения оцениваемого параметра, тенденцию изменения ситуации и вариацию управляемого параметра, а также в разработке общей методики оценки рисков и адаптации к оценке рисков по отдельным единичным показателям.
Теоретическое значение результатов работы заключается в разработке нового способа оценки качества управленческих решений, в котором относительная бальная оценка формируется на использовании потребительского допуска на каждый из единичных показателей, математической зависимости характеризующей тенденцию изменения ситуации при реализации решения и с учетом вариации переменного параметра, например, времени реализации решения.
Традиционный способ экспертизы является частным случаем предлагаемого, когда величины потребительского допуска и переменный параметр не учитываются.
Практическая значение результатов работы заключается в разработке и внедрении программно-методического комплекса (ПМК) для исполнения процедуры экспертизы, позволяющего графически иллюстрировать тенденцию изменения различных критериев оценки с помощью целевых функций, выполнять все необходимые расчеты и оформлять решения экспертизы с использованием ЭВМ.
Реализация работы. Результаты данной работы приняты к внедрению в компании ООО «Электронные Офисные Системы (проектирование и внедрение)» (г. Москва).
Рекомендации об использовании результатов работы. Разработанный программно-методический комплекс может быть составной частью автоматизированной системы управления предприятиями, в которых используется система менеджмента качества (СМК). ПМК может быть внедрен как на промышленных предприятиях, так и в коммерческих структурах.
Публикации и апробация работы: По тематике исследований опубликованы 5 работ, из них 1 без соавторов и 4 в ведущих рецензируемых изданиях, включенных в список ВАК.
Основные положения работы докладывались на Международных научно-технических конференциях: «Автоматизация: Проблемы, Идеи, Решения-14» (г. Тула, 2009 г.), «Фундаментальные и прикладные проблемы в машиностроительном комплексе» (г. Орел, 2009, 2010 гг.), а также на научной конференции профессорско-преподавательского состава ТулГУ (г. Тула, 2009, 2010 гг.)
Структура и объем работы. Диссертационная работа состоит из введения, четырех разделов, заключения, библиографического списка и приложения. Содержит 113 страниц машинописного текста, 13 таблиц, 30 рисунков, библиографический список из 113 наименований и приложения на 12 страницах. Общий объем диссертации 141 страницы.
Метод Quality Function Deployment (развертывание (структурирование) функции качества)
FMEA-анализ процесса производства обычно производится у изготовителя службами планирования производства, обеспечения качества или производства с участием соответствующих специализированных отделов изготовителя и, при необходимости, потребителя. Проведение FMEA-анализа процесса производства начинается на стадии технической подготовки производства (разработки и планирования техпроцесса, заказа необходимого производственного и контрольного оборудования) и заканчивается до монтажа производственного оборудования.
Целью FMEA-анализа процесса производства является обеспечение выполнения всех требований по качеству запланированного процесса производства и сборки путем внесения изменений в план процесса для технологических действий с повышенным риском.
Целью этого вида анализа является обеспечение качества выполнения спланированного бизнес-процесса. Иногда полезно проводить такой анализ и для действующих бизнес-процессов, по сути являющегося решением в особенности если для них нет достоверной статистики по дефектам и несоответствиям и не используются статистические методы регулирования, а сбои процесса достаточно часты, т.е. система, в рамках которой выполняется этот бизнес-процесс, неустойчива. Выявленные в ходе анализа потенциальные причины дефектов и несоответствий позволяет определить, почему система неустойчива. Выработанные корректировочные мероприятия должны обязательно предусматривать внедрение статистических методов регулирования, в первую очередь, на тех операциях, для которых выявлен повышенный риск [11,87].
FMEA-анализ продукции может проводиться как для разрабатываемой продукции, так и для существующей. В рабочую группу по проведению анализа обычно входят представители отделов разработки, планирования производства, сбыта, обеспечения качества, представители опытного производства. Целью анализа является выявление потенциальных дефектов изделия, вызывающих наибольший риск потребителя и внесение изменений в изделия, которые бы позволили снизить такой риск.
FMEA-анализ процесса эксплуатации обычно проводится в том же составе, как и FMEA-анализ продукции. Целью проведения такого анализа служит формирование требований к конструкции изделия, обеспечивающих безопасность и удовлетворенность потребителя, т.е. подготовка исходных данных как для процесса разработки конструкции, так и для последующего FMEA-анализ конструкции. Данный метод подходит и для процесса оценки решений и в дальнейшем будет использован в нашем исследовании.
Этапы проведения FMEA-анализа. 1. Построение компонентной, структурной, функциональной и потоковой моделей объекта анализа. 2. Исследование моделей. В ходе исследования моделей определяются: потенциальные дефекты для каждого из элементов компонентной модели объекта. Такие дефекты обычно связаны или с отказом функционального элемента (его разрушением, поломкой и т.д.), с неправильным выполнением элементом его полезных функций (отказом по точности, производительности и т.д.), или с вредными функциями элемента. В качестве первого шага рекомендуется перепроверка предыдущего FMEA-анализа или анализ проблем,, возникших за время гарантийного срока. Необходимо также рассматривать потенциальные дефекты, которые могут возникнуть при транспортировке, хранении, а также при изменении внешних условий (влажность, давление, температура); потенциальные причины дефектов - для их выявления могут быть, использованы диаграммы Исикавы, которые строятся для каждой из функций объекта, связанных с появлением дефектов; потенциальные последствия дефектов для потребителя - поскольку каждый из рассматриваемых дефектов может вызвать цепочку отказов в объекте, при анализе последствий используются структурная и потоко вая модели объекта; возможности контроля появления дефектов — определяется, может ли дефект быть выявлен до наступления последствий в результате преду смотренных в объекте мер по контролю, диагностике и др. 3. Проводится ряд экспертных оценок. Определяются следующие параметры: тяжести последствий для потребителя (проставляется обычно по 10-балльной шкале;:наивысший балл проставляется для случаев, когда последствия дефекта влекут юридическую ответственность); частоты возникновения дефекта (проставляется по 10-балльной шкале; наивысший балл проставляется, когда оценка частоты возникновения составляет 1/4 и выше); вероятности необнаружениядефекта (является 10-балльной экспертной оценкой; наивысший балл проставляется для? «скрытых» дефектов; которые не могут быть выявлены до наступления последствий); риска потребителя (показывает, в каких отношениях друг к другу в настоящее время находятся причины возникновения дефектов; дефекты, с наибольшим коэффициентом приоритета риска подлежат устранению в первую очередь). Результаты, анализа заносятся; в специальную таблицу. Выявленные «проблемные места» подвергаются изменениям, т.е. разрабатываются корректирующие мероприятия. Часто разработанные мероприятия, заносятся в последующую графу таблицы FMEA-анализа. Затем пересчитывается потенциальный; риск после проведения корректировочных мероприятий. Если его не удалось снизить до приемлемых пределов, разрабатываются: дополнительные корректирующие мероприятия и повторяются предыдущие шаги. Шо результатам, анализа составляется план внедрения разработанных корректирующих мероприятий. Для этого определяется: в:. какой временной последовательности следует внедрять эти меро- приятия и сколько времени потребуется на проведение каждого мероприятия, через сколько времени после начала его проведения проявится запланированный эффект; кто будет отвечать за проведение каждого из этих мероприятий, и кто будет конкретным его исполнителем.
Разработка опросного листа в бумажной и электронной формах
Первые успешные попытки организации планомерной систематической работы в обеспечении качества в нашей стране были предприняты в 50-х годах. Началом системного подхода к управлению качеством продукции считают разработку и внедрение в 1955 году на Саратовском авиационном заводе системы бездефектного изготовления продукции (БИП) и сдачу ее ОТК и заказчикам с первого предъявления [55].
Внедрению БИП предшествовала сложившаяся система контроля, когда рабочие, мастера, руководители предприятия отвечали за выполнение производственной программы и, фактически, не отвечали за качество продукции. Ответственность за качество продукции была возложена на ОТК. В результате работники производственного аппарата передавали детали, узлы, изделия в другой цех с недоделками, дефектами. При таком положении работники ОТК предприятии затрачивали время на выявление и устранение дефектов. Получилось так, что одни производят некачественную продукцию, а другие ликвидируют допущенный ими брак, поэтому продукция предъявлялась в ОТК по нескольку раз. В связи с этим аппарат ОТК необоснованно расширялся, причем нередко за счет малоквалифицированных работников.
Кроме того, нередко брак и дефекты возникали из-за конструкторов, состояния НТД и организации производства. Стимулирование проводилось в основном по количественным показателям изготовления продукции.
Данная система представляла комплекс взаимосвязанных, организационных, экономических, воспитательных мероприятий, которые создавали благоприятные условия для изготовления продукции без дефектов в соответствии с требованиями нормативно-технической документации. В ее основу были положены следующие принципы: - полная ответственность непосредственного исполнителя за качество выпускаемой продукции; - строгое соблюдение технологической дисциплины; - полный контроль качества изделий и соответствие их действующей документации до предъявления службе ОТК; - сосредоточение технического контроля не только на регистрации брака, но и главным образом на мероприятиях, исключающих появление различных дефектов. Порядок предъявления продукции ОТК регламентировался рядом до-кументов, в частности «Инструкцией», составленной ОТК и утвержденной директором предприятия, которая запрещала исполнителю предъявлять ОТК узлы и изделия с отклонением от НТД. Анализ рекламаций с места эксплуатации продукции рассматривался лично директором предприятия, после чего им издавался специальный приказ с изложением конкретных необходимых организационно-технических мероприятий, направленных на устранение причин, вызвавших неисправность изделия. Внедрение системы способствовало развитию движения «работы с личным клеймом». К такой работе допускались исполнители, которые не менее 6 месяцев изготовляли продукцию без дефектов и сдавали ее в ОТК с первого предъявления. При вручении «личного клейма» исполнителю выдавалось удостоверение на право самоконтроля. Исполнители, не оправдавшие доверия, лишались приказом по предприятию «личного клейма» и удостоверения на право самоконтроля. Главной особенностью и новизной системы БИП стало то, что она позволила проводить количественную оценку качества труда каждого исполнителя, коллективов подразделений и на этой основе производить моральное и материальное стимулирование. Для оценки результатов работы предприятия, цехов и отдельных исполнителей, а также морального и материального стимулирования работников, за повышение качества продукции были предусмотрены следующие основные показатели: - возврат продукции из ОТК внутри цехов (количество отклоненных ОТК деталей, узлов и изделий после обнаружения первого дефекта), характеризующий уровень технологической и производственной дисциплины; - возврат продукции из цехов-потребителей цехам-изготовителям (количество возвращенных дефектных деталей, узлов, изделий), характеризующих качество работы технического контроля в цехе-изготовителе; - выполнение ежемесячных цеховых организационных технических планов по качеству (в процентах к общему числу запланированных мероприятий), состояние культуры производства, определяющие эффективность деятельности ИТР цеха и рабочих по устранению причин брака и возврата продукции; - количество принятой продукции с первого предъявления ОТК (в процентах к предъявляемому количеству), брак (в процентах к валовому выпуску или к общей трудоемкости в нормо-часах), количество продукции, на которую получены рекламации (в процентах к объему выпускаемой продукции), характеризующие общее состояние и уровень качества изготовления продукции в цехах и по предприятию в целом.
Эффективность применения этой системы во многом обусловливалась уровнем обучения и воспитания кадров. Для повышения этого уровня организовывались школы качества, в которых наряду с теоретическими занятиями осуществлялось также практическое обучение работников методам качественного изготовления продукции на закрепленных за ними операциях.
В системе большое значение придавалось соответствию состояния оборудования, оснастки, инструмента, контрольно-измерительных приборов и технической документации требованиям технологического процесса. Были обязательны научная организация труда и производства, четкие внутрипроизводственные связи, ритмичность работы.
Выпуску продукции высокого качества способствовала также система материального и морального стимулирования исполнителей в зависимости от уровня сдачи продукции с первого предъявления.
Критерий количественной оценки качества труда позволял развернуть социалистическое соревнование, применять такие моральные стимулы, как присвоение звания «Отличник качества», «Мастер - золотые руки» и др. При этом разнообразие методов морального стимулирования и размеров материального поощрения на различных предприятиях не меняло основного принципа системы.
Использованный в системе БИП механизм управления качеством оказал влияние и на структуру управления. Прежде всего, изменились функции ОТК, децентрализовался контроль из-за развития самоконтроля, повысилось качество труда и появилась возможность получать информацию о причинах дефектов, не зависящих от рабочего. Для анализа этой информации, обсуждения и принятия решений создавались постоянно действующие комиссии по качеству, регулярно проводились дни качества.
Оценка единичного показателя «своевременность»
Экономическая эффективность - это относительный показатель, соизмеряющий полученный эффект с затратами, обусловившими этот эффект, или с ресурсами, использованными для достижения этого эффекта [76,50]:
Расчет данных по числителю и знаменателю обычно является долговременной и достаточно «неудобной» процедурой, главное - он требует привлечения не экспертов, а экономистов. Смысл экспертной оценки при этом нарушается.
Для исключения этих противоречий нами принято решение об исполь-зовании зависимостей из таблицы 2.4. Предполагается, что руководитель определяет вид функции (по данным, предоставленным например аналитическим отделом): возрастающая с ускорением/замедлением; убывающая с замедлением/ускорением. И дальнейшие расчеты производятся в зависимости от выбранной функции с учетом времени исполнения решения.
Например: чем выше бальная оценка, тем лучше ожидаемый результат, поэтому при оценке положительных эффектов, будем использовать формулы из строки 3 таблицы 2.4. Оценка риска аэ рассматриваемого критерия выполняется с по методике, описанной в разделе Управленческое решение должно удовлетворить требованию правомочности. Правомочность каждого руководителя в пределах его служебных обязанностей заключаются, как правило, в возможности распоряжаться трудовыми, материальными, денежными и другими ресурсами в целях достижения заданных результатов. Нарушение этой правомочности, т.е. принятие решений, не соответствующих правам, обычно ведет к невыполнению этих решений. Управленческие решения вырабатываются в соответствии с полномочиями линейных руководителей, коллегиальных органов, принимающих эти решения. Выполнение данного требования обеспечивается разработкой положений об органах управления, отделах, должностных инструкций. Требование законности управленческого решения состоит в том, чтобы решение не противоречило действующим государственным и ведомственным законоположениям, приказам, нормативам, стандартам, инструкциям и другим документам. Работники аппарата управления предприятий и организаций общественного питания, деятельность которых связана с выработкой управленческих решений, обязаны хорошо знать постановления и законы, хозяйственные нормативные акты, постановления и приказы руководителей вышестоящих организаций, применительно к специфике решаемых вопросов. Правомочность по своей сути это аргументированность соответствие прав и обязанностей органов принятия решения. Аргументы по возможности должны носить формализованный характер. Для достижения правомочности необходимо обеспечить: 1) наличие у исполнителя документации, позволяющей выполнять определенные виды работ, т.е. лицензий, сертификатов и т.п.; 2) необходимый опыт в выполнении работ. Например, решение задач в области металлургии требует наличия документов, дающих право их выполнять. Получение такого права зависит от подтвержденных, например лицензиями, знаний особых требований техники безопасности т.п. Необходимый опыт тоже имеет важное значение. Например, многочисленные объявления о приеме на работу обязательно включают требования о наличии стажа на подобных должностях. Квалиметрическая оценка критерия «правомочность» по нашему мнению должна выполняться в два этапа. На первом используется правило Вето - отсутствие лицензионной документации является поводом для снятия проекта с рассмотрения. Если идея решения необычна, оригинальна, нужно привлекать специалистов, которые решат реализовать идею, отклонять или дорабатывать. В таком случае критерий «правомочность» связан с наличием опыта, например, его можно оценить количеством удачных решений в сравнении с их общим количеством. Воспользуемся для формирования бальной оценки Qn уравнением из строки 1 таблицы 2.4. где Qjj mm и б# max бальные оценки принимаемого решения, значения которых принимаются экспертами по 10 бальной шкале после обследования фирмы; п - количество удачных решений. При п = 0 (фирма некомпетентна) Qn = Qn min = 1, а при п = птах (фирма не допускает ошибок) QJJ =10. Таким образом, уравнение (3.27) позволяет сразу получить бальную оценку в пределах: Принцип научной обоснованности управления исходит из того, что средства и методы управления должны быть научно обоснованы и выверены на практике. Его соблюдение возможно только на основе непрерывного сбора, переработки и анализа различной информации: научно-технической, экономической, правовой и др. с использованием новейшей техники и математических методов; Критериями научной обоснованности являются: достоверность используемой информации; соответствие принципов и методов исследования объекту исследования; теоретическая обоснованность предлагаемых вариантов решения проблемы (задачи).
Определение количественного и качественного состава экспертов
В соответствии с рекомендациями, содержащимися в нормативных документах по применению экспертного метода оценки качества [6, 63, 106, 77, 71], обычно для проведения экспертизы создается экспертная комиссия, состоящая из двух групп: рабочей и экспертной. Задача экспертной группы — вынесение суждения индивидуально каждым экспертом. Задача рабочей группы — подготовка и проведение экспертизы, обработка, анализ и обобщение ее результатов с целью выявления коллективного мнения экспертов. Возглавляет экспертную комиссию председатель, который одновременно непосредственно организует деятельность рабочей группы. В состав рабочей группы входят: организатор (он же председатель экспертной комиссии), осуществляющий методическое руководство работой на всех ее этапах; специалист по решаемой проблеме, основной задачей которого является анализ информации, полученной от экспертов, для корректировки программы дальнейшей работы; программист, который включается в рабочую группу, если возникает необходимость в достаточно быстрой настройке ПМК и обработке на ПК большого количества полученной от экспертов информации; технические работники (из расчета по одному на 6-10 экспертов), непосредственно проводящие опрос и предварительно обрабатывающие полученные результаты.
Созданная рабочая группа подбирает потенциальных экспертов и формирует экспертную группу в следующем порядке: из предварительно составленного организатором и специалистом по исследуемой проблеме списка потенциальных экспертов отбираются в требуемом количестве эксперты, лучшие по качеству [6]. Качество эксперта определяется 4 группами свойств: компетентность, заинтересованность в результатах экспертизы, деловитость и объективность (беспристрастность).
Компетентность эксперта распространяется на объект исследования (профессиональная компетентность) и методологию экспертного решения исследуемой задачи (экспертная компетентность). Заинтересованность в результатах экспертизы в основном зависит от степени загруженности эксперта основной работой, моральных и материальных стимулов его участия в экспертизе, индивидуальных особенностей эксперта. Деловитость главным образом определяется следующими свойствами эксперта: его собранностью, умением работать с коллегами при решении задач в конфликтной ситуации, мотивированностью выносимых суждений. Беспристрастность (объективность) определяется способностью учитывать ту и только ту информацию, которая необходима для правильного решения исследуемой им задачи.
Существует значительное число способов [6], с помощью которых оценивается качество эксперта, причем обычно каждый из таких способов характеризует не одно, а сразу несколько свойств эксперта.
Большинство из этих способов входит в одну из 5 групп: эвристические (оценки назначаются человеком); статистические (оценки определяются в результате статистического анализа суждений экспертов по исследуемой проблеме); тестовые (оценки получаются в результате специальных испытаний экспертов); документальные (оценки основываются на анализе документальных данных об эксперте); комбинированные (оценки определяются с помощью любой совокупности перечисленных выше методов).
Эвристические методы оценки экспертов основаны на предположении (подтвержденном в эксперименте), что-то представление, которое сложилось о данном эксперте у окружающих (или даже у него самого), достаточно правильно отражает его истинное качество. К этой группе относятся следующие методы: самооценка (эксперт сам оценивает свою профессиональную компетентность); взаимооценка (оценка компетентности каждого эксперта определяется как средняя из оценок, назначенных всеми остальными экспертами); оценка рабочей группой (выносится техническими работниками и характеризует заинтересованность эксперта в участии в экспертизе и его деловитость) [56].
Статистические методы оценки экспертов базируются на той предпосылке, что эксперт может рассматриваться как своеобразный измерительный прибор, показания которого (т. е. индивидуальные экспертные суждения) имеют случайную и систематическую погрешность.
К статистическим относятся следующие методы оценок: оценка по отклонению индивидуального экспертного суждения от коллективного экспертного суждения остальных членов экспертной группы (при этом условно принимается, что такое коллективное экспертное суждение и отражает истину, а отклонение от него характеризует систематическую погрешность); оценка воспроизводимости результата (учитывается степень совпадения индивидуальных экспертных суждений, высказанных экспертами по одному и тому же вопросу, но через относительно небольшой промежуток времени, т. е. оценивается случайная погрешность).
Тестовые методы оценки качества экспертов основываются на предположении, что существует тесная взаимосвязь между способностью эксперта решать специально подобранные тестовые задачи и такими свойствами, характеризующими качество эксперта, как объективность, профессиональная и экспертная компетентность. Большой опыт разработки и применения тестов для оценки качества экспертов накоплен в товароведной экспертизе пищевых продуктов. Документальные методы оценки устанавливают зависимость между некоторыми документально подтвержденными характеристиками эксперта (числом лет работы по специальности, количеством публикаций, профессиональным статусом, возрастом, состоянием здоровья, владением иностранными языками, участием в научно-технических конференциях, симпозиумах, совещаниях и т. д.) и свойствами, характеризующими его качество как эксперта.
Сложность разработки документальных методов оценки, а также сильная зависимость методологии их определения от специфики задачи, решаемой экспертом, в настоящее время ограничивает сферу применения таких оценок.
Комбинированные методы оценки основаны на некотором обобщении оценок, полученных эвристическими, статистическими, тестовыми и документальными методами. При этом не существует единого правила, с помощью которого можно было бы получить комбинированную оценку качества эксперта для любой области применения экспертного метода.
