Содержание к диссертации
Введение
Глава 1. Анализ основных методов оценки качества процесса сертификации продукции 8
1.1 Исследование зарубежного и отечественного опыта аккредитации в части критериев оценки деятельности сертифицирующих организаций 8
1.2 Исследование методов самооценки и возможности их использования при управлении качеством деятельности органов по сертификации и испытательных лабораторий 40
1.3 Применение экспертного метода - для оценки качества процесса сертификации 44
Глава 2. Разработка основных положений методики оценки качества процесса сертификации продукции 53
2.1. Описание методики оценки качества процесса сертификации продукции 53
2.2. Построение классификации критериев экспертной оценки качества процесса сертификации 57
2.3. Определение коэффициентов весомости критериев качества процесса сертификации 62
2.4. Разработка шкал критериев оценки качества процесса сертификации... 68
2.5 Количественная оценка компетентности экспертной группы 74
Глава 3. Разработка методики оценки качества процесса сертификации продукции 81
3.1 Критериальная база методики 81
3.2 Алгоритм методики оценки деятельности по управления качеством в органе по сертификации и испытательной лаборатории 89
Глава 4. Результаты апробации разработанной методики оценки качества процесса сертификации продукции 98
4.1 Описание процесса сертификации продукции 98
4.2 Результаты проведения оценки качества процесса сертификации продукции 107
Выводы по диссертации 122
Список литературы 124
Приложение
- Исследование методов самооценки и возможности их использования при управлении качеством деятельности органов по сертификации и испытательных лабораторий
- Построение классификации критериев экспертной оценки качества процесса сертификации
- Алгоритм методики оценки деятельности по управления качеством в органе по сертификации и испытательной лаборатории
- Результаты проведения оценки качества процесса сертификации продукции
Введение к работе
Актуальность темы исследования. Повышение уровня качества и достоверности результатов проведения сертификации является актуальной задачей не только для аккредитующих организаций. Органы по сертификации и испытательные лаборатории сами в первую очередь заинтересованы в достижении и поддержании высокого уровня качества проведения сертификации как для повышения доверия заявителей к данной процедуре, так и для успешного прохождения аккредитации на новый срок.
Для обеспечения гарантий надежности, качества и последовательности процедуры сертификации продукции орган по сертификации должен соответствовать стандарту ГОСТ Р ИСО/МЭК 65-2000 «Общие требования к органам по сертификации продукции», в свою очередь испытательная лаборатория должна выполнять требования стандарта ГОСТ Р ИСО/МЭК 17025-2000 «Общие требования к компетентности испытательных и калибровочных лабораторий».
Практика в области управления качеством процессов показывает, что соответствие требованиям стандартов необходимо подтверждать на основе объективных данных о процессе и его текущем состоянии. Сертифицирующая организация должна проводить периодический анализ и оценку существующего положения с целью определений областей для улучшения. Для реализации данных положений необходимо проводить оценку процесса на основе критериев с целью внесения своевременных корректив в случае выявления несоответствий требованиям предъявляемых к данному процессу.
Исходя из вышесказанного актуальными задачами повышения уровня качества процесса сертификации являются формирование на основе требований стандартов критериев оценки качества данного процесса и создание методики оценки деятельности органа по сертификации и испытательной лаборатории. В соответствии с решаемыми задачами в работе использованы работы ведущих
5 российских и зарубежных ученых Ю.П. Адлера, И.З. Аронова, Г.Г. Азгальдова, Б.В. Бойцова, В.Г. Версана, А.В. Гличева, Л.Г. Дубицкого, В.Я. Кершенбаума, Г.В. Панкиной, М.Л. Рахманова, И.И. Чайки и др., материалы научно-технических конференций, стандарты ИСО серии 9000, законы, постановления правительства и нормативные акты Российской Федерации.
Все выше изложенное дает основание считать выбранную тему исследования актуальной для науки и практики оценки качества процесса сертификации продукции.
Цель диссертационного исследования заключается в разработке методики оценки качества процесса сертификации, базирующейся на квалиметрической оценке процесса сертификации в органе по сертификации и испытательной лаборатории.
Для достижения поставленной цели в диссертационном исследовании необходимо решить следующие задачи:
провести исследование отечественного и зарубежного опыта в области аккредитации с целью определения ключевых требований к деятельности органов по сертификации и испытательных лабораторий;
проанализировать методы квалиметрии с целью определения наиболее эффективного способа оценки качества процесса сертификации;
провести анализ требований, предъявляемых к процессу сертификации, и сформировать на их основе критерии оценки качества данных процессов;
- разработать методику оценки качества процесса сертификации и
провести ее апробацию для подтверждения их практического применения.
Объектом исследования является деятельность органов по сертификации и испытательных лабораторий в области сертификации продукции.
Предметом исследования являются процесс сертификации в органе по сертификации и испытательной лаборатории.
Методы исследования основываются на теоретических и
экспериментальных положениях теории квалиметрии и современных достижениях в области аккредитации, сертификации и управления качеством.
Научная новизна:
Разработан перечень критериев оценки, позволяющий проводить на его основе оценку качества процесса сертификации продукции.
Разработана классификация критериев оценки, охватывающая все этапы и виды деятельности органов по сертификации и испытательных лабораторий, позволяющая распределить совокупность критериев по определенным классификационным группировкам.
Разработана методика оценки качества процесса сертификации, предусматривающая способы отбора и оценки компетентности экспертов, шкалы измерений критериев, расчет коэффициентов весомости. Результатом выполнения методики является определение процессов требующих улучшения, а также значения комплексного критерия, являющегося количественным выражением уровня качества процесса сертификации.
Практическая значимость работы:
1. Разработанная методика оценки качества процесса сертификации
позволяет достаточно объективно и всесторонне оценить качество процесса
сертификации с учетом требований международных стандартов ГОСТ Р
ИСО/МЭК 65-2000 и ГОСТ Р ИСО/МЭК 17025-2000.
2. Предложенный в работе формализованный подход к оценке качества
процесса сертификации в органе по сертификации и испытательной
лаборатории приводит к повышению результативности управленческих
решений и удовлетворению всех заинтересованных сторон при проведении
сертификации продукции.
3. Предложенная методика оценки качества процесса сертификации
продукции может быть применена в любом органе по сертификации и
испытательной лаборатории независимо от вида сертифицируемой продукции.
4. Результаты данной работы успешно реализованы в органе по сертификации продукции ОС МАДИ-ФОНД, что подтверждает достоверность и обоснованность научных положений и выводов.
Апробация диссертации. Основные положения диссертационной работы докладывались на следующих Международных и Всероссийских конференциях: XXX Гагаринские Чтения, г. Москва 2004 г.; Всероссийские научно-технические конференции «Новые материалы и технологии НМТ», г. Москва, 2004 г.; Четвёртая Всероссийская научно-практическая конференция «Управление качеством», Москва, 2005 г.; Третья Всероссийская научно-практическая конференция «Применение ИЛИ - технологий в производстве», Москва, 2005 г.; Пятый Международный Аэрокосмический конгресс IAC06, г. Москва, 2006 г.
Исследование методов самооценки и возможности их использования при управлении качеством деятельности органов по сертификации и испытательных лабораторий
Эффективная система мониторинга качества управления деятельности сертифицирующих организаций, основанная на самооценке [37], сама по себе обеспечивает объективную оценку и доверие к деятельности организации и приводит к существенной экономии материальных и временных ресурсов, выделяемых на проведение внешней экспертизы. Результаты самооценки становятся с одной стороны механизмом постоянного внутреннего улучшения управления деятельности организации, а с другой - могут представляться внешним проверяющим для их выборочной проверки.
По своему содержанию самооценка - это вид сопоставительного анализа деятельности организации в сравнении с какой-либо моделью, эталоном. В данном случае такой моделью являются международные стандарты ИСО/МЭК 65-2000 [4] и ИСО/МЭК 17025-2000 [6] определяющие требования к органу по сертификации и испытательной лаборатории.
Под самооценкой понимается всестороннее обследование организации, итогом которого является тщательно обсужденное персоналом и мнение или суждение о результативности и эффективности организации [46-48] и уровне развития, организованности, упорядоченности и совершенства основных процессов. Самооценка обычно проводится при непосредственном участии руководства организации.
Цель самооценки заключается в предоставлении организации рекомендаций, основанных на фактах и данных, касающихся областей применения ресурсов для улучшения ее деятельности. Самооценка может использоваться организацией для сравнения своей деятельности с лучшими в определенном классе достижениями других организаций или показателями мирового уровня в данной области (технология бенчмаркинга), а также может быть полезной при сравнении с поставленными ранее целями при повторных оценках степени достижения этих целей. Таким образом, самооценка в принципе отвечает на следующие вопросы: Что мы делаем? Насколько хорошо мы это делаем? Что мы могли бы делать лучше? Как мы могли бы делать это лучше?Первым вопросом при проведении самооценки организации является выбор метода самооценки, в основе которого лежит выбранная модель совершенствования деятельности организации. Фактически метод самооценки представляет собой перечень требований к уровню организации основных рабочих процессов, которые формулируются в виде критериев и подкритериев модели. Метод самооценки определяет степень корректности и глубины самообследования рабочих процессов, степень документальной обоснованности выносимых суждений и, как следствие, уровень трудоемкости проведения самооценки. В зависимости от конкретной ситуации каждая организация выбирает тот или иной метод самооценки из числа рассмотренных ниже. В настоящее время выделяют следующие пять основных методов самооценки со следующими условными названиями: - Анкетирование, - Матричный метод,Семинар,Табличный метод (SWOT- анализ), -Моделирование участия в конкурсе по качеству.Возможны также любые вариации или совмещения указанных методов. 1) Анкетирование: основано на специальных анкетах, содержащих прямые вопросы относительно критериев модели самооценки; допускает ответы да/нет на вопросы относительно конкретного критерия; может быть более сложным и допускает совместное использование с методом семинара; могут быть использованы стандартные сценарии или их адаптация для специфических нужд; результаты показывают, что люди думают, но не говорят, почему они так думают; требуют привлечения психологов для составления адекватных анкет; могут использоваться для анкетирования всего персонала организации, а не только экспертов.2,) Матричный метод: основан на совокупности квалиметрических шкал (в виде матриц) уровней по всем критериям модели, выраженных вербально, от полностью неудовлетворительного состояния до полного совершенства; позволяет просто и легко прослеживать динамику развития во времени путем анализа профиля результатов самооценки; обеспечивает визуальный анализ положительных сдвигов в настоящий момент относительно прошлого состояния; не очень четко определяет сильные и слабые стороны организации и области для улучшения деятельности Семинар: является универсальным методом, используемым совместно с другими для следующих целей: обучения персонала и увеличения его осведомленности; - сбора данных и информации; - оценки, согласования и ранжирования собранной информации; - согласования мероприятий по улучшению деятельности; - анализа достигнутого прогресса. обычно требует привлечения одного - двух профессионалов в области качества для организации семинара.
Построение классификации критериев экспертной оценки качества процесса сертификации
Классификация (структурная схема) критериев оценки деятельности органов по сертификации и испытательных лабораторий обусловлена ее целевым назначением и должна проводиться по соответствующим этому назначению взаимосвязанным признакам. Совокупность таких признаков позволяет распределить множество рассматриваемых объектов (в данном случае - критериев) по определенным классификационным группировкам. При этом глубина классификации (число ступеней классификации) должна быть достаточной для решения всех задач, связанных с проведением оценки организацией и обобщением полученных результатов.
Целью оценки организацией является проверка ее соответствия установленным требованиям (критериям) и подготовка на основе полученных результатов мер по корректирующим воздействиям.
Содержание мер, подготавливаемых на основе проведенной проверки, зависит в полной мере от состава и значимости выявленных несоответствий в деятельности по сертификации и испытаниям. Поэтому установление единых методических основ классификации критериев оценки деятельности по сертификации и испытаниям, а также разработка рекомендаций по ее использованию при подготовке обоснованных мер по результатам проверки является актуальной задачей.
В основу классификации критериев положены требования по аккредитации, установленные государственными стандартами ГОСТ Р ИСО/МЭК 65-2000 и ГОСТ Р ИСО/МЭК 17025-2000, принятыми в соответствии с правилами прямого применения международных стандартов, а также Руководствами IAF, ILAC и DAP по применению данных стандартов исследованные в Главе 1 диссертации. Анализ перечня критериев, по которым проводится проверка деятельности организации, позволяет поделить их на четыре класса в соответствии с аспектами деятельности организации: юридический статус (класс 1); условия независимости (класс 2); требования к технической компетентности (класс 3); правила самоконтроля (класс 4). Для удобства в практическом использовании множества критериев внутри каждого класса целесообразно поделить на однородные группировки, определяемые дополнительными признаками классификации. Общая классификация критериев по исходному, основному и дополнительным признакам, основанная на предлагаемых методических подходах, приведена на рис 2.3. Критерии юридического статуса (класс 1) и условий независимости (класс 2) могут быть вызваны источниками, проявляемыми в областях нормативно-правового и организационного обеспечения. К ним относятся две группы: - нормативно-правовые положения (группа 1), установленных законодательными актами Российской Федерации, директивами (постановлениями, приказами) федеральных органов исполнительной власти, нормативными документами систем аккредитации и сертификации; организационные положения (группа 2), установленных организационно-методическими документами организаций в части организационной структуры, взаимодействия с испытательными лабораториями, субподрядными организациями и т.п. Требований к технической компетентности (класс 3) и правила самоконтроля (класс 4) могут быть вызваны источниками, к которым относятся критерии в различных сферах обеспечения деятельности организаций, в том числе: - кадровое обеспечение (группа 3) в части соответствия численного состава и квалификационного уровня сотрудников организации потребностям ее нормального функционирования; - техническое обеспечение (группа 4) в части соответствия материально-технической базы организации условиям ее нормального функционирования;
Алгоритм методики оценки деятельности по управления качеством в органе по сертификации и испытательной лаборатории
Оценка проводится в организации в целом. Перед началом проведения оценки необходимо: ? определить руководителя оценки; ? быть уверенным, что руководитель обладает должной компетентностью в области сертификации и сертификационных испытаний; ? быть уверенным, что оценка получит понимание персонала организации, и ее результаты будут использованы для улучшения деятельности. Процедура оценки качества деятельности организации строится на следующих основных принципах [61-65]: оценка проводится руководством и компетентными специалистами; специалисты и эксперты подбираются по направлениям деятельности, к которым имеют отношение оцениваемые ими группы критериев; при проверке количественных критериев выставляются оценки по каждой составляющей каждого критерия по 4-х бальной шкале; таблицы оценок, выставленных разными экспертами, согласуются в процессе обсуждения, и на их основе вырабатывается общая таблица согласованных обобщенных оценок критериев организации; полученная согласованная таблица оценок обрабатывается с учетом весовых коэффициентов; по результатам оценки подготавливают заключение, содержащее обобщенные данные оценки управления и конкретные рекомендации по улучшению тех или иных процессов.
Эти данные используются в ходе последующей работы по улучшению процессов в организации. Процедура оценки качества процесса сертификации включает в себя следующие этапы [67-72]: 1) Принятие решения о необходимости проведения экспертной оценки и формулировка его цели. Инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем. 2) Подбор и назначение руководителя основного состава Рабочей группы. При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому (вместе с руководителем или его представителем). Дело секретаря - ведение документации, решение организационных задач. 3) Разработка рабочей группой (точнее, ее основным составом, прежде всего научным руководителем и секретарем) и утверждение у руководителя технического задания на проведение экспертной оценки. На этой стадия решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, в рабочей группе выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам анализа данных), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти направления работ были утверждены руководителем. 4) Разработка аналитической группой рабочей группой подробного сценария (т.е. методики) проведения сбора и анализа экспертных мнений (оценок).
Сценарий включает в себя прежде всего конкретный вид информации, которая будет получена от экспертов, условные градации, числа, ранжировки, разбиения. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарий должен содержать и конкретные методы анализа собранной информации [72-76]. 5) Подбор экспертов в соответствии с их компетентностью. На этой стадии рабочая группа составляет список возможных экспертов. 6) Формирование экспертной группы. Для оценки уровня критериев и их составляющих, анализа результатов и формулировки выводов и рекомендаций по дальнейшему улучшению должны привлекаться компетентные специалисты (эксперты), работающие в организации. Основными критериями при формировании экспертной группы, участвующей в оценке, является показатель компетентности эксперта Кком, знание оцениваемых критериев и осведомленность о положении дел в организации. Каждый критерий и его составляющая могут оцениваться независимо несколькими экспертами, после чего проводится процедура согласования самооценки по данному критерию или составляющей. На этой стадии рабочая группа проводит переговоры с экспертами, получает их согласие на работу в экспертной группе. руководитель утверждает состав экспертной комиссии. После формирования состава группы по оценке необходимо распределить обязанности членов группы. Определить, кто и какие критерии и их составляющие будет оценивать, каким образом будут согласовываться мнения различных экспертов, и как будут использоваться результаты оценки. 7) Инструктирование экспертной группы В процессе инструктирования экспертной группы необходимо: - разъяснить цели и задачи проводимой оценки; - уточнить обязанности каждого из членов группы; - объяснить правила заполнения форм (анкеты) для оценки критериев. Форма анкеты приведена в Приложении 2. 8) Проведение экспертной оценки 8.1) Определение коэффициентов весомостей Для получения весовых коэффициентов критериев методики используют экспертное оценивание ранжированием [72]: 1) Эксперты ранжируют критерии по шкале порядка 2) Ранжированные ряды критериев, составленные экспертами, сопоставляются 3) Определяются суммы рангов каждого критерия экспертной оценки 4) На основании сумм рангов строят обобщенный ранжированный ряд В том случае если количество критериев в группе превышает 5 критериев определение коэффициентов весомости проводят методом парных сравнений. На первом этапе определения весовых коэффициентов подкритериев проводят ранжирование единичных критериев в группе и проводят расчет весовых коэффициентов каждого из единичных критериев coei в соответствии с формулой: где N - количество экспертов, п - число оцениваемых единичных критериев в группе, Rjj - коэффициент весомости 7-го критерия в рангах (баллах), который г -ый дал эксперт. На втором этапе выполняют ранжирование групповых критериев, а затем расчет весовых коэффициентов для каждого группового критерия. 8.2) Оценка критериев На данном этапе проводится оценка по критериям методики, приведенным в перечне. При этом каждый критерий Pj/ (где i = \,k - номер комплексного критерия, j = \,п - номер единичного критерия) оценивается с точки зрения его соответствия по уровням Xjj. Оценка уровня качества процесса производится в соответствии с квалиметрическими шкалами, разработанными для критериев. Квалиметрические шкалы описывают 4 упорядоченных «уровня соответствия». Этим уровням поставлена в соответствие 4-х бальная числовая шкала (от 1 до 4 баллов) [24,25]. Это позволяет перейти от качественной оценки соответствующих подкритериев к их количественной оценке по 4-х бальной шкале порядка. Для каждого подкритерия модели последовательно рассматривается описание каждого из уровней и определяется уровень, требования которого полностью выполнены. Оценка может производиться индивидуально или при работе в группах. Тем не менее, каждый эксперт должен дать свою собственную оценку критериев, которые закреплены за ним.
Результаты проведения оценки качества процесса сертификации продукции
С целью реализации методики оценки в органе по сертификации и испытательной лаборатории были сформированы рабочая группа и группа экспертов численностью 10 человек. Экспертам были выданы опросные листы, содержащие описания критериев для оценки деятельности по сертификации и испытаниям. Опрос экспертов проводился в 2 тура.
Согласование экспертных оценок проводилось в процессе заключительного совещания после проведения первого тура опроса рабочей группы по оценке, целью которого является анализ выставленных оценок, обсуждение различий между индивидуальными оценками. Точность определения комплексного критерия [101] качества группой экспертов зависит от близости их мнений.
Согласованность мнений экспертов оценивалась коэффициентом конкордации, который в результате расчетов оказался равен W= 0,853, что говорит о достаточной высокой согласованности мнений экспертов при проведении оценки. Следовательно, постановку задачи определения решающей функции можно считать правомочной.
В результате проведенной оценки были получены коэффициенты весомости единичных критериев методики для каждого группового критерия (Таблицы 4.1). Для оценки критериев был использован «метод главных точек». Каждый эксперт, независимо от других, определял характер зависимости между классами качества и значениями оценок, после чего мог корректировать свои оценки в процессе обсуждения.
Несмотря на разброс мнений экспертов. Кривые, построенные ими, носят одинаковый характер - быстрый рост с последующим замедлением. Наиболее быстрый рост происходит в интервале между вторым и третьими классами, после чего рост оценки замедляется (таблица 4.2). Каждый единичный критерий принимал в наборе одно из 4-х значений в четырех балльной шкале. Значения оценок по каждому критерию вычислялись как среднее арифметическое всех значений оценок экспертов.
Вычисление взвешенных оценок производилось в соответствии с следующей формулой расчета: Yi =Хі-й)і, где і = \,п, п - количество оцениваемых единичных критериев, ХІ - значение оценки г -го единичного критерия, со,- - значение весового коэффициента /-го единичного критерия, , Yt - значение /-го группового критерия.
Для получения комплексного показателя качества представляется целесообразным использовать средний взвешенный арифметический показатель, поскольку каждый показатель этого этапа взаимосвязан с другими и их совокупность создает целостное впечатление.
Определение комплексного показателя качества процесса сертификации по оценкам групповых показателей - важнейшая операция процесса оценки, при выполнении которой необходимо стремиться к максимальной объективности результатов. Оценку качества процесса сертификации (комплексный критерий качества) можно представить в виде: где / = \,п, п - количество оцениваемых единичных критериев, j = \,k,k - количество оцениваемых групповых критериев, Qi - значение z -ro группового критерия.
В результате проведенного по методике расчета критериев оценки комплексный (обобщенный) критерий качества процесса сертификации оказался равен Qmm = 8,757. Полученная оценка комплексного критерия качества позволила сделать вывод о высоком уровне качестве процесса сертификации в органе по сертификации и испытательной лаборатории. По итогам оценки экспертами был подготовлен отчет по корректирующим действиям для устранения найденных несоответствий.
На основе сопоставительного анализа полученных значений оценок критериев и их весомостей экспертной группой рекомендовано устранить в первую очередь следующие несоответствия: несистематическое обновление инструкций, документирующих обязанности и ответственность персонала; отдельные . случаи несвоевременного и/или недостаточного информирования персонала; несистематизированная актуализация нормативных документов, руководящих и методических материалов, инструкций по использованию методов и средств испытаний и измерений; отсутствие систематического подхода по актуализации документов о полномочиях, квалификации и опыте работы специалистов, занятых в деятельности по сертификации и сертификационным испытаниям.
Остальные найденные несоответствия являющиеся несущественными возможно устранять в процессе систематических внутренних проверок. Проведение оценки по предлагаемой методике позволило оценить исходное состояние сертифицирующей организации и идентифицировать процессы, нуждающиеся в улучшении.
