Содержание к диссертации
Введение
Глава 1. Анализ зарубежного опыта оценки деятельности системы стандартизации 11
1.1. Научно-методические подходы к оценке деятельности по стандартизации на примере отчетности Международной организации по стандартизации 11
1.2. Компаративный анализ отчетности зарубежных организаций по стандартизации 23
Выводы по главе 1 68
Глава 2. Предпосылки совершенствования комплек са показателей оценки национальной системы стандартизации России 71
2.1. Анализ применимости зарубежного опыта оценки деятельности системы стандартизации в России 71
2.2. Оценка современного состояния и перспектив развития показателей деятельности национальной системы стандартизации России 81
Выводы по главе 2 104
Глава 3. Основные направления совершенство вания комплекса показателей оценки национальной системы стандартизации России 107
3.1. Методическое обеспечение совершенствования официального комплекса показателей оценки деятельности национальной системы стандартизации России 107
3.2. Методическое обеспечение самооценки состояния и перспектив развития организаций национальной системы стандартизации России 122
Выводы по главе 3 138
Заключение 140
Библиографический список
- Научно-методические подходы к оценке деятельности по стандартизации на примере отчетности Международной организации по стандартизации
- Компаративный анализ отчетности зарубежных организаций по стандартизации
- Оценка современного состояния и перспектив развития показателей деятельности национальной системы стандартизации России
- Методическое обеспечение самооценки состояния и перспектив развития организаций национальной системы стандартизации России
Научно-методические подходы к оценке деятельности по стандартизации на примере отчетности Международной организации по стандартизации
Во Франции головной организацией по стандартизации является Французская ассоциация по стандартизации (Association Franaise de Normalisation, AFNOR).
AFNOR – некоммерческая организация, разрабатывающая стандарты и предоставляющая информационные услуги в этой сфере. Согласно Положению о французской стандартизации от 16 июня 2009 года AFNOR наделена полномочиями для того, чтобы: - определять потребности добровольной стандартизации; - привлекать заинтересованные стороны; - содействовать позиции Франции на европейском и международном уровнях; - организовывать публичные запросы по каждому проекту французского, европейского или международного стандарта и утверждать окончательный вариант.
Эта миссия включает в себя издание и продажу стандартов, обеспечение доступа к документам, участие в международном сотрудничестве.
Деятельность AFNOR включает также проведение сертификации и обучения дочерних компаний, которые поставляют свои услуги по всему миру.
AFNOR сформировала основные позиции целеполагания в рамках стратегии стандартизации 2011-2015, и отражала ход их выполнения в годовых отчетах.
Французская стратегия учитывает современные международные тенденции развития деятельности по стандартизации и согласована с мировыми стратегическими планами ISO и планами CEN (на европейском уровне). Стремясь закрепить французский план действий, установленный AFNOR в консультации со своими партнерами и 25 отраслевыми бюро по стандартизации, AFNOR поручила всем участникам рассмотреть и прокомментировать цели будущей стратегии, разработанной для удовлетворения 4 основных проблем: - как мы можем поддерживать инновации и научные исследования? - как мы можем обеспечить устойчивое развитие? - Как мы можем внести свой вклад в устойчивый рост французской экономики? - Как мы можем поддержать конкурентоспособность нашей экономики? Французская стратегия стандартизации 2011-2015 была утверждена 10 мая 2011 года. В её основе лежали пять базовых принципов: - процесс стандартизации должен быть более эффективным и прозрачным; - в рамках стандартизации необходимо более тесно учитывать потребности компаний и привлекать малые и средние предприятия (МСП); - следует усилить влияние Франции в международных и региональных организациях по стандартизации для того, чтобы защитить интересы французских экономических агентов; - необходимо придать деятельности по стандартизации более высокий статус; - следует улучшить управление AFNOR.
В 2016 году было признано, что стратегия выполнена. Ежегодные отчеты AFNOR несколько различаются по содержанию. Отчет AFNOR за 2014 год содержит следующие разделы: а) AFNOR. Укрепление доверия с 1926 года; б) Основные показатели в 2014 году; в) Важные события в 2014 году; г) Органы и руководство: - международное представительство; - институциональные дела и международное сотрудничество; - инициативы, способствующие стандартизации; - новые добровольные стандарты; - новые перспективы; - распространение стандартов – издательское дело AFNOR; д) Заинтересованные стороны стандартизации: - AFNOR; - отраслевые бюро по стандартизации; - эксперты; - общественные организации; е) Руководящие органы ассоциации: - Совет директоров; - координация стандартизации и Руководящий комитет (CCPN); - аудит и Комитет по оценке (CAE); - стратегические комитеты; - члены; ж) Деятельность ассоциации: - правовая организация; - Исполнительный комитет; з) Субсидируемая деятельность: - сертификация; - обучение и консультирование; - международная сеть; и) Отчетность по расходам, ресурсам и доходам стандартизации; к) Ответственность и устойчивость: - команды; - предпринимаемые меры по защите окружающей среды; - внесение вклада в качество трудовой жизни; - укрепление регионального присутствия.
Компаративный анализ отчетности зарубежных организаций по стандартизации
В целом по присутствующим в наборе показателям существенных возражений нет, однако данный набор представляется недостаточным. Прежде всего, необходимо отметить, что организованность работы ТК является лишь одним из частных факторов его суммарного потенциала, который в значительной степени зависит от компетентности членов ТК и выполнения требования равного представительства в нем групп интересов.
Что касается показателей потенциала системы информационного обеспечения стандартизации, необходимую информацию можно получить из отчета по ключевым показателям эффективности (КПЭ) ФГУП «СТАНДАРТИНФОРМ». В настоящее время учитываются два показателя: - число публикаций головной организации системы информационного обеспечения стандартизации (ФГУП «СТАНДАРТИНФОРМ», индексируемых в российских и международных информационно аналитических системах научного цитирования (единиц), рассчитанный в соответствии с показателями (индикаторами), установленными постановлением Правительства Российской Федерации от 15.04.2014 г. «Об утверждении государственной программы Российской Федерации «Развитие науки и технологий» на 2013-2020 годы» № 301. Индикатор измеряется в единицах публикаций; - h-индекс (индекс Хирша) головной организации системы информационного обеспечения стандартизации (ФГУП «СТАНДАРТИНФОРМ», рассчитанный в соответствии с показателями (индикаторами), установленными постановлением Правительства Российской Федерации от 15.04.2014 г. «Об утверждении государственной программы Российской Федерации «Развитие науки и технологий» на 2013-2020 годы» № 301. Индикатор является безразмерным.
Следует отметить, что использование показателей человеческого потенциала национальной системы стандартизации является фрагментарным: для ТК подобных оценок вообще не проводится. Для системы информационного обеспечения используются лишь два наукометрических индикатора, которые, как неоднократно подчеркивалось, являются достаточно проблемными в интерпретации и поддающимися манипулированию.
В отличие от показателей потенциала, система показателей текущей деятельности национальной системы стандартизации существенно более развернута, как в рамках всей системы в целом, так и в разрезе отдельных технических комитетов. В настоящее время применяются следующие показатели общей результативности работ по разработке и обновлению стандартов: - количество утвержденных документов по стандартизации (единицы хранения). Значение показателя предоставляется ФГУП «СТАНДАРТИНФОРМ», Большее значение показателя соответствует более предпочтительному состоянию работ по стандартизации; - средний возраст фонда стандартов (годы). Значение показателя предоставляется ФГУП «СТАНДАРТИНФОРМ», меньшее значение показателя соответствует более предпочтительному состоянию работ по стандартизации; - доля ежегодного обновления фонда стандартов (проценты). Значение показателя предоставляется ФГУП «СТАНДАРТИНФОРМ», большее значение показателя соответствует более предпочтительному состоянию работ по стандартизации; - уровень гармонизации фонда стандартов (проценты). Значение показателя предоставляется ФГУП «СТАНДАРТИНФОРМ», большее значение показателя соответствует более предпочтительному состоянию работ по стандартизации.
Указанные показатели определяются ФГУП «СТАНДАРТИНФОРМ» на основании Постановления Правительства Российской Федерации от 15 августа 2003 г. № 500 «О федеральном информационном фонде технических регламентов и стандартов и единой информационной системе по техническому регулированию» и Приказа Федерального агентства по техническому регулированию и метрологии № 175 от 30 января 2008 г.
В разрезе ТК используются три сводных показателя, характеризующих деятельность ТК по национальной, межгосударственной и международной стандартизации и изложенных в Рекомендациях.
Показатель эффективности деятельности ТК по национальной стандартизации PN рассчитывают по формуле: где: аj – коэффициент весомости показателей деятельности ТК по национальной стандартизации; j – порядковый номер показателя; Nзакр – количество национальных стандартов, закрепленных за ТК, по состоянию на 1 января текущего года; Nтем – количество тем Программы национальной стандартизации (ПНС) по разработке национальных стандартов по тематике ТК на отчетный год; N1 – количество действующих национальных стандартов, идентичных и модифицированных международным и региональным стандартам, разработанных на основе устаревших версий вышеуказанных стандартов; N2 – количество действующих национальных стандартов, которые действуют более 20 лет, и за этот срок не подвергались пересмотру или изменению; N3 – количество проектов национальных стандартов, прошедших экспертизу ТК и заключения по которым предоставлены в Росстандарт, в отчетном году; N4 – количество проектов национальных стандартов, разработанных в отчетном году на основе международных и региональных стандартов; N5 – количество действующих национальных стандартов, разработанных на основе международных и региональных стандартов; N6 – количество национальных стандартов, разработанных в отчетном году не за счет средств федерального бюджета; N7 – наличие предложений по разработке национальных стандартов от ТК, которые были утверждены Росстандартом в качестве тем ПНС по разработке национальных стандартов по тематике ТК, на отчетный год: N7 = 1 – предложения есть; N7 = 0 – предложений нет. Значения коэффициентов весомости, входящих в состав показателя деятельности ТК по национальной стандартизации, представлены в таблице 2.2.3. Суммарное значение коэффициентов весомости равно единице.
Оценка современного состояния и перспектив развития показателей деятельности национальной системы стандартизации России
Шестая группа группа показателей характеризует один из важнейших аспектов деятельности ТК – потребительскую востребованность и удовлетворенность (см. таблицу 3.2.7). Очевидно, что конечным мерилом качества разработки стандарта является его эффективность, влияние на экономику страны. Масштаб влияния стандарта на экономику в целом – весьма сложная для изучения проблема, выходящая в полном объеме за пределы информационно-аналитических возможностей ТК. Однако ТК может оценить эффект «первого круга» распространения стандарта – отзывы его потребителей, т.е. лиц, использующих стандарт для производства, сбыта либо приобретения и эксплуатации соответствующей стандартизированной продукции (работ, услуг). Анализ потребительской удовлетворенности ТК может проводить как непосредственно в процессе общения с его потребителями, анализа их откликов в прессе, социальных сетях и через специальные механизмы обратной связи, так и с помощью импорта сведений об объемах реализации стандарта и характере спроса на стандарт от организаций системы информационного обеспечения стандартизации. Вместе с тем следует еще раз отметить, что анализ спроса на стандарт в России не может иметь достаточной точности ввиду наличия параллельных нелегитимных каналов сбыта, однако преимущество экспертной методики оценки состоит в том, что для ее формирования можно использовать и неформальные каналы, в т.ч. общение с организациями, распространяющими стандарты, находясь вне официальной системы информационного обеспечения стандартизации.
1. В ТК существует постоянная подсистема анализа аудитории стандарта 2. ТК поддерживает постоянные связи с системой информационного обеспечения стандартизации для получения отчетов о спросе на стандарт в разрезе различных категорий клиентов, кросс-продаж и другой информации 3. ТК проводит аналитическую работу по выявлению закономерностей спроса на стандарт 4. ТК имеет специальную подсистему и процедуры реагирования на отклики потребителей стандарта 5. ТК отслеживает и анализирует отклики на стандарт в СМИ и социальных сетях 6. ТК анализирует применение стандарта в судебной практике, наличие ссылок на него в ТР и нормативных правовых актах 7. Используются методы опроса потребителей стандартов с целью выявления уровня потребительской удовлетворенности 8. ТК анализирует отклики частных потребителей на стандартизированную продукцию и выпускает разъяснения, методические материалы, адаптированные версии стандарта для удобства его восприятия 9. Проводятся регулярные встречи с целью гармонизации видения, миссии, кредо крупных потребителей стандарта и ТК 10. Внедрена CRM система для постоянного индивидуализированного взаимодействия с потребителями стандарта 133
Такой фактор оценки как эффективность разработки стандартов существенным образом перекликается с фактором организованности работы ТК и поэтому подробных комментариев не требует (см. таблицу 3.2.8).
1. Разработана программа методической поддержки ТК своих членов при разработке стандартов 2. Изучаются, обобщаются и тиражируются лучшие практики в области разработки стандартов 3. Разработаны модели финансового планирования процесса разработки стандартов различной сложности 4. Проводится анализ затрат рабочего времени на разработку, обсуждение и экспертизу проектов стандартов 5. Применяются гибкие методы управления проектами (например, метод освоенного объема) 6. Внедрена система оптимизации разработки стандартов за счет объединения повторяющихся операций и разработки соответствующих норм 7. Используется система управления компетенциями членов ТК 8. Используется система «кольца компетенций» для взаимной помощи различных ТК 9. Проводится бенчмаркинговый SWOT-анализ по обеспечению эффективности института стандартизации, команд ТК и проектов (работ) в сфере национальной стандартизации и реализации государственной политики в области национальной стандартизации 1 №№ п/п Подфакторы Оценка, баллы
10. Проводится сравнение предельной полезности и предельных затрат программ по повышению квалификации членов ТК Последняя (восьмая) группа показателей характеризует такой аспект деятельности как удовлетворенность членов ТК (см. таблицу 3.2.9). Учитывая, что участие в ТК является добровольным и не несет его членам непосредственных финансовых выгод, вопрос удовлетворенности членов ТК имеет особое значение. Это объясняется тем, что принцип существования ТК предполагает равное представительство самых разных заинтересованных сторон, в то время как материальную заинтересованность в участии имеют, по большей части, представители лишь одной из них – лоббисты интересов производителей, которые и так склонны к доминированию в ТК ввиду возможности большего финансового, а в ряде случае – информационного и компетентностного вклада в обеспечение его деятельности. Крупный специалист в определенной области стандартизации, представляющий интересы корпорации, безусловно, получит соответствующее финансовое вознаграждение за продвижение ее интересов, в то время как представители научных кругов, потребительских ассоциаций, других групп имеют меньшую возможность монетизации своего участия в ТК и для обеспечения эффективной мотивации требуют наличия существенного нематериального подкрепления: роста уровня собственной компетенции, ощущения от причастности к общественно полезной деятельности и т.д. Именно разнородность мотиваций членов ТК и обусловливает необходимость специальных сложных механизмов оценки и управления их удовлетворенностью.
Методическое обеспечение самооценки состояния и перспектив развития организаций национальной системы стандартизации России
Итоговые результаты могут представляться для анализа различным путем, в частности, в виде визуализации «поля качества» (см. рис. 3.2.1). В зависимости от предпочтений эксперта визуализация может проводиться без учета весовых коэффициентов значимости отдельных показателей (если эксперт сам предпочитает оценить их значимость) или же с их учетом, в нормализованной форме.
Другим вариантом является построение итоговой оценки потенциала и активности ТК с помощью различных сверток – простейшей аддитивной, которая, несмотря на свои недостатки, наиболее проста в расчете и интуитивно понятна, поэтому положена в основу исходного варианта предложенной методики, или же свертки, основанной на измерении расстояния до идеальной точки на основе расчета суммы квадратов относительных отклонений функционалов от своих достижимых оптимальных значений.
Если же применялась не самооценка, а внешняя экспертная оценка в соответствии с вышеприведенным методом, ее результаты могут быть использованы для построения рэнкингов по любому критерию либо же итогового рейтинга эффективности группы ТК в какой-либо предметной области или же по всей системе национальной стандартизации в целом. Для построения итогового рейтинга могут применяться итоговые значения эффективности ТК, полученные одной из вышеописанных сверток.
Альтернативным вариантом является ранжирование ТК по максиминному критерию (с нормализацией по Ю.К. Машунину1), то есть по значению самого худшего из 8 групп факторов. Экономическая интерпретация такого ранжирования в случае использования всех 8 групп факторов затруднена, но оно может дать дополнительную информацию в случае построения рэнкинга по выборке из нескольких близких друг к другу или взаимосвязанных факторов (например, максиминный рэнкинг по факторам руководства, кадрового потенциала, организованности и эффективности
Машунин Ю.К. Методы и модели векторной оптимизации. – М.: Наука, 1986. работы покажет как комитеты с наиболее серьезными проблемами в области реализации собственного потенциала, так и преобладающий вид таких проблем).
Результаты подобной самооценки могут сопоставляться с результатами официальных оценок, полученных в соответствии с методикой, изложенной в параграфе 3.1, для выяснения причин того или иного положения ТК в официальном рейтинге по итогам мониторинга Росстандарта.
1. В качестве первоочередных показателей, расширяющих принятый в Рекомендациях набор, предлагается ввести следующие показатели по группам. Во-первых, выделить раздел «Кадровый потенциал ТК» со следующими показателями: процент лиц с учеными степенями, лиц с высшим образованием по специальностям, связанным со стандартизацией, или профильным для данного ТК, индекс Хирша и общее число цитирований РИНЦ по каждому члену ТК. Во-вторых, выделить раздел «Сбалансированность состава ТК» на основе выделения групп интересов и оценки степени монополизации ТК с помощью классического индекса Херфиндаля-Хиршмана. Кроме того, обоснована необходимость оценки возможности монополизации деятельности ТК одной из укрупненных групп интересов. В-третьих, выделить раздел «Востребованность стандартов в экономике». Показателями востребованности предлагается считать: объем продаж стандартов, рекомендованных к принятию ТК, в натуральном и денежном выражении; количество стандартов, ссылки на которые содержатся в технических регламентах (перечни документов в области стандартизации, в результате применения которых на добровольной основе обеспечивается соблюдение требований технических регламентов); количество стандартов, ссылки на которые содержатся в нормативных правовых актах в соответствии со ст. 27 ФЗС; востребованность стандартов в судебной системе, определяемая количеством упоминаний стандарта в различных судебных актах за год; востребованность стандартов в процессах сертификации.
2. Важной задачей повышения эффективности оценки институтов национальной стандартизации является разработка системы их самооценки (или же внешней оценки со стороны партнеров), основанной не на объективных показателях, характеризующих фактические результаты деятельности, а на экспертных оценках тех или иных показателей ее эффективности. Для этой цели была разработана специализированная система показателей для самооценки (экспертной оценки), включающая 8 групп по 10 показателей, которым эксперт ставит оценку в диапазоне от 0 до 1. Итоговые результаты могут представляться для анализа различным путем, в частности, в виде визуализации «поля качества» или же с использованием сверток для получения итоговой оценки качества ТК.