Содержание к диссертации
Введение
Глава 1. Поддержка инициативных научных проектов: международный опыт, развитие в России, организационные формы 13
1.1. Современное состояние научного потенциала России, особенности и перспективы финансирования его развития 13
1.2. Анализ международного опыта поддержки инициативных научных исследований в форме грантов 25
1.3. Развитие и поддержка инициативных научных исследований в России 49
Выводы по главе 63
Глава 2. Методическое обеспечение экспертизы инициативных научных проектов в Российском гуманитарном научном фонде 65
2.1. Организационные основы Российского гуманитарного научного фонда 65
2.2. Анализ современного этапа развития теории экспертных оценок 75
2.3. Информационная система РГНФ и принципы ее функционирования 95
Выводы по главе 106
Глава 3. Инструментарий экспертизы инициативных научных исследований в Российском гуманитарном научном фонде 109
3.1. Обоснование независимости экспертных оценок при проведении экспертизы инициативных научных исследований в РГНФ 109
3.2. Обоснование использования аппарата математической статистики в качестве инструментария экспертизы инициативных научных исследований 130
3.3. Обоснование эффективности предложенного инструментария экспертизы инициативных научных проектов 142
Выводы по главе 156
Заключение 158
Список литературы 160
Приложения
- Анализ международного опыта поддержки инициативных научных исследований в форме грантов
- Развитие и поддержка инициативных научных исследований в России
- Анализ современного этапа развития теории экспертных оценок
- Обоснование использования аппарата математической статистики в качестве инструментария экспертизы инициативных научных исследований
Введение к работе
Имеющийся научный потенциал и уникальная система осуществления межотраслевых и междисциплинарных исследований в научных организациях Российской академии наук, способность ее научных кадров генерировать новые идеи и технологии являются важным ресурсом национальной экономики России. Во все времена фундаментальные и прикладные исследования академических институтов, ведущих отраслевых научных организаций и вузов страны способствовали получению новых знаний и созданию технологий мирового класса по целому ряду направлений. Однако этот ресурс не в полной мере используется для решения задач экономического развития нашего государства - при всех выдающихся достижениях отечественной науки и техники уровень конкурентоспособности российской продукции и промышленных отраслей при соприкосновении с мировым рынком оказался низким. Эти обстоятельства предопределили необходимость решительного пересмотра взглядов на роль науки в сегодняшнем российском обществе, в его реформировании с учетом тенденций развития мировой экономики и национальных особенностей хозяйствования.
В промышленно развитых государствах научная сфера сегодня становится самостоятельной силой, обеспечивающей достойные экономические и политические позиции государства на мировой арене. В силу своего особого положения наука и уровень ее развития определяют динамику социально-экономического развития общества. Осознание критического значения науки и техники для экономического и социального благополучия государств привело к характерным сдвигам в мышлении политических, финансовых и промышленных кругов ведущих стран западного мира: приоритеты их научно-технической политики смещаются от решения военно-технических проблем к повышению конкурентоспособности национальной промышленности на мировых рынках и улучшению качества жизни. Одной из главных целей развитых государств стал рост глобальной национальной конкурентоспособности, то есть поддержание высокого уровня жизни нации за счет применения эф-
фективных технологий, инновационных механизмов, постоянного роста квалификации кадров, использования преимуществ-международного разделения труда и обеспечения лидирующих позиций на мировых рынках тех или иных видов товаров и услуг.
Как свидетельствует мировой опыт, научно-техническая деятельность является- решающим фактором' экономического развития, способствующим преодолению кризисных явлений и стабилизации экономики. На долю новых знаний, воплощаемых в технологиях, оборудовании и организации производства, в промышленно развитых странах приходится доь 75-80% прироста валового внутреннего продукта (ВВП). Объем мирового рынка наукоемкой продукции составляет 2,3 трлн. долларов США1. Сегодня наука по праву является- активной формой общественного сознания, оказывающей огромное воздействие на процесс внедрения ее результатов в производство, в сферу управления экономикой, в здравоохранение и экологию.
Формы и методыуспешногоразвитиянауки и техники в.условиях рынка пока еще недостаточно освоены в, нашей стране. Наука должна использоваться для грамотной оценки состояния экономики,, анализа последствий принимаемых государственных решений, программирования и прогнозирования1 социально-экономического* и научно-технологического развития страны, для.экспертизы крупных хозяйственных проектов; в том числе осуществляемых негосударственными структурами. Однако этот процесс идет достаточно медленно. Между тем наличие в стране мошной современной науки является необходимым условием-для развития и поддержания на постоянно-высоком уровне инновационной способности нации, обеспечения- национальной безопасности России. В* основе науки лежит ее базовая часть - фундаментальная наука; которая создает фундаментальные знания; интеллектуальные ресурсы общества, создает основу современных технологий. Поэтому государство должно поддерживать определенный уровень фундаментальной науки по достаточно широкому спектру направлений, концентрируя при этом
1 «Экономика и жизнь», 29.09.2000 г.
усилия в тех ее областях, которые являются критическими с точки зрения решения проблем национальной безопасности и развития инновационной экономики.
Разные эпохи порождают разные формы взаимодействия системы гуманитарной науки и государства, однако важность существования государственных организаций, поддерживающих науку в постсоветском пространстве осознается и обществом и правительственными структурами. Первые теоретические разработки в области перестройки системы организации науки начались еще в середине 80-х годов прошлого столетия, но-практического осуществления тогда новые идеи не получили2.
Современное российское государство вынуждено определять взаимоотношения с наукой, исходя из финансовых возможностей бюджета, которые весьма незначительны как в абсолютных, так и в относительных показателях. В этой ситуации государство стремится реализовать стратегию «эффективного использования» бюджетных средств. 0на? выражается, в частности, в поддержке целевых научных программ, поддержке государственных научных центров, а также в определении ряда «приоритетных направлений».
Выражением этих тенденций стало образование системы государственных фондов поддержки развития научных исследований и содействия практическому внедрению' результатов научных исследований. Сюда относятся Российский фонд фундаментальных исследований (РФФИ), Российский гуманитарный научный фонд (РГНФ), Российский фонд технологического развития (РФТР) и др. Благодаря деятельности фондов в нашей стране с 1993-года начали проводиться отечественные конкурсы на получение гранта по гуманитарным и общественным наукам.
Эффективность распределения,бюджетных средств через фонды считается общепризнанной в мировой практике. Тем не менее, суммарный, объем-фондовой поддержки науки в России пока невелик и< не соответствует потенциалу фондов, которые опираются на доктрину финансовой поддержки уже
2 Яновский Р.Г. Наука, мировоззрение, перестройка. - М.1990.379с.
6 сформировавшихся школ ученых. Эта доктрина напрямую связана с организационной структурой фондов: отбор научных проектов построен на проведении их экспертизы учеными из тех же или смежных научных областей и определяется структурой научного сообщества и научных институтов, а не состоянием экономического рынка.
Базис опыта экспертирования результатов научной деятельности ученых уже существовал в советский период, когда понятие грантового финансирования было известно научному сообществу только по опыту зарубежных коллег. Это опыт работы Высшего аттестационного комитета, который на протяжении многих десятилетий проводит оценку качества диссертационных исследований, создав систему экспертных советов, составленных из авторитетных в своей области ученых. Однако в полной мере говорить о свободе конкурса не приходилось, поскольку приоритеты были изначально определены.
Изучение проблемы- деятельности налаженных экспертных систем зарубежных фондов в России связано, прежде всего, с анализом влияния западных программ на фундаментальные исследования, выполняемые отечественными учеными.5 В этой связи важной представляется сравнительная (для зарубежных и отечественных фондов) динамика приоритетов финансирова-ния, а так же сдвиги в региональной структуре распределения грантов. В зарубежных фондах отбор проектов направлен в первую очередь, на развитие тех приоритетных направлений, результаты которых можно достаточно широко использовать для их коммерциализации. По словам академика РАН В:Л. Макарова, «западные организации дают большие деньги на совершенно кон-
3 Алфимов М.В., Цыганов С.А. От научной идеи до практического результата. - М.: Янус-К, 2000. С. 11-12.
4 Карлов Н.В. Доктора философии, доктора наук // Свободная мысль, 1993, №14. С. 14-27.
5 Дежина И.Г. Американские благотворительные фонды: Поддержка научных исследований в России//
Международное научное сотрудничество. 1995. №1.С.18-19; Она же. Американские фонды: Поддержка
гуманитарных и общественных наук в России// Поиск. 1996. № 19. С. 14; Она же. В центре и на мес
тах// Поиск. 1995. № 23.С.З; Она же. Региональная бухгалтерия// Поиск. 1995. № 27-28. С. 2.; Она же.
Зарубежные фонды поддержки науки в России: Стратегии и результаты (часть 1)// Вопросы ис
тории естествознания и техники. 1995. № 3. С.100-109.; Она же. Зарубежные фонды поддержки науки
в России: Стратегии и результаты (часть 2)//Вопросы истории естествознания и техники. 1995. №4.
С.45-54.
6 Дежина И.Г. Гуманитарные исследования: приоритеты грантового финансирования// Вестник РГНФ.
1996. №2. С.171-175.
кретные исследования, причем часто с заданной целью. То есть имеет место ангажированность, ничего общего не имеющая с настоящей научной объективностью».7 Несмотря на разницу целевых установок различных программ, состава экспертных советов и процедур проведения экспертизы, существует общее признание уровня и качества исследований по некоторым дисциплинам.8
Анализ международного опыта поддержки инициативных научных исследований в форме грантов
Анализ мирового опыта в управлении и финансировании- научных исследований интересен, прежде всего тем, что проблемы, аналогичные российским, испытывают и те страны, которые принято относить к экономически развитым (США, Великобритания, Германия,.Франция, Италия, Канада, Япония, а так же Финляндия, как общепризнанный мировой лидер в части перехода от сырьевого экономического уклада к «экономике знаний», и Китай, динамично реформирующий структуру и финансирование фундамен-тальных исследований).
Опыт развитых стран показывает, что пересмотр взаимоотношений науки и государства, изменение моделей их взаимодействия, совершается в .периоды смены парадигм научно-технического развития или под воздействием глубоких экономических и политических кризисов. Глобализация науки и технологий имеет объективную основу в виде всеобщности научного знания и технологических принципов (не существует арабской таблицы умножения или китайского закона Ома). С экономической точки зрения она идет по двум основным направлениям: коммерческому, или внутри- и межфирменному, и некоммерческому, когда реализуются разнообразные академические соглашения и глобальные межгосударственные-проекты некоммерческого характера:
Исторически первыми формами были, конечно,- некоммерческие зарубежные контакты, ученых университетов, сотрудничество которых связано с необходимостью обмена идеями и результатами научных исследований для прогресса науки. Глобальные коммерческие и межгосударственные научные проекты стали осуществляться только в XX веке, а наиболее бурный рост этой формы, глобализации приходится- на последние десятилетия прошедшего века. Общим итогом этих процессов стало, например, резкое увеличение доли публикаций научной литературы, написанной авторами из разных стран, а также рост международного патентования.
Рассмотрим особенности управления научными исследованиями и их финансирования вуказанных странах. Особенность организации фундаментальной науки в США заключается в том, что фундаментальные исследования проводятся главным образом в научно-исследовательских центрах и лабораториях высших учебных заведений. При этом значительная часть национальных лабораторий управляется, на" конкурсной основе неправительственными организациями по результатам конкурсов. Такая организация исследований академического характера позволяет не толькобыстро корректировать приоритеты в направлениях исследований, за счет сменьь приоритетов в финансировании, но-и быстро-включать результаты, этих исследований в .учебные программы, а также привлекать к научной деятельности способных студентов.
В США отсутствует специализированное министерство науки. За подт держку в стране фундаментальных исследований отвечают ряд государст венных департаментов — Департамент Энергетики (DOE) (10% от общего финансирования фундаментальных исследований в США в 2003-2005 гг.), Департамент здравоохранения (HHS) (57% финансирования в 2003-2005 гг.), Департамент обороны (DOD) (5% финансирования в 2003-2005 гг.), Департамент Сельского хозяйства (USDA) (3% финансирования в 2003-2005 гг.), NASA-(9% финансирования в 2003-2005 гг.) и Национальный научный фонд США (NSF) (13% финансирования в 2003-2005 гг.).
Главным принципом системы управления научными исследованиями в США является распределение средств на конкурсной основе. Доля5 грантові в. бюджете каждого из государственных департаментов, составляет не менее, а часто и превышает 50%. Важно также, что в США отсутствует четкая привязка получения гранта к определенным департаментам. Это означает, что; например, Национальный институт здравоохранения финансирует не только свои структурные подразделения, но и внешние научно-исследовательские лаборатории, ведущие исследования по направлениям, совпадающим со стратегическими задачами Института.
Рассмотрим структуру управления исследованиями в Национальном Научном Фонде США. Эта организация; охватывает наиболее широкий спектр научных исследований среди всех основных государственных департаментов, отвечающих за поддержку науки. Национальный Научный Фонд создан Конгрессом в 1950 г. в,форме-независимого федерального-агентства. Его ежегодный бюджет составляет приблизительноь 5,5 млрд. долл. США. Фонд осуществляет свою миссию предоставляя ежегодно до 10 тысяч новых грантов, с целью финансирования определенных заявок на исследования, которые были оценены системой рецензирования, как самые многообещающие. Средняя продолжительность гранта, составляет три года Большинство этих грантов предоставляется индивидуальным исследователям или небольшим группам исследователей.
Другие гранты обеспечивают финансирование исследовательских центров, в частности, большого и дорогостоящего научного оборудования и средств обслуживания1 в. «центрах коллективного пользования», которое необходимо ученым и инженерам, нечасто слишком дорого для любой локальной группы или исследователя.
Национальный научный Фонд не управляет никакими лабораториями самостоятельно, но поддерживает Национальные Исследовательские центры, а также поддерживает совместные исследования, проводимые университетами и промышленностью, американское участие в международных научных и технических программах, и образование на любом академическом уровне.
Руководит деятельностью Фонда директор, который управляет штатом и менеджерами, ответственными за разработку программ и администрирование, планирование, бюджет и ежедневную работу фонда; и Национальный Научный Совет (NSB), в состав которого входят 24 человека из числа выдающихся людей. Совет собирается шесть раз в-год, чтобы установить основные направления политики фонда. Директор и все члены правления назначаются президентом Соединенных Штатов и утверждается в должности американским Сенатом. В настоящее время в Фонде работают около 1700 сотрудников, включая приблизительно 1200 служащих и 150 ученых от научно-исследовательских учреждений на временных должностях.
Национальный научный Фонд имеет в своем составе семь управлений по отраслям наук, возглавляемые помощниками директора, которые подразделяются на более узкие научные специализации. В структуре Фонда имеются также обеспечивающие управления (финансовое, грантовое, юридическое и др.).
Развитие и поддержка инициативных научных исследований в России
Формирование сферы научных исследований нового типа в России только начинается. Постепенно складываются новые инновационные структуры, способные к созданию и новых знаний, и коммерчески привлекательных технических проектов, к финансированию которых могут подключиться экономически успешные компании, приступивпше к реализации крупных инвестиционных программ. Параллельно идет процесс постепенной интеграции ряда наукоемких производств в глобальное технологическое пространство. Однако эти процессы носят и будут носить анклавный характер до тех пор, пока не решены общие задачи перехода России от экспортно-ориентированного, сырьевого роста к инновационному33.
В современных условиях можно довольно уверенно разделить сферы, в которых происходит интенсивное международное взаимодействие ученых, и сферы, которые государство рассматривает как объект собственных интересов. Линия раздела пролегает между фундаментальной наукой и прикладными (производственными) приложениями научного знания в военной и про-мышленно-технической областях. До последнего времени любая постановка вопроса о «приоритетных направлениях» (которые в фундаментальной науке лишь с большой долей условности поддаются определению) означала, что эти направления определяются не в пользу фундаментальной науки, а в пользу прикладных технических и технологических программ: Показательно, что в области фундаментальных научных исследований попытка выделения «приоритетных направлений» не повторялась.с 1996 года, когда были приняты известные документы.34 Однако в последние тоды кроме государства появился еще один субъект, начинающий влиять на состояние научно-технических разработок, - это область частного предпринимательства. В-2000 году на долю российских и зарубежных частных компаний приходилось 33,5% финансирования НИОКР в России.35
Несмотря» на возникающие проблемы- в сфере взаимодействия науки и предпринимательства, необходимо отметить, что ряд прикладных отраслей научного знания, техническое применение которых позволяет в краткосрочной, перспективе извлекать прибыль (фармакология, разработка программного обеспечения, пищевая, промышленность);, уже сейчас довольно успешно находят возможности сотрудничества.с бизнес-структурами. В других отраслях имеются все шансы для такого рода сотрудничества при условии развития соответствующих форм кредитования (например, венчурного финансирования). Высокорентабельного использования научно-технического потенциала страны можно ожидать и в других сферах. Но при этом нельзя не заметить, что даже совокупная общенациональная доля России на рынке наукоемких технологий является чрезвычайно низкой. При наличии десятой части ученых мира в стране Россия занимает 0,3% доли рынка наукоемкой продукции (для сравнения: 39% на этом рынке - это продукция США, 30% - Японии, 16% - Германии).
Сложившаяся ситуация определяется, конечно, и рядом финансовых ограничений поскольку затраты на проведение фундаментальных научных разработок, затраты на создание модельных или опытных образцов и затраты на доведение технологии до состояния промышленно-рентабельной отличаются друг от друга на порядок. В ситуации дефицита бюджетного финансирования получается, что большое число фундаментальных и дешевых исследований проводится при поддержке фондов (так, только Российский фонд фундаментальных исследований выделил за время своего существования более 30 тысяч грантов); тогда как на создание производных от них технологий денег не хватает.
Возникает, однако, вопрос, почему после завершения какого-то из указанных этапов (от фундаментального исследования до внедрения в производство) не происходит подключение внебюджетного финансирования? Ответ на него следует искать в сфере проблем, сложившихся в стране вокруг правового регулирования отношений с интеллектуальной собственностью. Даже не столь важно, являются ли эти проблемы следствием несовершенных законов или же несовершенного применения этих законов, - очевидно, что имеет место существенная информационная непрозрачность, следствием которой является то, что в случае с интеллектуальным правом, как и во всякой ры-ночно неоптимальной системе, кто-то имеет возможность извлекать сверхприбыли, тогда как другие потенциальные участники, не имеющие дополнительных, не правовых ресурсов и рычагов влияния, просто не рискуют вкладывать деньги в эту сферу. Возникающие в этой связи сложности указаны в проекте «Концепции государственной политики по вовлечению в хозяйственный оборот результатов научно-технической деятельности, созданных за счет средств федерального бюджета».
Ни для кого не является секретом тот факт, что огромное количество одаренных российских ученых и их гениальные проекты в силу целого ряда объективных и субъективных причин так и не смогли пробить себе дорогу в нашей стране. Следствием этого стала небывалая- активизация «утечки мозгов» из России, наблюдавшаяся в последние годы прошедшего столетия. Вместе с тем, рядом и в нашей стране и за рубежом существуют богатые люди и организации, осознающие необходимость финансовой поддержки инициативных научных исследований. Благотворительные фонды и организации, которые создаются в основном на средства частных инвесторов, являются тем мостиком, который может эффективно соединить усилия ученых и-предпринимателей и, тем самым, стать основой для решения многих проблем социально-экономического развития нашей страны. Однако многообразие организационных структур, источников, финансирования и форм поддержки инициативных научных исследований характерно, главным образом, для зарубежной науки. В России для подавляющего большинства ученых-исследователей поддержка инициативных исследований в форме грантов все еще является новым и не всегда доступным делом. А те из них, кто сумел добиться финансирования своих научных исследований, пользуются преимущественно бюджетными средствами, распределяемыми через государственные структуры в лице фондов.
Анализ современного этапа развития теории экспертных оценок
Представляется совершенно бесспорным, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. Особенно это актуально в научной сфере деятельности, где очень часто по многим насущным и проблемным вопросам не удается получить однозначных рекомендаций не потому, что их просто нет, а потому, что их предстоит выработать в процессе проведения исследований и экспериментов. В проведении такого рода исследований важную роль,играет социально-экономическое предвидение основных направлений общественного развития,, которое предполагает использование специальных вычислительных и логических приемов, позволяющих определить параметры функционирования отдельных элементов производительных сил в их взаимосвязи и взаимозависимости. Систематизированное научно обоснованное прогнозирование развития социально-экономических процессов на основе специализированных осуществляется с первой половины 50-х годов прошлого века, хотя-некоторые методики прогнозирования были известны и ранее. К ним относятся: логический анализ и аналогия, экстраполяция тенденций, опрос мнения, специалистов и ведущих ученых.
В развитии методологии прогнозирования- социально-экономических процессов большую роль сыграли научные разработки отечественных и зарубежных ученых А.Г. Аганбегяна, И.В. Бестужева-Лады50 51, Л: Клейна, В. Гольдберга. В работах этих ученых рассматривается значение, сущность и функции прогнозирования, его роль и место в системе планирования, исследуются вопросы методологии и организации экономического прогнозирования, показываются особенности научного прогнозирования. Развитие работ, освещающих вопросы прогнозирования, осуществляются по следующим основным направлениям: - углубление теоретических и прикладных разработок нескольких групп методик, отвечающих требованиям разных объектов -и разных видові работ по прогнозированию; - разработка и реализация на практике специальных способов и процедур использования различных методических приемов - в ходе конкретного прогнозного исследования; - поиск путей и способов алгоритмизации методик прогнозирования и реализация их с использованием ЭВМ.
Под методами прогнозирования следует понимать» совокупность приемов и способов мышления, позволяющих на основе анализа ретроспективных данных, экзогенных (внешних) и эндогенных (внутренних) связей объекта прогнозирования, а также-их измерений в рамках рассматриваемого явления или процесса вывести суждения определенной достоверности относительно его (объекта) будущего развития.
По оценкам отечественных и зарубежных ученных, в настоящее время насчитывается» свыше 30 методов прогнозирования, однако число базовых значительно меньше (10-15). Многие из этих методов относятся скорее к отдельным приемам и процедурам, учитывающим-нюансы объекта прогнозирования. Другие представляют собой набор отдельных приемов, отличающихся от базовых или друг от друга количеством частных приемов и последовательностью их применения.53
В существующих источниках представлены различные классификационные принципы методов прогнозирования. Одним из наиболее важных классификационных признаков методов прогнозирования является степень формализации, которая достаточно полно охватывает прогностические методы. Вторым классификационным признаком можно назвать общий;принцип действия методов прогнозирования, третьим - способ получения прогнозной информации.
Как свидетельствует схема, представленная на рис.3, по степени? формализации (по первому классификационному признаку) методы экономического прогнозирования можно разделить на интуитивные и формализованные. Интуитивные методы прогнозирования используются в тех случаях, когда невозможно учесть влияние многих факторов из-за значительной сложности объекта прогнозирования. В этом случае используются оценки, экспертов. При этом различают индивидуальные и коллективные экспертные оценки.
В состав индивидуальных экспертных оценок входят: метод «интервью», при котором осуществляется непосредственный контакт эксперта со специалистом по схеме «вопрос - ответ»; аналитический метод, при котором осуществляется логический анализ какой-либо- прогнозируемой» ситуации, составляются аналитические докладные записки; метод написания сценария, который основан на определении логики процесса или явления во- времени при различных условиях.
Методы коллективных экспертных оценок включают в себя метод «комиссий», «коллективной генерации идей» («мозговая атака»), метод «Дель-фи», матричный метод. Эта группа методов основана на том, что при коллективном мышлении, во-первых,.выше точность результата во-вторых, при обработке индивидуальных независимых оценок, выносимых экспертами, по меньшей мере могут возникнуть продуктивные идеи.55
В случаях чрезвычайной сложности системы, ее новизны, неопределенности формирования некоторых существенных признаков, недостаточной полноты информации, наконец, невозможности полной математической формализации процесса решения поставленной задачи приходится обращаться к рекомендациям компетентных специалистов. Их решение задачи, аргументация, подход, формирование количественных оценок результатові обработка последних формальными, методами получили название метода экспертных оценок. Этот метод включает три составляющие:.интуитивно-логический анализ задачи или ее фрагмента; решение-и выдачу количественной или качественной характеристики (оценка, результат решения); обработку результатов решения,- полученных от экспертов - оценок.56
Одной из разновидностей метода экспертных оценок является метод коллективной генерации идей («мозговая атака»),-позволяющей определять возможные варианты развития, объекта прогнозирования за короткий период времени. Сущность этого метода состоит в актуализации творческого-потенциала специалистов при.«мозговой атаке» проблемной ситуации, реализующей вначале генерацию идей и последующее деструктурирование. (разрушение) этих идей с формированием контридей.
Обоснование использования аппарата математической статистики в качестве инструментария экспертизы инициативных научных исследований
Поскольку процесс проведения экспертизы в РКНФ можно рассматривать как.коллективный, то дляшнализа его:результатов и проведения выборки окончательных экспертных оценок целесообразно воспользоваться аппаратом математической статистики;. Представим модель, обоснуем исходные предположения и опишем основные задачи; решаемые в ходе проведения экспертизы применительно к: оценке проектов шРЕНФ.
Таким образом, в силу любого значения а, неизвестного значения х и произвольных ошибок є у эксперта складывается мнение, которое он высказывает в виде пяти уже упомянутых градаций, т.е. он приводит округленную величину с неизвестной ошибкой округления. Отсюда при предположении, что а у разных экспертов одинаковы, получаем оценки ХІ И уі для каждой, заявки. При этом Xi=axqi+sn (i=l,2...n) - для первого эксперта и у1=ах +12 (i=l,2...n) - для второго, в каком бы порядке не предъявлялись паре экспертов п проектов.
Теперь, можно сформулировать основные предположения. Первое из них состоит в том, что ошибки экспертов Єц и БІ2 для разных заявок и разных экспертов независимы и одинаково распределены. В силу этого первого предположения появляются две задачи. Первая задача: проверить независимость оценок экспертов при любом распределении качества проектов, которое заранее неизвестно.
Из этого же предположения возникает вопрос: одинаковы ли распределения оценок разных экспертов; так как они суть суммы двух независимых одинаково распределенных случайных величин. Первая из них а, зависит от распределения- качества проектов, а вторая1 - одинаково распределенные ошибки экспертов, которые только? искажают распределение оценок, не делая их разными.
Вторая задача: проверить совпадение неизвестных распределений полученных оценок, для которых ясно только то, что они одинаковы и ничего кроме этого. Обе приведенные задачи разрешают парадоксальную ситуацию. С одной стороны, оценки экспертов независимы, так-как ни.один из них не знает, что выставил другой. С другой стороны, оценки обоих экспертов Xj и уі зависят от качества q, одного и того же проекта і. Такие ситуации типичны для сферы знаний по экономическим и другим наукам.
Выявленная парадоксальность порождает третью задачу: проверить статистическую зависимость оценок проектов экспертами, не зная их распределения. Во всех трех задачах неизвестно распределение, поэтому методы решения задач, т.е. проверки высказанных гипотез, из которых получаются сами задачи, не должны опираться на распределения. В качестве таких методов могут использоваться критерии согласия %" и ранговые коэффициенты корреляции. Рассмотрим предлагаемые подходы к решению указанных задач при помощи данных методов.
В результате экспертизы получены оценки, представленные в таблице 6. Не вдаваясь в детали, отметим, что экспертиза проводилась двумя экспертами: первым- и вторым. Эксперты могли высказать, одно из следующих предложений: 1) ни в коем случае не поддерживать, 2) не поддерживать, 3) возможна поддержка, 4) поддержать и 5) обязательно поддержать проект. Во всех приведенных далее таблицах для экономии, места указаны только номера предложений экспертов.
Так как итоговая строка не совпадает со столбцом итогов, то распределения проектов с разным качеством по оценкам каждого из экспертов (возможно из-за строгости подхода) могут отличаться. Однако для.проверки согласия независимости оценок экспертов»с наблюдаемыми частотами предполагать, что распределения одинаковы, пока нет надобности.
Проверим выдвинутую гипотезу с уровнем значимости а = 0,05. Для этого нужно найти число степеней свободы m = (r-l )x(s-l) и результат вы-числений статистики % с помощью таблиц 7 и 8. В нашем случае г = 4, s = 4, m = (4-1)х(4-1) = 9 и х2 = 14,2573.
При уровне значимости а = 0,05 при числе степеней свободы m = 9 на-ходим по таблице критическое значение критерия-% (9; 0,05) = 16,92. Таким образом, х2 = 14,25 ... х2 (9; 0,05), и нулевая гипотеза»Но о независимости оценок подтверждается;даже тогда, когда строгость подхода (параметр а) неизвестна и ошибки экспертов распределены по-разному.
Подтвердить, предположение о том, что первый и второй эксперты эк-вивалентны, поможет также критерий согласия % . Для этого следует только переформулировать гипотезу. Ранее уже было отмечено, что из одинаковости экспертов следует, что распределение оценок одинаково. Только это и может подтвердить (но не доказать) критерий согласия % по» двум причинам. Во-первых, статистические методы ничего доказать не могут, самое большее, что они могут, - это1 опровергнуть. Во-вторых, из одинаковости распределений оценок не следует эквивалентности экспертов. На мысль о равенстве распределений наводит сходство итоговых частот таблицы 7.
В качестве условных обозначений признаков и оценки связей между ними также используются ранги и ранговые коэффициенты. Ранжирование -это процедура упорядочения объектов изучения, которая выполняется на основе предпочтения. Ранг — это порядковый номер значений признака, расположенных по возрастанию или убыванию их величин. Если значения признака имеют одинаковую количественную оценку, тої ранг всех этих значений принимается равным средней арифметической от соответствующих номеров мест, которые определяют. Данные ранги называются связными.
Принцип нумерации значений исследуемых признаков является основой непараметрических методов, изучения взаимосвязи между социально-экономическими явлениями и процессами. Матрица, приведенная в таблице 6 или 7, позволяет восстановить все пары (хІ5 у{) оценок, выставленных первым и вторым экспертами заявкам на проекты і (і = 1,2...п). Хотя порядок получения1 пар восстановлен быть не может, но без него можно обойтись.
Проще всего получить ранги с помощью таблицы 9. Будем располагать оценки в порядке убывания их номеров. Тогда оценки с номером «5» (их 34) у первого эксперта будут расположены на местах с 1-го по 34-е, их средний ранг равен (1+2+...+34) : 34 = 17,5; оценки с номером «4»-(их 26) расположены на местах с 35-го по 60-е, их средний ранг (35+...+60) : 26 = 47,5; с 61-го-по 77-е место заняты оценками с номером «3» (их 17), их ранг (61+...+77) : 17 = 69; наконец, оценки с номером «2» (их 9) стоят на местах с 78-го по 86-е, их ранг (78+.. .+86).: 9. = 82.
Похожие диссертации на Инструментарий экспертизы инициативных научных исследований : на примере конкурсов Российского гуманитарного научного фонда
