Содержание к диссертации
Введение
ГЛАВА І . Историко-педагогические аспекты разработки проблем качества научно-педагогических исследований 12
1.1. Проблема качества научно-педагогических исследований в советской педагогике в 70-80-х гг. XX в 12
1.2. Проблема качества научно-педагогических исследований в российской педагогике в 90-00 гг. XX-XXI вв 32
ГЛАВА II. Опыт систематизации и применения современных наукометрических критериев оценки научно-педагогических исследований 67
2.1. Анализ системы наукометрических критериев оценивания научно-педагогических исследований в методологии современной педагогики 67
2.2. Концепция модификации системы критериев и показателей оценки качества научно-педагогических исследований 144
2.3. Опыт оценивания современных научно-педагогических исследований 148
Заключение 164
Библиографический список литературы 170
Приложения 184
- Проблема качества научно-педагогических исследований в советской педагогике в 70-80-х гг. XX в
- Проблема качества научно-педагогических исследований в российской педагогике в 90-00 гг. XX-XXI вв
- Анализ системы наукометрических критериев оценивания научно-педагогических исследований в методологии современной педагогики
- Концепция модификации системы критериев и показателей оценки качества научно-педагогических исследований
Введение к работе
Актуальность исследования.
В современной педагогике одной из главных методологических проблем является повышение качества научно-педагогических исследований (НПИ) и объективизация оценивания их результатов.
В последнее время складывается ситуация, когда рост формального престижа ученых степеней и званий приводит к усилению притока в педагогическую науку лиц, не обладающих в должной мере профессиональной подготовкой необходимой для качественного исследования. Престижность получения ученых степеней является характерной для нынешнего общества тенденцией, связанной с ростом социальной роли и современной науки в целом, и, особенно, формальных показателей высшей образованности. В то же время значительно усиливается в последние десятилетия коммерциализация науки, в том числе - и педагогической. Реально это проявляется как в коммерциализации выполнения диссертаций, так и в выполнении их рядом диссертантов "по минимуму требований", с крайне небольшим личным вкладом.
Распространенность этого явления не поддается точному учету и измерению из-за особой правовой деликатности ситуации, но совершенно очевидно, что такие работы только засоряют науку некачественной продукцией, имитацией исследований. Следствием этого, при значительном увеличении числа диссертационных советов (220 ед. в 2002 г. [148, С. 101]), является как резкое снижение качества выполненных диссертационных работ по педагогическим наукам, так и уменьшение их научной значимости, то есть потенциальной пригодности для внедрения в теорию и в практику.
Статистика ВАКа констатирует, что годовое число утвержденных дел по кандидатским диссертациям по педагогике (более или менее плавно) увеличилось почти в два раза (с 1063 дел в 1997 г. - до 1938 дел в 2001 г.), а по докторским (плавно) увеличилось в более чем два раза (со 107 дел в 1993 г. - до 249 дел в 2001 г.) [90, С. 14]. Но одновременно с этим за 2000-2001 гг. число отказов
в присвоении ученых званий ВАК (вкупе по всем отраслям науки) выросло почти в 3 раза [43, С.4].
Формально преградой для проникновения в среду ученых недобросовестных или некомпетентных людей должны быть жесткие требования к диссертационным исследованиям и к процедурам экспертизы и защиты диссертаций. Реально такие требования есть, они отражены в "Положении о порядке присуждения ученых степеней". Но, как показывает и их анализ, и мнения методологов науки, они далеко не по всем параметрам обеспечивают однозначность толкования критериев оценивания НПИ из-за недостаточной полноты их раскрытия в инструктивно-методических материалах ВАКа, а в ряде случаев - и из-за существенных различий в экспертно-оценочных позициях методологов педагогической науки.
В основе настоящего исследования лежит проблема неадекватности выполняемых диссертационных работ по педагогике уровню современных действующих требований к их методологии, содержанию, оформлению и презентации. Эта проблема вызвана несколькими группами сложившихся в педагогиче-
/ скои науке и практике противоречии:
а) социально-педагогического характера - между декларируемой государст
венными структурами приоритетности развития отечественной науки и ее яв
ным недофинансированием, особенно в области методологических и фунда
ментальных, в том числе наукометрических исследований;
б) методологического характера - между потребностью педагогики как нау
ки в приоритетном и интенсивном развитии педагогической наукометрии как
инструмента ее самосознания - и явно недостаточными темпами развертывания
эмпирических исследований и методологических экспериментов в этой области;
в) организационно-управленческого характера - между наличием значи
тельного числа формальных требований к оцениванию процесса и результата
диссертационных исследований - и их реальным недостаточным соблюдением в
экспертных комиссиях выпускающих кафедр и в диссертационных советах;
г) технологического характера - между наличием достаточно большого чис-
ла критериев и показателей оценивания процесса и результата диссертационных исследований и недостаточной их конкретизацией в методике экспертизы, а в ряде случаев - противоречивостью этих критериев;
д) дидактического характера - между существующей недостаточной методологической подготовкой исследователей (как базовой в педагогических вузах, так и в аспирантурах) - и требованиями проведения исследования на высоком методологическом уровне.
Актуальность темы настоящего исследования определяется необходимостью объективизации и конкретизации системы критериев и показателей оценки качества выполненных НПИ применительно к каждому типу исследования.
Объект исследования: методологические и инструктивно-методические работы, содержащие наукометрические критерии и требования, а также аналитические публикации методологов и специалистов ВАКа.
Предмет исследования: системность и внутренняя структурированность комплекса наукометрических критериев и показателей многоаспектного оценивания качества выполненных диссертационных работ.
Цель исследования: конкретизировать и апробировать в высокопрофессиональной экспертизе систему критериев и эмпирических показателей комплексной наукометрической оценки современных НПИ.
Задачи исследования:
выявить основные типичные методологические недостатки диссертационных исследований по педагогике и систематизировать представления методологов об их причинах и способах профилактики;
выделить типичные проблемы и затруднения педагогов-исследователей в выполнении требований ВАКа к диссертационным исследованиям и определить факторы, вызывающие эти проблемы и затруднения;
провести экспертный опрос специалистов выпускающих кафедр и диссертационных советов о распространенности недостатков в методологии НПИ, сопряженный с опросом аспирантов и соискателей об аналогичных затруднени-
ях в НИР;
систематизировать основные наукометрические критерии и структурные составляющие оценки качества НПИ;
разработать концепцию модификации системы критериев и показателей оценки качества НПИ.
Гипотеза исследования.
1. Основные недостатки диссертационных работ связаны с разрывом между
декларируемой и реализованной в исследованиях методологией.
2. Данные недостатки отражают как недостаточную методологическую
культуру (компетентность) исследователей, так и заниженную критичность
экспертизы работ на всех уровнях их продвижения.
3. Наиболее существенные недостатки обоснованности выводов и рекомен
даций, представленных в диссертационных работах, связаны:
а) с эклектичностью, а порой и с противоречивостью методологических установок исследователей;
6) с нерепрезентативностью источниковедческой и эмпирической базы;
в) с недостаточным профессионализмом применения эмпирических и тео
ретических методов исследования;
г) с недостаточной консенсуальностью ключевых критериев оценивания
НПИ и разной степенью их детализации и формализации, порождающей суще
ственные разногласия экспертов;
д) с пониженной критичностью экспертов, рецензентов, оппонентов, членов
диссертационных советов.
Методологическую и теоретическую основу исследования составили:
наукометрические позиции ведущих специалистов по общему и педагогическому науковедению (Рачков П.А., Хайтун С.Д., Гершунский Б.С., Загвязин-ский В.И.);
работы ведущих ученых по методологии и методике НПИ (Журавлев В.И., Краевский В.В., Новиков A.M., Скаткин М.Н.);
работы методологов педагогики по вопросам критериального экспертного оценивания качества НПИ (Грибов B.C., Леднев B.C., Новикова Т.В., Полонский В.М.);
работы по проблемам технологии экспертного оценивания научных исследований (Китаев Н.Н., Черепанов B.C.).
Основные методы исследования:
анализ литературы по избранной проблеме, публикаций в педагогической печати о состоянии качества НПИ, статистики ВАКа;
сравнительно-исторический анализ основных характеристик состояния проблемы качества НПИ;
структурно-функциональный анализ критериев и эмпирических индикаторов оценивания результата диссертационного НПИ;
экспертный опрос ведущих специалистов выпускающих кафедр и диссертационных советов Южно-российского региона по проблеме состояния качества современных НПИ;
опрос аспирантов и соискателей о методологических и технологических затруднениях, возникающих во время проведения диссертационного НПИ;
статистические методы анализа эмпирического материала.
Характер выборки респондентов.
Опрошено 40 экспертов выпускающих кафедр вузов и диссертационных советов Южно-российского региона и 100 аспирантов (соискателей) вузов Южнороссийского региона.
Основные этапы исследования.
Первый, подготовительный этап (2001-2002 гг.) содержал установочный анализ проблемы; изучение методологической литературы и основных инструктивных материалов; проводилась пробная систематизация критериев и показателей оценивания диссертаций.
Второй, аналитико-проектирующий этап (2002-2003 гг.) включал: конкретизацию проблематики исследования; систематизацию критериев и показателей
экспертного оценивания результата диссертационного исследования; разработку диагностических экспертных и опросных методик.
Третий, диагностический этап (2003-2004 гг.) был связан с анализом основных текстов, содержащих информацию о критериях и эмпирических показателях оценивания НПИ. Он включал также проведение экспертных опросов ведущих специалистов выпускающих кафедр и диссертационных советов Южнороссийского региона и опросы аспирантов и соискателей, обработку эмпирических данных, корректировку комплекса критериев и показателей экспертного оценивания, проведение пробного внедрения "рекомендаций-напоминателя" многопараметрового экспертного оценивания диссертационных исследований.
Четвертый этап, обобщающий (2004-2005 гг.):
завершение и анализ результатов пробного внедрения;
подготовка проекта расширенного внедрения результатов исследования;
литературное оформление текста диссертации.
Научная новизна и теоретическая значимость исследования.
Проведен историко-педагогический анализ системы наукометрических критериев оценивания НПИ в методологии педагогики и выделены, проанализированы противоречия и проблемы, затрудняющие развитие педагогической наукометрии.
Конкретизированы и операционализированы критерии, показатели и эмпирические индикаторы экспертного оценивания результатов диссертационного НПИ.
3. Разработаны и апробированы авторские экспертные методики оценивания
НПИ и введен в научный оборот ранее неизвестный эмпирический материал.
Практическая значимость исследования.
Выпускающим кафедрам и диссертационным советам предоставлены пакеты рекомендаций по экспертному оцениванию качества диссертационных НПИ с необходимым диагностическим сопровождением.
Аспирантам и соискателям в области педагогических наук предоставлены
рекомендации для самооценивания процесса и результата собственных диссертационных НПИ.
3. При использовании указанных выше пакетов рекомендаций снижены трудозатратность и затруднения в оценивании качества диссертационных НПИ. Достоверность полученных результатов обеспечивалась строгим соблюдением требований методологии педагогического исследования, теоретической обоснованностью конструктов применяемых исследовательских эмпирических методик, статистической обработкой эмпирических данных с помощью стандартных компьютерных программ, достаточной репрезентативностью источников.
Апробация результатов исследования.
Результаты исследования докладывались на заседаниях кафедры общей педагогики Таганрогского госпединститута, Межрегиональном семинаре по актуальным проблемам педагогической диагностики (ТГПИ, г. Таганрог, 2003 г.), Международной научно-практической конференции по проблемам образования в современной России (ПДЗ, г. Пенза, 2004 г.), Международной научно-методической конференции по проблемам педагогического менеджмента (ПДЗ, г. Пенза, 2004 г.), Международной конференции по актуальным проблемам педагогической диагностики (ТГПИ, г. Таганрог, 2005 г.). Материалы проведенного исследования используются в ТГПИ, в практике работы аспирантур по педагогике вузов Южного Федерального округа - РГУ, РО ИПК и ПРО.
Положения, выносимые на защиту.
1. Состояние методологии НПИ может быть охарактеризовано как затянувшийся системный кризис, вызванный синхронно действующими негативными факторами, основными из которых являются:
а) недостаточная структурированность и операциональность применяемых
критериев оценивания диссертаций;
б) недостаточность методологической подготовки аспирантов, соискателей;
в) слабость развития информационной базы педагогики, особенно в аспек
тах востребованной актуальной проблематики и оценки качества выполненных
10 исследований;
г) недостаточная критичность экспертов выпускающих кафедр и диссертационных советов к соблюдению стандартов НИР, провоцируемая перечисленными выше факторами и конъюнктурными обстоятельствами.
Как сам кризис, так и необходимость выхода из него достаточно осознается на всех уровнях педагогической науки - от ведущих методологов и специалистов ВАКа до экспертов и соискателей - исполнителей. В сочетании с начавшимися поисками путей его разрешения и первыми успехами (Леднев B.C., Полонский В.М. и др.) в позитивном решении накопившихся проблем это создает предпосылки для оптимистической оценки возможностей разрешения выявленных противоречий в обозримый период при условии грантовой и организационной поддержки инициатив федеральным центром.
Представленная система авторских разработок выступает в качестве одного из средств совершенствования процедур оценивания качества завершенных диссертационных исследований и содержит:
а) систематизированные критерии многоаспектного оценивания качества
диссертаций;
б) "наиоминатели" типичных допускаемых ошибок, созданные на основе
обобщения критических позиций отечественных методологов;
в) сопровождающие четкие инструктивно-методические материалы.
Апробация и ее экспериментальные данные доказывают позитивный эффект от использования данной системы оценивания не только на завершающей, но и на предварительных стадиях прохождения диссертаций.
Перспективы дальнейших исследований области педагогической наукометрии связаны с приоритетными разработками по следующим направлениям:
проведением на федеральной выборке широкомасштабного репрезентативного ретроспективного наукометрического анализа (хотя бы за постсоветский период) качества выполненных диссертаций по известным направлениям педагогической науки. Ожидаемым результатом было бы получение объективи-
зированной картины состояния разработок по этим направлениям и определение приоритетов в исследованиях и "узких мест", поддерживаемых грантами;
проведение на столь же репрезентативных выборках факторного и латентно-структурного анализа для определения реальной взаимосвязи (а на этой основе - "удельных весов") критериев оценивания качества выполненных диссертаций;
создание компьютерной системы поддержки экспертного оценивания, построенной на основе таксономического анализа и распознавания образов (ин-тегративного оценивания качества диссертаций по структурированным и формализованным экспертным оценкам).
Необходимы исследования в области разработок систем оценивания экономической и социальной результативности НПИ, построенные на тех же основаниях.
Перспективы дальнейшего исследования проблемы.
Исследование вскрыло ряд проблем, требующих специального глубокого изучения: разработка на федеральном уровне репрезентативной выборки для ретроспективного наукометрического анализа качества ранее выполненных НПИ; подбор групп высоко компетентных экспертов, способных выполнить эту работу по всем основным направлениям развития педагогической науки; организационно-экономическое (грантовое), инструментарное, программное и информационное обеспечение экспертов.
Структура и объем диссертации.
Работа состоит из введения; двух глав; заключения, включающего основные теоретические и эмпирические выводы, практические рекомендации к использованию основных результатов диссертационного исследования, перспективы дальнейшего исследования проблемы; списка литературы из 166 наименований; 25 приложений. Текст изложен на 169 страницах. Диссертация сопровождается 13 таблицами и 2 рисунками.
Проблема качества научно-педагогических исследований в советской педагогике в 70-80-х гг. XX в
Рассматривая критерии и оценки качества методологии НПИ в современной, постсоветской России мы не могли игнорировать предшествующий период - 70-80-е годы, когда формировались и завоевывали научный авторитет те ученые-методологи, которые в настоящее время возглавляют российскую педагогическую науку.
Более того - исторический подход настоятельно требует причинно-следственного анализа того, как вызревали и оформлялись критерии оценки качества НПИ, и как реально они, по мнению ведущих методологов, реализо-вывались в научной практике, в то время, предшествующее распаду СССР и радикальным постсоветским изменениям.
За основу нами была принята схема, вытекающая из требований ВАК того времени, а именно: 1. Общая критика основных недостатков НПИ: а) фактологическая; б) методологическая. 2. Формулировка темы и проблемы исследования. 3. Актуальность исследования и ее доказательство диссертантами. 4. Удачность определения объекта и предмета, цели и задач исследования (как его ориентировочная основа). 5. Понятийный аппарат. 6. Формулировка и последующая проверка гипотезы. 7. Методологические и концептуальные основы. 8. Подбор и описание собственных методов исследования (и их реализация в НПИ), в том числе, особо выделяемых: а) методов сбора массовой информации; б) педагогических экспериментов; в) математических методов обработки данных. 9. Презентация диссертантами результатов собственного исследования: а) доказательство их достоверности; б) репрезентативность; в) профессионализм описания и анализа эмпирических данных; г) выводы исследования; д) положения, выносимые на защиту. 10. Критерии и оценка теоретической значимости проведенных исследований и, особенно - их научной новизны. 11. Внедрение результатов исследований и их практическая значимость. 12. Дискуссионные и нерешенные вопросы методологии и технологии оценивания качества НПИ. Рассмотрим общую критику основных недостатков НПИ.
Еще в 1983 г. Бабанский Ю.К. отмечает, что методы исследований в диссертациях часто просто перечисляются, но не обосновываются; формулировки гипотез не требуют доказательства и очевидны по своей направленности; для многих исследований характерны максимализм, нереальность применения даваемых рекомендаций в массовой школе; данные о внедрении результатов в практику часто преувеличены. Им подчеркивается, что в ходе экспериментов нередко встречаются нереальные объемы выборки (тысячи учеников, сотни учителей, десятки классов), что указывает на поверхностный подход к исследованию, так как невозможно все эти данные тщательно, корректно обработать. По его мнению, необходимо специально доказывать репрезентативность выборки, валидность методик и т.д. (т.е. использовать в полном объеме средства обеспечения достоверности результатов исследования и ее проверки. - М.С.)[6].
В педагогической печати того времени отмечается, что в дидактических исследованиях часто игнорируются данные методик и допускаются ошибки в их использовании [44]. На общем собрании АПН СССР (1983г.) акцентируется внимание на неразработанности теоретических проблем педагогики, вследствие чего имеет место слабая методологическая оснащенность конкретных теоретико-методологических исследований [54].
Устойчивость этих негативных явлений откровенно раздражает методологов.
В 1988 г. Краевский В.В., говоря о качестве НПИ, отмечает, что из года в год повторяются одни и те же недостатки: гипотезы являются самоочевидными, выводы тривиальными, а экспериментальная работа мало что доказывает. Также им отмечается, что значение слов "актуальность", "новизна", "теоретическая значимость", "практическая значимость" не всегда находит реальное выражение в НПИ. Краевский В.В. указывает на стремление некоторых авторов разукрасить мысль и даже прикрыть ее отсутствие посредством употребления ученых слов как философских, психологических, так и кибернетических и т.п.[61].
В это же время, в 1989 г., Воробьевым Г.В. отмечается, что исследования в области педагогики часто выполняются на невысоком уровне по причине слабой общенаучной подготовки как исследователей-практиков, так и профессионалов [25]. Краевский В.В. указывает на недостаточную методологическую рефлексию как самих исследователей, так и тех, кто призван оценивать их НИР[60]. Он отмечает, что многие исследователи не умеют анализировать свою научную деятельность и считают основные методологические категории НИР: объект, предмет, цель, новизна - само собой разумеющимися, формальными и чуть ли не излишними [62].
В 1989 г. Турбовский Я.С., размышляя о том, наведен ли порядок в методологическом аппарате исследований, подчеркивает, что требованиями ВАК предусмотрен некий порядок, который соблюдается лишь формально. Им указывается на то, что "мы не знаем, как формулировать исследовательскую задачу, чтобы она давала выход, приводила к решению" [125, С.81].
В контексте задач нашего исследования, имеет смысл подробно остановиться на научном сообщении Краевского В.В. "Методологическая рефлексия", в котором выделяются следующие постоянные недостатки диссертационных исследований в рассматриваемый нами период времени: 1) недостоверность, самоочевидность выводов; 2) абстрактные рассуждения об уже известных истинах; 3) малая убедительность и невысокий уровень обоснования рекомендаций. Им указывается на некорректные формулировки гипотез и на то, что в не- которых диссертациях слишком широко определен предмет исследования [62].
Экспертный совет по педагогике ВАК СССР провел в 1986 г. анализ диссертационных материалов за первую половину 80-х годов по методике преподавания конкретных учебных предметов и выявил следующие недостатки: неубедительность обоснования проблемы исследования, некорректность формулировок гипотезы, неудовлетворительная организация и некачественное изложение результатов эксперимента [135].
Штульман Э.А. в 1988 г. на основе критического анализа более 50 кандидатских и докторских диссертаций, защищенных или представленных к защите в самые последние годы по педагогике (специальность 13. 00. 01) и частным методикам (специальность 13. 00. 02), отмечает, что многие диссертационные работы характеризуются методологической неполноценностью, а диссертанты не соблюдают принципы организации и проведения научного исследования: не всегда в диссертационных работах соблюдается принцип оптимальности исследования; общенаучный анализ компилятивен; технология исследования либо описывается частично, либо вообще не описывается и часто не соответствует сути проблемы НИР; соискатели редко используют прогрессивные научные подходы к постановке и решению проблемы (хотя диссертации часто пестрят словами "системный", "комплексный", "программно-целевой", "системно-целостное изучение объекта", но в действительности большинство из них трудно отнести к комплексным или системным объектам) [163, С.44-45].
Штульман Э.А. по итогам проведенного анализа, констатируя далеко не благополучное положение методологического аппарата диссертационных исследований, к числу причин последнего относит как недостаточную требовательность специализированных советов по педагогике, так и слабую методологическую подготовку специалистов в учебных и научных заведениях [163, С.48].
Проблема качества научно-педагогических исследований в российской педагогике в 90-00 гг. XX-XXI вв
Выделяя в отдельный параграф анализ оценок методологами отечественной педагогической науки в последний, постсоветский период ее развития, мы ставим своей задачей по принятой ранее схеме выявить, произошли ли в результате деидеологизации и демократизации общества (и науки) существенные изменения в методологии и технологии НПИ и в чем, по мнению лидеров науки, они заключались.
Рассмотрим общую критику основных недостатков НПИ. Председатель экспертного совета по педагогике и психологии ВАК Минобразования РФ Фельдштейн Д.И. в докладе "О состоянии экспертизы диссертационных исследований по педагогике" на основе анализа диссертационных работ за 2001-2002 гг. выделил их следующие недостатки: 1) многие диссертационные работы страдают эклектикой, иррационализмом, схоластикой и "не выходят из десятилетия назад проложенной колеи традиционных подходов"; 2) определенное количество кандидатских, а также докторских диссертаций по педагогике не отвечает требованиям, указанным в "Положении о порядке присуждения ученых степеней", так как в них (в докторских диссертациях) не содержится нового крупного научного достижения или решения крупной научной проблемы; 3) отмечается низкий теоретико-методологический уровень многих диссертационных работ; 4) отсутствует четкая система обоснования научной новизны и теоретической значимости диссертационных исследований [45].
Не оспаривая справедливости выводов, заметим, что, к сожалению, представленный выше материал не сопровождается конкретными числовыми данными.
Фельдштейн Д.И. подчеркивает, что резко возросшее число диссертационных работ по педагогическим специальностям нередко сопровождается снижением их научного потенциала. Это, по его мнению, вызвано комплексом причин: низкая культура научного труда и низкий методологический уровень определенного числа исследователей; практически во многих вузах отсутствует процесс специального обучения научной деятельности; наличие у некоторых соискателей элементов безответственности [148, С.99-100].
В качестве дополнения, считаем нужным привести мнение Вербицкого А.А., который, основываясь на результатах проведенного анализа современных диссертационных НИР, констатирует: "Возможны два выхода: либо признать существующее положение вещей установленной нормой и не ожидать от кандидатских диссертаций в обязательном порядке вклада в науку, либо так ужесточить требования к работам и их защите, чтобы только по научному вкладу присуждать степень кандидата, тем более доктора. Но не рискуем ли мы в этом случае оказаться вообще без достаточного числа "остепененных" ученых?"[24]
Рассмотрим блок проблем "тематика исследований (их актуальность)". Фельдштейн Д.И. отмечает, что имеет место произвольный выбор исследователями "не наиболее актуальной, а удобной или легкой темы (из "запасников" институтов или руководителей)" [148, С.6]. Им также указывается, что у немалого числа соискателей "потеряно чувство видения проблемной ситуации, они не ориентируются в пространстве знаний, не умеют вписать конкретную тему в контекст широкой проблемы", в результате чего "наблюдается мелкотемье, уход от многоплановых проблем, требующих многоступенчатого исследования" [148, С.4].
Подтверждая эту оценку, Полонским В.М. подчеркивается, что нередко отдается приоритет темам, интересным лишь для узкого круга специалистов, или проблемам регионального плана, которые не имеют общетеоретического значения. Сформулированные выводы часто повторяют положения, которые давно известны, что порождает параллелизм и дублирование. Действительно актуальные темы представлены единичными разработками. Причины последнего, по его мнению, кроются в просчетах планирования и организации научных поисков, в низком уровне методологической культуре самих исследователей [115].
Мы считаем, однако, что тот факт, что тема интересна лишь узкому кругу специалистов, сам по себе не является аргументом для утверждений о ее ненужности. Ведь многие идеи и технологии в науке на этапах открытия и начала продвижения, пробного внедрения понимались и принимались лишь единицами в научном сообществе.
К числу (возможных) причин дублирования можно отнести отсутствие единой доступной (для всех заинтересованных лиц) базы данных по выполненным НИР (своеобразный банк данных) и неосведомленность исследователей о новых передовых достижениях педагогической науки ввиду их недостаточной пропаганды. Все это вкупе влияет на то, что исследователь принимается за разработку темы, которая науке уже не интересна (так как данная проблема уже разрешена, то есть тема - неактуальна для современной теории и - оторвана от практики), что приводит к "псевдоноваторству" (параллелизму и дублированию). Все это также остается на совести научного руководителя (предлагающего диссертанту тему) и ученого совета вуза (ее утверждающего).
Вербицкий А.А., говоря о характеристике актуальности НИР, представленной в авторефератах, отмечает, что "если раньше комментировали решения очередного съезда, то теперь в преамбуле - упоминания о глубоких изменениях в производстве, обществе и образовании, происходящих в нашей стране" [24, С.32]. Солидаризируясь с ним, Наин А.Я. отмечает, что "часто в качестве обоснования актуальности соискатели указывают на задачи большого социального звучания, как они формулируются в правительственных документах или вообще на задачи перестройки или реформирования образования", но "специфическая роль каждого образовательного института или отдельного предмета в их решении раскрывается слабо" [88, С.44].
Бережнова Е.В. (проанализировав кандидатские и докторские диссертации, авторефераты, монографии, защищенные и изданные в последнее время) указывает на часто встречающийся недостаток НПИ - "поверхностный характер многих выдвигаемых положений, зыбкость оснований, их подтверждающих". Так автор одной проанализированной ей диссертационной работы видит ее актуальность в том, что "массовая образовательная практика находится преимущественно в информационно-вербальном, "недеятельностном" пространстве". При этом, как отмечает Бережнова Е.В., данное положение совсем не раскрывается и не доказывается. Так диссертантом не объясняется, что такое "недея-тельностное пространство", и, что им понимается под "массовой образовательной практикой" [12]. Хотя термин "недеятельностное пространство" не встречается ни в одном современном педагогическом словаре и явно является "авторским изыском". И не ясно, насколько "массовая образовательная практика" действительно массова - хотя бы в процентном отношении.
При выборе темы (направления) исследования считаем полезным использовать перечень "Приоритетных направлений фундаментальных и прикладных исследований РАО на период до 2010 года" [130].
Ледневым B.C. указывается на часто встречающуюся ошибку, когда "тема исследования определяется по какому-то модному течению современной педагогики". Им подчеркивается, что в последнее время наблюдается "поток "лич-ностно-ориентированных основ ..." всего и вся". Так же выделяются следующие (массовые) штампы: "педагогические условия осуществления..." и "компетенции". По его мнению, главная (стратегическая) ошибка заключается в выборе "недиссертабельной" темы, то есть, когда исследование "направлено не на решение объективной проблемы, а на некую виртуальную конструкцию" [148]. Так же отмечаются встречающиеся неудачные названия диссертаций. Подчеркивается, что соискатели часто не видят различий в понятиях "тема" и "название" [149], редко разводят проблему и собственно тему исследования [88].
Валеев Г.Х. вполне обоснованно говорит о том, что заглавия кандидатских диссертаций по педагогике являются очень длинными, растянутыми на две-три строчки (10-15 слов). Им также указывается на существенный недостаток заглавий диссертаций - "отсутствие определенности в формулировке заглавия, когда остается нераскрытой суть основного результата диссертации" [22, С.30].
Анализ системы наукометрических критериев оценивания научно-педагогических исследований в методологии современной педагогики
Рассмотрим основные характеристики проблемы критериев оценки качества НПИ. Качество НПИ определяется критериями, при помощи которых оно оценивается. В науке давно уже выработана система критериев для оценки качества НПИ. Критерии эти сформулированы с разной степенью детализации, что создает предпосылки для разночтения, что, как нам представляется, служит причиной явно заниженной "жесткости" их соблюдения как диссертантами (и контролирующими их работу научными руководителями), так и экспертами разного уровня на всех этапах оценивания работ (от этапа утверждения темы советом вуза - до ВАКовских экспертов).
Формально система критериев оценки качества НИР есть и действует много лет. Но практика анализа уже выполненных диссертационных работ методологами педагогики показывает, что реально эта система: работает со сбоями; постоянно нарушается (или - разрушается реальной практикой); неполна (есть предложения по ее дополнению и перестройке); недостаточно однозначно трактуется; включает ряд слишком обобщенных критериев, определенных в неоперациональных, трудно поддающихся измерению, понятиях.
Поэтому, мы считаем, что в контексте цели и задач нашего исследования поднимать вопросы дополнения и перестройки (или хотя бы - модернизации) системы критериев оценивания диссертаций представляется вполне правомерным.
Проследим историю вопроса разработки критериев оценки качества НИР. Нельзя сказать, что до последнего времени данная проблема практически серьезно не разрабатывалась. Вопросы качества научных исследований были предметом дискуссий еще со времен античности, они пронизывают всю экспериментальную науку нового времени. Их предыстория ведет в педагогике, как минимум - к Яну Амосу Коменскому. В более позднее время мы сталкиваемся с критериями оценивания результатов исследований в жесткой политизированной критике педологии и педологов, когда целая наука была объявлена лживой, ненаучной, вредительской.
В 60-е гг. XX века вопросы оценки качества научных исследований достаточно обсуждались в науковедческой литературе [120].
Следует отметить "Положение о порядке присуждения ученых степеней", вышедшее в 1975 году [126]. И соответственно возникшие вопросы об адаптации требований "Положения" к педагогической проблематике и о приведении требований к качеству исследований по педагогике в соответствие с "Положением". Во второй половине 70-х гг. XX века в институтах АПН СССР проводятся мероприятия по повышению качества исследований [120]. В конце 70-х гг. стало очевидно, что действующая система критериев оценивания диссертаций по педагогике дает сбои и ее надо или менять, или перерабатывать. С конца
70-х по конец 80-х гг. прошлого столетия на страницах журнала "Советская педагогика" разворачивается дискуссия относительно критериев качества и эффективности НПИ, где ряд ученых высказывает свое мнение, определяет свои позиции по данному проблемному вопросу[103;113;107;105;111 ;62; 139; 140;31; 18;26].
В 1978 г. в НИИ ОП АПН СССР была создана группа под началом Полонского В.М. для разработки критериев качества и эффективности завершенных НПИ [98, С.З]. Результаты ее работы отражены в ряде публикаций [118;3;98]. Полонским В.М. был предложен общий теоретический подход и исходные позиции для разработки критериев качества и эффективности завершенных педагогических исследований [98, С.З].
В начале 80-х гг. XX в. отмечалось, что как в науковедческой, так и в педагогической литературе отсутствует единое мнение относительно критериев оценки качества и эффективности исследований [119].
Представляет интерес мнение Полонского В.М. по вопросу наличия конкретных методик определения качества НПИ и его оценка уже существующих к тому времени (1987 г.) методик, которые были разработаны советскими учеными Асатуровой К.З., Батуриной Г.И., Полонским В.М. (в 1981 г.) [3] и болгарским ученым Бижков Г. (в 1984 г.) [166]. Так, Полонский В.М. в 1987 г. отмечал, что "конкретных методик определения качества научно-педагогических исследований мало, да и то они даны в самом общем виде" [120, С.93].
Полонским В.М. в том же 1987 г. отмечалась, что в педагогической литературе для оценки качества исследований предлагается большое число самых различных критериев, но ни один из них не имеет однозначной трактовки, общепринятых показателей, раскрывающих его содержание [120, С.135]. Им также указывалось, что для оценки качества и эффективности НИР в НИИ АПН применяют более двух десятков самых различных критериев. Многие из них относятся к разным сторонам исследования и несопоставимы друг с дру-гом[120,С.5].
Отметим, что систематизация данного множества критериев требует выделения оснований для их группировки, последующего компонентного анализа и (если потребуется необходимость) - дополнения и конкретизации (с опорой на теорию и методологию).
Полонским В.М. в 1987 г. отмечалось, что в педагогической науке "оценка качества исследований во многих случаях происходит на уровне "здравого смысла", обыденного сознания". Им подчеркивалось: "Исследования в педагогике различаются по своим целям, задачам, методам, охватывают широкий или узкий круг вопросов. Однако к их оценке нередко подходят с единой мер-кой"[120, С.134]. Полонским В.М. также указывалось на отсутствие единых требований к описанию результатов НИР [120, С.6].
Соответственно далее в нашей работе мы приведем (и проанализируем) научные позиции ученых по данной проблеме.
В 1987 году выходит в свет монография Полонского В.М. "Оценка качества научно-педагогических исследований", которая вносит ощутимый вклад в разрешение обозначенной проблемы [120]. В ней были выделены и описаны общенаучные, типовые, конкретно-научные характеристики качественных показателей фундаментальных, прикладных научно-педагогических исследований и разработок, были предложены методы определения новизны, теоретической и практической значимости, актуальности. Как отмечает Полонский В.М., им не ставилась задача разработать критерии для всех областей педагогики, но цель его работы заключалась в том, чтобы дать лишь общий подход. Таким образом, осталась необходимость в формулировке конкретных требований к различным педагогическим дисциплинам [120, С.135,137].
Краевский В.В. в своей рецензии на монографию Полонского В.М. отмечает, что "не все в ней, однако, раскрыто с достаточной полнотой, изложение подчас фрагментарно. Мало конкретных примеров" [60].
В 1989 году вышло в свет издание "Критерии оценки качества (диссертаций) по педагогическим наукам: методические рекомендации", автор Полонский В.М. [72].
С учетом вышепроделанной работы в 1990 году Ледневым B.C., Краевским В.В., Полонским В.М., Штульманом Э.А. были составлены "Требования к диссертациям по педагогическим наукам" [73].
За это время критике подверглись некоторые предложения и взгляды Полонского В.М., Краевского В.В. [148, С.18,50]. Прошло больше 10 лет, сменился государственный строй (перестала существовать коммунистическая идеология), как отмечает Фельдштейн Д.И. "изменилось состояние педагогической сферы знаний" [45], изменились "Положения о порядке присуждения ученых степеней". Таким образом, возник некий вакуум - требования к диссертациям по педагогическим наукам остались на уровне 1990 года и не приведены (экспертным советом ВАКа и РАО) в соответствие с последним "Положением", утвержденным в 2002 году [127]. Вследствие чего возникла необходимость в их переработке и дополнении (с учетом критики и новых реалий).
Концепция модификации системы критериев и показателей оценки качества научно-педагогических исследований
Основные положения концепции модификации системы критериев и пока 145 зателей оценки качества завершенных НПИ.
1. Ключевыми критериями комплексной оценки качества каждого проведенного НПИ, независимо от его типа и уровня, являются: а) актуальность; б) научная новизна; в) теоретическая значимость; г) практическая значимость.
2. Тип, уровень, масштабы исследования (лежащего в основе диссертационной работы или выполненного по госбюджетной или хоздоговорной тематике) могут существенно влиять лишь на интерпретацию этих критериев через систему показателей как обязательного (минимально необходимого), так и желательного (программа - максимум) характера.
3. Полнота реализации в конкретном исследовании всех возможных и целесообразных обязательных качественных показателей принципиально недопустима, поскольку будет различен набор функционально необходимых требований к НПИ в зависимости от:
а) типа исследования (фундаментальное теоретическое, теоретико-прикладное, эмпирическое, методическая разработка);
б) характера (направление педагогики, ее отрасль с той или иной степенью разработанности проблематики и инструментария);
в) масштабности уровня его организации (от федерального исследования или эксперимента типа разработки и внедрения ВГОСов или ЕГЭ - до инициативного в конкретном вузе или школе, колледже).
4. Тем не менее, в соответствии с методологией системного подхода, целесообразна систематизация ключевых критериев и показателей (в основном - уже разработанных методологами педагогики) в идеальной модели системы оценивания НПИ.
5. Такая идеальная модель должна быть адаптирована (хотя бы - на уровне прикладных рекомендаций) к реальной практике проведения НПИ в виде серии "дочерних" моделей, относящихся к каждому типу исследований. Приоритетным нам представляется разработка ее варианта применительно к теоретико-эмпирическому исследованию, посвященному фрагменту педагогической реальности наших дней (обычно выполняемому на уровне кандидатской или магистерской диссертации).
6. До настоящего времени при оценке диссертационной работы необходимо иметь ввиду, что качество выполнения текста диссертации как определенной, относительно стандартизированной формы научного отчета о выполненной работе, не тождественно качественным оценкам самой этой (научно-исследовательской) работе, профессионализма ее выполнения. Это может порождать несовпадающие оценки экспертов в зависимости от того, что лично каждому из них представляется главным, более значимым на момент оценивания (с учетом особенностей диагностической ситуации).
7. Одним из наименее разработанных критериев оценивания качества НПИ и как процесса, и как отраженного в форме отчета или диссертации его результата, является эффективность НИР - социальная, экономическая и педагогическая. Ни показатели, ни эмпирические индикаторы, ни инструментарий здесь не разработаны, в силу чего оценки экспертов этого аспекта НПИ наиболее расплывчаты, трудносопоставимы и практически (пока что) не поддаются верификации.
8. Для определения значимости докторских диссертаций (в первую очередь, но не исключительно) необходимо достижение ведущими специалистами в области методологии педагогики хотя бы временного консенсуса относительно того, что можно считать открытием нового научного направления и типологизация номенклатуры уже известных направлений и отраслей педагогики. В настоящее время такого консенсуса нет даже среди дюжины авторов изданных и рекомендованных педвузам учебников педагогики.
9. Недостаточное развитие педагогической квалиметрии делает весьма проблемными попытки найти единый интегративный количественный показатель оценки качества всех типов НПИ. В обозримый период предпочтительным представляется критериальное сопоставительное оценивание по автономным шкалам актуальности, научной новизны, теоретической и практической значимости исследования. При этом, в зависимости от типа, характера и уровня исследования вполне возможно достижение методологами консенсуса об иерархии значимости ключевых критериев и минимально допустимых их количественных показателях.
10. Несомненно перспективным является использование фасетной методики В.М. Полонского в оценке актуальности НПИ при дальнейшей ее конкретизации и четкой дифференциации оценок уровней с широким использованием для этого экспертного метода. Условием эффективного использования этого метода является создание банка данных о компетентных экспертах по всем отраслям и направлениям педагогической науки и организация действительно независимой экспертизы (хотя бы по технологии работы "черных оппонентов" ВАКа). Профессиональная независимая экспертиза актуальности исследований целесообразна уже на стадии планирования НПИ (с ее сохранением и на стадии завершения работы).
11. Критерий научной новизны применим ко всем типам исследований, но требует углубленной конкретизации, особенно - применительно к работам (преимущественно - кандидатским диссертациям), не открывающим новые научные направления, а углубляющим и дополняющим уже известные. Это по требует значительной работы методологов по уточнению характеристик научной новизны, как: ее уровни, формы, типы, критериальные пороги для кандидатских и докторских (а также, желательно - магистерских) диссертаций. Необходимо также уточнить и четко сформулировать, что считается "дополнением" теории, ее "расширением", "углублением", "внесением новых элементов".
Для оценивания научной новизны НПИ малопригодны балльные оценки и здесь существенно возрастает значимость фактора компетентности экспертов в рамках того конкретного направления педагогической науки, в русле которого выполнено НПИ. Целесообразна также углубленная разработка с помощью экспертов высшего уровня компетентности технологии эталонного сравнения диссертаций. Для совершенствования технологии оценки научной новизны и сопоставления эффективности разных подходов и методов целесообразно проведение широкомасштабного эксперимента по синхронному оцениванию одной и той же выборки диссертаций разными стандартизированными методиками одними и теми же компетентными экспертами.
