Введение к работе
', Актуальность исследования. Проблема оценки качества на-' учно-дедагогических исследований в настоящее время приобретает особую значимость. Педагогическая наука на протяжении многих лет развивалась главным образом экстенсивным путем. Расширялась тематика исследований, увеличивались штат сотрудников, число организаций, участвующих в разработке и решении вопросов коммунистического воспитания. Дальнейшее совершенствование организации и управления наукой, переход ее на интенсивный путь развития, более полное использование имеющихся резервов в значительной степени зависят от решения проблемы оценки качества научно-педагогических исследований, разработки методов определения новизны, актуальности-, теоретической и практической значимости работ, объективного учета и контроля труда научных сотрудников и учреждений.
Ежегодно в нашей стране издается более 4тыс. названий педагогических книг, сборников, брошюр, материалов конференций, выходит свыше 70 журналов, на страницах которых печатается около 30 тыс. статей. Быстро растет фонд неопубликованных документов (научные отчеты, диссертации, депонированные рукописи; материалы передового педагогического опыта).. Лишь за последние семь лет завершено более 15 тыс. исследований. В* итоге темпы накопления знаний опережают возможности внедрения их в практику. В современных условиях процесс отбора наиболее значимых публикаций, разработки критериев и методов оценки качества научно-педагогических исследований становится одной из центральных методологических проблем.
В педагогической науке проблема оценки качества НИР отно- сится к наименее разработанным. Первые попытки оценить качество работ относятся к SO-м годам. Так, в Московском исследовательском институте научной педагогики при 2-м МГУ был введен ряд показателей, позволяющих более полно и объективно, судить . о результатах научных исследований.
.Публикации на эту тему систематически стали появляться в конце 70-х годов. На странщах журнала "Советская педагогика" несколько лет проходила дискуссия о критериях качества и эффективности научио-иедагогичоских исследований. Б статьях Ю.К. Ба-' банского, f.ti. Волкова, Ы.А. Данилова, В.11. Журашюпа, В.В, Кра-
евского,. М.Н. Скаткина, Т.И. Шамовой, Г.И. Щукиной и других высказаны ценные теоретические и практические соображения по отдельным' аспектам этой проблемы1.
В последние годы интерес к разработке критериев качества НИР заметно усилился. Февральский (1988 г.) Пленум ЦК КПСС дал принципиальную оценку состояния дел в народном образовании и педагогической науке, наметил комплекс мероприятий, направленных на повышение качества обучения и воспитания молодежи. Признано необходимым повысить ответственность Академии педагогических наук в научном обеспечении перестройки народного образования, а также коренным образом улучшить научно-исследовательскую деятельность.
Анализ состояния научной разработки данной проблемы а также практики оценки качества педагогических исследований показал, что наряду о определенными уопехами'в решении отдельных вопросов в целом достигнутый уровень нельзя считать удовлетворительным. До сих пор отсутствует единый теоретический подход к разработке критериев, к методам определения качества педагогических исследований. Не раскрыты методологические условия, принципы оценки работ, понятийно-терминологический аппарат. Для оценки качества НИР в институтах АПН применяют более двух десятков критериев. Даже в диссертационных работах, где требования к описанию полученных результатов наиболее жестки, по-разному понимаются такие важнейшие критерии, как новизна, актуальность, теоретическая и практическая значимость и др.
При описании новизны результатов исследования нередко говорится о важности темы для науки и практики, о том, что она до сих пор не рассматривалась. Но эти обстоятельства не характеризуют результат исследования, а скорее относятся к обоснованию темы. Другой весьма распространенный недостаток при формулировке нрвизны - повторение уже известных положений, которые давно взяты на вооружение педагогической наукой, доказательство уже доказанного. Наряду о прямым дублированием известных теоретических и практических положений для педагогических исследований характерно получение известных результатов, но формулировка их - в новой терминологии.
В большинстве работ содержится лишь краткая аннотация псо-
ГПм'.'ПЗов. педагогика. - 1978, И II; 1979, lt> 3. № 6, й 10,
№ II; 1981, Г» I, 1Ь 9; 1982, № 2, 11 5, К 9.
деланного. Не случайно в этой связи в одном из докладов ВАК СССР подчеркивалось, что определение новизны в диссертациях "оказывается окутанным полнейшим туманом. Вместо ясного изложения тех . новых научных положений, теоретических выводов, которые разработал соискатель, приходится иметь дело с какими-то намеками и голословными обещаниями" / J, о. 38 /.
Недостатки, имеющие место при описании работ самими авторами,характерны и для экспертных советов, .которые оценивают эти публикации. Если судить по заключениям экспертных советов, то за последние годы появились сотни новых направлений, решены тысячи крупных и актуальных проблем. Теоретически при таких темпах все вопросы должны быть уже решены, однако на практике тематика исследований обновляется медленно, одни и те же проблемы разрабатываются многие годы и без должного аффекта.'
Спорные вопросы возникают и при оценке актуальности научно-педагогических исследований, аргументах, которыми пользуются авторы при обосновании актуальности темы. Как правило, при выборе темы ссылаются на социальный заказ, практическую значимость предлагаемых решений, слабую разработку проблемы в науке. Эти аргу-> менты нередко рассматриваются сами по себе, формально, без'тщательного анализа причин и условий, определяющих необходимость постановки темы. Нет четких критериев и методов, на основе которых можно было бы однозначно решить вопрос об актуальности темы.
Для оценки качества научно-педагогических исследований необходимо также выяснить, что представляют собой теоретическая и практическая значимость, номенклатура их составляющих характеристик и показателей. Неразработанность.этого вопроса приводит н тому, что в большинстве публикаций теоретическая значимость не раскрывается, а декларируется, идентифицируется с новизной. Типичная формулировка этого критерия --перечисление задач, которые удалось решить автору. Какие изменения могут произойти под влиянием полученных результатов, в чем состоит значение теоретических выводов для'развития науки - об этом остаемся лишь догадываться.
Относительно лучше других представлен в исследованиях кри-
I Бюллетень Высшей аттестацио.шой комиссии при Совете Министров СССР. - М., 1079. - № 4. - 64 с.
терий практической значимости. Однако и он нередко раскрывается в самых общих чертах неконкретно, с помощью ограниченного набора признаков, что отрицательно сказывается на научной достоверности предлагаемых рекомендаций, внедрении их в практику.
Педагогические исследования отличаются по своим целям, задачам, характеру полученных результатов. Для оценки качества необходимо четко представить их классификацию. Вместе с тем на практике мы сталкиваемся с неразработанностью типологии исследований.
За рубежом вопросы, связанные с оценкой качества педагогических исследований и методологией научных работ, рассматривали Г. Бижков (НРБ), 3. Забровски (ПНР), X. Леманн (ГДР), Д, Бер-штехер (ФРГ), В. Виерсма (США), Г. Миаларе (Франция) и др. В публикациях исследователей социалистических- стран развиваются подходы, близкие к позициям советских ученых. Для представителей западноевропейских стран и США характерна тенденция оценивать качество научных исследований преимущественно с помощью количественных, наукометрических методов: подсчета числа публикаций, ссылок, символов, терминов, частоты соавторства, научных открытий и т.д. Инструментальный подход преобладает над общетеоретическим, содержательно качественный аспект оценки результатов педагогических исследований остается в тени. Вместе с тем зарубежный опыт представляет интерес для решения вопросов, касающихся классификации исследований, выбора критериев их оценки, разработки экспертных систем для определения актуальности и новизны выполненных работ.
Недостатки теоретической разработки проблемы, отсутствие единых требований к описанию качества педагогических исследований отрицательно сказываются на развитии науки и практики. Специалисты не всегда могут -проанализировать полученную информацию, извлечь из нее новые знания и включить их в общенаучный фонд.
Таким образом, внаучном плане возникает проблема разработки концепциЕ оценки качества педагогических исследований с единых теоретико-методологических позиций, обоснования выбора критериев, с помощью которых мояно оценить результаты исследований, а в практическом плане.- поиск конкретных показателей и методов, позволяющих обнаружить эти качества.
Объект исследования; - оценка качества завершенных научно-педагогических исследований.
ІІДРГМе" рссле.і'ованкя - критерии сцепки качества результа-
тов научно-педагогических исследований.
Цель исследования - теоретическое обоснование и разработка критериев и методов оценки качества научно-педагогических исследований.
Гипотеза исследования - оценка качества педагогических исследований может быть осуществлена при условии последовательного преобразования общенаучных требований к качеству результатов в типовые и конкретно-научные, отражающие специфику различных типов педагогических исследований (фундаментальные, прикладные, разработки) и конкретных областей науки (дидактика, теория воспитания, школоведение, история .педагогики, дефектология и т.д.).
Критерии качества результатов педагогических исследований могут быть адекватно оценены в том случав, если они будут однозначно определены, конструктивно описаны, отражать содержательную и ценностную стороны полученных выводов и рекомендаций.
Оценка качества результатов научно-педагогических исследований возможна при условии выделения единых критериев, фиксации их в виде образцов или эталонов, отражающих данные качества, анализа и описания с единых методологических позиций результатов конкретных исследований, сравнения полученных результатов и базовых вариантов на основе единой классификации НИР и требований к оценке качества завершенных научных педагогических исследований.
В соответствии с предметом, целью и гипотезой исследования потребовалось решить следующие задачи:
определить методологические требования к разработке критериального аппарата для оценки качества педагогических исследований ;
раскрыть функцию и структуру процесса оценки качества педагогических исследований, выделить его основные компоненты и этапы;
определить требования к описанию результатов педагогических исследований;
- разработать классификацию педагогических исследований нз основе выделения их конструктивных признаков;
обосновать систему критериев для оценки качестэз результатов фундаментальных, прикладных педагогических исакедоЕаїшй и разработок;
разработать методы определения новизны, актуальности, теоретической и практической значимости.
Для решения поставленных задач, кроме того, потребовалось уточнить понятийно-терминологический аппарат исследования: понятия "эффективность педагогического исследования", "качество педагогического исследования", "критерии качества" и др.
Методы исследования. Исследование носит теоретический характер, опирается на экспериментальную проверку полученных выводов, а также практику работы экспертных групп.
Методологическая основа исследования определяется принципами диалектического материализма и развиваемого на их основе подходами к анализу качества как категории тесно связанной с общественной ценностью продукта науки. К. Маркс применительно к экономике указывал на ато единство, связав в первую очередь понятие качества с содержанием потребительной стоимости. "Как потребительные стоимости товары различаются прежде всего качественно..." /I, с.46/. Это методологическое положение К.Маркса общепринято и для оценки научной продукции. Для оценки продукта науки, как и всякой потребительной стоимости, прибегают к анализу качества, наиболее важных с точки зрения пользователей характеристик и показателей, определяющих общественную значимость исследования.
В работе применялись методы теоретического анализа: восхождение от абстрактного к конкретному, моделирование и аналогия; изучение литературы по вопросам качества исследований, анкетирование, выборочное экспериментирование, экспертный метод. "-''
Эмпирической базой исследования был массив авторефератов кандидатских и докторских диссертаций по теории и истории педагогики, методике преподавания (350 работ), а также отдельные монографии и книги. Для анализа научных документов, поиска и обработки-необходимой информации применялась автоматизированная система научно-педагогической информации, рубрикатор "Народное образование. Педагогика. Работа включала ряд конста-
-
Маркс К., Энгельс Ф. Соч. Т. 23.
-
База данных включала более 15 тыс. документов (научные отчеты и диссертации, выполненные с 1981 по 1988 гг.). Рубрикатор "Народное образование. Педагогика". Регистрационный номер 770.85.
тирующих и формирующих экспериментов по обучению различных груші начинающих и более опытных исследователей способам ана- лиза и оценке качества НИР на основе разработанного критериального аппарата.
В констатирующем (диагностирующем) эксперименте обучаемые (студенты, аспиранты, научные сотрудники, преподаватели кафедр педагогики) должны были определить критерии по их описанию в текстах авторефератов, назвать и уметь выделить в конкретных исследованиях признаки и показатели новизны, актуальности, теоретической и практической значимости, описать результаты собственной исследовательской деятельности.
Формирующий эксперимент включал семинарские занятия, Групповые и индивидуальные консультации по обучению методике анализа и оценке качества завершенных педагогических исследований.
Сравнение результатов констатирующего и обучающего экспериментов показало значительный прогресс в обучении всех групп. До обучения научные сотрудники пользовались разными мерками и критериями для оценки качества НИР. Процесс оценки проходил стихийно на основе субъективных представлений и норм. Посла обучения картина существенно изменилась. В разных группах от 70 до 90$ слушателей могли однозначно выделить и оценить полученный результат. Повысилась методологическая рефлексия сотрудников, улучшилось их умение осмыслить и оценить собственную исследовательскую деятельность или научную работу других в соответствии с принятыми характеристиками и критериями качества, а также их прогностические способности. При выборе и. обосновании темы научные сотрудники смогли более четко определить вопросы, на которые они должны ответить, при постановке .целей и задач исследования, формулировке гипотезы - отчетливо предай-. деть, какие теоретические выводы, методические предложения и конкретные рекомендации они получат в итоге, как эти выводы должны, быть описаны и представлены в работе.
Основные положения, выносимые на защиту
'1. Качество педагогического исследования характеризует совокупность теоретических и практических положений, полученных в результате исследования, обусловливающих их применение в научной и практической педагогической деятельности различными категориями пользователей (научные сотрудники, учителя, ру-
-"В -
ководители и организаторы народного образования и т.д.). Оно детерминируется новизной, актуальностью, теоретической ж практической значимостью полученных в исследовании результатов.
-
Оценка качества-педагогических исследований есть систематический процесс сравнения полученных результатов конкретного исследования с уже известными и зафиксированными по данному вопросу представленими о новизне, актуальности, теоретической и практической значимости. Необходимое условие оценки качества -установление фактического уровня результатов конкретной работы; сравнение и оценка планируемых и фактических результатов по единым критериям.
-
Основной единицей анализа качества педагогического исследования является его результат (продукт) - совокупность теоретических положений и практических рекомендаций, полученных в исследовании. Этот результат должен быть представлен таким образом, чтобы он мог быть использован в научной и практической педагогической деятельности различными категориями пользователей. Результаты педагогических исследований для оценки их качества должны быть раскрыты с содержательной и внутренне связанной с ней аксиологической, (ценностной) стороны. Содержательную сторону результата характеризует критерий новизны. Ценностную сторону - критерии теоретической и практической значимости, актуальности. Теоретическая и практическая значимость характеризует реальную ценность полученных результатов, актуальность - потенциальную, которая может быть выявлена после завершения работы.
-
В основу оценки качества педагогических исследований целесообразно положить дифференцированный подход, в соответствии с которым результаты исследования оцениваются в зависимости от' области педагогики и типа работы с помощью общенаучных, типовых и конкретно-научных критериев, преобразующих общенаучные нормативные требования в конкретно-специфические для отдельных отраслей и областей педагогики.
-
Критерии качества результатов педагогических исследований должны быть семантически однозначными, одинаково пониматься как самими разработчиками, так и экспертами, оцениваю- . щими эти работы; предметно соотнесены с типом исследования и его этапами; конструктивно раскрыты, представлены в виде стандартизованного описания, отражающего как сами качества, так и
обхо
степень их выражения. Для оценки качества следует выбирать цедимые и достаточные признаки, которые находят практическое применение с помощью минимального числа критериев.
' 6. Основными типовыми критериями качества результатов фундаментального педагогического исследования являются его теоретическая значимость, влияние, которое оказывают его выводы на развитие теории, указывающие направления научного поиска, открывающие перспективы для прикладных исследований. Критерий теоретической значимости - комплексный. Он включает новизну, концептуальность и доказательность, перспективность. По своему влиянию на теорию можно выделить общепедагогический, дисциплинарный, общепроблемный и частнопроблемный уровни значимости.
-
Основными.типовыми критериями качества результатов прикладного.педагогического исследования являются его практическая значимость, влияние, которое оказывают его выводы на учебно-воспитательный процесс, деятельность учителей, учащихся, решение практических задач. Прикладные исследования не ограничиваются рекомендациями, но в известной мере вносят вклад в разработку теории. Это качество оценивается с помощью новизны и научной значимости. Практическая- значимость результатов прикладных педагогических исследований зависит от числа пользователей, предполагаемого социального и экономического эффекта от внедрения полученных результатов в практику, масштаба их использования, актуальности. Она имеет частнометодический, методический, общедидактический (отраслевой) уровни значимости.
-
Основными типовыми критериями качества результатов разработок являются - актуальность (на стадии планирования), новизна, практическая'значимость предлагаемых рекомендаций, эффективность (на стадии внедрения).Практическая значимость разработок зависит от числа и состава пользователей, заинтересованных в применении.нормативных материалов, масштаба и готовности результатов к внедрению, социально-экономической эффективности. На этапе внедрения качество разработок оценивается -по уровню и прочности полученных знаний, времени, затраченному на обучение.
-
Методы определения актуальности, новизны,1 теоретической и практической значимости результатов педагогических исследований шлеют ряд общих этапов: разработка базового варианта (эталона) образца для сравнения; анализ и описание результатов конкретного исследования с единых методологических позиций; срав-
-ІО-
нение полученных результатов с образцом. Окончательная оценка степени актуальности, новизны, теоретической и практической значимости результатов исследования устанавливается на основа-вании сравнения обобщенной экспертной оценки результатов конкретной работы и базового варианта, предварительно разработанного экспертами.
Новизна результатов исследования
Разработана концепция- оценки качества научно-педагогических исследований на основе выделения результатов работы, их описания с позиции новизны і актуальности, теоретической и практической значимости, выбора единых признаков, характеризующих качество педагогических исследований и их конструктивного представления; разработки базовых вариантов качества для различных типов исследований и их после дующих сравнений с анализируемой конкретной работой.
\; Предложен дифференцированный подход к оценке качества научно-педагогических исследований в зависимости от.типа работы и области, в которой она проводится. Для оценки качества выделены общенаучные, типовые и конкретно-научные критерии, отражающие требования к качеству исследований на разных уровнях.
Определены методологические требования к критериям качества научно-дедагогических исследований: семантическая и предметная однозначность, конструктивность, идентифицируемость, адекватность этапу контроля, минимизация -числа критериев, необходимость и достаточность признаков.
Дано определение критерия актуальности для разных типов научно-педагогических исследований как характеристики потенциальной ценности результата исследования, раскрыта номенклатура его признаков и показателей, показаны его специфика и отличие от других критериев (указашю потенциальной ценности результатов исследования, ограничение во времени, прогностический характер выводов, взаимосвязь с социальным заказом, уровнем развития науки и практики).
Дано определение критерия новизны как характеристики содержательной стороны результатов исследования, отражающей общественно новые знания в области народного образоваїшя и педагогики, раскрыта номенклатура его признаков (теоретические и практические положения, рекомендации), показана его'специфика (раскрытие содер:~лтельк6й стороны результата), сформулированы тро-
- II -
бования к описанию результатов исследования с точки зрения новизны (указание вида полученных знаний, содержательная характеристика результата, уровня новизны и места полученных знаний в ряду известных), выделены уровни новизны (конкретизация, дополнение, преобразование) и даны их характеристики и примеры.
Дано определение критерия теоретической значимости как характеристики ценностной стороны результатов исследования, раскрывающей влияние полученных результатов на развитие теории педагогики; выделены Признаки теоретической значимости для разных типов педагогических'исследований (новизна, концептуаль-ность и доказательность, перспективность); сформулированы уровни теоретической значимости (общепедагогический, дисциплинарный, методический, частнометодический).
Дано определение критерия практической значимости как ха^-рактеристики действительной ценности результатов исследования, отрааіающей влияние полученных результатов на дальнейшее развитие практики; выделена номенклатура его признаков и показателей (указание пользователей, готовности результатов исследования к внедрению и масштаба, экономической и социальной эффективности, уровня практической значимости); сформулированы уровни практической значимости (частнометодический, методический, отраслевой (общедидактйческий).
Разработаны методы определения новизны результатов научно-педагогических исследований.
Метод антиципации (предвосхищения) состоит в сравнении ответов экспертов на вопросы, поставленные в исследовании, и результатов, полученных в работе.
Метод эталонного сравнения состоит в разработке.эталона (имеющихся К данному моменту теоретических положений и практических рекомендаций в данной области) и сравнении его с результатами анализируемой работы.
Метод определения новизны с помощью ЭВМ включает поиск документа (диссертация, научный отчет), в котором с наибольшей вероятностью могут быть аналогичные с искомой работой выводы.
Разработаны методы определения актуальности тематики научно-педагогических исследований на основе сравнения базового варианта, в котором в вице фасетов представлены признаки и по-
казатели актуальности, и обоснования актуальности конкретной работы.
Разработаны методы определения теоретической значимости результатов научно-педагогических исследований на основе сравнения признаков и показателей базового (эталонного) варианта, в котором зафиксированы признаки теоретической значимости, с результатами конкретной работы.
Разработаны методы определения практической значимости результатов научно-педагогических исследований на основе сравнения базового варианта, в котором зафиксированы признаки и показатели практической значимости с признаками и показателями практической значимости конкретной работы.
Разработана классификация научно-педагогических исследований. Выделены основные фасеты (задачи исследования, результаты исследования, адрес пользователя, вид документа), с помощью которых описывается любая работа. Тип исследования устанавливается на основе сравнения фасетной формулы анализируемой работы с типовой, в которой обозначены признаки различных типов педагогических исследований.
Теоретическая значимость результатов исследования состоит в разработке единой концептуальной основы для оценки качества -научно-педагогических исследований, выбора критериев,и методов с единых методологических позиций. Результаты исследования дополняют существующие теоретические представления в области методологии педагогической науки, открывают перспективы для прикладных исследований, связанных с разработкой критериев оценки качества в отдельных направлениях и областях педагогики.
Даны- ориентиры научным сотрудникам и экспертам для' понимания и методологического осмысления собственной исследовательской деятельности или научной работы других в'соответствии с некоторыми характеристиками й критериями, отражающими взаимосвязь между типом исследования и его результатом.
Теоретическая значимость работы заключается в возможности широкого переноса ее выводов для решения педагогических задач, связанных с разработкой различного рода классификаций, описываемых с помощью множества признаков.
Разработанная классификация результатов педагогических исследований, формулировка единых требований к их описанию с точки зрения новизщі дадут возможность включить полученные знания
\ -І3- .
в теорию, систематизировать их, установить их место и преемственность, развивать и дополнять педагогическую науку.
Практическая значимость результатов исследования. Работа предназначена для научных сотрудников, руководителей и организаторов педагогической науки, экспертов, занимающихся вопросами планирования, управления .и оценкой научных исследований, внедрением полученных результатов в практику. Результаты исследования могут быть использованы для: определения актуальности тематики исследований с учетом интересов, не только исполнителей, но и более широкого круга лиц, а также перспектив развития народного образования; организации педагогических исследований на основе выделения разных типов работ; отбора исследований для их внедрения в практику на базе анализа и выбора наиболее ценных результатов; совершенствования системы научно-педагогической информации за счет аналитико-синтетическои обработки первичных источников; систематизации результатов педагогических исследований и введения их в общенаучный фонд; совершенствования учета и оценки труда научных сотрудников, лабораторий и институтов.
Апробация исследования и внедрение его результатов в практику проходили путем теоретической и экспериментальной проварки. содержащихся в работе и изложенных в публикациях автора выводов и рекомендаций. Результаты исследования докладывались на Всесоюзных и республиканских семинарах, конференции в НИИ ОП АЇЇН СССР, заседании Совета экспертов стран-членов СЭВ по разработке Международной информационной системы по педагогике и образованию (ЧССР, 1986), в ГДР(1985), в МНР(1987). По проблеме исследования автор проводил лекционные и семинарские занятия в Институте повышения квалификации АПН СССР, в МШИ им. В.И. Ленина для студентов ІУ-У курсов факультета педагогов-исследователей, аспирантов. Результаты исследования нашли отражение в авторской монографии "Оценка качества научно-педагогических исследований" М.: Педагогика, 1987); серии публикаций в журналах "Советская педагогика", "Новые исследования в педагогических науках" и.др.; публикациях за Рубеком - в ГДР, НРБ, МНР, а также переводах статей автора в ГДР, СРВ, КНР, ЧССР, "США; вошли в списки рекомендуемой литературы программы спецкурса и семинара "Методология педагогического исследования" для педагогических вузов.
Критерии качества и эффективности педагогических исследо-' ваний одобрены Отделением истории и теории педагогики АПН СССР,
рекомендованы управлением учебных заведений Министерства просвещения СССР для преподавателей педагогических дисциплин в педагогических институтах и университетах, используются в НИИ АПН СССР и НИИ педагогики союзных республик'.
Диссертация состоит из введения, четырех глав, заключения
и библиографии. _ . і
Бо введении даются: анализ современного состояния проблемы исследования, обоснование темы, формулируются цели и задачи работы, гипотеза, логика, методы исследования.
