Содержание к диссертации
Введение
ГЛАВА 1. Теоретические основы применения квалиметрических методов в педагогической диагностике 21
1.1. Современное состояние педагогической диагностики 21
1.2. Основные процедуры педагогического диагностирования и возможности повышения их объективности
1.3. Квалиметрическая модель универсальной диагностической процедуры 62
Выводы по первой главе 87
ГЛАВА 2. Технология квалиметрического анкетирования 93
2.1. Разработка квалиметрической анкеты 93
2.2. Конкордация суждений экспертной группы 120
2.3. Влияние состава экспертной группы на объективность результатов квалиметрического анкетирования 125
Выводы по второй главе 136
Заключение.
Выводы.
Практические рекомендации.
Перспективы 139
Литература 143
Приложения 152
- Современное состояние педагогической диагностики
- Основные процедуры педагогического диагностирования и возможности повышения их объективности
- Квалиметрическая модель универсальной диагностической процедуры
- Влияние состава экспертной группы на объективность результатов квалиметрического анкетирования
Введение к работе
Актуальность исследования.
В современных условиях развития отечественного образования заметно возросла роль педагогического диагностирования как важнейшего фактора обеспечения эффективности процесса обучения. Широкое внедрение в образовательную практику диагностических процедур объясняется использованием квалиметрических методов, позволяющих повысить точность педагогического анализа. Недавно созданная общероссийская система оценки качества образования (ОСОКО), включающая в себя разветвленную сеть региональных моделей (РСОКО), предполагает продолжение эксперимента по внедрению технологии единого государственного экзамена на различных уровнях общего образования, систематическое участие в международных исследованиях гуманитарной, математической, естественнонаучной грамотности учащихся (PISA, TIMSS) [29, 30, 31], а также создание систем оценки качества образования в учреждениях различного профиля [66].
В контексте основных направлений модернизации отечественного образования востребованы квалиметрические методы педагогической диагностики. В рамках конкурсного отбора образовательных учреждений и учителей по национальному проекту «Образование» широко используется рейтинговая оценка критериальных показателей. Аналогическая процедура используется в процессе экспертного оценивания инновационных образовательных проектов. Квалимет-рический анализ диагностических процедур открывает широкие перспективы сопоставления качества отечественного образования с общепризнанными мировыми стандартами.
Используя современные диагностические методики, можно существенно увеличить объективность результатов мониторинговых исследований, что существенно скажется на качестве образования. Перспективы внедрения в педа-
гогическую практику теории образовательной квалиметрии непосредственно связаны с совершенствованием методологической базы научно-педагогических исследований, так как объективная диагностика состояния образовательной среды позволяет проводить экспериментальные исследования, гарантирующие достоверность получаемых результатов. Современная школа остро нуждается в продуктивных образовательных технологиях, позволяющих достигать заранее запланированных результатов с необходимой степенью надежности.
Комплексное решение задач педагогического диагностирования требует совершенствования системы профессиональной переподготовки и повышения квалификации работников образования. В программы дополнительного профессионального педагогического образования активно включаются разделы, связанные с изучением теоретических основ дидактической тестологии и образовательной квалиметрии [81]. Руководители образовательных учреждений не только требуют от преподавателей оснащения рабочих программ дидактическими тестами, но и систематическое отслеживание состояния процесса обучения посредством мониторинговых исследований [38]. Кроме педагогических измерителей входного, рубежного и итогового контроля мониторинг процесса обучения предполагает активное использование критериально ориентированных тестов, а также средств диагностирования состояния образовательной среды (опросники, анкеты, экспертные бланки и т.п.).
Вопрос о соответствии уровня компетентности педагогических кадров требованиях квалификационных характеристик в современной школе стоит достаточно остро. Наибольшие затруднения в системе повышения квалификации работников образования вызывает именно диагностический и квалиметри-ческий компоненты педагогической науки. Необходимость оптимизации процесса обучения с помощью качественных педагогических измерителей затронула не только сферу предметного тестирования, но и состояния образовательной среды в целом. Для этой цели приходится применять наиболее тонкие диагностические процедуры, разработанные на стыке психологии и педагогики,
которые вобрали в себя все наиболее ценные методы измерения латентных характеристик исследуемых объектов.
Используя педагогические опросы, анкетирования и экспертизы, можно оценить степень доступности качественного образования, выявить отношение членов местного сообщества к данному образовательному учреждению, определить уровень обеспечения безопасности процесса обучения и эффективность использования здоровьесберегающих технологий. Кроме того, процедуры педагогического диагностирования используются при осуществлении экспертной оценки образовательных программ, инновационных проектов, программ развития, а также результатов работы отдельных преподавателей и учреждения в целом. Все эти диагностические процедуры должны быть подвергнуты квалимет-рическому анализу, позволяющему обеспечить их объективность и соответствие действующим образовательным стандартам.
Диагностические процедуры способны охватить все составляющие образовательной среды, выявив степень выраженности критериальных показателей с помощью процентных соотношений или рейтинговых баллов. Наиболее совершенные диагностические средства носят экспертный характер и нуждаются в отборе респондентов для организации процедуры оценивания состояния образовательного процесса. Именно эта направленность современной педагогической диагностики определяет востребованность квалиметрических методов, позволяющих обеспечить отбор квалифицированных специалистов и согласовать их индивидуальные суждения по поводу предмета исследования.
Педагогическая диагностика оперирует преимущественно качественными оценками критериальных показателей исследуемого объекта. Даже количественные характеристики, полученные в результате применения педагогических измерителей, в рамках педагогической диагностики приобретают содержательную форму представления. Современное определение сущности педагогической диагностики можно сформулировать так: процесс установления и изучения признаков, характеризующих состояние различных элементов педагогиче-
ской системы и условий ее функционирования для прогнозирования возможных тенденций развития, отклонений, предотвращения мерами педагогической коррекции нежелательных тенденций и стимулирования позитивных элементов развития (личности, группы, педагогических явлений) [45]. В качестве альтернативного определения педагогической диагностики можно рассматривать следующее утверждение: «Относительно самостоятельная отрасль педагогического знания, отражающая теорию и практику педагогического диагностирования и выступающая в структуре педагогики как сервисная, вспомогательная дисциплина (аналогично педагогической прогностике, педагогической этике)» [46].
Качественный характер педагогической диагностики определяет ее ценность в процессе содержательной характеристики состояния образовательного процесса. Формулируя заключения, сделанные по заранее определенным критериям, диагност способен охватить практически все аспекты исследуемого объекта. При этом возникает затруднение в количественной оценке целостного состояния образовательного процесса, а также оценке отдельных компонентов. Измерения латентных характеристик не могут быть осуществлены в рамках педагогической диагностики.
Первоосновой педагогической диагностики является психологическое тестирование [6]. До сих пор в мониторинговых исследованиях, связанных с совершенствованием структуры и содержания общего образования, широко используются опросники, построенные на основе классической методики Г.Айзенка [57], а также педагогические анкеты, результаты применения которых подвергаются статистической обработке. Это позволяет организовать солидный педагогический эксперимент, оперирующий такими понятиями, как «точность», «статистическая значимость», «ошибки измерений», «доверительная вероятность» и т.п.
Отличительной особенностью психологических опросников является использование индикаторных методик, позволяющих установить степень ситуативное суждений респондентов. В рамках педагогической диагностики pea-
лизовать данные методики, основанные на сиюминутности ответов на провоцирующие вопросы, невозможно, так как диагностирование образовательного процесса предполагает обдумывание предмета исследования. Не решает эту проблему и статистическая обработка результатов анкетирования, основанная на необходимости получения совокупно суждения группы респондентов, а не личностных характеристик индивида как в случае психологического тестирования. Дело в том, что среднестатистический результат зависит от состава и внутренней установки опрашиваемой совокупности респондентов.
Методы математической статистики стали неотъемлемым элементов диагностики, начиная с пионерских работ Ф.Гальтона [104]. Справедливо и обратное утверждение: совершенствование статистических методов привело к возникновению наиболее эффективных способов содержательного анализа рассматриваемых объектов. Характерным примером столь продуктивного взаимодействия является факторный анализ Ч.Спирмена [ПО] созданный на основе теории корреляции К.Пирсона [107].
Совершенствуя корреляционный метод Ф.Гальтона, его ученик К.Пирсон сумел вывести математически корректную формулу подсчета степени соответствия двух множеств, представляющих собою индивидуальные отклонения от среднестатистических значений. В результате появилась возможность количественной оценки согласованности тех или иных факторов влияния на предмет исследования. Например, с помощью факторного анализа Ч.Спирмена было выявлено, что наиболее существенными факторами влияния на интеллект испытуемого являются логическое, вербальное, математической мышление, а также объемное представление рассматриваемых объектов.
Наиболее совершенной процедурой педагогического диагностирования является педагогическая экспертиза, органично использующая современные квалиметрические методики. Основоположником экспертного метода в нашей стране является В.С.Черепанов [95]. В применении к вопросам педагогической диагностики проблемы экспертизы образовательных программ, возникающие
при разработке дидактических тестов, были проанализированы в докторской диссертации Е.А.Михайлычева [45]. Данное направление экспериментальных педагогических исследований получило развитие в работах Н.А.Кулемина по управлению общеобразовательным учреждением на основе квалиметрического подхода [34] и С.А.Сафонцева по технологии стандартизации дидактических тестов [67]. Наиболее интересные работы, связанные с организацией педагогической экспертизы в условиях автоматизации контроля знаний учащихся, опубликованы И.Д.Рудинским [63, 64, 65]. В них поднимаются актуальные вопросы согласованности суждений участников экспертной группы и их профессиональной компетентности.
Перечисленные направления развития экспертного метода были использования при разработке универсальной диагностической процедуры. С помощью метода корреляционных вопросов [72], фактически, осуществляется стандартизация педагогического измерителя, что позволяет с его помощью присваивать статус эксперта. Особую роль в квалиметрическом анкетировании играет конкордация суждений экспертной группы с целью согласования индивидуальных эталонов исследуемого объекта отдельных экспертов.
Проведение исследований в области совершенствования диагностических процедур потребовало использования широкой методологической базы. Системам управления качеством процесса обучения посвящено множество научных исследований [Бабанский Ю.К., 1977; Бермус А.Г., 2003; Гороховатская Н.В., 1998; Ефремова Н.Ф., 2003; Кошелева Е.А., 1992; Монахов В.М., 1995; Талызина Н.Ф., 1975 и др.]. При этом особое внимание всегда уделялось проблемам педагогической диагностики [Аванесов B.C., 1994; Гершунский Б.С., 1986; Ин-генкамп К., 1991; Майоров А.Н., 2000 и др.]. Поскольку вопрос о критериях, индикаторах, показателях и способах измерения в педагогической науке всегда стоял достаточно остро, следует подчеркнуть высокую значимость целого ряда современных квалиметрических теорий [Акинфиева Н.В., 1998; Нейман Ю.М., 2000; Сафонцев С.А., 2005; Субетто А.И., 1999; Татур Ю.Г., 1998; Челышкова
М.Б., 2001; Яковлев Е.В., 1998 и др.]. Методы образовательной квалиметрии, позволяющие количественно оценить степень соответствия исследуемого объекта требованиям существующих стандартов, активно проникают в содержательный анализ результатов диагностических процедур, обеспечивая эмпирическую составляющую педагогической науки.
Создание универсальной диагностической процедуры, позволяющей повысить объективность педагогического эксперимента, базировалось на теории образовательной квалиметрии С.А.Сафонцева, которая основывается на методологии современной натуральной философии, выраженной в принципах инвариантности и дискретности, утверждающих, что процесс обучения не зависит от точки зрения диагноста, а педагогическое действие включает в себя целое число структурных элементов [76]. Следствиями этих принципов является особая роль независимого диагноста, не являющегося специалистом в данной области знаний и владеющего основами образовательной квалиметрии, а также передача информации на всех этапах усвоения структурных элементов образовательной программы с наибольшей допустимой скоростью.
Поскольку квалиметрические теории уделяют особое внимание оценке качества результатов обучения, существует особое ответвление педагогической диагностики, предметом исследования которой является использование предметных тестов, а также способы обеспечения надежности и валидности педагогических измерителей. При этом дидактическую тестологию можно рассматривать как специфическую теорию среднего ранга [48]. В нашем исследовании данное направление педагогической науки было оставлено в стороне, так как дидактическим тестам посвящено множество работ как в области педагогической диагностики, так и образовательной квалиметрии. Нас, прежде всего, интересовало состояние образовательной среды как интегральное понятие, выражающее воспитательный аспект образовательного процесса, эффективность использования педагогических технологий, доступность качественного образова-
ния, а также методы управления образовательным учреждением и обеспечения безопасности учащихся.
Большим недостатком существующих теорий контроля качества образовательного процесса является отсутствие должного внимания к отдельным составляющим образовательной среды и ее совершенствованию в целом. Несмотря на то, что именно образовательная среда обеспечивает качественное обучения и воспитание подрастающего поколения. Большое значение для обеспечения эффективности образовательной среды имеет реализация демократических принципов управления образовательным учреждением, а также способы выявления мнений членов местного сообщества относительно деятельности педагогического коллектива. В условиях традиционалистского подхода к передаче учащимся знаний, умений и навыков принципиально невозможно осуществить оптимизацию процесса обучения и добиться высокого качества образования.
Рассматривая различные факторы влияния на состояние образовательной среды, каждому из них следует поставить в соответствие критериальные показатели и оценить степень их выраженности. Данная процедура предполагает сравнение исследуемого объекта с определенным эталоном. Поэтому весь спектр диагностических процедур, в том числе и дидактическое тестирование, следует отнести к сфере интересов образовательной квалиметрии.
Только с помощью теории образовательной квалиметрии можно добиться существенного повышения качества диагностических процедур, а значит и совершенствования процесса обучения в целом. Именно поэтому в качестве важнейшей задачи современной образовательной политики рассматривается овладение работниками образования современными диагностическими методиками, позволяющими осуществить всесторонний мониторинг процесса обучения и добиться высокого качества обучения и воспитания.
Актуальность исследования проблемы повышения объективности процедур педагогического диагностирования с помощью квалиметрического анализа основывается на существующих противоречиях между:
уровнем развития дидактической тестологии, который позволяет обеспечить объективную оценку качества обучения, и отсутствием технологий квали-метрического анализа диагностических процедур, оценивающих состояние образовательной среды;
содержательной формулировкой педагогического диагноза и количественным представлением квалиметрических показателей;
оснащением психологических опросников индикаторными методами выявления ситуативных ответов и отсутствием подобных методик в педагогических опросниках, анкетах и экспертных бланках.
Прямым следствием перечисленных противоречий является более высокая точность оценивания результатов обучения в сравнении с эмпирически подтвержденной информацией о состоянии образовательной среды, включающей в себя качество воспитания, использование современных педагогических технологий, доступность качественного образования, стиль управленческой деятельности, отношение местного сообщества к образовательному учреждению, сохранение здоровья и обеспечение безопасности учащихся [3]. С одной стороны, перечисленные составляющие образовательной среды являются факторами влияния на результативность процесса обучения, но, с другой стороны, они выполняют самостоятельные функции при формировании гармонично развитой личности. Разработка технологии квалиметрического анкетирования позволит осуществить объективные педагогические измерения латентных переменных образовательной среды и интегрального показателя эффективности образовательного процесса в целом.
Таким образом, мы попытались разрешить противоречие между отработанными методами дидактической тестологии и несовершенством соответствующих методов педагогической диагностики. Основываясь на теории образовательной квалиметрии и используя аналогичные методологические принципы, а также способы осуществления стандартизации диагностические процедур, удалось получить качественные педагогические измерители для исследования
состояния образовательной среды. Эффективность применения квалиметриче-ских анкет была доказана в ходе полноценного педагогического эксперимента.
Конструктивные истоки анализа процедур педагогического диагностирования заложены в противоречии между содержательной формой представления педагогического диагноза и количественным способом представления квали-метрических показателей. Во-первых, диагностический и квалиметрический подходы взаимно дополняют друг друга, а во-вторых, различные интерпретации эмпирических данных позволяют повысить точность результатов исследования. Педагогический диагноз требует поэлементного анализа составляющих образовательного пространства, позволяющего сопоставить их содержательную значимость. Именно для этой цели количественные показатели, полученные в результате опроса, анкетирования или экспертизы, превращаются в содержательные оценки. В отличие от методологии педагогической диагностики, квалиметрический подход предполагает определение интегрального показателя, характеризующего эффективность образовательного процесса, обеспечивая этим необходимую точность педагогических измерений. Поэтому для квали-метрии характерен перевод содержательных оценок в количественные показатели.
Количественные оценки как отдельных критериальных показателей, так и эффективности образовательного процесса ни в коей мере не отрицают возможность содержательного анализа процесса обучения и состояния образовательной среды. Поэтому образовательная квалиметрия является лишь средством более точного выражения результатов педагогического диагностирования и предоставляет возможность сравнительной оценки деятельности образовательного учреждения или отдельного преподавателя. Именно возможность ранжирования исследуемых объектов позволила нам разработать на основе квалимет-рического анкетирования методику конкурсного отбора школ и учителей для национальной программы «Образование».
Опыт использования психологических методик подтверждает правомерность исключения из рассмотрения ситуативных суждений респондентов, что позволяет получить объективный вывод о личностных характеристиках обследуемого. Процедуры педагогического диагностирования, проводимые с целью получения объективной информации о состоянии образовательной среды, также используют суждения респондентов. Поэтому применение индикаторных методов выявления ситуативных или некомпетентных суждений позволят существенно повысить объективность диагностических процедур. Но при этом не следует забывать о квалиметрическом характере производимых измерений. Диагностическая процедура должна позволять получить количественный интегральный показатель состояния предмета исследования.
Создание встроенной индикаторной методики для квалиметрической анкеты позволило разрешить противоречие между психологическим и педагогическим диагностированием. Оказалось возможным не только установить степень ситуативное суждений респондентов, но и определение их профессиональной квалификации. В результате наиболее компетентным из них присваивался статус экспертов, и осуществлялась процедура согласования суждений группы экспертов с помощью нормировки коэффициентов профессиональной квалификации.
Таким образом, актуальность проведенного исследования определяется необходимостью разработки универсальной диагностической процедуры, позволяющей существенно повысить объективность педагогического эксперимента. Для этой цели следует использовать методологическую и технологическую базу теории образовательной квалиметрии, позволяющей осуществить количественную оценку латентных характеристик предмета исследования путем сравнения с существующими эталонами.
Целью данного исследования является выявление условий существенного увеличения точности и объективности информации, полученной в результате
проведения диагностических процедур (опросов, анкетирований, экспертиз) на основе квалиметрического анализа.
Объектом исследования является педагогическое оценивание качества образования.
Предметом исследования является квалиметрический анализ процедур педагогического диагностирования.
В соответствии с поставленной целью, объектом и предметом исследования выдвигается гипотеза о том, что объективность процедур педагогического диагностирования существенно повышается в результате квалиметрического анализа, который включает в себя:
исследование современного состояния педагогической диагностики с целью выявления возможности применения эффективных количественных методов;
сопоставление принципиальных особенностей педагогических опросов, анкетирований и экспертиз;
создание квалиметрической модели универсальной диагностической процедуры, позволяющей оценивать состояние образовательного процесса;
разработку технологии квалиметрического анкетирования, включающей в себя корреляционный метод определения коэффициентов профессиональной квалификации респондентов и их нормирование с целью оценивания конкордации суждений экспертной группы.
Для реализации цели исследования и проверки гипотезы были поставлены следующие задачи:
освоить источниковедческую базу применения квалиметрических методов в педагогической диагностике;
составить опросник, анкету, экспертный бланк на основе одних и тех же критериальных показателей, а также произвести сравнение данных репрезентации;
используя методологию образовательной квалиметрии, выявить ключевые особенности, которыми должна обладать универсальная диагностическая процедура, позволяющая оценить состояние образовательного процесса;
разработать на основе корреляционного метода квалиметрическую анкету, обеспечивающую формулировку объективного педагогического диагноза и определение интегрального показателя образовательного процесса;
осуществить экспериментальную апробацию технологии квалиметри-ческого анкетирования и сравнить полученные результаты с данными традиционного анкетирования.
Методологическими и теоретическими основами исследования стали следующие работы: современная натуральная философия М.Борна, А.Пуанкаре, Р.Фейнмана и др.; личностно-ориентированное и развивающее образование Е.В.Бондаревской, В.В.Серикова, В.Т.Фоменко и др.; теории структуры и качества образования А.А.Аветисова, Ю.К.Бабанского, А.И.Субетто, Н.Ф.Талызиной и др.; основы психологического тестирования А.Анастази, П.Клайна и др.; теории педагогической диагностики В.С.Аванесова, К.Ингенкампа, Е.А.Михайлычева, Дж.Равена, В.С.Черепанова и др.; теории дидактической тестологии А.Н.Майорова, Е.А.Михайлычева, В.И.Нардюжева, Ю.М.Неймана, М.Б.Челышковой и др.; теории образовательной квалиметрии Л.Б.Ительсона, К.Пирсона, Дж.Раша, С.А.Сафонцева и др.
Концепция исследования основана на принципах инвариантности и дискретности образовательной квалиметрии, а также модели универсальной диагностической процедуры, включающей в себя две теоремы: 1) в процессе педагогического диагностирования независимым респондентом должен быть обретен статус эксперта на основе индикаторной методики, позволяющей определить его профессиональную квалификацию, а также оценить конкордацию суждений группы экспертов; 2) содержательно значимые структурные элементы образовательной среды должны обладать максимально возможной степенью выраженности.
В процессе реализации поставленной цели и решения задач использовались общенаучные и специальные методы теоретического и эмпирического исследования: анализ и синтез основных принципов современной натуральной философии; квалиметрическое моделирование закономерностей образовательного процесса; статистическая обработка результатов диагностических процедур; выявление количественных показателей состояния образовательной среды.
Этапы исследования по разработке универсальной диагностической процедуры для оценивания состояния образовательной среды:
Изучение методов педагогической диагностики и образовательной ква-лиметрии параллельно с преподавательской деятельностью на почасовой основе в Северо-Кавказской академии государственной службы. (2004-2005 гг.)
Проблемно-ориентированный анализ первоисточников с целью выявления особенностей различных диагностических процедур, а также экспериментальное сопоставление результатов опросов, анкетирований и экспертиз. (2005-2006 гг.)
Создание квалиметрической модели универсальной диагностической процедуры и разработка технологии квалиметрического анкетирования. Апробация результатов исследования на репрезентативной выборке слушателей курсов повышения квалификации и применение квалиметрического анкетирования для конкурсного отбора образовательных учреждений и учителей. (2006 г.)
Достоверность и обоснованность основных положений и выводов диссертации обеспечиваются четкой проработанностью методологических и теоретических основ проведенного исследования; внутренней непротиворечивостью и логической обоснованностью рассматриваемых проблем; комплексным характером используемых принципов и методов научного исследования; опорой на широкий круг первоисточников классиков педагогической диагностики и образовательной квалиметрии; совершенством проведенных эмпирических исследований, позволяющих оценить статистическую значимость полученных результатов.
Научная новизна и теоретическая значимость.
Впервые проведен сравнительный анализ методологических основ педагогической диагностики и образовательной квалиметрии. Выявлены характерные особенности процедур педагогического диагностирования. Создана квали-метрическая модель универсальной диагностической процедуры. Доказано, что в качестве универсальной процедуры педагогического диагностирования необходимо рассматривать квалиметрическое анкетирование.
Практическую значимость исследования подтверждают данные экспериментальной апробации технологии квалиметрического анкетирования, в котором приняли участие сотрудники и слушатели курсов повышения квалификации Ростовского областного ИПК и ПРО, а также использование материалов диссертации для разработки методики конкурсного отбора образовательных учреждений и учителей в рамках национального проекта «Образование».
Основанием говорить о теоретической и практической значимости проведенного исследования является апробация результатов на репрезентативной выборке работников образования Ростовской области. В процессе проведения констатирующего эксперимента по сопоставлению характерных особенностей процедур педагогического диагностирования были использованы результаты стратификации показателей состояния образовательного процесса, проведенной с помощью группы экспертов. На основе теории корреляции была определена степень согласованности результатов обследований, проведенных с использованием различных диагностических материалов. Репрезентации опросника и анкеты для конкурсного отбора образовательных учреждений проводились на представительной выборке работников образования объемом 200 человек.
В основу формирующего эксперимента по обоснованию квалиметриче-ской модели универсальной диагностической процедуры была положена методология образовательной квалиметрии, позволившая разработать технологию квалиметрического анкетирования. В процессе формирующего и по данным контрольного экспериментов была доказана высокая точность и статистическая
значимость результатов квалиметрического анкетирования, а, следовательно, непротиворечивость теоретической модели и обоснованность выдвижения гипотезы данного исследования.
Положения, выносимые на защиту:
Основным фактором влияния на объективность диагностических процедур является эффективность индикаторных методик, позволяющих отсеять ситуативные и некомпетентные суждения респондентов. В качестве универсальной диагностической процедуры следует рассматривать квалиметрическое анкетирование, которое включает в себя определение профессиональной квалификации респондентов и конкордации суждений экспертной группы.
В основу технологии квалиметрического анкетирования положена методология образовательной квалиметрии, которая применительно к процедурам педагогического диагностирования приводит к следующим выводам:
поскольку условия реализации образовательного процесса не должны зависеть от точки зрения эксперта, респонденту в процессе диагностирования следует приобрести статус эксперта;
педагогическое действие содержит целое число структурных элементов образовательного процесса, обладающих максимально возможной степенью выраженности.
3. Технология квалиметрического анкетирования качества образователь
ного процесса включает в себя:
отбор критериев и показателей на основе выборочного метода;
начисление респондентами рейтинговых баллов по каждому критериальному показателю;
определение профессиональной квалификации респондентов на основе корреляционного метода и присвоение статуса эксперта;
формулировку педагогического диагноза на основе экспертных суждений;
5) оценку конкордации суждений членов экспертной группы и вычисление интегрального показателя состояния образовательного процесса.
Опытно-экспериментальной базой исследования является Ростовский областной институт повышения квалификации и переподготовки работников образования (РО ИПК и ПРО) с филиалами в городах Волгодонске, Каменске-Шахтинском, Таганроге и Шахтах, а также муниципальные органы управления образованием и методические центры Ростовской области. Результаты исследования используются в работе сотрудников кафедр РО ИПК и ПРО, а также кафедр общей педагогики Таганрогского государственного педагогического института, педагогики и педагогической психологии Ростовского государственного университета.
Обсуждение результатов диссертации было проведено на секционных заседаниях пятой научно-практической конференции «Информационные технологии в образовании» (Ростов-на-Дону, 2005), на шестой научно-практической конференции «Информационные технологи в образовании» (Ростов-на-Дону, 2006), проводившихся в рамках международного конгресса конференций (Москва, 2005, 2006), а также на страницах регионального научно-методического журнала «Практические советы учителю» №4 за 2006 год. По материалам диссертационного исследования опубликована статья в журнале «Стандарты и мониторинг в образовании» № 2 за 2006 год: «Критерии и показатели конкурсного отбора образовательных учреждений», и 2 статьи в журнале «Гуманитарные и социально-экономические науки» №4 и №5 за 2006 год: «Квалиметрический эксперимент в педагогических исследованиях» и «Критерии и показатели конкурсного отбора образовательных учреждений». Опубликована монография по теме диссертации, которая используется в системе дополнительного профессионального педагогического образования.
Структура и объем диссертации. Диссертация состоит из введения; 2-х глав; заключения, включающего основные теоретические и экспериментальные выводы, практические рекомендации и перспективы дальнейшего исследования
проблемы; списка цитируемой литературы из ПО источников, из них 10 на английском языке и приложений. Работа иллюстрирована 24 таблицами.
Современное состояние педагогической диагностики
Педагогическая диагностика является практической областью педагогической науки, позволяющей осуществить постановку диагноза ситуации, сложившейся в образовательном процессе, и определить необходимые коррекци-онные меры по устранению негативных последствий [46]. Основоположником диагностического подхода в педагогических исследованиях можно считать И.Ф.Гербарта, по мнению которого между теоретическим предположением и практической реализацией идеи вклинивается промежуточный элемент, позволяющий оперативно отреагировать на изменение образовательной ситуации [91]. Именно этот элемент является разновидностью процедуры постановки диагноза, которая характерна не только для сферы образования.
Широко известна потребность в диагнозе в медицинской сфере, где правильно выбранная стратегия лечения существенно повышает шанс выздоровления пациента. Используя специально разработанные методы, учитывающие многовековой опыт медицины, врач с помощью специальных инструментов или обычной пальпацией пытается выдвинуть гипотезу о причинах того или иного недуга. Только после возникновения достаточной уверенности в правильности поставленного диагноза можно определить стратегию лечения и назначить необходимые процедуры. При этом не следует забывать о необходимости непрерывно контролировать объективные показатели состояния пациента.
Аналогичная ситуация наблюдается в экономической сфере, где необходимо осуществлять меры, адекватные ситуации, сложившейся на рынке. В случае принятия волюнтаристских решений последствия для экономики страны могут оказаться трагическими. Поэтому информация, необходимая для постановки экономического диагноза, черпается из разнообразных банковских, биржевых, правительственных источников, а также используются данные социологических опросов, В результате перед аналитиком предстает достаточно ясная картина ситуации, сложившаяся в той или иной сфере экономики. Только после этого можно предпринимать какие-либо действия, осуществляя мониторинг последующего развития экономических процессов,
В промышленной сфере диагностика необходима в силу технологического характера современного производства, так как изготовление изделия ремесленником вряд ли можно назвать диагностической процедурой, несмотря на то, что каждый отдельный образец позволяет постепенно приблизиться к желаемому эталону. Если же поставлена задача уверенного достижения заранее запланированного результата, невозможно обойтись без надежного способа диагностики состояния средств производства, сырья и других исходных материалов. Научная оснащенность и профессионализм персонала является гарантией производства качественного конкурентно способного продукта.
Необходимость применения диагностических процедур символизирует принципиально новый этап, связанный с достижением методологического уровня развитой научной дисциплины. Все предшественники И.Ф.Гербарта, акцентировавшие внимание на диагностических аспектах педагогических исследований, делали это достаточно эпизодически, не акцентируя внимание на методологической функции диагностики как таковой. Только И.Ф.Гербарту удалось подойти вплотную к созданию методологически выверенной педагогической теории, которая не может обойтись без диагностического аппарата. Причина этого факта кроется в специфической особенности объекта исследования педагогической науки, который так или иначе связан с образовательным процессом, обладающим технологичностью и ориентированным на конечный результат [49].
Способность педагога осуществлять диагностические процедуры определяется его опытом и интуицией, что в сочетании с гуманизмом и знанием содержания преподаваемого предмета можно рассматривать в качестве критериев профессиональной квалификации. Коррекцию поведения и сознания воспитанника, по мнению И.Ф.Гербарта, следует основывать на результатах исследования интеллектуальной и эмоционально-волевой сферы деятельности учащихся с помощью психологических подходов [14]. Таким образом, был сделан первый решительный шаг в направлении педагогической диагностики, который существенно отличался от гуманных, но общих призывов предшественников изучать природу ребенка.
Именно И.Ф.Гербарт в начале XIX века обратил внимание на необходимость отбора содержания программного материала на основе дидактических целей развивающего обучения. Изначальная цель обеспечить усвоение той или иной образовательной программы не должна восприниматься как догма. Менторское изложение информации, необходимой для усвоения содержания учебной дисциплины, характерно исключительно для традиционалистской парадигмы. Признавая определенные достижения такого подхода к организации процесса обучения, и подчеркивая исключительно авторитарное воздействие на ребенка в образовательном процессе, следует признать исключительную ориентированность традиционалистской парадигмы на формирование личности воспитанника, неадекватно воспринимающего гуманистические подходы в общественной жизни и демократический уклад общества. Ставя же во главу угла развивающее обучение, И.Ф.Гербарт предполагал возможность варьирования образовательных программ с помощью процедуры отбора наиболее важных структурных элементов, которые должны быть усвоены учащимися исключительно на понятийном уровне.
Следует подчеркнуть попытки И.Ф.Гербарта математически оценить степень мотивации учащихся в процессе обучения. Этот факт можно рассматривать как первую попытку квалиметрического анализа данных педагогической диагностики. Конечно, данную задачу не так просто разрешить даже в современных условиях развития педагогической диагностики. Для этого необходимо выходить на уровень создания педагогического измерителя, способного оценивать латентные переменные. Более того, внутренние мотивации учащихся, называемые в современной трактовке потенциальными возможностями, являются интегральной личностной характеристикой, для измерения которой тест должен обладать строго определенными конструктными свойствами, позволяющими получить на репрезентативной выборке нормальное статистическое распределение результатов обследования [67]. Стремление к объективизации процедур педагогического диагностирования подтверждает необходимость использования квалиметрических методов для достижения высокой результативности образовательного процесса. Таким образом, исследования И.Ф.Гербарта открыли далеко идущую перспективу развития педагогической науки на диагности-ко-квалиметрической основе.
Активная реализация идей И.Ф.Гербарта началась в конце XIX века, когда его труды были основательно забыты, но возникла возможность создания нового аппаратного диагностического инструментария, способного подготовить ребенка к адаптации в окружающем социуме. В 1879 году Ф.Гальтон предложил использовать психометрические тесты для определения интеллектуальных способностей испытуемых. Несмотря на ошибочное понимание Ф.Гальтоном сущности интеллекта, его лаборатория смогла заложить основы тестовой диагностики [104]. Поскольку в это время в рамках различных научных дисциплин бурно развивались статистические методы, была предпринята попытка оценить степень согласованности результатов различных испытаний. Решил эту задачу К.Пирсон, который создал теорию корреляции [107]. Появилась возможность обеспечить высокую точность педагогических измерений, направленных, прежде всего, на повышение качества процесса обучения.
Основные процедуры педагогического диагностирования и возможности повышения их объективности
Остановимся более подробно на основных процедурах педагогического диагностирования, сознательно исключая из этого перечня дидактическое тестирование. Педагогическая диагностика оперирует целым рядом специфических методик сбора и обработки информации, специально разработанных или адаптированных для решения определенного типа диагностических задач. Диагностические методики обычно включают в себя описание их возможностей, ограничений в использовании, процедуру сбора и обработки информации, инструкцию испытуемым, бланковый материал или компьютерную программу [46].
1. Простейшей процедурой педагогического диагностирования является опрос, построенный по образу и подобию классических психологических методик [57]. Его основными составляющими являются: 1) предъявление респондентам набора утверждений, прямо или косвенно относящихся к исследуемому объекту или явлению; 2) выставление оценок по принципу согласия или несогласия с предложенным утверждением («да»-«нет»); 3) определение степени ситуативности суждений отдельных респондентов с помощью индикаторных утверждений; 4) определение степени выраженности того или иного критерия по количеству позитивных оценок соответствующей группы утверждений (оценка «нет» может рассматриваться как позитивная относительно заведомо негативного суждения); 5) формулировка педагогического диагноза.
Установим принципиальную особенность педагогического опроса, рассматривая перечисленные составляющие в качестве факторов влияния на результат педагогического диагностирования. Первая пара факторов согласуется только при условии предъявления респонденту простых утверждений, оценка которых предполагает непосредственную рефлексию респондента. Три первых фактора можно объединить на основе возможности использования провокационных утверждений, позволяющих установить сознательное искажение оценок респондентом, в случае, если он оценивает негативно заведомо позитивное утверждение или наоборот. При этом процедура опроса должна протекать в достаточно высоком темпе. Согласованность четвертого и пятого факторов влияния на результат диагностирования достигается при условии приблизительного равенства содержательной значимости отдельных утверждений, относящихся к одному и тому же критерию предмета исследования. Это позволяет гарантировать объективность процентного оценвания степени выраженности соответствующих критериев, а значит, точность педагогического диагноза.
Таким образом, принципиальной особенностью педагогического опроса является необходимость подготовки групп простых утверждений, обладающих приблизительно равной содержательной значимостью, для каждого критерия, характеризующего предмет исследования, часть из которых должны выполнять индикаторные функции определения ситуативное суждений респондентов. Затем эти утверждения в быстром темпе предъявляются респондентам, которые оценивают их по принципу: «да»-«нет». По сравнению с психологическими методиками педагогический опросник должен содержать более высокий процент индикаторных утверждений (около 20%).
В качестве примера составим опросник для проведения конкурсного отбора образовательных учреждений, который можно предъявить любому представителю местного сообщества или работнику данного образовательного учреждения (см. приложения). Прежде всего, необходимо сформулировать простое и понятное обращение к респонденту: «Уважаемый коллега! Вы принимаете участие в опросе, целью которого является конкурсный отбор образовательных учреждений, демонстрирующих высокое качество образования, эффективную образовательную среду и результативные инновации. Главным условием участия в этом опросе является осведомленность в деятельности данного образовательного учреждения. Вам необходимо высказать согласие или несогласие с предложенными утверждениями, ответив «да» или «нет». Заранее благодарны за Ваше участие в опросе».
Следующим этапом разработки педагогического опросника является определение критериев успешности образовательного учреждения: - высокое качество результатов обучения и воспитания; - эффективное использование современных образовательных технологий; - обеспечение доступности качественного образования; - демократические принципы управления и отношение местного сообщества к образовательному учреждению; - отсутствие отрицательной динамики состояния здоровья и обеспечение условий безопасности учащихся.
Необходимо подобрать несколько утверждений, отражающих содержание первого критерия, характеризующего высокое качество образования. Например, респонденты, знакомые с деятельностью образовательного учреждения, должны согласиться или нет с утверждением: «Лучшие учащиеся являются призерами предметных олимпиад». Еще одно аналогичное утверждение, обладающее приблизительно такой же значимостью: «Учащиеся принимают активное участие в областных общественных, творческих организациях». Количественные показатели результатов процесса обучения связаны с особенностями нормального статистического распределения. В связи с этим, правомерно предложить следующие утверждения: «Уровень обученности учащихся превышает 84%», «Уровень качества обученности превышает 50%».
Эффективность использования современных образовательных технологий [10] можно установить на основе оценок следующих утверждений: «В начальных классах используются системы развивающего обучения», «За последние пять лет практически все учителя прошли курсы повышения квалификации», «Увеличилось количество компьютерных программ, используемых в образовательном процессе», «Дидактическое тестирование постоянно применяется в образовательном процессе».
Обеспечение доступности качественного образования можно охарактеризовать следующим заведомо негативным утверждением, исключающим возможность предшкольного образования учащихся: «Подготовка детей к обучению в начальной школе осуществляется в семье и детском саду». Кроме того, можно предложить респондентам следующие утверждения: «Большинство учащихся пользуются дополнительными образовательными услугами», «За последние годы учащихся не отчисляли из образовательного учреждения», «В старших классах используются вариативные программы профильного обучения».
Чтобы охарактеризовать демократические принципы управления и отношение местного сообщества к образовательному учреждению, следует оценить ряд практически равнозначных утверждений: «Регулярно проводятся анкетирования членов местного сообщества, и оценивается их отношение к деятельности образовательного учреждения», «Наиболее сложные вопросы деятельности школы обсуждаются на попечительском совете», «Функционирует общественная организация выпускников», «Функционируют органы ученического самоуправления».
Отсутствие отрицательной динамики состояния здоровья и обеспечение условий безопасности учащихся можно охарактеризовать с помощью следующих утверждений: «Уменьшается количество детей, занимающихся физической культурой в специальных группах», «В последнее время отсутствуют случаи травматизма среди учащихся», «В последнее время отсутствуют чрезвычайные ситуации». Респондентам может быть предложено еще одно заведомо негативное утверждение: «Увеличилось время, необходимое для подготовки домашних заданий учащимися».
Квалиметрическая модель универсальной диагностической процедуры
Остановимся более подробно на основных процедурах педагогического диагностирования, сознательно исключая из этого перечня дидактическое тестирование. Педагогическая диагностика оперирует целым рядом специфических методик сбора и обработки информации, специально разработанных или адаптированных для решения определенного типа диагностических задач. Диагностические методики обычно включают в себя описание их возможностей, ограничений в использовании, процедуру сбора и обработки информации, инструкцию испытуемым, бланковый материал или компьютерную программу [46].
1. Простейшей процедурой педагогического диагностирования является опрос, построенный по образу и подобию классических психологических методик [57]. Его основными составляющими являются:
1) предъявление респондентам набора утверждений, прямо или косвенно относящихся к исследуемому объекту или явлению;
2) выставление оценок по принципу согласия или несогласия с предложенным утверждением («да»-«нет»);
3) определение степени ситуативности суждений отдельных респондентов с помощью индикаторных утверждений;
4) определение степени выраженности того или иного критерия по количеству позитивных оценок соответствующей группы утверждений (оценка «нет» может рассматриваться как позитивная относительно заведомо негативного суждения);
5) формулировка педагогического диагноза.
Установим принципиальную особенность педагогического опроса, рассматривая перечисленные составляющие в качестве факторов влияния на результат педагогического диагностирования. Первая пара факторов согласуется только при условии предъявления респонденту простых утверждений, оценка которых предполагает непосредственную рефлексию респондента. Три первых фактора можно объединить на основе возможности использования провокационных утверждений, позволяющих установить сознательное искажение оценок респондентом, в случае, если он оценивает негативно заведомо позитивное утверждение или наоборот. При этом процедура опроса должна протекать в достаточно высоком темпе. Согласованность четвертого и пятого факторов влияния на результат диагностирования достигается при условии приблизительного равенства содержательной значимости отдельных утверждений, относящихся к одному и тому же критерию предмета исследования. Это позволяет гарантировать объективность процентного оценвания степени выраженности соответствующих критериев, а значит, точность педагогического диагноза.
Таким образом, принципиальной особенностью педагогического опроса является необходимость подготовки групп простых утверждений, обладающих приблизительно равной содержательной значимостью, для каждого критерия, характеризующего предмет исследования, часть из которых должны выполнять индикаторные функции определения ситуативное суждений респондентов. Затем эти утверждения в быстром темпе предъявляются респондентам, которые оценивают их по принципу: «да»-«нет». По сравнению с психологическими методиками педагогический опросник должен содержать более высокий процент индикаторных утверждений (около 20%).
В качестве примера составим опросник для проведения конкурсного отбора образовательных учреждений, который можно предъявить любому представителю местного сообщества или работнику данного образовательного учреждения (см. приложения). Прежде всего, необходимо сформулировать простое и понятное обращение к респонденту: «Уважаемый коллега! Вы принимаете участие в опросе, целью которого является конкурсный отбор образовательных учреждений, демонстрирующих высокое качество образования, эффективную образовательную среду и результативные инновации. Главным условием участия в этом опросе является осведомленность в деятельности данного образовательного учреждения. Вам необходимо высказать согласие или несогласие с предложенными утверждениями, ответив «да» или «нет». Заранее благодарны за Ваше участие в опросе».
Следующим этапом разработки педагогического опросника является определение критериев успешности образовательного учреждения: - высокое качество результатов обучения и воспитания; - эффективное использование современных образовательных технологий; - обеспечение доступности качественного образования; - демократические принципы управления и отношение местного сообщества к образовательному учреждению; - отсутствие отрицательной динамики состояния здоровья и обеспечение условий безопасности учащихся.
Необходимо подобрать несколько утверждений, отражающих содержание первого критерия, характеризующего высокое качество образования. Например, респонденты, знакомые с деятельностью образовательного учреждения, должны согласиться или нет с утверждением: «Лучшие учащиеся являются призерами предметных олимпиад». Еще одно аналогичное утверждение, обладающее приблизительно такой же значимостью: «Учащиеся принимают активное участие в областных общественных, творческих организациях». Количественные показатели результатов процесса обучения связаны с особенностями нормального статистического распределения. В связи с этим, правомерно предложить следующие утверждения: «Уровень обученности учащихся превышает 84%», «Уровень качества обученности превышает 50%».
Эффективность использования современных образовательных технологий [10] можно установить на основе оценок следующих утверждений: «В начальных классах используются системы развивающего обучения», «За последние пять лет практически все учителя прошли курсы повышения квалификации», «Увеличилось количество компьютерных программ, используемых в образовательном процессе», «Дидактическое тестирование постоянно применяется в образовательном процессе».
Обеспечение доступности качественного образования можно охарактеризовать следующим заведомо негативным утверждением, исключающим возможность предшкольного образования учащихся: «Подготовка детей к обучению в начальной школе осуществляется в семье и детском саду». Кроме того, можно предложить респондентам следующие утверждения: «Большинство учащихся пользуются дополнительными образовательными услугами», «За последние годы учащихся не отчисляли из образовательного учреждения», «В старших классах используются вариативные программы профильного обучения».
Чтобы охарактеризовать демократические принципы управления и отношение местного сообщества к образовательному учреждению, следует оценить ряд практически равнозначных утверждений: «Регулярно проводятся анкетирования членов местного сообщества, и оценивается их отношение к деятельности образовательного учреждения», «Наиболее сложные вопросы деятельности школы обсуждаются на попечительском совете», «Функционирует общественная организация выпускников», «Функционируют органы ученического самоуправления».
Отсутствие отрицательной динамики состояния здоровья и обеспечение условий безопасности учащихся можно охарактеризовать с помощью следующих утверждений: «Уменьшается количество детей, занимающихся физической культурой в специальных группах», «В последнее время отсутствуют случаи травматизма среди учащихся», «В последнее время отсутствуют чрезвычайные ситуации». Респондентам может быть предложено еще одно заведомо негативное утверждение: «Увеличилось время, необходимое для подготовки домашних заданий учащимися».
Влияние состава экспертной группы на объективность результатов квалиметрического анкетирования
Рассмотрим конкретный пример конкордации суждений экспертной группы в процессе квалиметрического анкетирования сотрудников кафедры информационных технологий Ростовского областного института повышения квалификации и переподготовки работников образования. Таким образом, будет осуществлен контрольный эксперимент, позволяющий убедиться в эффективности квалиметрического анализа диагностических процедур.
Во время взаимных посещений открытых занятий профессорско-преподавательскому составу было предложено оценить профессиональную квалификацию преподавателей с помощью квалиметрической анкеты, которая начинается с инструкции: «Уважаемый коллега! Просим Вас оценить профессиональную квалификацию преподавателя в процессе посещения открытого занятия с помощью традиционных педагогических оценок. Заранее благодарны за участие в исследовании» [Приложение 6]. В состав анкеты были включены критериальные показатели, сформулированные в виде утверждений и образующие корреляционные пары. В роли респондентов выступили 8 сотрудников кафедры (2 доктора наук, 5 кандидатов наук, 1 доцент без ученой степени). Изначально их профессиональная квалификация была неизвестна, поэтому необходимо было установить степень согласованности их суждений по концептуальным и прикладным критериальным показателям.
Критериальные показатели 4 и 2 образуют корреляционную пару. Психолого-педагогическое обеспечение занятия непосредственно связано с умением преподавателя установить деловой контакт с учащимися. Если первый из этих показателей является концептуальным и требует от респондента умения абстрагироваться, то второй легко регистрируется при посещении открытого занятия, так как имеет явно выраженную практическую направленность. Квалифицированный специалист, прежде всего, отметит для себя умение преподавателя владеть аудиторией, а затем сделает обобщенный вывод о психолого-педагогическом обеспечении процесса обучения.
Если рассматривать методические умения и навыки преподавателя (критериальный показатель 6), то основным показателем этого элемента профессиональной квалификации является владение проблемным методом и методом проектов (критериальный показатель 3). Умение создать проблемную ситуацию является важнейшей составляющей профессиональной квалификации педагога, который невозможно сравнить не только с владением частными методиками обучения, но и с прочими педагогическими технологиями. Поэтому опытный специалист поставит в зависимость от прикладного критериального показателя оценку концептуального показателя.
Еще одну корреляционную пару образуют критериальные показатели 5 и 7. Наличие мониторинговых исследований в образовательном процессе, прежде всего, связано с использованием дидактических тестов. Невозможно оспаривать взаимосвязь этих критериев и их значимость для эффективного процесса обучения. Преподаватель, который игнорирует критериальные дидактические тесты текущего контроля, не сможет отслеживать индивидуальные образовательные траектории учащихся и состояние процесса обучения в целом. Тем более что простейшие критериально ориентированный тест способен разработать сам преподаватель, не осуществляя их стандартизацию.
Поскольку профессиональная квалификация эксперта, характеризуемая коэффициентом корреляции, должна превышать 0,6, соответствующий статус следует присвоить лишь четырем респондентам (№№ 1, 3, 6, 8). Явно недостаточно информации о профессиональной квалификации респондентов №№ 4, 5, 7. В случае неопределенности при определении коэффициента корреляции (0/0) лучше не использовать суждения данного респондента для экспертного заключения.
Только теперь можно приступить к вычислению индивидуальных коэффициентов конкордации членов экспертной группы (Р1, РЗ, Р6, Р8), которые будут характеризовать эталонные представления специалистов о процессе обучения. Начнем с открытого занятия Преподавателя №1, которое посетили эксперты Р1 и РЗ, обладающие профессиональной квалификацией соответственно 1,0 и 0,8. Чтобы определить индивидуальные коэффициенты конкордации, позволяющие вычислить средневзвешенный рейтинговый балл Преподавателя №1, необходимо нормировать коэффициенты профессиональной квалификации экспертов. Следует добиться того, чтобы их сумма составляла не 1,8, а ровно единицу. При этом относительная величина коэффициентов профессиональной квалификации должна остаться неизменной (0,8/1,0=0,8).
Аналогично вычисляются индивидуальные коэффициенты конкордации экспертов РЗ и Р6, посетивших открытое занятие Преподавателя №2. Относительная величина коэффициентов профессиональной квалификации этих экспертов: Y/X=0,9/0,8=l,125. Решая аналогичную систему уравнений, получаем коэффициенты конкордации РЗ и Р6 соответственно 0,47 и 0,53. Средневзвешенный рейтинговый балл Преподавателя №2: (0,47х34+0,53х32)/7=4,71.
В качестве экспертов на открытом занятии Преподавателя №4 выступили Р1, РЗ и Р8, обладающие профессиональной квалификацией 1,0; 0,8; 0,8 соответственно. Вычисление индивидуальных коэффициентов конкордации осуществляется по формулам аналогичным предыдущему случаю. Необходимо лишь скорректировать относительные величины: Y/X=Z/X=0,8. В результате получаем: 0,38; 0,31; 0,31. Средневзвешенный рейтинговый балл Преподавателя №4: (0,38x27+0,31x24+0,31х29)/7=3,81.
Та же тройка экспертов оценивала открытое занятие Преподавателя №5, поэтому их коэффициенты конкордации не изменились. Согласованность суждений экспертной группы остается практически неизменной относительно произвольного предмета исследования. Остается только вычислить средневзвешенный рейтинговый балл: (0,38x23+0,31x29+ 0,31х28)/7=3,77.
Наконец, открытое занятие Преподавателя №6 оценивали эксперты Р1 и РЗ, индивидуальные коэффициенты конкордации которых были найдены при обработке результатов посещения лекции Преподавателя №1 (0,56 и 0,44). Средневзвешенный рейтинговый балл Преподавателя №6: (0,56x23+ 0,44х20)/7=3,10.
