Содержание к диссертации
Введение 4
Глава 1. Инвариантность образовательного процесса 34
1.1 Методология образовательной квалиметрии 34
1.2 Принцип инвариантности 40
1.2 Квалиметрическое образовательное пространство 51
1.3 Интервальная шкала уровней достижений учащихся 60
1.4 Потенциальные возможности учащегося 70
1.5 Педагогическое действие 81
1.6 Поле индивидуально педагогической поддержки 88
Краткие итоги первой главы 95
Глава 2. Дискретность образовательного процесса 101
2.1 Принцип дискретности 101
2.2 Структурный элемент образовательной программы 108
2.3 Формирование мотивационных пауз 114
2.4 Скорость передачи информации 130
2.5 Волновая функция учащегося 141
2.6 Квалиметрическая оптимизация процесса обучения 160
Краткие итоги второй главы 173
Глава 3. Система контроля качества образовательного процесса 181
3.1 Дидактическое тестирование 181
3.2 Квалиметрическая модель процесса обучения 197
3.3 Содержательная валидность дидактического теста 210
3.4 Надежность дидактического теста 220
3.5 Конструктная валидность дидактического теста 230
3.6 Критериальная валидность дидактического теста 234
3.7 Процедура дидактического тестирования 240 Краткие итоги третьей главы 250
Глава 4. Образовательная квалиметрия в системе повышения
квалификации 253
4.1 Методы обработки результатов анкетирования 253
4.2 Метод расхождения медиан 263
4.3 Метод оценки качества образовательного процесса 267
4.4 Содержание курса образовательной квалиметрии для системы повышения квалификации 271
Краткие итоги четвертой главы 295
Заключение 300
Литература 315
Приложения 332
Введение к работе
Модернизация отечественного образования невозможна без эффективной системы управления качеством. Ярким подтверждением этого факта является введение соответствующих понятий в нормативные документы, а также организация в учебных заведениях специализированных структур, основной функцией которых является осуществление контроля эффективности процесса обучения.
В последнее десятилетие в нашей стране проблема качества образования активно рассматривается с квалиметрических позиций, то есть посредством сопоставления учебных достижений обучающихся с требованиями государственных образовательных стандартов [28, 45, 173, 181, 184]. Анализируя методологический подход к количественным способам исследования образовательного процесса, следует признать наиболее перспективным аспектом управления качеством современные модели стандартов и мониторинга [21, 74, 191, 192].
Решение квалиметрических задач в образовании сопряжено с большими трудностями, обусловленными отсутствием фундаментальных работ в соответствующей области педагогического знания, а также существующими противоречиями между сторонниками внедрения математических методов в педагогике и парадигмой личностно-ориентированного обучения. Однако еще в конце 90-х годов двадцатого века появились первые попытки использования результатов контроля для развивающего личностно-ориентированного обучения [29, 30, 75, 172, 174]. Большое количество исследований в области управления качеством образования, педагогической диагностики и образовательной квалиметрии выполнены на основе идей гуманизации и гуманитаризации образования [24, 53, 67, 193].
Качественный образовательный процесс предполагает применение стандартизованных дидактических тестов, которые в последнее время особенно активно разрабатываются в нашей стране. Действенным средством педагогической диагностики являются нормативно-критериальные тесты достижений, а также критериально ориентированные тесты текущего контроля знаний и умений учащихся. Сформулирована современная парадигма тестирования, на основе которой внедряется единый государственный экзамен [191]. Разрабатываемые Центром тестирования при Министерстве образования Российской Федерации контрольные измерительные материалы во многом соответствуют международным требованиям. Совмещение школьных выпускных экзаменов и вступительных экзаменов в вуз позволяет обеспечить равные возможностей для всех членов общества при получении образования, строго дифференцируя абитуриентов в соответствии с их потенциальными возможностями. Неотъемлемая социальная функция процедуры тестирования выводит отечественное образование на качественно новый уровень, обеспечивающий интеллектуальное развитие общества [68].
В связи с активным внедрением новых средств педагогической диагностики перед всеми учебными заведениями страны ставится задача обеспечения соответствия знаний и умений, приобретенных учащимися в процессе обучения, государственному стандарту общего образования. Оценка качества образовательного продукта является чисто квалиметрической задачей. Ее невозможно решить, оценивая только знаниевый компонент процесса обучения, так как важнейшим показателем эффективности образования является способность индивида продолжать обучение в избранной области знаний или смежных с нею областях. Поэтому в процессе проведения педагогической диагностики необходимо опосредовано оценивать потенциальные возможности учащихся, используя нормативно-критериальные тесты достижений. Именно это гарантирует выпускнику
среднего общеобразовательного учебного заведения, поступившему в вуз, возможность продолжать образование.
Применение тестовой диагностики на всех этапах процесса обучения сопряжено с большими трудностями, связанными с неискушенностью большинства членов общества в вопросах квалиметрии в целом и образовательной квалиметрии в частности. У многих преподавателей сохраняется устойчивая неприязнь к тестированию. Она вызвана низким качеством многих предлагаемых ранее контрольно-измерительных материалов, которые совершенно необоснованно называли тестами. Попытки неквалифицированных специалистов создать всевозможные измерители только усиливают негативное отношение педагогической общественности к процедуре тестирования. Кроме того, остро стоит проблема повышения диагностической культуры, которая сводится к овладению учителем элементарными познаниями в области разработки и апробации тестовых материалов, а также простейшими методами статистической обработки результатов тестирования. Если преподаватели педагогических вузов и системы повышения квалификации возьмут на вооружение новейшие технологии педагогической диагностики и передадут их своим подопечным, то постепенно отношение к процедуре тестирования станет более позитивным [201].
В современных условиях многие учителя применяют в своей практической деятельности критериальные тесты текущего контроля, позволяющие выявить уровень обученности. Но только педагогические измерители, обладающие нормативными свойствами, способны установить уровни достижений учащихся на соответствующей интервальной шкале и сделать вывод об их потенциальных возможностях. Однако, использование в образовательном процессе простейших диагностических средств, безусловно, повышает его качественные показатели.
Невозможно получить объективные квалиметрические данные и сделать на их основе правильные выводы, если участники тестирования не
понимают цель исследования и даже настроены враждебно к этой диагностической процедуре. Поэтому, прежде всего, необходимо провести глубокий анализ психолого-педагогических факторов, влияющих на организацию и проведение тестирования, а также выявить роль квалиметрических знаний, как элемента общепедагогического образования. Понимание неизбежности внедрения квалиметрических методов в процесс обучения и их высокой эффективности в деле повышения качества образования способствует росту диагностической культуры учителей и учащихся [105].
Понимая актуальность дальнейшей разработки квалиметрических методов в педагогике, автором проведено данное диссертационное исследование, в основу которого положены классические работы по психологическому тестированию Ф. Гальтона [209], К. Пирсона [213], Г.Ф. Кьюдера, М.В. Ричардсон [212] и А. Анастази [9], а также основоположника критериально ориентированного тестирования Р. Гласера [210]. Методологической основой теоретической образовательной квалиметрии являются труды виднейших натурфилософов А. Пуанкаре [134], М. Борна [31], Р. Фейнмана-[189], а также родоначальника моделирования в педагогической науке И.Ф. Гербарта [37].
В качестве отправной точки квалиметрической модели оптимизации образовательного процесса использовалась работа Л.Б. Ительсона, которая анализирует возможность использования математических методов в педагогике [60]. В основу процедуры стандартизации дидактического теста положены работы СВ. Черепанова по экспертному методу [195], Е.А. Ми-хайлычева по дидактической тестологии [105] и B.C. Аванесова по композиции тестовых заданий [1], а также широко известная книга А.Н. Майорова [90]. Несмотря на то, что педагогическая диагностика и образовательная квалиметрия являются тесно связанными между собой практическими областями исследований в рамках педагогической науки, у каждой из них
есть ряд существенных особенностей. Диагностика позволяет осуществить качественную или количественную оценку определенных характеристик объекта и истолковать ее в терминах данной научной дисциплины. Например, с помощью методов медицинской диагностики английский биолог Френсис Гальтон в 1884 году предпринял попытку определить интеллект испытуемых, а в начале двадцатого века французский психолог Альфред Бине попытался решить эту задачу методами психодиагностики.
Педагогическая диагностика обычно проводится по проблематике обучения и воспитания с целью выработки необходимых коррекционных мер [107]. Способы диагностирования могут быть самыми разнообразными, начиная со сравнительной оценки по чисто внешним признакам и заканчивая количественной оценкой объекта исследования с помощью педагогических измерителей. Однако все процедуры педагогической диагностики ориентированы на получение качественных выводов о состоянии образовательного процесса.
В отличие от педагогической диагностики образовательная квали-метрия предполагает сравнение результатов тестирования с существующими стандартами, например, государственным стандартом общего образования. Квалиметрические методы изначально нашли применение в производственной сфере, где эффективность работы любого предприятия определяется качеством производимой продукции. Рентабельность производства, прежде всего, зависит от объемов сбыта, так как товар низкого качества никогда не будет востребован большинством потребителей. Только в условиях рыночной экономики квалиметрические методы стали активно внедряться в сферу общественного потребления. Прежде всего, необходимо установить эталон данного изделия, предполагающий его соответствие всем требованиям госстандарта и потребительского рынка. Затем произведенная продукция выборочно сравнивается с эталонным изделием с целью определения соответствия по целому ряду критериев. При этом недоста точно добиться общей работоспособности устройства или применимости изделия для той или иной цели. Необходимо убедиться в стандартных показателях, как состава изделия, так и его параметров на каждом этапе выполняемых действий. Усредненные показатели нормативов установленных госстандартом также не принимаются во внимание. Только соответствие требованиям стандарта на всех этапах и контрольных точках работы тестируемого изделия может убедить метрологов в его качественных показателях. Результат измерений признается квалиметрически значимым при выполнении сравнительных операций по всем позициям, указанным в стандарте. Например, качество изготовления сложной детали, являющейся элементом высокотехнологичного устройства, тестируется по различным позициям в разнообразных режимах работы с целью выявления некондиционных параметров. Если хотя бы один показатель не вписывается в установленный стандарт, то деталь нельзя использовать в практической деятельности. При этом выбраковывается вся партия тестируемых изделий, так как сам процесс их изготовления на данном этапе работы предприятия признается некондиционным. Таким образом, квалиметрия отдельных изделий выступает показателем эффективности работы всего предприятия.
Образовательная квалиметрия призвана осуществить стандартизацию уровней достижений учащихся в конце определенного этапа обучения. Ситуация чем-то напоминает производственную сферу деятельности, так как она предполагает сравнение результатов обучения с существующими стандартами, к которым можно отнести обязательный минимум содержания образования, а также требования к знаниям и умениям учащихся. Поскольку процедура стандартизации предполагает сопоставление результатов тестирования с эталонными нормами, необходимо в процессе обследования уровня обученности проявлять необходимую требовательность, сохраняя при этом объективность. Оптимальным условием проведения любой квалиметрической процедуры является привлечение независи мого диагноста, выступающего в роли метролога. Однако, аналогично ква-лиметрическим операциям, производимым при компоновке сложного технического устройства, в процессе обучения предполагается текущий контроль уровня обученности учащихся, который осуществляется преподавателем после изучения очередного вопроса или темы образовательной программы и гарантирует надежное усвоение изучаемого материала на каждом этапе обучения. Зная о предстоящем независимом обследовании уровней достижений учащихся, преподаватель должен ориентироваться на безусловное выполнение обязательного минимума содержания образования, а также стремиться к максимальной объективности выставляемых им оценок.
Создание общегосударственной системы контроля качества образования, включающей в себя централизованное тестирование и единый государственный экзамен, позволяет установить четкие и доступные для понимания каждого учащегося принципы оценки результатов обучения. Система управления качеством в каждом учебном заведении не должна сводиться только к реализации существующей нормативно-правовой базы образования, а непосредственно отслеживать позитивные и негативные тенденции деятельности отдельных преподавателей и факторы, влияющие на эффективность процесса обучения в целом. Многие образовательные учреждения успешно развивают квалиметрические методы, но им приходится продвигаться на ощупь в силу недостаточного развития теоретической базы образовательной квалиметрии.
Квалиметрически оснащенный образовательный процесс, предполагающий систематическое применение стандартизованных дидактических тестов, позволяет установить соответствие между данными мониторинга, осуществляемого сотрудниками образовательного учреждения, и результатами независимого обследования. Подобную задачу должна решать активно создаваемая в нашей стране система менеджмента качества образова ния, важнейшим элементом которой является квалиметрический мониторинг, отслеживающий на каждом этапе обучения степень соответствия результатов тестирования образовательным стандартам [19].
Учитывая существующие проблемы распространения современных методов образовательной квалиметрии, данное исследование представляется весьма актуальным. С его помощью любой преподаватель сможет оценить эффективность собственной педагогической деятельности, а руководитель учебного заведения - качество образовательного процесса в целом. Сложность заключается в том, что данная область исследований находится на стыке гуманитарного и естественнонаучного образования, а, следовательно, должна сочетать в себе общефилософский подход и математическую интерпретацию рассматриваемых процессов. Настороженное отношение к работам, содержащим не только вербальную составляющую, но и эле менты математического моделирования, объясняется некоторой искусственностью привнесения в педагогику формальных математических методов. Но если эти методы являются содержательно обоснованными, а каждое формализуемое понятие и соотношение подвергаются вербальному анализу, то наиболее существенные закономерности образовательного процесса могут быть представлены в лаконичной форме с помощью математических символов. В дальнейшем это облегчает применение статистических методов в эмпирической составляющей педагогического исследования.
Решить проблему создания теоретических основ образовательной квалиметрии можно только на методологической основе современной натуральной философии, как наиболее развитой логически-обоснованной и математически формализованной сфере научного знания. Корректно используя методологические приемы, которые разрабатывались в течение двадцатого века виднейшими натурфилософами, можно быть уверенным в общенаучной значимости полученных выводов и возможности их приме нения в педагогической практике. Дополнительным основанием для использования методологии современной натуральной философии в образовательной квалиметрии является широкое использование статистических методов. Глубина анализа закономерностей систем, состоящих из огромного количества элементов, в естественных науках достигает очень высокого уровня. Поэтому возникает уверенность в возможности столь же глубокого анализа квалнметрическнх процессов в образовании, связанных с взаимодействием множества субъектов.
Поскольку квалиметрия - область научного знания, изучающая методологию и проблематику разработки комплексных, а в некоторых случаях и системных количественных оценок качества любых объектов, необходимо четко представлять себе соотношение между качественным и количественным описанием образовательного процесса [6]. Количество и качество выступают как нечто раздельное лишь в абстракции, реально они существуют в нерасторжимом единстве, в пределах которого данное качество модифицируется, варьируется в силу изменения количества и отдельных несущественных свойств, сохраняя при этом свои существенные характеристики [177]. Например, в натуральной философии широко используется трансформация вербального описания рассматриваемого процесса в математическую модель. При этом качественные показатели исследуемого процесса, сохраняя собственную содержательную значимость, получают более строгое выражение в количественных соотношениях. Подобная трансформация представляет собой сложную интеллектуальную процедуру, требующую не только логического мышления и владение методами формализации, но и подключения творческой составляющей абстрактного мышления.
Необходимость перевода качественного описания в количественное приводит к изменению методологии научного исследования, особенно, если данная дисциплина обладает непосредственным выходом на эмпириче ские показатели. Квалиметрический аспект педагогической науки представляет собой именно такую эмпирически обоснованную область исследования, которая может служить критерием справедливости выводов всех прочих ее отраслей. Количественные показатели, обладая статистической значимостью, позволяют провести сколь угодно глубокую интерпретацию результатов исследований в вербальном выражении.
Сочетание качественных и количественных методов исследования характерно для естественнонаучных дисциплин, но поскольку образовательная квалиметрия предполагает не только статистическую обработку результатов диагностики, необходим аналогичный подход к исследованию психолого-педагогических аспектов процесса обучения. Если педагогическая диагностика, как правило, выступает в роли вспомогательного элемента педагогических исследований, максимально проявляющегося при проведении мониторинга процесса обучения, то образовательная квалиметрия, которая также должна быть неотъемлемым элементом всякого мониторинга, способна проводить самостоятельный анализ исследуемых закономерностей на основе математического моделирования.
Главной задачей специалиста в области образовательной квалимет-рии является соблюдение чувства меры при использовании формальных методов исследования. Поскольку психолого-педагогические аспекты деятельности учебных заведений не носят строго причинно-следственного характера и могут быть подвергнуты статистическому анализу, при их описании нельзя использовать глубокую формализацию, при которой легко потерять нить логически обоснованных рассуждений. Данная ситуация напоминает исследование микропроцессов с позиций современной натуральной философии, когда невозможно приблизиться к объективной реальности и детерминировано описать существующие причинно-следственные связи. Ученые пытаются ограничиться формализацией абстрактных понятий, за которыми скрывается статистическое описание рассматриваемых
явлений, приписывая им самостоятельный физический смысл, что приводит к невозможности вербальной интерпретации ряда существенных моментов тех закономерностей, которые протекают в микромире. Подобный методологический подход совершенно неприемлем в педагогике, поэтому следует очень осмотрительно обращаться со статическими величинами и математическим моделированием в целом.
Рассматривая возможности формализации педагогических знаний с помощью математического моделирования, следует учитывать два основных направления:
построение модели эмпирического объекта путем выделения его свойств и описание их с учетом психических процессов и свойств личности;
разработка методов, средств и процедур измерений свойств эмпирического объекта и приложений их в практике решения различных педагогических задач обучения [112].
Оба этих направления непосредственно связаны с экспериментом и полностью соответствуют общенаучной методологии. Но поскольку мы ставим перед собой задачу построения теоретической образовательной квалимет-рии, второе направление математического моделирования представляется более предпочтительным. Понимая существующие проблемы управления качеством образования, необходимо разработать диагностические материалы, позволяющие осуществить полноценный квалиметрический контроль процесса обучения. Лучше всего подойти к решению этой задачи с наиболее общих позиций, создавая модель квалиметрической оптимизации процесса обучения с помощью содержательных методов, заимствованных из современной натуральной философии. При этом, безусловно, будет использоваться математический аппарат, но только в том объеме, который отвечает требованиям лаконичного изложения понятийно-логических взаимосвязей между строго определенными величинами, характеризую щими как свойства отдельной личности, так и образовательного процесса в целом. Следующий этап исследований реализуется с помощью классической методики нормативного тестирования, а также авторской технологии расчета конструктной валидности теста достижений, и сводится к определению потенциальных возможностей учащихся.
Любое использование модельных представлений приводит к насилию над рассматриваемым объектом, но создание добротной теории позволяет выйти на новый уровень обобщений и обнаружить ранее неизвестные особенности исследуемого процесса, что полностью компенсирует издержки, возникающие при ее разработке. Несмотря на то, что невозможно создать модель во всех деталях отражающую исследуемый процесс, его теоретическое описание является единственным способом анализа ключевых закономерностей развития, а также причин, приводящих к тем или иным последствиям. Если же ограничиться рассмотрением эмпирических данных, то невозможно сформулировать сколько-нибудь значимую гипотезу, позволяющую вскрыть истоки исследуемого процесса. Даже когда ученый не обладает достаточным количеством экспериментальных данных и не способен произвести необходимых обобщений, он автоматически пытается найти аналогии и представить себе возможный механизм происходящего явления. Тем более, если накоплен богатый экспериментальный материал, позволяющий выдвинуть целый ряд гипотез, необходимо перейти на более высокий уровень обобщений, который выражается в модели рассматриваемого процесса.
Существующий опыт применения методов моделирования в педагогических исследованиях позволяет:
более четко сформулировать проблему, пренебрегая факторами не существенными при описании данного конкретного объекта;
установить связь данной проблемы с другими, имеющими сходное внутреннее строение;
проверить гипотезы исследования, так как это усиливает доказательность рассуждений [112]. Считается; что верная теория должна отличаться простотой или хотя бы красотой логических построений. Именно это позволяет установить связь создаваемой теории с аналогичными явлениями или процессами из другой научной области, отличающимися подобными закономерностями. Попытка создания теоретических основ образовательной квалиметрии на базе натурфилософских принципов инвариантности и дискретности представляется методологически обоснованной и позволяет проанализировать процесс обучения с наиболее общих позиций.
Одной из важнейших проблем, которую предстоит решить в рамках теоретической образовательной квалиметрии - это проблема латентных переменных. В отличие от производственной квалиметрии, где устанавливается степень соответствия продукта эталонному образцу только по непосредственно измеряемым параметрам, в образовательной квалиметрии приходится выявлять скрытые личностные характеристики. К таким показателям, прежде всего, относятся потенциальные возможности учащихся. Мало того, что они зависят от интегральной характеристики умственного развития индивида - интеллекта, на способность учащегося к продолжению образования существенно влияют внешние мотивационные факторы.
Только на основе инвариантного подхода к описанию образовательного процесса представляется возможным установить связь между измеряемыми в процессе тестирования величинами и скрытыми характеристиками индивида. В последнее время становится актуальным описание реальных педагогических процессов безотносительно к используемым контрольно-измерительным материалам. Например, применяемая для оценивания результатов единого государственного экзамена теория моделирования и параметризации педагогических тестов Г. Раша (IRT) [12, 118, 214] является выражением стремления исследователей получить инвариантные
показатели потенциальных возможностей относительно диагностических материалов и контингента испытуемых. Совершенствование методов адаптивного тестирования также направлено на максимально возможное приближение диагностики к реальному состоянию индивида.
Настоящее диссертационное исследование ставит своей целью создание теоретических основ образовательной квалиметрии на базе методологии современной натуральной философии, а также дальнейшую разработку ключевых классических методик дидактического тестирования. Для реализации поставленной цели, прежде всего, необходимо всесторонне проанализировать инвариантность образовательного процесса, заключающуюся в том, что процесс обучения не зависит от точки зрения диагноста. Средством осуществления подобного анализа являет целый ряд важнейших понятий образовательной квалиметрии, большинство которых сформулировано автором:
квалиметрическое образовательное пространство - структурированная система субъектов, испытывающая корректирующее влияние извне;
интервальная шкала уровней достижений, основанная на данных нормативного тестирования и позволяющая производить любые математические операции с баллами, которые набирают учащиеся в результате применения педагогических измерителей;
потенциальные возможности учащегося, определяющие скорость изменения его умственного возраста;
педагогическое действие, характеризующее образовательный процесс как с точки зрения его развития в квалиметрическом образовательном пространстве, так и с точки зрения потенциальных возможностей учащихся;
поле индивидуальной педагогической поддержки, как способ задания в каждой точке квалиметрического образовательного пространства некоторой величины, характеризующей конструктивное влияние преподава теля на учащегося в соответствии с его потенциальными возможностями.
В основу инвариантного описания процесса обучения положены принципы относительности и эквивалентности современной натуральной философии, так как кроме релятивистского толкования процедуры педагогического измерения подчеркивается особая роль независимого диагноста. Следствием принципа инвариантности образовательной квалиметрии является возможность передачи информации между субъектами квалиметри-ческого образовательного пространства с предельно допустимой скоростью, величина которой не зависит от выбора системы отсчета. При повторении ранее пройденного материала и в процессе восприятия новой для учащихся информации данная скорость принимает различные значения, которые обладают инвариантными свойствами и позволяют установить среднюю скорость передачи информации в эффективном образовательном процессе. Таким образом, на основе принципа инвариантности образовательной квалиметрии удается сформулировать первое условие оптимизации процесса обучения: передача информации между субъектами квали-метрического образовательного пространства должна осуществляться с предельно допустимой скоростью.
Чтобы количественно описать процесс передачи информации, а также выявить конкретные способы оптимизации индивидуальных образовательных траекторий учащихся, был сформулирован принцип дискретности, заключающийся в том, что педагогическое действие содержит целое число структурных элементов образовательной программы. При этом потребовалось определить новые ключевые понятия образовательной квалиметрии: 1) структурный элемент образовательной программы обладающий общепризнанной содержательной значимостью, на основе которого составляется тестовое задание для педагогического измерителя;
мотивационная пауза, как специфический этап усвоения структурного элемента образовательной программы, раскрывающий целесообразность его изучения;
длина волны субъекта квалиметрического образовательного простран- . ства, являющаяся количественной характеристикой периодичности изложения или усвоения структурных элементов образовательной программы.
В основу дискретного описания процесса обучения положены принципы неопределенности и наименьшего действия современной натуральной философии, так как структурирование универсального инварианта позволяет формировать оптимальные образовательные траектории учащихся, соответствующие минимально возможному значению педагогического действия. Следствием принципа дискретности образовательной квалимет-рии является необходимость создания мотивационных пауз посредством использования специальных заданий, содержание которых значимо для адаптации учащегося в социуме. Таким образом, на основе принципа дискретности образовательной квалиметрии можно сформулировать второе условие оптимизации процесса обучения: изучение каждого структурного элемента образовательной программы необходимо завершать мотивацион-ной паузой.
В результате перехода к классическому приближению квалиметри-ческой модели процесса обучения появляется возможность всесторонне проанализировать систему контроля качества образовательного процесса, которая, кроме измерения уровней достижений учащихся и возможности их сопоставления с требованиями образовательных стандартов, предполагает определение потенциальных возможностей учащихся, а также нормированного квалификационного коэффициента преподавателя. Все это позволяет оценить эффективность образовательного процесса в целом. Обязательным условием реализации системы контроля качества является при менение в процессе обучения стандартизованных дидактических тестов. Таким образом, классическое приближение квалиметрической модели процесса обучения приводит к третьему условию оптимизации: для контроля учебных достижений необходимо использовать стандартизованные дидактические тесты.
Заключительным этапом диссертационного исследования является разработка процедуры стандартизации дидактического теста и методического обеспечения курса образовательной квалиметрии в системе повышения квалификации. Основными этапами создания педагогического измерителя можно признать:
обеспечение содержательной валидности с помощью экспертной оценки комбинированной весомости каждого вопроса образовательной программы;
определение надежности по взаимной согласованности тестовых заданий, апробированных на репрезентативной выборке учащихся;
оценку конструктной валидности путем сопоставления надежности с соответствующим показателем идеального педагогического измерителя;
определение критериальной валидности с помощью коэффициента корреляции тестовых и текущих оценок репрезентативной выборки учащихся.
Следует особо подчеркнуть, что теоретические основы образовательной квалиметрии позволяют ввести количественные нормы практически на все основные характеристики процесса обучения, которые были исследованы в настоящей работе:
средняя скорость передачи информации между субъектами квалимет-рического образовательного пространства в условиях эффективного процесса обучения равна 14 бит в секунду;
продолжительность сущностно-мотивационного этапа изучения структурного элемента образовательной программы при средневзвешенной
величине поля индивидуальной педагогической поддержки равной 0,74 составляет около 8% учебного времени;
содержательная валидность дидактического теста, вычисленная на основе комбинированной весомости отдельных вопросов образовательной программы, превышает 0,30;
конструктная валидность теста достижений, непосредственно связанная с количеством тестовых заданий, превышает величину надежности внутренней согласованности педагогического измерителя;
нормированный квалификационный коэффициент, характеризующий эффективный процесс обучения, превышает единичное значение.
Актуальность исследования непосредственно связана с необходимостью фундаментального обоснования активно внедряемой федеральной системы тестирования. Реально назрела необходимость создания теоретических основ образовательной квалиметрии, позволяющих упорядочить понятийный аппарат, разработать эффективные математические модели процесса обучения и сформулировать условия его оптимизации, а также получить соответствующие количественные нормы. Важнейшим элементом системы контроля качества образовательного процесса является педагогический измеритель, поэтому особое внимание в диссертации уделено стандартизации дидактических тестов. В результате появляется возможность сравнить данные измерения уровней достижений учащихся с требованиями государственного стандарта общего образования и решить, таким образом, основную задачу образовательной квалиметрии.
Объект исследования - система контроля качества образовательного учреждения, включающая в себя оценку профессионально-педагогической квалификации преподавателя.
Предмет исследования — теоретические основы образовательной квалиметрии и процедура стандартизации дидактических тестов, позво ляющих сопоставить результаты тестирования уровней достижений учащихся с требованиями государственного образовательного стандарта.
Целью исследования является теоретическое обоснование квалимет-рических методов повышения эффективности контроля качества процесса обучения, использующих методологию современной натуральной философии и позволяющих разработать педагогические измерители по различным учебным дисциплинам.
С учетом объекта, предмета и цели исследования выдвигается гипотеза о том, что образовательная квалиметрия является фактором повышения эффективности контроля качества процесса обучения при условии, что:
инвариантное описание образовательного процесса, включающее в себя квалиметрическое образовательное пространство, интервальную шкалу уровней достижений, потенциальные возможности учащихся, педагогическое действие, а также поле индивидуальной педагогической поддержки, позволяет выявить роль независимого диагноста при проведении мониторинга образовательного процесса;
описание дискретных свойств процесса обучения, включающее в себя структурные элементы образовательной программы, мотнвационные паузы и длины волн субъектов квалиметрического образовательного пространства, позволяет оптимизировать индивидуальные образовательные траектории учащихся;
классическое приближение квалиметрической модели процесса обучения дает возможность сформулировать основные признаки системы контроля качества образовательного процесса;
обеспечивая содержательную валидность дидактического теста с помощью экспертного метода, его надежность посредством апробации на репрезентативной выборке, конструктную валидность путем сравнения надежности внутренней согласованности измерителя с идеальным норматив ным тестом, а критериальную валидность сопоставлением результатов независимого тестирования с данными текущей аттестации, можно осуществить процедуру стандартизации педагогического измерителя;
стандартизованный дидактический тест позволяет оценить профессионально-педагогическую квалификацию преподавателя.
Для реализации цели и проверки гипотезы были поставлены следующие задачи исследования:
сформулировать или уточнить систему ключевых понятий образовательной квалиметрии: «квалиметрическое образовательное пространство», «интервальная шкала уровней достижений», «потенциальные возможности», «педагогическое действие», «поле индивидуальной педагогической поддержки», «структурный элемент образовательной программы», «моти-вационная пауза» и «длина волны субъекта квалиметрического образовательного пространства»;
создать квалиметрическую модель процесса обучения, а также ее классическое приближение, с целью выявление статистических показателей эффективности образовательного процесса;
разработать методику создания поля индивидуальной педагогической поддержки, соответствующего потенциальным возможностям учащихся, посредством установления длительности различных этапов усвоения структурных элементов образовательной программы и использования мотивационных пауз для обследования целесообразности изучения программного материала;
разработать и апробировать процедуру стандартизации дидактических тестов, включающую в себя обеспечение содержательной, конструкт-ной, критериальной валидности и надежности педагогического измерителя;
разработать технологию оценивания эффективности процесса обучения и профессионально-педагогической квалификации преподавателя.
Концептуальной и методологической основой исследования являются теории и идеи:
современной натуральной философии (М. Борн [31], А. Пуанкаре [134], Р. Фейнман [189] и др.);
структуры и качества образования (А.А. Аветисов [3], СИ. Архангельский [17], Ю.К. Бабанский [20], В.И. Байденко [21], B.C. Леднев [81], Н.А. Селезнева [173], А.И. Субетто [181], Н.Ф. Талызина [183], Ю.Г. Татур [184] и др.);
личностно-ориентированного и развивающего образования (Е.В. Бондаревская [29], СВ. Кульневич [75], В.В. Сериков [174], В.Т. Фоменко [190] и др.);
современных образовательных технологий (В.П. Беспалько [25], Г.К. Селевко [172] и др.);
психологического тестирования (А. Анастази [9], П.Я. Гальперин [35], Ю.З. Гильбух [43], П. Клайн [66] и др.);
педагогической диагностики (B.C. Аванесов [2], В.П. Бинитас [26], К. Ингенкамп [59], Е.А. Михайлычев [105], В.И. Михеев [112], Дж. Равен [138], B.C. Черепанов [194] Д.Б. Эльконин [199] и др.);
квалиметрического мониторинга (Н.В. Акинфиева [6], Т.С Аниси-мова [12], Н.В. Гороховатская [45], В.Е. Каплан [64], Н.А. Кулемин [74], А.Н. Майоров [89], В.И. Нардюжев [116], Ю.М. Нейман [117], В.А. Хлебников [191], Е.В. Яковлев [200] и др.);
технологии тестового контроля (B.C. Аванесов [2], Г.С. Ковалева [67], А.Н. Майоров [88], В.И. Нардюжев [116], Ю.М. Нейман [117], В.А. Хлебников [191], М.Б. Челышкова [192] и др.);
статистической обработки информации и математического моделирования (Л.Б. Ительсон [60], Г.Ф. Кьюдер и М.В. Ричердсон [212], К. Пирсон [213], Г. Раш [214] и др.).
В реализации поставленной цели и решении задач использовались общенаучные и специальные методы теоретического и эмпирического исследования:
анализ и синтез основных принципов современной натуральной философии;
теоретическое моделирование квалиметрически значимых закономерностей образовательного процесса;
факторный анализ условий оптимизации процесса обучения;
анализ соотношений квалиметрической модели процесса обучения на экстремум;
стратификация генеральной совокупности учащихся общеобразовательных учреждений области и создание репрезентативной выборки;
статистическая обработка результатов апробации дидактических тестов с целью его стандартизации;
выявление количественных показателей эффективности процесса обучения на основе анализа статистических закономерностей распределения результатов тестирования учащихся.
Исследование проводилось в четыре этапа.
Изучение методов педагогической диагностики и образовательной ква-лиметрии параллельно с преподаванием в специализированных физико-математических классах при Ростовском государственном университете. (1989-1993 гг.)
Проблемно ориентированный анализ первоисточников и подготовка квалиметрической модели процесса обучения. Изучение статистических методов обработки информации. (1994-1999 гг.)
Проведение многофакторного педагогического анализа результатов дидактического тестирования. Разработка и апробация нормативно-критериального теста итогового контроля. Защита кандидатской дис сертации по теме: «Технология критериально ориентированного тестирования потенциальных возможностей учащихся». (2000-2002 гг.) 4. Создание теоретических основ образовательной квалиметрии и их экспериментальная проверка в процессе руководства Центром педагогических измерений на базе Ростовского областного института повышениия квалификации и переподготовки работников образования. Обсуждение результатов исследования на страницах специализированного журнала «Педагогическая диагностика». Завершение редактирования основного текста диссертации. (2003-2004 гг.)
Базой исследования являются следующие учреждения и организации: Центр модернизации общего образования при Министерстве общего и профессионального Ростовской области, Ростовский областной институт повышения квалификации и переподготовки работников образования (РО ИПК и ПРО) с филиалами в городах Шахты, Каменск-Шахтинский и Волгодонск, Новороссийская государственная морская академия (Ростовский филиал) с сетью лицейских классов, районные и городские отделы народного образования, а также общеобразовательные школы Ростовской области.
Основными результатами исследования являются: создание теоретических основ образовательной квалиметрии на базе методологии современной натуральной философии; формулировка принципа инвариантности и доказательство существования предельно допустимой скорости передачи информации между преподавателем и учащимися, а также особой роли независимого диагноста в процедуре тестирования; соотношения для уровней достижений учащихся в начале и в конце данного этапа обучения, а также формула релятивистского коэффициента, позволяющая сопоставить изменения уровней достижений учащихся в различных системах отсчета; связь между потенциальными возможностями и уровнями достижений учащихся; понятие педагогического действия как универсальной
инвариантной величины, характеризующей образовательный процесс в различных системах отсчета; понятие поля индивидуальной педагогической поддержки и соотношение для его средневзвешенной величины; формулировка принципа дискретности и обоснование роли мотивацион-ных пауз, являющихся специфическим этапом усвоения структурного элемента образовательной программы; понятие структурного злеічента образовательной программы и формула для вычисления комбинированной весомости отдельных вопросов; вывод формулы средней скорости передачи информации между субъектами квалиметрического образовательного пространства; понятие длины волны субъекта квалиметрического образовательного пространства, позволяющее оптимизировать индивидуальную образовательную траекторию учащегося; создание квалиметрической модели процесса обучения, классическое приближение которой позволяет получить функцию распределения тестовых результатов по уровням достижений; способ оценивания профессиональной квалификации преподавателя по дисперсии статистического распределения результатов независимого тестирования его учеников; способ оценивания величины содержательной валидности дидактического теста, основанный на экспертной оценке образовательной программы; способ определения конструктной валидности теста, основанный на сравнении надежности внутренней согласованности педагогического измерителя с идеальным нормативным тестом; методы корреляционных вопросов, доверительного интервала и процентной разности ответов респондентов на позитивные и негативные вопросы, касающиеся одного и того же объекта исследования, позволяющие обеспечить объективность результатов анкетирования; метод расхождения медиан статистических распределений результатов текущей аттестации и независимого обследования с помощью стандартизованного дидактического теста, позволяющего оценить эффективность процесса обучения.
Научная новизна и теоретическая значимость исследования состоят в следующем:
на методологической основе современной натуральной философии сформулированы принципы образовательной квалиметрии: 1) принцип инвариантности, утверждающий, что образовательный процесс не зависит от точки зрения диагноста; 2) принцип дискретности, утверждающий, что педагогическое действие содержит целое число структурных элементов образовательной программы;
введены и теоретически обоснованы основные понятия образовательной квалиметрии: «квалиметрическое образовательной пространство», «интервальная шкала уровней достижений», «потенциальные возможности», «педагогическое действие», «поле индивидуальной педагогической поддержки», «структурный элемент образовательной программы», «моти-вационная пауза» и «длина волны субъекта квалиметрического образовательного пространства»;
создана квалиметрическая модель процесса обучения, классическое приближение которой позволяет получить распределение тестовых результатов по уровням достижений учащихся;
произведена нормировка квалификационного коэффициента, характеризующего профессионально-педагогическую подготовку преподавателя;
разработана процедура обеспечения содержательной валидности дидактического теста и ее количественной оценки, в основе которой лежит экспертиза образовательной программы с целью определения комбинированной весомости отдельных вопросов;
разработан способ количественной оценки конструктной валидности теста, основанный на сравнении надежности внутренней согласованности педагогического измерителя с идеальным нормативным тестом;
разработаны методы корреляционных вопросов, доверительного интервала и процентной разности ответов респондентов на позитивные и негативные вопросы, касающегося одного и того же объекта исследования, дозволяющие обеспечить объективность результатов педагогического анкетирования;
разработан метод расхождения медиан статистических распределений результатов текущей аттестации и независимого обследования с помощью стандартизованного дидактического теста, позволяющий оценить эффективность процесса обучения.
Практическая значимость исследования заключается в возможности применения теоретических выводов образовательной квалиметрии для повышения эффективности контроля качества процесса обучения. Каждый преподаватель может с помощью стандартизованного дидактического теста осуществить входной контроль потенциальных возможностей учащихся, вычислить средневзвешенное значение поля индивидуальной педагогической поддержки и правильно распределить время занятия между подготовительным и сущностно-мотивационным этапом изучения структурного элемента образовательной программы. Придерживаясь предельно допустимой скорости повторения ранее пройденного материала и изложения новой для учащихся информации, преподаватель сможет поддерживать среднюю скорость передачи информации 14 бит в секунду. Это гарантирует усвоение большинством учащихся программного материал на понятийном уровне при условии, что в конце изучения каждого структурного элемента им будет предложено мотивационное задание, которое обладает практической направленностью и позволяет обосновать целесообразность усвоения программного материала. Окончательные результаты обучения фиксируются с помощью дидактических тестов рубежного или итогового контроля, который прошел процедуру апробации. Если обеспечена необходимая надежность, а также содержательная, конструктная и критериальная валид ность педагогического измерителя, то с его помощью можно не только определить потенциальные возможности учащихся, но и нормированный квалификационный коэффициент преподавателя.
На защиту выносятся следующие положения:
Образовательный процесс не зависит от точки зрения диагноста. На основе анализа структуры и функцій! квалиметрического образовательного пространства, процедуры шкалирования уровней достижений учащихся и способов определения их потенциальных возможностей вводится понятие «педагогической действие», которое характеризует образовательный процесс как с точки зрения его развития в квалиметрическом образовательном пространстве, так и с точки зрения потенциальных возможностей учащихся. Численное значение и форма записи индивидуального педагогического действия не зависит от точки зрения диагноста, несмотря на то, что в разных системах отсчета могут быть зарегистрированы различные изменения уровней достижений учащегося.
Поле индивидуальной педагогической поддержки ориентируется на учащихся с низкими потенциальными возможностями. Величина поля должна совпадать с потенциальными возможностями слабых учащихся, а по отношению к сильным учащимся квалиметрическое образовательное пространство должно оставаться однородным. Такая конфигурация поля индивидуальной педагогической поддержки гарантирует стандартное перемещение большинства учащихся вдоль шкалы уровней достижений и уменьшение дисперсии статистического распределения результатов тестирования.
Педагогическое действие содержит целое число структурных элементов образовательной программы. Процесс усвоения структурного элемента включает в себя подготовительный этап, заключающийся в повторении ранее изученного материала, и сущностный этап, в течение которого преподаватель излагает новую для учащихся информацию. В конце
изучения каждого структурного элемента образовательной программы преподаватель должен сформировать мотивационную паузу, позволяющую обосновать целесообразность усвоения переданной информации. При этом
учащимся предлагаются специальные мотнвационные задания, которые
обладают определенной значимостью для адаптации индивида в социуме.
На каждом этапе изучения структурного элемента образовательной программы информация должна передавать с предельно допустимой скоростью. На подготовительном этапе скорость передачи информации между субъектами квалиметрического образовательного пространства соответствует медленному темпу произнесения слов, а на сущностно.м и мотивационном этапах скорость передачи информации становится при близительно в три раза меньше, что требует секундных пауз между произ носимыми словами. Определяя длительность различных этапов изучения структурных элементов образовательной программы на основе средневзвешенных потенциальных возможностей контингента учащихся, удалось установить среднюю скорость передачи информации при эффективном процессе обучения.
Мониторинг учебных достижений в эффективном образователъ- щ ном процессе осуществляется с помощью дидактических тестов, прошедших процедуру стандартизации, то есть:
обеспечение содержательной валидности с помощью экспертной оценки весомости отдельных вопросов образовательной программы;
определение надежности внутренней согласованности тестовых заданий на основе данных репрезентации;
выявление конструктных свойств педагогического изхмерителя путем сравнения его надежности с соответствующим показателем идеаль 1 ного нормативного теста;
определение критериальной валидности по корреляции тестовых и текущих оценок участников репрезентативной выборки.
Процесс обучения можно считать эффективным, если нормированный квалификационный коэффициент превышает единичное значение. Индикаторным показателем эффективности процесса обучения является совпадение медиан статистических распределений данных текущей аттестации и результатов независимого обследования с помощью стандартизованного дидактического теста с доверительной вероятностью не более 5%. Затем необходимо сопоставить дисперсию распределения результатов тестирования учащихся с нормальным статистическим распределением. Полученный таким образом нормированный квалификационный коэффициент должен превышать единичное значение.
Апробация результатов исследования. Основные положения диссертационного исследования отражены в публикациях автора в виде статей в журналах и сборниках, а также в монографических изданиях: «Инвариантность образовательного процесса» (2002), «Дискретность образовательного процесса» (2003), «Система контроля качества образовательного процесса» (2002), «Образовательная квалиметрия в системе повышения квалификации» (2003).
Результаты исследования докладывались на следующих конференциях: «Проблемы обновления содержания общего образования» (Ростов-на-Дону, 1992); «Управление качеством образования в высшей школе и стратегия подготовки нового поколения российского бизнеса» (Ростов-на-Дону, 2001, 2002); «Актуальные проблемы педагогической диагностики и мониторинга системы образования» (Таганрог, 2003); «Математика. Образование. Экология. Тендерные проблемы» (Воронеж, 2003); «Оценка эффективности образовательных инноваций и технологий» (Славянск-на-Кубани, 2003); «Психолого-педагогические проблемы развития современного образования» (Брянск, 2003); «Единый государственный экзамен в региональной системе управления качеством образования» (Ростов-на-Дону, 2003); «Актуальные проблемы педагогической диагностики и мониторинга системы образования (Таганрог, 2003, 2004); «Диагностика
торинга системы образования (Таганрог, 2003, 2004); «Диагностика уровня достижений студентов в современной школе (Ростов-на-Дону, 2004).
По теме диссертации опубликованы 54 печатные работы, из них 10 учебно-методических пособий, 44 научные работы, среди которых 4 монографии и 11 статей, опубликованных в журналах согласно списку ВАК.
Внедрение результатов исследований. Автор на протяжении ряда лет (2002-2004 гг.) осуществлял массовые обследования уровня обученно-сти школьников Ростовской области. Квалиметрические методики, разработанные в процессе написания диссертации, нашли свое применение при подготовке диагностических материалов, а затем были апробированы на репрезентативных выборках выпускников общеобразовательной школы. Создан областной банк педагогических измерителей, используемых в эксперименте по совершенствованию структуры и содержания общего образования, а также для проведения аттестационных мероприятий с целью присвоения квалификационной категории учителям Ростовской области. Результаты диссертационного исследования были использованы для создания системы контроля качества в РО ИПК и ПРО, а также в Ростовском филиале Новороссийской государственной морской академии.
В процессе работы над теоретическими основами образовательной квалиметрии автор участвовал в организации специализированного журнала «Педагогическая диагностика», а затем стал за местителем главного редактора. В процессе рецензирования статей для журнала по образовательной квалиметрии достигался эффект обсуждения ключевых идей исследования с ведущими специалистами в этой области педагогического знания. В результате целый ряд материалов автора, опубликованных в журнале «Педагогическая диагностика», стали достоянием широкой научной общественности. Журнал осуществляет дистанционное профессиональное педагогическое обучение учителей основам педагогической диагностики и образовательной квалиметрии в различных регионах Российской Федерации.
