Содержание к диссертации
Введение
Глава 1. Создание квалиметрической модели образовательного процесса 11
1.1. Современное состояние дидактической тестологии 11
1.2. Роль потенциальных возможностей учащихся в квалиметрическом образовательном пространстве 27
1.3. Построение интервальной шкалы уровней достижений на основе результатов тестовой диагностики 35
1.4. Способ оценки квалификации преподавателя 43
Выводы по первой главе 48
Глава 2. Разработка нормативно-критериального теста достижений 50
2.1. Цели и задачи дидактического тестирования 50
2.2. Стандартизация критериально ориентированного теста 54
2.3. Разработка и апробация теста достижений на примере образовательного предмета «физика» 84
Выводы по второй главе 98
Заключение 102
Литература 104
Приложения 113
- Современное состояние дидактической тестологии
- Построение интервальной шкалы уровней достижений на основе результатов тестовой диагностики
- Цели и задачи дидактического тестирования
Введение к работе
Исходным пунктом современной теории и практики образования является диагностическая постановка целей обучения. Иначе говоря, цели образования должны быть поставлены настолько точно и определенно, чтобы по результатам осуществления образовательного процесса можно было однозначно сделать заключение о степени их реализации.
В условиях перехода к личностно-ориентированному типу образования, актуальной становится разработка критериев и измерителей целостного культурного развития ребенка [18], в значительной степени предопределяемой потенциальными возможностями учащегося. В качестве одного из наиболее эффективных средств диагностики потенциальных возможностей выступает критериально ориентированное тестирование, позволяющее сочетать содержательную наполненность контрольных заданий с математической точностью оценки результатов испытаний.
Контроль учебных достижений учащихся должен быть проведен по всем характеристикам знаний и умений, которые предусмотрены целью обучения как в отношении вида психической деятельности - уровня памяти, мышления и т.д., так и в отношении их качеств - обобщенность, сознательность и т.д. [103]. Обратная связь в системе управления процессом обучения должна показать:
а) выполняется ли обучаемым именно то действие, которое было запрограммировано;
б) правильно ли оно выполняется;
в) соответствует ли форма выполняемого действия заданной;
г) формируется ли действие с должной мерой обобщения, свёрнутости, освоения, автоматизированности, быстроты выполнения и пр. [102].
Начало разработки тестовых средств диагностики относится к середине Х1Х-го века, когда в работах английского психолога Френсиса Галь тона были заложены основы тестирования [7]. Несколько позже К. Пирсон, П.Ж. Рюлон, Г.Ф. Кьюдер и М.В. Ричардсон [88] дополнили теорию и практику диагностики использованием статистических характеристик, таких как валидность и надежность. Дальнейшее развитие тестовых методов в педагогической и психологической науке связано с образованием двух взаимно дополняющих направлений. В рамках одного из них, основная задача диагностики ставилась, как определение уровня индивидуальных результатов относительно стандартизованной выборки (нормативно ориентированное тестирование).
Диагностические тесты, предназначенные для контроля развития потенциальных возможностей учащихся, должны моделировать учебную деятельность в целом или служить экспериментальными и абстрактными моделями отдельных этапов той деятельности, которую осуществляет ученик на уроке [112]. В системе психологического тестирования это требование формулируется как обеспечение конструктной психологической ва-лидности теста в сочетании с его концептуальным обоснованием [111].
В 60-х годах нормативные тесты подверглись критике и в работах Р.Л. Ибела, Р. Гласера и А. Анастази были предприняты попытки описания выполнения теста с точки зрения его содержания [30]. С этого же времени в практической педагогике начинают использовать критериально ориентированные тесты (термин предложен Р. Гласером). Их особенностью является ориентация не на усредненную норму выполнения теста всеми учащимися, а на индивидуальные достижения в заданной образовательной области. Соответственно, меняются и шкалы оценивания. Предполагается, что критериально ориентированный тест выполняется до тех пор, пока определенный элемент компетентности не будет сформирован.
Уже в последние десятилетия, было установлено, что между нормативными и критериально ориентированными тестами нет принципиальных различий. Иначе говоря, даже нормативный, содержательно валидизиро-ванный, тест является критериально ориентированным, а «ели критериаль но ориентированный тест стандартизировать, то он становится нормативным тестом [46]. Но, до сих пор, процедура разработки и апробации стандартизированного критериально ориентированного теста остается недостаточно исследованной.
Актуальность проведенного исследования определяется действием нескольких факторов:
необходимостью создания стандартизированных диагностических инструментов, позволяющих определять как актуальный уровень личностного развития, так и потенциальные возможности учащегося;
отсутствием достаточной научной проработки процедуры создания и апробации критериально ориентированного теста;
недостаточной определенностью и значимостью получаемых при тестировании результатов.
Потребность в стандартизованных средствах диагностики потенциальных возможностей учащихся продиктовано внедрением Федерального тестирования и единого экзамена, а также созданием системы контроля качества образовательного процесса во всех образовательных учреждениях. Кроме того, в преподавательской среде существует непонимание различия между нормативным и критериально ориентированным тестированием, которое приводит к несоответствию между ожидаемыми результатами диагностики и результатами тестирования учащихся. Получив определенную сумму тестовых баллов, набранных испытуемым, диагност должен правильно истолковать результаты тестирования с помощью статистических методик и выбранных шкал. Для этого ему необходимо в совершенстве владеть не только процедурой тестовой диагностики, но и теоретическими основами образовательной квалиметрии.
настоящей работе в качестве объекта исследования рассматривается педагогическая деятельность по оценке потенциальных возможностей учащегося, являющихся интегральной характеристикой его способности к продолжению образования.
Предметом исследования является процесс педагогического оценивания потенциальных возможностей учащегося с помощью методов тестовой диагностики.
Цель исследования заключается в разработке технологии критериально ориентированного тестирования потенциальных возможностей учащихся как метода объективной диагностики качества образования.
Соответственно определенным объекту, предмету и целям, нами выдвигается гипотеза о том, что разработанная технология критериально ориентированного тестирования предполагает в качестве обеспечивающих условий:
анализ основных понятий образовательной квалиметрии;
создание квалиметрической модели процесса обучения;
введение интервальной шкалы уровней достижений учащихся;
создание репрезентативной выборки;
разработку и апробацию нормативно-критериального теста достижений.
Для реализации цели исследования и проверки гипотезы были поставлены следующие задачи:
1. Конкретизировать основополагающие понятия образовательной квалиметрии, применительно к особенностям личностно-ориентированного образовательного процесса, такие как «квали-метрическое образовательное пространство», «поле индивидуаль ной педагогической поддержки» и «потенциальные возможности учащегося».
Создать квалиметрическую модель диагностики в образовательном процессе, позволяющую получить распределение учащихся в соответствии с интервальной шкалой уровней достижений.
Сформировать репрезентативную выборку учащихся средних общеобразовательных школ Ростовской области и осуществить стандартизацию нормативно-критериального теста достижений.
Разработать процедуру опосредованной оценки потенциальных возможностей учащихся и квалификации преподавателя.
Для решения поставленных задач были использованы: теоретический анализ и обобщение результатов педагогических, психологических, методологических исследований; математическое моделирование; метод экспертной оценки; дидактический эксперимент и статистический анализ результатов тестирования.
В качестве экспериментальной базы выступали: Ростовский областной ИПК и ПРО, Министерство образования Ростовской области, а также 45 школ Ростова-на-Дону, Аксая, Азова, Батайска, Таганрога, Новочеркасска, Шахт, Матвеев-Кургана, Пролетарского и Семикаракорского районов (всего около 100 учителей и 1400 учащихся).
Исследования осуществлялись в три этапа.
Изучение методов педагогической диагностики в специализированных физико-математических классах. (1989-1993 г.г.)
Создание квалиметрической модели процесса обучения и изучение статистических методов обработки информации. (1994-1998 г.г.)
Апробация нормативно-критериального теста итогового контроля на репрезентативной выборке. (1999-2001 г.г.)
Научная новизна и теоретическая значимость исследования состоят в следующем:
разработана технология критериально ориентированного тестирования потенциальных возможностей учащихся;
в образовательную квалиметрию введены понятия «квалиметри-ческое образовательное пространство», «поле индивидуальной педагогической поддержки учащегося» и «потенциальные возможности учащегося»;
создана квалиметрическая модель процесса обучения, позволяющая получить функцию распределения учащихся по уровням достижений;
разработана экспериментально обоснованная интервальная шкала уровней достижений непосредственно связанная с потенциальными возможностями индивида;
создан алгоритм разработки нормативно-критериального теста;
предложен способ расчета конструктной валидности теста с помощью формулы Кьюдера-Ричардсона;
разработан объективный метод определения квалификации преподавателя на основе результатов дидактического тестирования.
Практическая значимость проведенного исследования заключается в том, что:
разработаны методические рекомендации и учебно-тематические планы по дидактической тестологии для системы повышения квалификации учителей-предметников;
апробирована процедура объективной оценки квалификации учителей, используемая при их аттестации;
создана система контроля образовательного процесса, внедряемая в ряде учебных заведений.
На защиту выносятся следующие положения;
1. Образовательная квалиметрия в современных условиях становится частью общедидактической теории. Основными понятиями образовательной квалиметрии личностно-ориентированного типа являются:
квалиметрическое образовательное пространство, представляющее собой внутренне структурированную систему субъектов образовательного процесса, испытывающих корректирующее влияние извне, которое обеспечивает процедуру формализации образования с целью его теоретического исследования;
потенциальные возможности учащихся к продолжению образования, выявляемые с помощью технологии критериально ориентированного тестирования;
поле индивидуальной педагогической поддержки, подбираемое с учетом потенциальных возможностей учащегося.
2. Квалиметрическая модель образовательного процесса раскрывает механизмы его конструктивного развития, которые заключаются в следующем:
рассмотрение процесса обучения как квалиметрического образовательного пространства позволяет более эффективно применять к нему математические методы;
использование поля индивидуальной педагогической поддержки позволяет осуществить дифференциацию образовательного процесса.
Стандартизация критериально ориентированного теста предполагает обеспечение его валидности и надежности с помощью репрезентативной выборки, а также определение конструктной валидности по формуле Кьюдера-Ричардсона.
Опосредованная оценка потенциальных возможностей учащегося заключается в переводе тестовых баллов в интервальную шкалу, единицей измерения которой является стандарт статистического распределения результатов тестирования репрезентативной выборки. Сравнение степени разброса тестовых результатов с нормальным статистическим распределением позволяет определить квалификацию преподавателя.
В результате выполнения теоретического и экспериментального исследования достигнута поставленная цель: создана технология критериально ориентированного тестирования потенциальных возможностей учащихся. Стратификация генеральной совокупности выпускников средних общеобразовательных школ Ростовской области позволила сформировать репрезентативную выборку из 1400 учащихся, на которой проводилась апробация нормативно-критериального теста достижений. На основе результатов апробации издано методическое пособие по разработке дидактических тестов для системы повышения квалификации учителей. Технология критериально ориентированного тестирования потенциальных возможностей учащихся послужила основой системы контроля качества образовательного процесса в Южно-Российском государственном техническом университете, Международном университете экономики и управления, Новороссийской государственной морской академии.
Современное состояние дидактической тестологии
Тестом называется специальным образом сконструированная дидактическая методика, ядром которой является система заданий, апробированная на репрезентативной выборке [82]. Оптимальный дидактический тест должен быть включен в структуру диагностико-коррекционной программы и ориентирован на стимулирование саморегуляции учащимся своей учебной деятельности [65]. Диагностическая и предсказательная значимость дидактического теста зависит от того, насколько он может служить показателем относительно широкой и существенной области достижений. Дидактические тесты не имеют заранее определенных стандартов успешности или неудачи [36]. Индивидуальные показатели оцениваются в сравнении с показателями, полученными другими. Сам термин «норма» указывает на нормальное, или среднее, выполнение теста [106]. Стандартизация теста осуществляется с помощью апробации на большой репрезентативной выборке испытуемых того типа, для которого он предназначен [109]. Относительно этой группы испытуемых, называемой выборкой стандартизации, вырабатываются нормы, указывающие не только средний уровень выполнения, но и его относительную вариативность выше или ниже среднего уровня. Поэтому можно оценить различные уровни достижений испытуемых. Достаточно лишь определить положение индивида относительно нормативной выборки или выборки стандартизации [4].
Группа тестовых показателей может быть описана в терминах той или иной меры центральной тенденции. Такая мера указывает единственный, наиболее типичный или репрезентативный результат, характеризующий выполнение теста всей группой. Самой известной из таких мер является среднее арифметическое значение. Другой мерой центральной тенденции является мода, или наиболее часто встречающийся результат. Третья мера центральной тенденции - это медиана, то есть результат, находящийся в середине последовательности показателей, если их расположить в порядке возрастания или убывания. Медиана есть точка, делящая распределение ровно пополам [23].
Объективная оценка дидактических тестов означает определение их надежности и валидности в конкретных ситуациях [27]. Надежность теста есть согласованность показателей, полученных у тех же самых испытуемых при тестировании тем же самым тестом или его эквивалентной формой. Валидность - это степень, в которой тест действительно измеряет то, для чего он предназначен. Валидность устанавливается на репрезентативной выборке испытуемых, чьи показатели удовлетворяют не диагностическим целям, а только целям подготовки теста. Если таким способом доказывается валидность теста, его можно применять на других выборках без изменения критерия. Валидность является не только показателем степени соответствия теста своим функциям, но и указывает на то, что именно измеряется данным тестом. Название теста должно отражать критериальные данные, с помощью которых оценивалась его валидность [7].
Традиционный критериальный тест ориентирован на овладение индивидом определенными навыками в заданной образовательной области [54]. Учащийся всегда имеет возможность усовершенствоваться в деятельности, выбранной в качестве критерия, увеличивая процент выполнения тестовых заданий. Поэтому возникает кажущаяся невозможность проведения нормировки критериально ориентированного теста. Если же в качестве критерия выбрана успешность учащегося в содержательно значимой образовательной области, то для любого индивида существует непреодолимый рубеж выполнения тестовых заданий, который и позволяет произвести нормировку теста. При этом не следует оглашать выводы о его потенциальных возможностях учащегося. Достаточно сообщить уровень его достижений по изучаемой дисциплине в процентном выражении к обязательному образовательному минимуму. Это открывает перед учащимся перспективу дальнейшей деятельности, а, в то же время, позволяет объективно оценить его потенциальные возможности.
В нашей стране в течение многих лет слово «тест» было под запретом [87]. Еще в 80-х годах тестовые задания выдавались за обычные контрольные работы. Но если содержательная сторона педагогической диагностики выражалась в близких по значению формах, статистическая обработка полученных результатов была невозможна [111]. Чтобы математические методы приобрели прогностическую значимость, необходимо иметь полноценный нормативно-критериальный тест.
В США с 60-х годов разрабатываются и публикуются скоординированные серии национальных тестов достижений по разным учебным предметам для старшеклассников, используемые для отбора в колледж. Такие серии имеют единую систему сравнимых показателей по всем тестам. Тесты являются только одним из видов учебных заданий, используемых для контроля и диагностики знаний учащихся. Независимо от содержания и формы построения, тестом можно считать только такую систему специально составленных заданий, решение которых имеет однозначно правильные ответы, либо четкое описание критериев интерпретации и оценки ответов. Далеко не всякая задача может быть представлена в форме теста.
Существует мнение, что включенные в диагностический тест вопросы являются замкнутыми, ограничивающими свободу ответа ученика и состоящими или в дополнении имеющихся в тексте пробелов, или в выборе правильного ответа среди нескольких неполных или же ошибочных [39]. Такое понимание дидактического теста весьма ограничено, так как содержание вопросов многократно проверяется в процессе валидации на соответствие концепции образования и программе конкретной дисциплины. Более того, наиболее удачными тестовыми заданиями являются содержательные задачи, позволяющие не только выявить логически-обоснованные действия испытуемого, но и предполагают расчет конкретной величины. Они позволяют проконтролировать завершенный цикл мыслительной деятельности учащегося и предложить однозначно правильный ответ с эффективными дистракторами. Единственное ограничение, накладываемое на использование содержательных задач, связано с временем выполнения тестового задания. Поэтому громоздкие выкладки при их решении должны быть исключены.
Английские ученые Б. Саймон, М. Левитас, К. Бенн и другие, анализируя содержание тестов и практику их применения, приходят к следующим выводам:
1) тесты не измеряют природный интеллект;
2) в любом случае они являются тестами знаний и умений, полученных в школе, родительском доме;
3) возможно натаскивание на выполнение тестов;
4) отбор на основе тестирования ставит в невыгодное положение детей трудящихся.
Эти выводы подтвердил известный английский психолог Ф. Верной, занимающийся вопросами одаренности [95]. Поэтому к интерпретации результатов тестирования нужно относиться крайне осторожно. Нормативный критериально ориентированный тест способен выявить потенциальные возможности учащегося в процессе обучения при условии, что введена интервальная шкала уровней достижений [29].
Здесь мы сталкиваемся с еще одной проблемой современной школы, в которой до сих пор используется 5-бальная, а точнее сказать 4-бальная шкала оценок. Несовершенство и ограниченность процедуры перевода сырых тестовых баллов в оценку по традиционной 5-бальной ранговой шкале очевидно. Поэтому возникает объективная потребность связать результаты тестовой диагностики с потенциальными возможностями учащихся [3].
Внедрение современных педагогических технологий возможно только при наличии диагностического инструментария, который позволяет сопоставить цели и результаты образовательного процесса. Средства диагностики должны быть всегда в распоряжении учителя и доступны для него [49]. Первоначально тесты создавались только под конкретную диагностическую задачу без предварительной концептуальной проработки. Этот подход был характерен для педологии, за что справедливо критиковался П.П. Блонским и С.Л. Выгодским [9]. Н.Ф. Талызина сетовала на то, что каждый исследователь подбирает тестовые задания по своему усмотрению, без обоснования соответствия их поставленным целям обучения. Поэтому результаты, полученные разными людьми, оказываются несопоставимыми и, следовательно, оценка их с точки зрения эффективности управления учебным процессом невозможна [103]. В серьезном социологическом исследовании, имеющем целью проверку некоторых теоретических гипотез, такой сугубо эмпирический подход неприемлем [81].
Значительная часть тестов является пробами, найденными чисто эмпирически, значение которых якобы должно быть доказано статистическим путем, в результате массового их применения [53]. Если же нам не ясен физиологический или психологический смысл испытания, если это испытание является слепой пробой, то никакая статистическая обработка массового применения этого испытания, сколь бы сложной и остроумной она ни была, не даст научно ясных обоснованных результатов. Слепые пробы не могут сделаться зрячими от одного лишь присоединения к ним методов математической статистики [105]. Однако в период господства эмпиризма были найдены количественные показатели валидности и надежности тестов, разработаны приемы статистической обработки результатов тестирования [88].
Построение интервальной шкалы уровней достижений на основе результатов тестовой диагностики
Создавая модель образовательного процесса, необходимо ввести понятие поля индивидуальной педагогической поддержки как способа задания в квалиметрическом образовательном пространстве некоторой величины, характеризующей способность преподавателя оказывать конструктивное влияние на учащегося в соответствии с его потенциальными возможностями. Величина педагогического поля должна соответствовать потенциальным возможностям пассивного субъекта образовательного пространства. Чем сильнее внутренние мотивационные факторы учащегося, тем меньшее поле индивидуальной педагогической поддержки необходимо.
Функция педагогического поля заключается в возможности корректировки внутренних мотиваций пассивного субъекта образовательного пространства за счет внешних мотиваций активного субъекта. Если потенциальные возможности учащегося ниже нормального уровня, то в однородной образовательном пространстве он отстанет в интеллектуальном развитии. Попадая в педагогическое поле, учащийся добавляет к собственным потенциальным возможностям мотивационную поддержку преподавателя. Она может выражаться в увлеченности преподавателя учебной дисциплиной, способной пробудить интерес к изучаемому предмету. Преподаватель может с помощью конкретных примеров раскрыть перспективность использования приобретенных знаний в последующей жизнедеятельности. Благожелательность, демонстрируемая преподавателем на каждом уроке, способна вызвать уважение к нему со стороны учащихся как к старшему товарищу. Существует множество других внешних мотиваций, но их следует использовать в соответствии с характером и темпераментом преподавателя, а также с учетом конкретных особенностей контингента учащихся [61].
Педагогическое поле позволяет индивиду с низкими потенциальными возможностями переместиться на заданный уровень достижений, но для этого оно должно быть строго индивидуальным. Умение преподавателя оптимизировать поддержку учащихся в процессе обучения является показателем его высокой квалификации. Чем эффективнее используется поле индивидуальной педагогической поддержки, тем качественнее образовательный процесс и выше результаты тестовых испытаний.
В основу квалиметрической модели образовательного процесса положены два постулата:
1) любой процесс обучения не является односторонним, в нем равноправно существуют все субъекты образовательной среды;
2) конструктивная составляющая образовательного процесса, связанная с педагогической поддержкой потенциальных возможностей учащегося, преобладает над деструктивными процессами в образовательной среде.
Если составляющие образовательного процесса скомпенсируют друг друга, то на более высокие уровни достижений смогут перейти только учащиеся с высокими потенциальными возможностями.
При одной и той же конструктивной составляющей образовательного процесса индивид с более высокими потенциальными возможностями перемещается на более высокий уровень достижений. Кроме того, работа, совершаемая преподавателем, увеличивается с ростом количества учащихся. Поскольку внутренние мотивационные факторы учащихся различны, в квалиметрической модели образовательного процесса следует рассматривать конструктивное влияние педагогического поля на группу учащихся, обладающих одинаковыми потенциальными возможностями.
Предположим, что первоначально некоторое количество учащихся п, обладающих потенциальными возможностями Р, находились на исходном
уровне достижений ho- Сообщая необходимый объем информации, и создавая поле индивидуальной педагогической поддержки, преподаватель стремится переместить всех учащихся на некоторый интервал dh=h—h0. Предполагая дальнейшее обобщение проведенного рассуждения на весь контингент учащихся, запишем элементарную работу, характеризующую конструктивную составляющую образовательного процесса.
В силу деструктивных тенденций в квалиметрическом образовательном пространстве [24], некоторые учащиеся из рассматриваемой группы не смогут переместиться на более высокие уровни достижений. Если первоначальное количество субъектов в группе пь то после влияния конструктивной составляющей образовательного процесса в ней останется п2 субъекта. Кроме зависимости от изменения количества учащихся, перешедших на более высокий уровень достижений dn=n2-nb величина, характеризующая деструктивные тенденции, должна включать в себя потенциальные возможности учащихся Р и квалификацию преподавателя К. Ясно, что обладающий низкими внутренними мотивациями субъект образовательной среды более подвержен деградации, а чем ниже квалификация преподавателя, тем сильнее проявляются деструктивные тенденции. Таким образом, характеристику деструктивной составляющей образовательного процесса можно приравнять элементарной работе преподавателя с обратным знаком.
После подстановки в соотношение (2) формулы (1) сокращаем в левой и правой части равенства потенциальные возможности учащихся.
Полученный результат указывает на то, что опытный преподаватель должен уметь работать с любым контингентом, способствуя перемещению его вдоль шкалы уровней достижений. После разделения переменных. можно произвести суммирование по бесконечно малым величинам, переходя к описанию процесса обучения в целом. На этом этапе необходимо учесть доминирующую роль конструктивной составляющей образовательного процесса. Для этого пределы интегрирования следует подобрать специальным образом, предполагая распределение всего контингента учащихся по уровням достижений в результате его перемещения на величину стандарта статистического распределения результатов тестирования репрезентативной выборки.
Цели и задачи дидактического тестирования
Объективная оценка потенциальных возможностей ученика в лично-стно-ориентированном образовательном процессе предполагает измерение уровней достижений учащихся с помощью интервальной шкалы [96]. Использование в практике образовательных учреждений традиционной 5-тальной ранговой шкалы приводит к необоснованным суждениям о личностных характеристиках учащегося [97]. Когда же в процедуру оценивания привносится субъективный фактор педагогической ситуации, сложившейся вокруг данного ученика, происходит необоснованная корректировка выставляемой отметки и 5-бальная шкала перестает быть даже ранговой; Учитель часто старается учесть личностные качества учащегося и его родителей, и с помощью отметки стимулировать заинтересованность ученика изучаемым предметом. Кажущаяся эффективность подобного педагогического приема приводит к невозможности в дальнейшем подтвердить обоснованность школьной оценки. Причина возникающей проблемы заключается в том, что внутренние мотивации стимулируются только объективной содержательной оценкой, связанной с потенциальными возможностями ученика. Решить данную проблему можно только с помощью методов педагогической диагностики [8].
Объективная оценка потенциальных возможностей ученика должна базироваться на действующих стандартах в данной образовательной области [35]. Но для создания и внедрения государственного стандарта общего и среднего образования необходима интервальная шкала учебных достижений школьников. Создание подобной шкалы предполагает использование дидактических тестов, как наиболее отработанного инструмента педагогической диагностики [59]. Возможности статистической обработки результатов тестирования, а также нормирование критериально ориентированных тестов позволяет достаточно четко определить уровни достижений, которые соответствуют тем или иным оценкам 5-бальной шкалы.
В условиях, когда образовательный минимум ориентирован на содержательную сторону учебных дисциплин и требует формирования естественнонаучного мировоззрения учащихся, нельзя оценивать только сиюминутные достижения, не отражающие потенциальные возможности индивида [11]. Формальная оценка знаний учеников не позволяет сформировать личностно-ориентированное образовательное пространство, так как внутренние мотивации школьников остаются без внимания учителя. Оценивая потенциальные возможности ученика, учитель повышает суммарные мотивационные факторы учащихся в процессе изучения материала [38].
Дидактический тест является важнейшим элементом педагогической прогностики, отличающимся статистической значимостью и наибольшими измерительными возможностями. Он представляет собой систему взаимосвязанных заданий, предназначенных для контроля знаний, умений и навыков учащихся по определенному учебному материалу [44]. Тесты хорошо дополняют методы экзаменов, особенно в старшем школьном возрасте. С их помощью получают представление об адекватности знаний педагогическим требованиям и о развитии способностей учащихся [45].
Привычные методы контроля пригодны для непосредственного общения учителя со школьниками на уроке, но для оценки качества знаний эти методы не годятся, так как необходимые диагностичность, точность и воспроизводимость результатов в них изначально не заложены [15]. Эффективный дидактический тест - это стандартизированная тщательно разработанная методика, проверенная на репрезентативной выборке. Его описание должно содержать как минимум:
1. Назначение теста с указанием диагностических целей и задач.
2. Точные сведения об авторах-разработчиках.
3. Данные об особенностях и репрезентативности выборки.
4. Краткое описание основных нормативов и критериальных оценок.
5. Сведения о содержательной и критериальной валидности теста.
6. Сведения о надежности теста.
7. Инструкции диагносту и обследуемому.
Рассмотрим все эти позиции более подробно, используя в качестве примера процедуру создания теста итогового контроля знаний по физике учащихся средних общеобразовательных школ [33].
В практике современной школы обычно используют не нормативные, а критериально ориентированные тесты. В качестве критерия в них используется усвоение изучаемого материала путем многократного повторения. Несмотря на значимость подобного диагностического инструментария в процессе отработки определенных профессиональных навыков, базирующихся на данной учебной дисциплине, их невозможно сделать нормативными. Только ориентация на способность индивида к продолжению образования, как на критерий тестирования, является показателем усвоения материала на понятийном уровне [42]. Это позволяет сделать дидактический тест не только критериально ориентированным, но и нормативным.
Большинство тестов, опубликованных в методической литературе, не дают статистически значимый результат. Например, в пособии В.Г. Разумовского и А.Е. Гуревича [84] предлагаются процентные нормы выполнения теста для выставления оценки по 5-бальной шкале, однако не приводятся данные о статистической обработке результатов тестирования. О.Ф. Кабардин [33] также выбирает критерии оценок связанные не с потенциальными возможностями учащихся, а с объемом усвоенного материала и степенью отработки навыков их воспроизведения. Утверждается, что, выполняя до 70% заданий, ученик находится в стадии формирования знаний и умений, а, следовательно, может легко их потерять. Общественно необходимый минимум заключается в способности ученика выполнить 90% заданий. Этот показатель является критерием хорошей оценки. Таким образом, утверждается накопительный принцип оценки уровня достижений ученика, характерный для традиционного критериального теста. Применение полученных знаний в нестандартной ситуации предполагается только при выставлении учащемуся отличной оценки. Это приводит к повсеместному завышению школьных оценок, как минимум, на один балл [83].
Только в пособии издательства «Дрофа» [76] подробно обсуждается структура итоговой работы с указанием веса каждого задания и среднего времени его выполнения. Однако, пользуясь статистически значимыми результатами тестирования, очень сложно привести их в соответствие с текущей успеваемостью школьников. Поэтому необходимо как можно быстрее разрабатывать и внедрять методы дидактического тестирования в практику среднего образования.
Целью разработанного нами нормативно-критериального теста достижений является оценка потенциальных возможностей выпускников на основе материала школьного курса физики в полном соответствии с действующим образовательным стандартом. Основной задачей тестирования является получение статистически значимого суждения о способности ученика продолжать образование в данной образовательной области или смежных с нею областях. Отмечая приоритет потенциальных возможностей учащегося над фактически накопленной суммой знаний, авторы-разработчики теста берут на себя ответственность за результативность проводимой диагностики, при условии правильного применения предоставленного конструкта. Подтверждением обоснованности оценки потенциальных возможностей выпускников являются результаты апробирования теста на репрезентативной выборке учащихся старших классов средних общеобразовательных школ [62].
Репрезентативная выборка должна отражать все демографические особенности генеральной совокупности и обеспечивать вероятность достоверного результата не ниже 0,95. При этом предельная ошибка репрезентативности не превышает 5%. Объем выборки не зависит напрямую от объема генеральной совокупности. Дисперсия статистически значимых результатов, полученных при исследовании репрезентативной выборки, складывается из дисперсии изучаемого признака и дисперсии, вызванной неоднородностью генеральной совокупности. При увеличении выборки последняя величина уменьшается [75].
Поэтому, прежде всего, необходимо оценить степень однородности генеральной совокупности с помощью дисперсии и стандартного отклонения от среднего значения статистического распределения. Можно воспользоваться методом двух оценочных вопросов. Учащимся задается один вопрос о качестве образовательного процесса в данном учебном заведении, а другой - о собственных достижениях в процессе обучения. Опрашивая небольшое количество школьников, мы получаем различный разброс ответов на эти вопросы, и дисперсии распределений сильно отличаются друг от друга. Но при увеличении числа испытуемых замечено, что обе дисперсии приближаются к одному значению. Это является показателем того, что нормальное распределение возникает только при достижении определенного количества элементов выборки. Момент совпадения и дальнейшей неизменности дисперсии фиксирует необходимый объем репрезентативной выборки, который обычно составляет 200-300 учащихся [46].
