Содержание к диссертации
Введение
Глава I. ПЕДАГОГИЧЕСКИЙ ТЕСТОВЫЙ КОНТРОЛЬ И СИСТЕМНЫЙ ПОДХОД К КОМПОЗИЦИИ ТЕСТОВ ПО БИОЛОГИИ
1.1. Объект, функции и виды педагогического контроля 21
1.2. Характеристика и классификация педагогических тестов 39
1.3. Преимущества, недостатки и ограничения тестовых форм педагогического контроля 60
1.4. Функции системного подхода при конструировании и оценке качества педагогических тестов 69
1.5. Выводы по главе I 93
Глава II. МЕТОДИКА СОСТАВЛЕНИЯ И АНАЛИЗА КАЧЕСТВА ТЕСТОВЫХ ЗАДАНИЙ ПО БИОЛОГИИ 94
2.1. Атрибуты тестовых заданий 94
2.2. Моделирование формы тестовых заданий по биологии 91
2.3. Методика составления тестовых заданий, различающихся по типологии контролируемых знаний 144
2.4. Методика составления тестовых заданий, различающихся по уровню усвоения контролируемых знаний 155
2.5. Методика оценки статистических показателей тестовых заданий и закономерности их формирования 159
2.6. Выводы по главе ІІ 170
Глава III. МЕТОДИКА ОЦЕНКИ КАЧЕСТВА ПЕДАГОГИЧЕСКОГО 171 ТЕСТА И ЗНАНИЙ АБИТУРИЕНТОВ ПО БИОЛОГИИ ПУТЕМ ИЕРАРХИЧЕСКОГО АНАЛИЗА БОЛЬШИХ БАЗ ДАННЫХ
3.1. Анализ функциональных свойств теста как системы 173
3.2. Анализ структурных свойств вариантов теста (подсистем) 180
3.3. Анализ структурных свойств тестовых заданий как элементов системы 184
3.4.Выводыпо главе III 208
Глава IV. МЕТОДИКА КОМПОЗИЦИИ ТЕСТА ПО БИОЛОГИИ 210
4.1. Исследование влияния прядка расположения тестовых заданий на статистические характеристики теста 212
4.2. Исследование влияния разнообразия форм тестовых заданий на статистические характеристики теста 235
4.3. Выводы по главе IV 252
Глава V. ПРОГНОСТИЧЕСКАЯ ВАЛИДНОСТЬ АБИТУРИЕНТСКИХ ТЕСТОВ ПО БИОЛОГИИ
5.1. Компетентностный подход в образовании и педагогическое тестирование
5.2. Прогнозирование обучаемости по итогам выполнения педагогического теста по биологии 261
5.3. Прогностическая валидность абитуриентских тестов по биологии и аттестата зрелости 280
5.4. Обучающая роль педагогических тестов по биологии в подготовке абитуриентов 294
5.5. Выводы по главе V 296
ЗАКЛЮЧЕНИЕ 298
ВЫВОДЫ 301
СПИСОК ИСТОЧНИКОВ ЛИТЕРАТУРЫ 304
- Характеристика и классификация педагогических тестов
- Методика составления тестовых заданий, различающихся по типологии контролируемых знаний
- Анализ функциональных свойств теста как системы
Введение к работе
Образование как процесс и результат освоения системных и систематизированных знаний, умений и навыков - необходимое условие для подготовки человека к жизни и труду. Образование как процесс предполагает протяженность во времени, разницу между исходным и конечным состояниями участников этого процесса, технологичность, обеспечивающую изменения, преобразования [283]. В связи с процессами демократизации, затронувшими все сферы жизни общества, перед образованием поставлены задачи обеспечения нового качества обучения, воспитания и развития подрастающего поколения, повышения требований к уровню общеобразовательной подготовки учащихся, достижению ими планируемых результатов обучения.
Для того, чтобы выяснить, достигли ли учащиеся заданных программой результатов обучения, необходимо осуществлять контроль за их знаниями и умениями. Не случайно отмечалось, что все известные в мире попытки улучшения качества образования, не подкрепленные действенной реформой системы проверки знаний, не приносили, как правило, желаемых результатов [210]. Международный научно-практический семинар Совета Европы «Стратегии реформ системы образования в России: ожидания и реальность» [231] отметил, что необходим более жесткий контроль эффективности деятельности школ и выпускаемого ими «продукта», для чего должны развиваться новые механизмы оценки. Для эффективного управления качеством образования, согласно теории менеджмента качества, необходимо постоянное и комплексное изучение образовательной системы на основе количественно измеренной и качественно сопоставимой образовательной информации, причем оценка качества предусматривается средствами и методами, независимыми от производителя [129, 132]. В практику оценки качества образования все больше входят такие технологии педагогической квалиметрии, как тестирование, диагностика, экспертиза, мониторинг [375, 403, 404, 429]. Хотя сегодня не существует оптимальной, повсеместно признанной модели оценки уровня учебных достижений учащихся [191],
5 одной из наиболее востребованных и актуальных форм контроля является педагогическое тестирование, использование которого вызвано потребностью общества в объективной информации об учебных достижениях [410].
Педагогическое тестирование - это совокупность организационных и методических мероприятий, обеспечивающих разработку педагогических тестов, подготовку и проведение формализованной процедуры измерения уровня подготовленности испытуемых по конкретным разделам области знаний, а также обработку и анализ результатов [396].
В настоящее время в России широкомасштабное педагогическое тестирование существует в двух формах: Единый государственный экзамен (ЕГЭ) и Централизованное тестирование (ЦТ). ЕГЭ Министерство образования Российской Федерации проводит с 2000г. в качестве эксперимента, причем в 2003г. в нем участвовало более половины регионов России. Основная цель ЕГЭ - совмещение итоговой аттестации выпускников общеобразовательных учреждений со вступительными испытаниями при поступлении в государственные вузы [395]. Участие в ЕГЭ является обязательной процедурой для каждого выпускника, если он проживает в охваченном ЕГЭ регионе. Централизованное тестирование, также проводимое под эгидой МО РФ с 1995г., напротив, является сугубо добровольной процедурой, как для учащихся, так и для образовательных учреждений. Согласно концепции ЦТ, утвержденной МО РФ 17.12.99, «основной целью проводимого тестирования является формирование более демократических условий приема в вуз, а также оказания мер социальной поддержки абитуриентов отдаленных регионов...». По желанию абитуриента полученный им результат тестирования представляется в приемную комиссию высшего или среднего профессионального учебного заведения и засчитывается как результат вступительного экзамена по данному предмету (приказ Министерства образования России от 14.01.2003 №50, зарегистрирован Министерством юстиции России 06.02.2003 № 4188). В настоящее время почти половина государственных Вузов России зачисляет в число своих студентов абитуриентов по резуль-
татам Централизованного тестирования, в 2003 г. в нем приняло участие более 1400 тыс. человек, что говорит о высокой востребованности этой образовательной услуги обществом. Кроме того, Приказ Министерства общего и среднего образования РФ от 26.12.96 № 537 рекомендует «...педагогическим советам общеобразовательных учреждений (школ) и образовательных учреждений начального профессионального образования (ПТУ, колледжей) засчитывать по желанию обучающихся результаты государственного централизованного тестирования, указанные в сертификатах Центра, в качестве итогов аттестации по общеобразовательным предметам, кроме устанавливаемых федеральным центральным органом образования в качестве обязательных по итоговой аттестации». Массовый единообразный итоговый контроль (ЕГЭ и ЦТ) должен в настоящее время создать на государственном уровне связующее и регулирующее звено между общеобразовательными и высшими учебными заведениями, которое обеспечит единство требований и сделает всю систему образования прозрачной для общества [132,314].
Преимущества тестового педагогического контроля перед традиционной формой итогового контроля - экзаменами - не вызывают сомнения: тестирование обеспечивает максимальный охват учебного материала, однотипные задания для всех вариантов, объективную оценку результатов, единую шкалу оценок, беспристрастность процедуры проведения и проверки, малую «физиологическую стоимость» для учащихся и сбережение их здоровья. Тестовый контроль экономически эффективен, демократичен, дает возможность мониторинга, что позволяет осуществлять контроль государства и общества за качеством образования, выявляет не только уровень подготовки, но и структуру знаний учащихся, вернее, степень её отклонения от идеальной структуры, планируемой педагогом [445] Именно в силу безусловных достоинств тестовая форма контроля активно используется в Австралии, Великобритании, Германии, Нидерландах, США, Франции, Японии и др. [177, 178, 359]. Однако даже в США, несмотря на разработанность тестирования как метода контроля, педагогические
7 тесты SAT (Scholastic Assessment Test - тесты академической оценки Program of the College Board) не являются самодостаточным показателем при отборе в высшую школу [12]. В России же результаты ЕГЭ и ЦТ используются не менее, чем половиной вузов, зачастую, в качестве единственного вступительного испытания абитуриентов. При этом вопрос о прогностической валидности отечественных педагогических тестов практически не изучен. Поскольку цель любых вступительных испытаний, в том числе, абитуриентских тестов - отбор «наиболее способных и подготовленных к освоению основных образовательных программ» граждан (Приказ №50 МО РФ от 14.01.2003, лист 3) [263], социальный заказ требует, чтобы абитуриентский тест не только выявлял знания по конкретному предмету, но и оценивал способности абитуриента к дальнейшему обучению по избранной специальности.
Главнейшим звеном этой оценки должно быть выявление обученности индивида способам умственных действий [129]. Судить о внутренних параметрах учащегося можно только на основе анализа внешней стороны учебной деятельности, проявляющейся в результатах обучения. При этом процесс оценивания знаний выступает как результат обучаемости (индивидуальной способности ученика к усвоению знаний) и обученности (степени воздействия учителя на усвоение знаний ученика) [304]. Идея перехода от внешнего к внутреннему, идея интериоризации, составляет ядро теории педагогических измерений, когда по наблюдаемым результатам контроля с той или иной степенью точности пытаются сделать вывод о внутренних устойчивых характеристиках - параметрах ученика [174, 403]. Возможно ли с помощью педагогических тестов выявить у учащегося предпосылки обучаемости? Оценивают ли тесты тот потенциал, который имеется у учащегося и может быть актуализован в процессе обучения?
Именно это вопрос является наиболее актуальным и вызывает дискуссии -B.C. Аванесов [4] предупреждает, что проверка уровня интеллектуального развития не должна включаться в тесты ни под каким предлогом. На наш взгляд, такая проверка может и должна проводится в скрытой форме, что ре-
8 ально при наличии в тесте нетривиальных «многомерных» заданий, апеллирующих не только к оперативной памяти респондентов, но и к их мыслительным способностям. При этом нетривиальной составляющей задания может служить любой его критерий: контролируемый элемент содержания, тип и уровень усвоения знаний, форма. Возникающее противоречие между потребностями общества и постулатами тестологии заставляет оценить прогностические возможности отечественных предметных тестов экспериментальным путем и предложить способы повышения этих возможностей.
Для этого прежде всего необходимо обеспечить и оценить качество тестового инструментария, «сегодня основная проблема заключается в необходимости существенного улучшения контрольно-измерительных материалов» [394, с. 15]. Широкомасштабное педагогическое тестирование в России, естественно, требует соответствующего методологического и методического обеспечения, опирающегося на достижения мировой и отечественной тестологии. Сейчас в нашей стране издаются монографии тестологов [6, 131, 132, 217, 238, 253, 284, 403] и специализированные журналы «Вопросы тестирования в образовании», «Педдиагностика» и «Педагогические измерения», проводятся конференции, учебные и научные семинары. Работа по обеспечению широкомасштабных процедур тестирования проводится в специализированных центрах (например, ФИЛИ - федеральный институт педагогических измерений), введено «Временное положение о сертификации качества педагогических тестовых материалов, используемых для оценки знаний обучающихся в образовательных учреждениях Российской Федерации» (Приказ МО РФ от 17.04.2000 № 1122) [262]. Россия более десяти лет принимает участие в исследованиях Международной ассоциации по оценке учебных достижений (IEA - проекте TIMSS), а также Организации экономического сотрудничества и развития (OECD- проект PISA) [260, 359]. Тем не менее, отечественная тестология существенно отстает от мировой. Так, в США развита тестологическая школа, обеспечивающая высокую степень формализации процедур разработки тестов и обработки их результатов, точные
9 количественные методы подсчета баллов и параметризации, наличие обширных библиотек готовых тестов и банков тестовых заданий, узаконенный высокий статус метода тестов в образовании [447]. Но, поскольку системы образования и педагогического тестирования России и США различны, разработка тестов и тестовых заданий, коренным образом зависящих от языка, менталитета, системы и программ обучения в средней школе, требует усилий отечественных тес-тологов и педагогов-предметников. Кроме того, ни одна из известных на Западе теорий тестов не занимается вопросами содержания теста, формы тестовых заданий [4].
Основные усилия российских ученых направлены на совершенствование методов организации массовых мероприятий тестирования и обработки их результатов. Именно в этих направлениях тестологии проводятся широкомасштабные педагогические эксперименты. Тесты же для этих мероприятий составляются педагогами-предметниками, не имеющими отношения к тестологии и действующими эмпирическим путем [34-39, 124, 366-368]. Качество построенных таким образом тестов, как правило, не оценивается, хотя наукой разработана подробная система подобного анализа [253, 403]. Таким образом, в России в настоящее время существует гигантский разрыв между достижениями мировой и отечественной педагогической теории измерений и внедрением их в практическую деятельность, что порождает ряд насущных проблем, а именно:
не разработаны универсальные, научно обоснованные и массово апробированные алгоритмы создания предметных тестов для широкомасштабного тестирования;
тестовые задания, являясь «одномерными» показателями, оценивают только репродуктивное усвоение элементов содержания, что ограничивает тестовый контроль рамками объяснительно-репродуктивной модели обучения;
не выяснена связь качества тестовых заданий с особенностями их формы, вида и уровня усвоения контролируемых знаний, что обуславливает невоз-
10 можность создания параллельные варианты тестов и обеспечения равных возможностей для всех тестирующихся;
- не определены принципы компоновки тестов (полиморфные или моно-морфные тесты, расположение заданий по возрастанию трудности или согласно логике предмета.
Всё это вызывает недоверие к возможностям педагогического тестирования, тем более, что статистически достоверных доводов «за» и «против» сторонники и противники широкомасштабного тестирования не приводят.
Наиболее сложной и социально значимой задачей при этом составление итоговых тестов для поступающих в вузы. Решению этих проблем и расширению возможностей применения тестового педагогического контроля может содействовать системный подход к исследованию процедур разработки тестов для широкомасштабного абитуриентского тестирования, при котором тестовые задания составляются с учетом типологии и уровня усвоения контролируемых знаний, а также к оценке полученных тестов с использованием больших баз данных. Такой подход к построению и анализу качества педагогических тестов логично опробовать для итогового контроля знаний по биологии, поскольку системный подход в настоящее время является главенствующим принципом биологического познания, позволяя представлять биологические объекты как системы разного уровня сложности [232, 233]. Тестовый контроль биологических знаний оправдан еще и потому, что именно естественнонаучное знание определяется преимущественно количественно, в отличие от гуманитарного, определяемого в основном качественно.
Объект исследования: педагогический тестовый контроль учебных достижений абитуриентов и выпускников полной общеобразовательной средней школы.
Предмет исследования: система педагогических тестов по биологии как инструмент оценки уровня учебных достижений и прогнозирования успешности учебной деятельности абитуриентов и выпускников полной средней школы.
Цель исследования состоит в оптимизации композиции и расширении прогностических возможностей итоговых педагогических тестов по биологии. Возможность достижения цели исследования подтверждалась проверкой гипотезы, включающей следующие положения:
Если квалификационные испытания абитуриентов по биологии проводятся с помощью качественного тестового инструментария, созданного с позиций системного подхода, то они обеспечивают хороший прогноз успеваемости учащихся в высшей школе, поскольку успешность выполнения тестов тесно с-вязана с умственным развитием учащихся.
Если при композиции теста использованы информационно-поисковый и логико-критериальный подходы к обору содержания и мультикритериальный подход к составлению тестовых заданий, то качество теста будет высоким, что можно доказать статистически на всех иерархических уровнях.
Если составление тестовых заданий ведется с позиций мультикритери-ального подхода, то можно выявить содержательно-деятельностную структуру усвоенных абитуриентами биологических знаний.
Если статистический анализ результатов широкомасштабного тестирования проводится с изучением больших баз данных, то достоверно выявляются атрибуты тестовых заданий, определяющие их высокое качество
Если достоинства и недостатки разных методических подходов к композиции педагогических тестов неясны, то спорные вопросы разрешаются в педагогических экспериментах с использованием тестов-моделей с фиксированными и модифицированными параметрами.
Если системно и систематически использовать обучающие педагогические тесты по биологии при подготовке абитуриентов в вуз, эффективность подготовки повышается.
В соответствии с поставленной целью и выдвинутыми гипотезами определены следующие задачи исследования:
Доказать необходимость и эффективность системного подхода к конструированию и анализу педагогических тестов для широкомасштабного тестирования по биологии.
На основе мультикритериального подхода разработать методику составления тестовых заданий различных форм, контролирующих биологические знания и умения на всех уровнях усвоения, для создания полностью параллельных (равнозначных) вариантов теста.
На основе анализа больших баз данных выявить параметры (атрибуты) тестовых заданий по биологии, обеспечивающие их отличное качество.
Определить содеожательно-деятельностную структуру усвоенных абитуриентами России биологических знаний (по содержанию, типологии и уровням усвоения).
Выявить с помощью специально созданных моделей тестов и педагогических экспериментов оптимальную стратегию построения педагогических тестов по биологии (расположение тестовых заданий по возрастанию их трудности или в соответствие с логикой учебного предмета, мономорфность или полиморфность теста).
Выявить взаимосвязь успешности выполнения итоговых тестов абитуриентами и уровня их умственного развития.
Оценить прогностическую валидность абитуриентских тестов по биологии для прогнозирования успешности обучения в высшей школе.
Выявить эффективность обучающих тестов по биологии (сплошное тестирование) при дополнительной подготовке абитуриентов вузов.
Методологические основы исследования:
- положения системного подхода как совокупности междисциплинарных и наддисциплинарных методов исследования и проектирования сложных систем, воплощающих на практике методологию материалистической диалектики, методология познания частей на основе целого и целостности, в отличие от
13 классического подхода, ориентированного на познание целого через части (Л. Берталанфи, Б.Ф. Ломов, Н.Н. Моисеев, И. Пригожий);
положения системного подхода к исследованию педагогических явлений (В.П. Беспалько, Н.В. Бордовская, B.C. Ильин, Н.В. Кузьмина, Г.И. Лер-нер, A.M. Новиков, А.И. Субетто, ГЛ. Щедровицкий, Э.Г. Юдин);
базовые положения теорий современной педагогики и психологии образования (Г.И. Вергелес, ВВ.В. Давыдов, И.А. Колесникова, Т.В. Иванова, Г.С. Калинова, Г.С. Ковалева, М.В. Кларин, И.П. Подласый, М.В. Рыжаков, В.В. Шадриков);
положения психологии интеллекта о содержательных операционных компонентах мышления (А.А. Берулава, Л.С. Выготский, З.И. Калмыкова, С.Л. Рубинштейн, М.А. Холодная);
положения методологии, теории и методики педагогических измерений (Educational Measurement) (В. Orth, R. Ebel, B.C. Аванесов, В.И. Васильев, К. Ингекамп, Дж. Равен, В.М. Соколов, А.О. Татур, B.C. Черепанов, М.Б. Че-лышкова).
Теоретическую базу исследования составили
положения IRT - Item Response Theory — в русском контексте - «теории моделирования и параметризации педагогических тестов - ТМППТ» (G. Rasch, B.D. Wright, F.M. Lord, A. Birnbaum, W.C. Gibson, L.J. Cronbach, R.K Hambleton., B.C. Аванесов, Ю.М. Нейман, B.A. Хлебников, М.Б. Челышкова);
положения теории тестов и общей теории педагогического оценивания (Educational Evaluation) (D.S. Adkins, RA.Berk, L. Cracker, J. Algina, R .Glaser, R.C.Cox, B.C. Аванесов, А.Анастази, С.Урбина, Н.Ф. Ефремова, П. Клайн, А.Н. Майоров, Е.А, Михайлычев, В.Ю. Переверзев, М.Б. Челышкова);
положения системного подхода к обучению биологии и экологии (Н.В. Александрова, СВ. Алексеев, Н.Д. Андреева, Б.В. Всесвятский, Т.В. Иванова, Б.Д. Комиссаров, А.А. Малиновский, И.Н. Пономарева, В.П. Соломин, Т.С. Сухова, И.М. Швец, Г.А. Югай);
положения учения о видах и функциях педагогического контроля (Е.Д. Божович, Н.Ф. Ефремова, Г.С. Калинова, Г.И. Лернер, И.П. Подласый, И.Н. Пономарева, СИ Самыгин, М.Б. Челышкова);
типология знаний В. S. Bloom et al. и R.M. Gagne, дополненная B.C. Аванесовым;
положения учения об уровнях усвоения знаний (Б. Блум, А. де Блокк, В.П. Беспалько, Т.В. Иванова, В.Г. Королева, О.Е. Лебедев, А.Н. Майоров, В.Н. Максимова, Б.У. Родионов, А.О. Татур, В.П. Симонов, М.Н. Скаткин, В.М. Соколов).
концепция компетентностного подхода к обучению (Э. Днепров, А.Аркадьев, Н.Ф. Ефремова, Дж. Равен-младший, М.В. Рыжаков, М.А. Холодная, М.Б. Челышкова).
Методы исследования.
Для решения поставленных задач и проверки выдвинутых гипотез был использован комплекс взаимодополняющих методов: аналитико-синтетическое рассмотрение научных публикаций и нормативных документов; логические методы анализа понятий (интерпретация, сопоставление, конкретизация, обобщение, аналогии, экстраполяция); наблюдение; моделирование; педагогический и психолого-педагогическом эксперименты; статистический анализ полученных данных. Последний включал описание вариационных рядов наблюдений (среднее ряда, дисперсия, ошибка репрезентативности, мода, медиана), а также корреляционный, регрессионный, факторный и кластерный анализы и непараметрические методы. В психолого-педагогическом эксперименте, помимо педагогических тестов, использовали опросник ШТУР.
Экспериментальная база исследования. Предварительные исследования выполнялись в школах Нижнего Новгорода и Нижегородской области (Приложение 1). Основные исследования в рамках Централизованного тестирования абитуриентов (более 25 тыс. человек) проводили в 2002-2004 гг. во всех регионах России (Приложение 1). Экспериментальной базой апробации пилот-
15 ных тестов послужил 1 курс биологического факультета Московского государственного педагогического университета (206 чел.). Эксперименты по моделированию и изучению модификации структуры теста проводили на 1 курсе биологического факультета Нижегородского государственного университета и нескольких факультетов Нижегородской государственной сельскохозяйственной академии (НГСХА) (470 чел.). Экспериментальной группой при выявлении связи эффективности выполнения тестов с параметрами умственной деятельности являлись слушатели подготовительных курсов НГСХА (92 чел.). Прогностическая валидность абитуриентских тестов по биологии, физике и математике изучалась для 630 студентов 7 факультетов НГСХА.
Исследования проводили с 1994г. по 2005г. в ходе нескольких этапов: Первый этап (предварительные эмпирические исследования 1994-1999гг.) включал разработку тестов рубежного полугодового и годового контроля по биологии (по всем параллелям общеобразовательной школы) и использование их аттестационно-диагностическим центром департамента образования и науки Нижегородской области при реализации механизма аттестации педагогических работников и образовательных учреждений, в процессе мониторинга качества знаний учащихся по биологии (Приложение 1). Осуществлялся поиск и отработка методов и приемов построения тестовых заданий и тестов в соответствии с целями педагогического контроля.
На втором этапе (широкомасштабный эксперимент 2001-2002гг.) формулировалась и уточнялась рабочая гипотеза; строились тестовые задания с заданными параметрами; проводилась композиция абитуриентского теста, состоящего из 15 предположительно параллельных вариантов; осуществлялось тестирование абитуриентов России и анализ полученных баз данных на основе многоуровневого многокритериального подхода с применением параметрических методов статистики.
Третий этап (моделирующий эксперимент 2003г.) включал изучение функционирования теста как системы путем построения экспериментальных
моделей тестов с заданными параметрами структуры. На этом же этапе выясняли связь эффективности выполнения тестов с выраженностью параметров умственной деятельности, выявленных с помощью опросника ШТУР.
Четвертый этап (результирующий эксперимент 2004г.) посвящен выявлению прогностической валидности педагогических тестов по биологии, математике и физике как результирующей характеристики их качества. Научная новизна исследования заключается в том, что - определены ведущие идеи и тенденции педагогического итогового тестового контроля: интенсификация, демократизация, информатизация, компьютеризация, дополнительность, многократность, увеличение объема, уровня и типологии проверяемых знаний, расширение функций и прогностических возможностей тестов;
обоснована и доказана в широкомасштабном педагогическом тестировании абитуриентов России методическая возможность совершенствования итоговых педагогических тестов по биологии путем использования системного подхода на всех этапах их композиции и анализа;
выявлены факторы, определяющие качество тестовых заданий по биологии, предложены приемы целенаправленного управления этими факторами;
предложены методы анализа структуры биологических знаний, усвоенных абитуриентами России на содержательном и деятельностном уровнях, и при широкомасштабном тестировании более 25тыс. учащихся определена эта структура;
предложен и реализован на практике метод построения параллельных вариантов тестов как экспериментальных моделей с фиксированными и модифицированными структурными свойствами;
в модельном эксперименте выявлена инвариантность успешности выполнения теста по биологии от способа расположения тестовых заданий в нем и от особенностей его композиции (полиморфность и мономорфность теста);
17 Теоретическая значимость исследования:
определены и обоснованы ведущие принципы построения итоговых тестов по биологии, требования к их структуре, содержанию, форме и деятельно-стным характеристикам тестовых заданий;
доказана возможность совершенствования тестового контроля по биологии для оценивания не только результатов обучения (обученности), но и зоны ближайшего развития учащегося (обучаемости);
доказана правомочность и эффективность системного подхода к построению, анализу и изучению функционирования педагогического теста по биологии;
доказана необходимость и существенность каждого из рассматриваемых критериев теста в целом, вариантов и тестовых заданий;
доказано, что педагогический тест является сложной системой и в качестве таковой обладает свойствами негентропийности и эмерджентности, причем проявлением первого является инвариантность успешности выполнения теста от его структуры, второго - высокая прогностическая валидность.
Практическая значимость исследования состоит в том, что предложенные методы построения и анализа качества тестов по биологии могут быть использованы при подготовке и повышении квалификации кадров: учителей биологии, методистов и тестологов. Даны рекомендации для составителей тестов по биологии любой направленности, позволяющие всем заинтересованным лицам самим создавать тесты, проводить их экспертизу и оценивать результаты тестирования по биологии. Подготовлен Стандарт Системы добровольной сертификации услуг по оценке учебных достижений учащихся образовательных учреждений России «Экспертиза качества и апробация педагогических тестов. Общие требования» СТО 52722694 СДС УД 01-2006. Выпущено Учебное пособие «Составление тестовых заданий по биологии» (М.: Центр тестирования МО РФ, 2002, тираж 2000 экз.). Предложенные методы использованы для составления абитуриентских тестов Централизованного тестирования по биологии
18 обычной сложности (2002г.) и по биологии повышенной сложности (2003-2004гг.), выпущены сборники тестов (тираж 20000 экз.). Разработан тезаурус (терминополе) по биологии и «Кодификатор элементов содержания предмета для банка тестовых заданий по биологии», активно используемые Центром тестирования МО РФ при составлении тестов по биологии различного назначения. Подготовлены Методическое пособие «Подготовка к Централизованному тестированию и Единому государственному экзамену по биологии» (М.: Центр тестирования Минобразования России, 2004, тираж 2500 экз.) Пакет (20шт.) Методических пособий для абитуриентов НГСХА, включающих тематические наборы тестовых заданий по биологии, активно используется в течение 12 лет на подготовительном отделении НГСХА и в 30 профильных классах академии. Результаты работы отражены также в двух монографиях, 12 статьях в рекомендованных ВАК журналах, 18 других статьях и тезисах.
Достоверность и обоснованность результатов обеспечивается опорой на фундаментальные теории и концепции в области педагогики, тестологии и методики преподавания биологии; непротиворечивостью методологических позиций; использованием комплекса взаимодополняющих методов; исследованием объекта с использованием системного подхода на всех иерархических уровнях; применением современных статистических методов обработки результатов, а также объемом основной экспериментальной выборки (более 25 тысяч респондентов) и статистически рассчитанным объемом выборки в педагогическом и психолого-педагогическом экспериментах.
На защиту выносятся:
Теоретическое и методическое обоснование расширения функций тестового педагогического контроля, оценивающего не только знания, но и обучаемость (умственные способности) респондентов.
Системный подход как методическая основа составления, анализа качества и изучения функционирования тестов по биологии, предусматривающий рассмотрение теста как сложной системы с несколькими иерархическими уровнями,
19 каждый из которых характеризуется многими параметрами, а также изучение структуры теста, внутрисистемных и надсистемных связей.
3. Реализуемая в рамках системного подхода совокупность методических подходов, обеспечивающих композицию, анализ качества и изучение функционирования педагогического теста:
информационнно-поисковый и логико-критериальный подход к отбору содержания теста по биологии, основанный на принципах системности, конгруэнтности, значимости, научной достоверности, репрезентативности, взаимосвязи содержания и формы;
мультикритериальный подход к составлению тестовых заданий по биологии, интегрирующий содержание, форму и деятельностные характеристики задания;
экспериментальный подход к изучению структуры теста при использовании тестов-моделей с фиксированными и модифицированными параметрами;
синтетический (психолого-педагогический) экспериментальный подход к изучению возможностей теста как инструмента педагогического контроля.
Организационно-методические приемы анализа результатов широкомасштабного тестирования для выявления качества тестового инструментария и содер-жательно-деятельностной структуры усвоенных учащимися биологических знаний.
Совокупность дидактических приемов «сплошного тестирования» по биологии как метод повышения эффективности подготовки в вуз.
Апробация исследования, его результатов и выводов осуществлялась в ходе экспериментальной проверки основных положений (составление и анализ тестов Централизованного тестирования по биологии повышенной сложности 2003-2004гг.). Основные результаты работы докладывались на конференциях: II и III Всероссийской научно-практической «Развитие системы тестирования в России» (Москва, 2000, 2001); IV и V Всероссийской научно-методической «Развитие тестовых технологий в России» (Москва, 2002, 2003); Всероссийской «Информатизация общего и педагогического образования - главное условие их модернизации» (Челябинск, 2004); «Интеграция образования и науки - страте-
20 гический ресурс инновационного развития России» (в рамках Х-го юбилейного научно-промышленного форума «Россия единая», Нижний Новгород, 2005), II и III региональных научно-практической «Актуальные проблемы психологии образования» (Нижний Новгород, 2001; 2004); а также на V международном методологическом семинаре «Естественнонаучное образование: методология, теория и методика» (Санкт-Петербург, 2005), VI методологическом семинаре «Актуальные проблемы и перспективы развития биологического и экологического образования в высшей и общеобразовательной сфере» (Санкт-Петербург, 2006), Герценовских чтениях, посвященных проблемам учебников биологии для профильной школы (Санкт-Петербург, 2006), на Всероссийском совещании-семинаре работников системы педагогического образования «Современные технологии воспитательной деятельности в системе непрерывного педагогического образования» (Нижний Новгород, 2004), научно-практическом семинаре по проблемам довузовской подготовки (Министерство общего и профессионального образования РФ и Институт повышения квалификации работников подготовительных отделений и курсов вузов, Москва, 1999), на семинарах ГУ «Федеральный центр тестирования» МО РФ.
Научный и дидактический материал для составления тестовых заданий и тестов был получен благодаря поддержке научных фондов: Международного фонда научных исследований (гранты NTH 000, NTH 300), ISSEP (гранты d98-588, d99-1418, D2001-337), МЦФПИН (грант 98-Е-04), Российского фонда фундаментальных исследований (гранты 94-04-11328; 97-04-48015; 99-04-48053; 00-04-4801; 02-04-48948).
Работа отмечена Почетной грамотой Министерства образования Российской Федерации (Приказ от 13.11.2003 № 13-266).
Публикации. По теме диссертации опубликовано 57 работ.
Характеристика и классификация педагогических тестов
Педагогическое тестирование в последние годы в России приобрело общенациональное распространение и применяется в профессиональном образовании, при аттестации вузов и средних учебных заведений, в дистанционном обучении, для оценки качества знаний в учебном процессе и при отборе в высшую школу, является основой Единого государственного экзамена (ЕГЭ) [397]. Педагогическое тестирование - это совокупность организационных и методических мероприятий, объединенных общей целью с педагогическим тестом и предназначенных для подготовки и проведения формализованной процедуры предъявления теста, обработки и представления результатов его выполнения [396].
Поскольку термин «тест» применяется и в педагогике, и в психологии, необходимо четко установить различия между педагогическим и психологическим тестом. В основу разграничения могут быть положены два различия. Во-первых, это предмет измерения: психологические тесты измеряют некие психические свойства человека (способности, особенности темперамента, характера, особенности познавательной сферы), тогда как с помощью педагогических тестов измеряется степень усвоения знаний, умений и навыков, которыми овладел испытуемый, то есть результаты обучения, степень усвоения содержания учебного материала, некие личные приращения [217, 284]. Таким образом педагогические тесты предстают как частный случай тестов достижения (achievement), измеряющих влияние на респондента прошлого опыта, причем в качестве последнего выступает изучавшийся испытуемым учебный теоретический или практический курс [12]. Иногда между терминами «педагогический тест» и «тест учебных достижений» ставится знак равенства, синонимическими выступают также термины: тест школьных достижений, дидактический тест, школьный тест и т.д. [217, 416]. Вторым отличием между психологическими и педагогическими тестами является их назначение: первые служат для предсказания уровня последующего выполнения определенной функции или деятельности, вторые - представляют конечную оценку состояния индивидуума по завершении обучения, главное значение в них придается тому, что человек способен делать в настоящий момент [12].
Однако нужно признать, что между применением тестов способностей (abilities) и достижений (achievement) невозможно провести жесткую границу, она размыта [398, 418]. Некоторые тесты способностей могут строиться в расчете на весьма специфическое и единообразное предварительное обучение, а некоторые тесты достижений служат тем же целям, что и тесты способностей. Любой когнитивный тест, независимо от его традиционного названия, обеспечивает выборочную проверку того, что индивидуум знает на момент тестирования, и измеряет уровень развития, достигнутый одной или несколькими способностями. Ни один тест не показывает, как или почему конкретный человек достиг такого уровня. Для ответа на эти вопросы необходимо тщательно исследовать сопутствующие переменные и особенно жизненный опыт индивидуума. В этом смысле каждый тестовый показатель имеет за собой прошлое, которое нужно досконально изучить для правильного понимания получившего его человека. Но тот же тестовый показатель имеет перед собой будущее постольку, поскольку позволяет предсказать то, как поведет себя данный человек в других, не тестовых ситуациях и к тому же по прошествии какого-то времени.
Как бы ни назывались тесты развиваемых способностей (developed abilities) - тестами общего интеллекта, комплексными батареями способностей, тестами специальных способностей или тестами достижений - все их можно упорядочить на континууме по специфичности жизненного опыта, предполагаемого этими тестами. Схематическое изображение этого континуума приводят А. Анастази и С. Урбина [12] (рис. 1).
На одном конце континуума находятся тесты достижений по учебным курсам (course-oriented achievement tests), охватывающие узкоспециальные умения и навыки или знания фактов. Тесты владения русским языком или навыков текущего ремонта телевизоров попали бы на этот конец континуума.
Методика составления тестовых заданий, различающихся по типологии контролируемых знаний
Разделение общей картины биологических знаний на фрагменты (виды знаний и основанных на них умений ) достаточно условно, но атрибутирование ТЗ по видам знаний, умений и навыков сообразно требованиям к учащимся и выпускникам средней школы необходимо для создания унифицированных вариантов тестов.
К фактуальным могут быть отнесены знания основных биологических понятий, терминов и их смысла, исторических фактов, достижений ученых, закономерностей, теорий, касающихся организации, жизнедеятельности, исторического и индивидуального развития живых систем на всех уровнях: молекулярно-клеточном, тканево-органном, организменном, популяционно-видовом, биосфер-но-биоценотическом. Это знание состава, строения и функций химических компонентов, органоидов клеток прокариот и эукариот; особенностей строения различных типов тканей; особенностей процессов обмена веществ автотрофных и гетеротрофных клеток, организмов; форм и особенностей деления клеток; размножения и развития живых организмов; закономерностей наследственности, особенностей взаимодействия генов, закономерностей изменчивости (модификационной, мутационной, комбинативной), видов мутаций и их значения для эволюции и селекции; методов и приемов селекции растений, животных и микроорганизмов; особенностей строения, жизнедеятельности и размножения основных систематических групп организмов; особенностей строения и функций органов и систем органов организма человека; знание о внутренней среде организма, иммунитете, особенностях обмена веществ, нервно-гуморальной регуляции в организме человека; экологических факторов, особенностей их взаимодействия; о средах жизни и экологической нише; структуре экосистем, ее компонентов, положении и взаимоотношениях организмов в биоценозе, пищевых цепей, правила экологической пирамиды; строения и структуры биосферы, круговорота веществ в природе, функций живого вещества планеты; доказательств, движущих сил и факторов эволюции; основных направлений и результатов эволюционного процесса.
Анализ функциональных свойств теста как системы
Использование разработанных приемов моделирования тестовых заданий с заранее заданными свойствами (контролируемый элемент содержания, вид и уровень контролируемых знаний, форма) позволило составить педагогаческий тест по биологии обычной сложности по заказу Центра тестирования МО РФ. Тест состоял из Спецификации (Приложение 4) и 15 вариантов, каждый из которых включал 55 тестовых заданий. В апреле 2002г. в рамках Централизованного тестирования тест выполнили 25116 абитуриентов изо всех регионов России, что дало возможность экспериментальной проверки эффективности предлагаемых приемов и методов.
Тест проводился на бланках Центра тестирования и состоял из двух частей: А и В. Часть А включала закрытые задания, инструкция к которым гласила: «К каждому заданию части А дано несколько ответов, из которых только один верный. Выберите верный, по Вашему мнению, ответ. В бланке ответов под номером задания поставьте крестик (X) в клеточке, номер которой равен номеру выбранного Вами ответа» Часть В теста включала открытые задания, к ним была дана следующая инструкция: «Прочитайте предложения с пропущенным словом (словами) и рассмотрите рисунки. Вставьте пропущенные слова в заданиях В1-В5 и подписях к рисункам В6-В10 так, чтобы получились верные высказывания. Ответ (слово) запишите на бланке заданий рядом с номером задания (В1 -В10\ начиная с первого окошка. Если ответ состоит из двух слов, запишите их слитно, как одно слово. Каждую букву пишите в отдельном окошке заглавными печатными буквами по приведённым образцам»
Каждый вариант теста включал 55 заданий четырех форм, контролировавших шесть видов биологических знаний на трех уровнях усвоения, что отражено в Спецификации. Вероятность случайного угадывания правильного ответа в одном закрытом задании с четырьмя альтернативами составляла 0.25, всех 45-ти закрытых заданий - 8 10 28. Все задания являлись дихотомическими по способу оценки: выполнение задания приносило участнику 1 балл, невыполнение - 0 баллов. Общее время выполнения теста составляло 120 минут.
Статистическая обработка бланков итоговых абитуриентских тестов проводилась в 2002г. Центром тестирования МО РФ с применением двухпарамет-рической (бинарной) логистической модели Раша и 100-балльной шкалы отражения результатов [252]. Абитуриенты получали Сертификаты государственного образца, отражающие итоги тестирования. Для каждого испытуемого определялся его первичный тестовый балл - количество верно выполненных ТЗ, а также тестовый балл - окончательное численное выражение уровня подготовленности тестируемого, полученное на основании стандартизованной обработки результатов выполнения теста по 100-балльной шкале (оценка проводится с учетом относительной трудности каждого выполненного задания). При статистической обработке данных тестирования для каждого тестового задания были подсчитаны его основные статистические характеристики согласно КТТ: трудность для всей группы респондентов, трудность для слабой и сильной групп, дифференцирующая сила, коэффициент точечно-бисериальной корреляции, распределение ответов (Приложение 5). Для каждого варианта подсчитывался первичный тестовый балл, достигнутый испытуемыми при выполнении теста, и рассматривалось его распределение (Приложение 6). Поскольку первичный тестовый балл респондентов, а также статистические характеристики тестовых заданий образуют непрерывную шкалу отношений, все изучаемые показатели можно обрабатывать с применением любых параметрических методов анализа [71, 77,78,152, 203,259]. Для всех статистических показателей рассчитывалось среднее арифметическое и ошибка репрезентативности (М + т). Строились кривые распределения первичного тестового балла с подсчетом медианы, моды, дисперсии. Достоверность различий оценивалась по t-критерию Стьюдента, достоверными считались различия при вероятности ошибки р 0,05. Использовались методы дисперсионного и кластерного анализов.
Похожие диссертации на Система разработки и анализа педагогических текстов по биологии
