Содержание к диссертации
Введение
Глава 1. Проблема контроля знаний и умений учащихся по истории в методической литературе 8
1.1. Цели и способы контроля достижений учащихся по истории 8
1.2. Оценка результатов контроля 34
1.3. Особенности тестового способа контроля знаний и умений учащихся 39
1.4. Определение и классификация тестов 43
1.5. Классификация форм тестовых заданий 56
Глава 2. Опыт разработки, проведения и анализа результатов итогового тестового контроля достижений учащихся по истории 90
2.1. Процедура разработки итоговых тестов по истории России 90
2.2. Анализ результатов выполнения тестов 114
Заключение 129
Библиографический список 134
Приложения 153
- Цели и способы контроля достижений учащихся по истории
- Процедура разработки итоговых тестов по истории России
- Анализ результатов выполнения тестов
Введение к работе
Актуальность выбора темы исследования
Современные системы образования подвергаются воздействию
множества сил и факторов. В XXI веке главное влияние на процесс изменения
образования приобретают: развитие информационного общества, научно-
I* технологический прогресс и процесс глобализации. [98, с. 31]
В такой ситуации особенно актуальной становится подготовка учеников
к сознательной и творческой деятельности в мире, который постоянно
изменяется и реформируется и, скорее всего, будет отличаться этими
Ф свойствами и в дальнейшем. Поэтому изменение самого общества диктует
необходимость изменения подходов к развитию образования.
Закон «Об образовании», ст. 15, ч.5 [58] указывает на необходимость проведения независимого итогового контроля достижений учащихся. Это позволит объективно оценить качество подготовки выпускников по
завершении каждого уровня образования, а также выявить эффективность образовательного процесса на каждом уровне.
Также модернизация системы образования в РФ предполагает необходимость сохранения единого образовательного пространства в нашей стране. Решение этой задачи требует решения многих проблем, в том числе проблемы объективного контроля достижений учащихся.
В современных условиях эти предпосылки создают необходимость иметь единый измерительный инструмент, который позволил бы объективно
сопоставить и оценить знания всех выпускников учебных заведений страны
завершающем этапе школьного образования.
Становление и функционирование новой системы изучения истории в средней школе, происходящее в рамках обновления всего среднего и высшего
% образования, порождает неизбежные противоречия. Устоявшиеся стандарты
исторического образования пока отсутствуют, учебные программы являются примерными, учебники приобрели альтернативный характер и постоянно обновляются. В этих условиях создание единого стандартного для всех школ и
Ь регионов России инструмента для оценивания исторических знаний встречает
множество проблем. В связи с этим требуется серьезное изучение возможностей создания объективных измерителей для итогового контроля и оценки знаний учащихся. Возникает необходимость научного исследования, направленного на изучение эффективности применения тестовых измерителей.
Проведение массовых процедур централизованного тестирования,
разработка научных основ тестирования в нашей стране во многом
способствовали организации и началу проведения ЕГЭ.
Начиная с 2001 года, в Российской Федерации проходит эксперимент по
ф введению Единого государственного экзамена (ЕГЭ). Одна из задач ЕГЭ
состоит в том, чтобы за короткий временной промежуток выпускных экзаменов в школе оценить знания всех выпускников с помощью стандартизированной процедуры. Это означает, что все учащиеся должны находиться в одинаковых (стандартных) условиях и выполнять примерно одинаковые по свойствам задания. Такую стандартизированную процедуру оценки учебных достижений называют тестированием.
В зарубежной и отечественной педагогике, психологии, дидактике, методике накоплен большой опыт теоретической и практической разработки проблем оценивания итоговых достижений учащихся в обучении математике, физике, иностранным языкам и другим учебным предметам. При этом в методике обучения истории данный вопрос пока не получил достаточного теоретического осмысления и практической разработки.
* Таким образом, актуальность данного исследования исходит из
необходимости решения задач модернизации образования и потребностей
практического решения проблемы применения тестов по истории как в
процессе обучения, так и в процессе итогового контроля знаний. В настоящем
щ диссертационном исследовании мы остановились на проблеме итогового
контроля достижений учащихся по истории на завершающем этапе обучения. Объект исследования: контроль достижений учащихся в процессе обучения истории в средней школе.
ь Предмет исследования: тесты по истории как средство измерения знаний и
умений учащихся на завершающем этапе процесса обучения истории в 9 и 11 классах средней школы. Цель настоящего исследования: Выявить методические и практические основы создания и использования
тестов, предназначенных для итогового контроля и оценки знаний и умений
выпускников основной и средней школ по истории.
Задачи исследования:
- изучить литературу с целью определения психолого-педагогических,
д дидактических и методических основ создания контрольно-измерительных
материалов по истории;
применить теоретические положения педагогики и тестологии для выработки методических основ создания тестов по истории (принципов, критериев, спецификации, содержательно - деятельностной матрицы);
проанализировать результаты выполнения тестовых заданий и тестов в целом относительно различных аспектов учебного предмета «история»;
обобщить и систематизировать результаты исследования;
- выработать методические рекомендации для разработчиков тестов по
і*
истории.
Рабочая гипотеза:
Итоговый контроль, осуществляемый в тестовой форме, позволяет объективно выявить не только наличие у выпускников знаний по истории, но и учебных
* умений на различных уровнях усвоения материала. Объективность и
эффективность проверки знаний и умений учащихся будет зависеть от
реализации условий:
1) четкого определения параметров, контролируемых тестами;
9 2) степени реализации тестологических критериев и принципов в
созданной модели итоговых тестов по истории;
»
* 3) формирования оптимальной системы заданий, позволяющей выявить
различный уровень усвоения школьного курса истории и объективно оценить учебные достижения учащихся по истории.
Методологические основы исследования:
Теория технологического подхода к обучению, концепция деятельностного
* подхода в обучении, теория личностно-ориентированного обучения,
теоретические основы тестологии.
Методы исследования:
- теоретический анализ психолого-педагогической и методической литературы
4 для определения научных основ исследования;
- изучение действующих учебных программ и учебников по истории для
определения нормативных и критериальных основ контрольно-
диагностической деятельности;
изучение существующего опыта разработки тестовых материалов по истории;
проведение эксперимента;
статистическая обработка данных, полученных в ходе эксперимента. Этапы исследования:
этап - 1999 - 2000 гг. - изучение педагогической, методической, психологической, тестологическои литературы.
этап - 2000 - 2002 г. - проведение поискового эксперимента в реальных условиях: разработка спецификаций тестов для 11 и 9 классов, поиск оптимальной структуры тестов и эффективных форм тестовых заданий,
* проведение апробационного тестирования, корреляционный анализ
результатов различных способов контроля и оценивания.
III этап - 2003 - 2005 гг. - проведение формирующего эксперимента в
реальных условиях: массовое тестирование учащихся 11 и 9 классов по
истории, сбор эмпирических и статистических данных о выполнении
тестирования. 2005 г. - анализ результатов эксперимента и оформление текста диссертации. Репрезентативность исследования.
* 6
В поисковом эксперименте, проходившем в реальных условиях, были непосредственно задействованы 6 учителей с различным стажем работы из пяти образовательных заведений разных типов г. Москвы и Московской области и 395 учащихся 9 и 11 классов (гимназия №1 и школа №4 г. Краснознаменска Московской области, школы №786, 1115 г. .Москвы, Юридический колледж (Краснознаменский филиал) Московского юридического института при Министерстве юстиции РФ). Автор исследования сама участвовала в эксперименте, работая учителем истории в школе №4 г. Краснознаменска Московской области и являясь одновременно методистом по истории и обществознанию Федерального Центра тестирования РФ. В формирующем эксперименте, так же проходившем в реальных условиях, на разных этапах в 1999 - 2005 г. были задействованы 18572 учащихся 9 класса и 15940 учащихся 11 класса из 218 представительств Федерального Центра тестирования РФ 70 регионов Российской Федерации.
Цели и способы контроля достижений учащихся по истории
Контроль в современном обществознании рассматривается как необходимый компонент любого управленческого цикла, в том числе и учебно-воспитательного процесса как определенного вида управленческой деятельности. В данном исследовании мы будем рассматривать педагогический контроль. Понятие «педагогический контроль» применительно к учебному ф процессу имеет несколько смыслов. С одной стороны, педагогический контроль представляет собой единую дидактическую и методическую систему проверочной деятельности. Это взаимосвязанная совместная деятельность преподавателей и учащихся при руководящей и организующей роли педагогов направлена на выявление результатов учебного процесса и на повышение его эффективности. С другой стороны, применительно к повседневному учебному процессу под контролем понимают выявление и оценку результатов учебной деятельности учащихся. Для нас контроль выступает одновременно и как объект теоретических исследований, и как сфера практической деятельности педагога. С помощью контроля возможно получить данные для анализа следующего: достоинств и недостатков новых методов обучения; наличия взаимосвязей между планируемыми, реализуемыми и достигнутыми уровнями образования; качества работы различных преподавателей; достижений ученика и пробелов в его знаниях. Контроль может дать руководителю учебного заведения объективную информацию для принятия управленческих решений и выполнить целый ряд других не менее важных задач. t Мы будем рассматривать учебные достижения (результат обучения) как уровень предметных знаний (в широком смысле - представлений и умений) и интеллектуального развития, достигнутый в процессе систематического I обучения в одном из образовательных учреждений или самостоятельном обучении по утвержденной программе. [105, с. 17] Дидактами [И.Я. Лернер, В.П. Беспалько и др.] выделены компоненты, характеризующие образовательный процесс, такие как: 1. социально-детерминированные цели обучения (единые для учителя, учащихся, родителей, к которым стремятся педагоги); 2. содержание обучения; 3. дидактические условия; 4. формы деятельности педагогов и обучаемых; ф 5. методы деятельности педагогов и обучаемых; 6. анализ и самоанализ результатов обучения, анализ и самоанализ результатов обучения.В работах педагогов и психологов разных лет [Ю.К. Бабанский, Л.С. Выготский, С.Л. Рубинштейн, Н.Ф. Талызина, Д.Б. Элькоин, И.С. Якиманская] указывается на то, что наивысшие возможные образовательные результаты возникают только тогда, когда любые воздействия учителей, воспитателей, школы совпадают с собственным усилиями ребенка в освоении учебной деятельности, с его активностью по «образовыванию» себя. Именно поэтому одна из важных задач образования заключается в том, чтобы формировать восприятие ребенком образовательного процесса не только как внешней по отношению к нему деятельности, но и как результат своей собственной деятельности, своей личной заботы, личной ответственности за сотворение, развитие себя, своей индивидуальности.
Один из возможных путей содействия этому - создание системы контроля знаний, доступной самому учащемуся. Поэтому реальные результаты образования возможно рассматривать с двух сторон: как самооценку результатов образования и как их внешнюю і оценку. [179, с.22] По мнению М.М. Поташника, «в нынешнем обыденном сознании «образование» трактуется с позиций школы, т.е. со стороны внешней по отношению к личности, деятельности и поведению самого школьника». [179, с.18-19] С внешней стороны проблемы контроля и поверки знаний, эффективных форм и методов выявления достижений учащихся исследовались многими педагогами и дидактами. Этой проблеме на дидактическом уровне посвятили свои работы М.М. Балашов, Ерецкий М.И., Т.А. Ильина, К. Ингекамп, B.C. Кукушин, М.И. Лукьянова, Рысс В.Л., П.И. Пидкасистый, И.П. Подласый, Пороцкий Э.С., Н.В. Тельтевская и др.. Ими были определены виды (предварительный, вспомогательный, текущий, рубежный, итоговый) и способы контроля (устный опрос, контрольная работа, комбинированный контроль, контроль самостоятельных работ учащихся, тестирование), их место 0 и дидактическая значимость в процессе обучения. Кроме того, исследователи выделили различные функции, присущие различным видам контроля и существенные различия функций итогового и других видов контроля. Так, если текущий контроль на практике зачастую выполняет кроме собственно проверочной еще и функции, связанные с воспитанием и развитием ребенка, то при проведении итогового контроля недопустимо, например, акцентировать его воспитательную функцию.
Процедура разработки итоговых тестов по истории России
Общие процедуры научной организации составления педагогического теста одинаковы для всех видов тестов и апробированы в течение многих лет. Универсальный перечень основных этапов разработки теста, применимый ко всем учебным предметам, нашел свое отражение в работах B.C. Аванесова, А.Н. Майорова, В.Ю. Переверзева, М.Б. Челышковой и др.
Применительно к учебному предмету «история» и исходя из опыта автора по разработке тестов по истории, процесс создания итоговых тестов по истории должен пройти этапы, названные в следующем перечне.
Этапы разработки итоговых тестов по истории.
1. Определение целей тестирования, выбор вида теста и подхода к его созданию.
2. Определение структуры теста, порядка расположения частей теста и заданий различных форм.
3. Анализ содержания учебного предмета «История».
4. Разработка спецификации и плана теста, принятие решения об установлении длины теста и времени его выполнения.
5. Составление тестовых заданий и компоновка из них теста в соответствии с определенными на предшествующих этапах структурой и планом
теста.
6. Экспертиза содержания теста в целом, содержания отдельных тестовых заданий и их форм.
7. Переработка содержания и формы заданий по результатам экспертизы, компоновка теста для проведения апробации.
8. Проведение апробационного тестирования.
9. Доработка, отбраковка неудачных тестовых заданий и компоновка окончательного варианта теста.
10. Проведение тестирования в установленные сроки.
11. Статистическая обработка результатов выполнения теста.
Наиболее существенным, влияющим на все последующие этапы разработки теста, является первый этап — этап целеопределения. Очень важно в самом начале разработки теста четко определить, для какого вида педагогического контроля этот тест будет использоваться, и как будут I интерпретироваться результаты тестирования. В нашем случае целью проведения тестирования являлся итоговый контроль и оценка достижений учащихся по истории на завершающих этапах среднего общего и среднего полного образования.
На следующем этапе разработчики теста априорно определяют структуру теста. В нашем случае тест состоит из трех частей: части AI, где содержатся закрытые задания с выбором одного правильного ответа, части АН, где содержатся закрытые задания с выбором нескольких правильных ответов, части В, куда включены задания других форм: на установление Ф последовательности, на установление соответствия, открытые задания с кратким ответом. . Затем проводится анализ содержания учебного предмета «История» и нормативных требований к уровню подготовленности, определяются и выбираются знания и умения, которые будут контролироваться тестом и отдельным тестовыми заданиями, а также на каком уровне усвоения должен быть проконтролирован каждый из выбранных элементов учебных достижений. Результатом первых трех этапов разработки педагогического теста является спецификация теста. Спецификация теста - документ, в котором содержится информация о целях тестирования, о содержании учебного предмета и видах знаний-умений, контролируемых тестовыми заданиями, а также указаны основные требования к правилам проведения тестирования, обработки результатов тестирования и их интерпретации. Спецификация теста обычно содержит список нормативных документов, определяющих отбор содержания тестовых заданий в соответствии с целью тестирования, список необходимой для подготовки к тестированию литературы, продолжительность тестирования и другие Ь параметры теста. Исходя из определения понятия «тест как система тестовых заданий» в спецификации должны быть названы элементы данной системы. Тест » I формируется комплексно, исходя из необходимости учета следующих параметров: 1) контролируемого содержания; 2) контролируемых умений; 3) контролируемого уровня усвоения знаний и умений. В первую очередь при формировании содержательной основы теста, или как еще говорят, содержательного плана теста возникает проблема отбора исторического содержания, которое будет включено в тест. Составляющей частью спецификации является план теста. План теста - это таблица, в % которой каждое тестовое задание соотносится с определенным элементом содержания учебного предмета и контролируемым знанием или умением, уровнем трудности. Указывается форма и вид тестового задания. В спецификации теста проводятся примеры инструкций к тестовым заданиям разной формы. Таким образом, спецификация - это полное и всеобъемлющее описание теста.
Анализ результатов выполнения тестов
Следующий этап анализа - изучение структуры теста с точки зрения реализации требований к учащимся. Все задания каждого из вариантов тестов были сгруппированы по группам на основе соотнесения их с перечнем требований, представленным в первой главе и вошедшим в спецификацию тестов. По каждой группе заданий был подсчитан средний показатель трудности заданий. На основе полученных данных были построены графики [см. приложение 9, рис. 9.6,9.7,9.8].
Требования к учащимся выпускниками 11 класса в разные годы выполнялись по-разному. Так, в 2003 г. наиболее легкими оказались задания на проверку хронологических знаний и умений (требование 1), в 2004 г. - на проверку знания исторических понятий и терминов, в 2005 г. - вновь самыми легкими оказались задания на проверку хронологических знаний и умений
На сводном графике статистических результатов тестов за 2003 - 2005 гг., показывающем процент выполнения заданий, относящихся к тому или иному требованию [приложение 9, рис. 9.9], видно, что наибольшие расхождения связаны с требованием 1 (хронологические знания и умения), наименьшие расхождения вызывает из года в год требование 5 (умение устанавливать причинно-следственные связи). Наибольшую трудность из года в год вызывают задания, направленные на проверку умения работать с историческими источниками. На наш взгляд, это говорит о том, что учащиеся плохо умеют применять имеющиеся знания к анализу исторических источников. Это, на наш взгляд, показывает, что проблема применения знаний в незнакомой ситуации остается на сегодняшний день нерешенной.
Следующим этапом анализа результатов тестирования было соотнесение заданий с каждым из разделов содержания. Задания были сгруппированы, и по каждой группе соответствующего раздела содержания подсчитан средний показатель трудности. Заметим, что в 2004 - 2005 гг. в тесты уже включались задания, проверяющие элементы исторических знаний, относящиеся к различным историческим периодам и взаимосвязи между разными историческими эпохами. Мы назовем этот раздел содержания разделом на межкурсовые связи (обозначим его на графиках как раздел содержания 8). В тестах 2003 г. этого раздела еще не было. Результатом этого этапа анализа стало составление графиков, представленных в приложении 9 на рис. 9.10, 9.11,9.12. Анализ статистических данных показал, что разделы содержания тестов 2003 - 2005 гг. по-разному выполнялись учащимися из года в год. На диаграмме 0 тестов 2003 г. обращает на себя внимание отсутствие параллельности графиков для сильной и слабой групп при выполнении разделов 2, 3, 4 и 5. [приложение 9, рис. 9.10] Вероятно, слабые учащиеся больше опирались на косвенные знания, и, возможно, на угадывание, чем на точные знания. В 2004 и 2005 г. графики выполнения тестов сильными и слабыми учащимися становятся более параллельными [приложение 9, рис. 9.11, 9.12]. На наш взгляд, это произошло потому, что в целом в содержание тестовых заданий стало более сбалансированным: в ТЗ включался материал, для понимания которого в равной степени требовались и точное знание фактов, и умение анализировать эти факты. Чтобы достичь такой сбалансированности, разработчикам тестов необходим значительный опыт создания тестов, позволяющий учитывать различные факторы, влияющие на трудность заданий.
Рассмотрим таким же образом итоговые тесты по истории для 9 класса. Заметим, что содержательно-деятельностная матрица итоговых тестов по истории для 9 класса строится по тем же параметрам, что и для 11. Это объясняется тем, что в настоящее время в школе действует концентрическая программа по истории и изучаются одни и те же разделы содержания. Разница состоит в том, что в итоговый тест по истории для 9 класса включается преимущественно задания, проверяющие знание фактов, явлений, понятий на первом и втором уровнях усвоения. Кроме того, разработчики тестов в значительно большей мере учитывают опыт преподавания в среднем звене, возрастные особенности подростков при создании тестов для 9 класса, чем при создании тестов для 11 класса.
