Содержание к диссертации
Введение
Глава I Теоретические и организационно-методические проблемы построения мониторинга 32
Раздел 1 Мониторинг как педагогическая проблема 32
1.1.1 Мониторинг как практическая система 32
1.1.2 Педагогический мониторинг и его классификация в образовании 39
1.1.3 Таксономия учебных целей 58
1.1.4 Характеристики исследования применительно к мониторингу 74
1.1.5 Контроль и оценивание 77
1.1.6 Принципы построения и функционирования системы регионального мониторинга математической подготовки школьников 80
1.1.7 Критерии и показатели региональной системы мониторинга 86
Раздел 2 Педагогические средства реализации мониторинга математической подготовки школьников 94
1.2.1 Тест как измерительный инструмент 94
1.2.2 Характеристики качества измерителя 103
1.2.3 Классификация тестов 109
1.2.4 Требования к составлению тестовых заданий 115
1.2.5 Классификация тестовых заданий 1.20
1.2.6 Конструирование теста 125
1.2.7 Технологический цикл создания теста 129
1.2.8 Определение шкалы, оценивание 130
1.2.9 Единый государственный экзамен - средство для управления образовательными системами 136
Глава II Практическая реализация региональной системы мониторинга математической подготовки школьников 141
2.1.1 Постановка системы исследовательских задач 141
2.1.2 Модель региональной системы мониторинга уровня математической подготовки школьников 148
2.1.3 Этапы становления системы мониторинга 153
2.1.4 Схема функционирования мониторинга уровня учебных достижений учащихся по математике 158
2.1.5 Нормативно-правовая база, обеспечивающая функционирование мониторинга 165
2.1.6 Построение измерителя для реализации целей мониторинга 167
2.1.6.1 Конструирование технологической матрицы, спецификация к тесту 167
2.1.6.2 Разработка банка заданий 174
2.1.6.3 Апробация измерителя в базовых школах и его корректировка 178
2.1.7 Репрезентативная выборка - залог адекватного представления состояния математической подготовки учащихся 181
2.1.8 Проверка гипотезы о законе распределения 186
2.1.9 Обеспечение стандартизации процедуры проведения мониторинга 190
2.1.10 Подготовка кадров для проведения мониторинговых исследований 193
2.1.11 Единый государственный экзамен по математике как одно из средств реализации мониторинга 200
2.1.12 Перепроверка экзаменационных работ выпускников 208
2.1.13 Анализ и интерпретация результатов мониторинговых исследований (на примере Ярославской области) 212
Заключение 235
Библиография 240
Приложение 251
- Мониторинг как практическая система
- Тест как измерительный инструмент
- Постановка системы исследовательских задач
Введение к работе
Одним из важнейших направлений модернизации системы российского образования является совершенствование контроля и управления качеством образования. Цель государственного контроля качества - обеспечить стабильное соответствие качества образования потребностям человека, общества и государства.
В последнее время в регионах создаются центры тестирования, аттестационные службы, в рамках которых
формируются модели мониторинга. Например, в Самарской области создан «Региональный Центр мониторинга», в Республике Чувашии «Республиканская служба образовательной статистики и мониторинга качества образования». Разработанные в других областях аналогичные системы не могут быть механически перенесены на Ярославскую область, так как не учитывают ее специфических особенностей.
Фундаментальной составляющей школьного российского образования является математическая подготовка, которая всегда была объектом пристального внимания. Актуальность исследования обусловлена, с одной стороны, новыми государственными требованиями сформулированными в стандарте образования к математической подготовке школьников, а с другой, сложившейся системой оценивания учебных достижений в каждом образовательном учреждении (ОУ).
Необходимым условием повышения качества математической подготовки является не эпизодический контроль, а систематическое комплексное наблюдение за изменениями в системе математического образования в области и на уровне ОУ, выявление факторов, влияющих на уровень подготовки, то есть другими словами осуществление долгосрочного мониторинга.
В настоящее время, с одной стороны наблюдаются широкие возможности по использованию различных учебно-методических комплектов, с другой - ограниченность информации о
результативности их применения у педагогов. Возникает необходимость в унифицировании диагностики результатов математической подготовки учащихся.
Однако в педагогической литературе отсутствует описание содержательного и управленческого мониторинга математической подготовки школьников (уровня учебных достижений по математике).
Изменения в сфере образования, произошедшие за последнее время, привели к противоречию между развитием образовательных услуг, с одной стороны и отсутствием системы контроля, направленной на обеспечение объективности проверки знаний на основе государственных требований к уровню подготовки, с другой. Разрешению противоречия между потребностями практики в системе отслеживания учебных достижений школьников и соответствующей коррекции математического образования, и недостаточным теоретическим обоснованием, разработанностью методик реализации мониторинга посвящена данная работа.
Целью настоящего исследования является построение системы мониторинга, которая дает целостное представление о качестве математической подготовки выпускников в целом по области и на уровне ОУ, позволяет прогнозировать динамику развития системы математического образования в регионе и своевременно выявлять факторы влияния.
Объект исследования: Региональная система
математического образования.
Предмет исследования: Динамика изменений региональной системы математического образования и методика построения инструментария для осуществления мониторинга этого образования.
Можно сформулировать следующую гипотезу исследования: Система мониторинга уровня учебных достижений школьников может способствовать повышению эффективности математического образования в области, если:
- будет удовлетворять потребностям субъектов образовательного процесса;
- рассматривать изменения в системе математического образования комплексно и в динамике;
- применять инструментарий, адекватный целям;
- осуществляться в соответствии с принципами конвенциальности, открытости, единства информационной среды;
- позволять проводить сравнительный анализ учебных достижений различных групп школьников, выявляя массовые пробелы в знаниях и факторы их влияния;
- обеспечиваться нормативно-правовой базой.
Цель исследования и гипотеза потребовала решения системы поставленных исследовательских задач:
1. Определить сущность регионального мониторинга математической подготовки школьников, функции и принципы.
2. Построить региональную систему мониторинга математической подготовки школьников, выявить его содержательную и организационную структуру.
3. Разработать измеритель, адекватный целям мониторинга, и экспериментально проверить его эффективность в реальных условиях.
4. Сформировать систему интерпретации, анализа и представления результатов мониторинговых исследований.
Методологической и теоретической основой исследования являются фундаментальные положения и современные выводы философии, социологии, экологии, психологии, педагогики, методики преподавания математики.
Исходные теоретические позиции базируются на: теории педагогических систем (В.П.Беспалько, М.С.Каган, Н.В.Кузьмина, С.Л.Паладьев, М.Н.Скаткин, В.Н.Садовский, В.П.Симонов, Е.И.Смирнов, Э.Г.Юдин); теории тестирования (В.С.Аванесов, А.Анастази, П.Клайн, Г.С.Ковалева, Е.А.Михайлычев, А.Н.Майоров, Н.Л.Майорова, Т.Д.Макарова, В.И.Нардюжев, А.О.Татур,
Г.А.Урванцева, М.Б.Челышкова, А.Н.Щапов); общей теории педагогической диагностики, начиная с научных положений классиков зарубежной и отечественной педагогики (В.С.Блум, А.Дистерверг, К.Ингекамп, Я.А.Коменский, И.Г.Песталоцци), и продолжая современными исследованиями (А.В.Басов,
В.В.Давыдов, К.А.Краснянская, А.Э.Симановский, Н.Ф.Талызина, Д.Б.Эльконин); теории статистики (И.И.Елисеева, Дж.Гласс, В.В.Майоров, Д.А.Новиков); теории мониторинга (В.А.Кальней, А.М.Кукуев, А.Н.Майоров, Ю.Б.Осипов, В.Г.Попов, В.Н.Чупин, С.Е.Шишов); теории социологических исследований (И.В.Бестужев-Лада, А.П.Куприян, Дж.Б.Мангейм, В.А.Ядов); методики преподавания математики (М.И.Башмаков, Г.Д.Глейзер, В.А.Гусев, А.В.Дорофеев, А.Г.Мордкович, Р.С.Черкасов, И.Ф. Шарыгин); теории графического анализа (Э.В.Чекотовский, В.Боровиков); теории педагогических исследований (В.И.Загвязинский, Ю.А.Конаржевский).
Методы исследования определялись его целью, комплексным решением теоретических и практических задач. Для решения поставленных задач был использован комплекс теоретических и эмпирических методов: анализ литературы по предмету исследования; психолого-педагогическая диагностика (наблюдение, беседа, тестирование, анкетирование); моделирование, анализ, синтез, классификация, обобщение; педагогическое измерение и математико-статистическая обработка количественных данных.
Опытно-экспериментальная работа проводилась в основных и средних образовательных учреждениях Ярославской области.
Базой исследования являлись школы №2, №3, №8, №9, №20, №76, №87, гимназия №1 г.Ярославля, Ивняковская, Глебовская, Курбская, Медягинская, Ширинская, Шебунинская, школы Ярославского района, Ярославский областной институт развития образования.
Различными видами исследования было охвачено около 14 тыс. школьников, более 500 учителей математики, все муниципальные округа (19 МО) Ярославской области.
Исследование проводилось в течение 6 лет и включало четыре этапа.
Основные этапы исследования.
Первый этап (1998г.) - включал подбор и изучение научно-методической литературы по проблеме мониторинга в различных науках, анализировался отечественный и зарубежный опыт в области тестологии, определялся понятийный аппарат.
Второй этап (1999-2000г.г.) - создана модель системы мониторинга математической подготовки школьников в области. Уточнялась методологическая и теоретическая базы исследования, формулировались цели и задачи работы. Создавались организационно-педагогические основы для проведения
мониторинговых исследований. Определялась творческая группа по наработке банка заданий по математике, которые апробировались в базовых школах.
Третий этап (2000-2003г.г.) - осуществлялась опытно-экспериментальная работа по реализации построенной системы регионального мониторинга уровня учебных достижений по математике. Разработан и апробирован измеритель по математике за курс основной школы. Проведены мониторинговые исследования по алгебре и геометрии. Разработана схема анализа и интерпретации результатов, определены потенциальные пользователи информации.
Четвертый этап (2004г.) - осуществлялась обработка, анализ и обобщение материалов исследования, литературное оформление результатов работы.
Научная новизна работы состоит в следующем:
- построена модель деятельностной системы мониторинга математической подготовки школьников в регионе;
- определена совокупность теоретических положений, раскрывающих понятие и сущность мониторинга математической подготовки школьников;
- сформулирована система принципов создания и функционирования системы мониторинга математической подготовки школьников;
- определены и конкретизированы критерии и показатели, которые обеспечивают функционирование мониторинга математической подготовки школьников.
Теоретическая значимость исследования заключается в следующем:
охарактеризованы функции мониторинга математической подготовки школьников по математике;
- разработан критериально-оценочный аппарат математической подготовки школьников;
- раскрыты возможные подходы к организации мониторинга математической подготовки школьников и использованию его результатов;
представлено уточнение содержания понятий «мониторинг»,
«тест»;
предложена научно-обоснованная программа курсовой
подготовки учителей математики по вопросам измерения в
образовании.
Практическая значимость состоит в том, что:
- построенная модель системы мониторинга математической подготовки школьников доведена до уровня практической реализации;
- разработаны методические рекомендации по функционированию мониторинга математической подготовки школьников в регионе,
- подготовлены научно-методические материалы по разработке контрольно-измерительных материалов по математике;
- разработана схема интерпретации, анализа и представления результатов в удобную для восприятия форму;
- выявлены потенциальные пользователи информации мониторинговых исследований математической подготовки школьников.
Построенная система мониторинга математической подготовки школьников способна отслеживать уровень подготовки учащихся с целью выявления пробелов в усваиваемом материале
для последующей корректировки учебного процесса и прогнозированием его развития. На защиту выносятся:
- принципы построения и функционирования региональной системы мониторинга математической подготовки школьников.
- комплекс критериев и показателей, обеспечивающих целостное представление о состоянии региональной системы математического образования.
- построенная модель региональной системы мониторинга математической подготовки школьников, включающая несколько иерархических подсистем.
- методика конструирования измерителя по математике.
- методика анализа и интерпретации результатов, выявления факторов, влияющих на математическую подготовку школьников.
Личный вклад автора состоит в:
- самостоятельной разработке и построении системы мониторинга математической подготовки школьников;
- определении целей и задач мониторинговых исследований математической подготовки учащихся;
- конструировании измерителя по математике;
- руководстве по реализации опытно-экспериментальной работы в образовательных учреждениях области;
- осуществлении программно-методического обеспечения реализации мониторинга;
- интерпретации полученных данных, на основе которой предложены практические рекомендации.
Достоверность результатов исследования обеспечивается: обоснованностью положений психологии и педагогики; выбором
средств и методов, адекватных задачам исследования; апробацией; репрезентативностью, статистической обработкой полученных данных; сочетанием количественного и качественного анализа экспериментальных материалов.
Апробация и внедрение результатов исследования. Основные положения исследования были представлены в учебно-методических пособиях и публикациях (19 публикаций по теме диссертации). По материалам исследования автор выступал перед учителями и преподавателями общеобразовательных учреждений и учреждений начального профессионального образования, работниками органов управления образованием Ярославской области. Разработанные в ходе исследования рекомендации и пакеты учебно-методического обеспечения используются в работе общеобразовательных школ Ярославской области. Результаты исследования использованы в аналитических материалах об уровне подготовки по математике школьников Ярославской области.
Материалы исследования послужили основой для лекционных курсов повышения квалификации учителей математики, руководителей школ.
Апробация, распространение основных идей мониторинговых исследований математической подготовки школьников
осуществлялись в процессе совместной работы автора исследования с органами управления образованием на региональном и местном уровнях.
Структура диссертации. Диссертация состоит из введения, двух глав, заключения, списка используемой литературы и приложений. Содержит рисунки, таблицы, диаграммы и схемы, подготовленные и выполненные автором (6 рисунков, 30 таблиц, 16 диаграмм, 9 схем).
Основное содержание работы
Одной из первоочередных задач образовательной политики России является повышение качества образования. Под качеством образования в программе развития образования в Ярославской области понимается «соответствие образовательных результатов нормативным требованиям, потребностям социума, рынка труда и обучающихся». Для повышения качества математического образования необходима система его массовой оценки, которая бы дала объективную сопоставимую и достоверную информацию на различных уровнях иерархической системы образования. Назрела потребность в создании системы мониторинга математического образования в регионе.
Первая глава диссертации - «Теоретические и
организационно-методические проблемы мониторинга» состоит из двух разделов: «Мониторинг как педагогическая проблема», «Педагогические средства реализации мониторинга математической подготовки школьников».
В первом разделе анализируется понятие мониторинга, рассматривается дефиниция мониторинга в различных сферах жизнедеятельности человека. Феномен понятия «мониторинг» возник в конце двадцатого столетия с появлением информационных технологий. В последние годы это понятие широко используется в экологии, социологии, медицине. В работе подробно рассматриваются подходы к данному понятию в каждой из этих областей в качестве способа исследования реальности, и (или) способа управления.
Становление концепции мониторинга в педагогической науке тесно связано с «педагогической диагностикой». Классики педагогики (Я.А.Каменский, И.Г.Песталоцци, И.Ф.Гербарт,
Ф.А.И.Диствервег) неоднократно обращались к проблеме педагогической диагностики, как систематического и комплексного наблюдения за учащимися. Хорошо известны в области
педагогической диагностики работы зарубежных педагогов- исследователей К.Ингекампа, Б.С.Блума, А.Анастази, а также наших соотечественников В.П.Беспалько, Н.Ф.Талызиной, В.П.Симонова. В настоящее время феномен педагогического мониторинга активно разрабатывается многими учеными: А.Н.Майоровым,
С.Е.Шишовым, В.А.Кальней, Д.Ш.Матросом и др.
В настоящее время мониторинг в образовании нуждается в теоретическом обосновании и разработке конкретных методик его реализации.
Теоретический анализ литературы позволяет сделать вывод о том, что в настоящее время отсутствует однозначное определение понятия «мониторинг». Одни определяют мониторинг как систему сбора, обработки, хранения и распространения информации об образовательной системе (А.Н.Майоров, Д.Ш.Матрос), другие - как теоретически обоснованное измерение и оценку результатов обучения (М.И.Грабарь), третьи - как систематическое стандартизированное наблюдение (В.Г.Попов, СЕ. Шишов, В.А.Кальней), четвертые - как форму организации наблюдения (А.М.Кукуев). В своем исследовании определение, данное А.Н.Майровым, мы рассматриваем как методологическое. В результате анализа большого количества определений и характеристик даем следующее определение мониторинга: «Мониторинг — это целенаправленная система
стандартизированного регулярного наблюдения, сбора, хранения, обработки информации, на основе теоретически обоснованных
измерений, позволяющая судить о состоянии системы образования, корректировать и прогнозировать ее развитие».
Подчеркнем тот факт, что мониторинг реализуется в рамках управленческой деятельности, его результаты должны быть доступны для управленцев, и они являться необходимым условием эффективности управления.
Педагогический мониторинг многогранен и может рассматривать различные аспекты педагогической деятельности: содержание образования, доступность, эффективность, качество, условия осуществления педагогической деятельности, мотивацию к обучению, результативность образовательного процесса и т.д.
В зависимости от направленности целей и задач педагогического мониторинга, он может быть классифицирован по достаточно большому количеству оснований: по целям, основам экспертизы, используемым средствам (А.Н.Майоров); по иерархии систем управления (Д.Ш.Матрос, Д.М.Полев); по масштабу целей образования, по этапам обучения, по охвату наблюдения, по организационным формам (С.Е.Шишов, В.А.Кальней); по предмету отслеживания (А.С.Белкин).
Организация мониторинга связана с определением и выбором оптимального вида мониторинга, с учетом особенностей конкретной учебно-педагогической ситуации.
Мониторинг как исследовательский комплекс сам является определенной системой элементов. Её элементами являются субъекты исследований, критерии и показатели, средства мониторинговой деятельности.
Опираясь на концепцию В.Г.Попова, мы выделили основные функции мониторинга: интегративную, обеспечивающую комплексную характеристику процессов, происходящих в
образовании; диагностическую, сканирующую состояние системы образования; сравнительную, создающую условия для сравнения состояния системы образования, её элементов в пространстве и времени; экспертную, осуществляющую экспертизу состояния развития системы образования, её компонентов и подсистем; информационную, обеспечивающую получение сопоставимой, достоверной информации для анализа и прогноза состояния и развития системы образования; коррекционную, позволяющую использовать мониторинговую информацию при совершенствовании образовательного процесса, принятии обоснованных
управленческих решений, путем воздействия на влияющие факторы.
Составляющей мониторинга качества обучения является мониторинг математической подготовки школьников (уровня учебных достижений по математике).
Нами проанализированы различные подходы таксономии учебных целей (Б.С.Блум, Г.С.Ковалева, В.П.Беспалько, В.П.Симонов, В.С.Аванесов, The Programme for International Student Assessment). Несмотря на разнообразие различных подходов, они не противоречат друг другу. В своей работе мы приняли, как основополагающую, таксономию В.П.Беспалько, в силу ее технологичности, иерархичности и удобства классификации задач.
Анализ современной педагогической литературы и опыта формирования образовательной среды позволил выделить характеристики исследования применительно к мониторингу: показатели, критерии, параметры, признаки и индикаторы. В работе разработана и представлена схема1, изображающая зависимость между характеристиками исследования. Для обеспечения единого образовательного пространства в регионе предложена таблица
индикаторов, в которой указаны название, логическая формула, символ-обозначение, потенциальные потребители информации.
На основе целей мониторинга уровня учебных достижений школьников по математике, мы выделили основные принципы построения системы мониторинга.
Один из основополагающих методологических принципов исследования - принцип научности. Практическое построение системы мониторинга должно быть научно обосновано, цели стоящие перед ним тесно связаны с объективными закономерностями, происходящими в образовании. Этот принцип на первый план выдвигает связь теории с практикой.
Система мониторинга должна обеспечивать объективными знаниями потребителей об изучаемом объекте, вникать в суть изучаемых проблем и выявлять их причины. Научность подразумевает обязательное использование исследовательских средств, что позволяет свести к минимуму субъективизм и односторонность в суждениях.
Принцип отслеживания проявляется в системном, процессуальном подходе. Каждый элемент этой системы образует устойчивые связи с другими элементами. Данная система многоуровневая и способная к саморазвитию. Этот принцип предполагает: проведение мониторинговых исследований уровня учебных достижений школьников по математике в начальной, основной и средней школах по одной и той же технологии; осуществление региональных исследований с использованием опыта российских и зарубежных педагогических сообществ; использование одних и тех же методик при проведении регионального и внутришкольного мониторингов. Процессуальность
реализуется в необходимости неоднократных замеров. Изменения в системе математического образования рассматриваются в динамике, в многообразии казуальных связей, выявлении устойчивых и изменчивых свойств.
Принцип дополнительной информации воплощается в содержательных свойствах системы мониторинга. Оценка уровня учебных достижений школьников по математике включает не только результат обучения, но и условия осуществления образовательного процесса и сам учебный процесс. Средства реализации мониторинга могут быть различными: это не только тестирование, но и перепроверка работ, анкетирование и т.п.
В диссертационной работе выявлены принципы функционирования системы мониторинга: конвенциалъности, единства информационной среды, открытости.
Во втором разделе первой главы рассматриваются средства реализации мониторинга уровня учебных достижений, раскрываются противоречия между использованием в педагогической практике традиционных методов контроля и имеющейся потребностью в развитии новой формы оценивания знаний, умений и навыков - тестировании.
Методологически слабая обеспеченность в области тестирования (educational measurement) привела к тому, что в педагогическом сообществе в настоящее время нет единого понимания в терминологии. Под тестом понимается: проба, испытание, исследование (Советский энциклопедический словарь); инструмент, который состоит из задания на деятельность данного уровня, позволяющего выявить факт усвоения (В.П.Беспалько); стандартизированный метод диагностики уровня и структуры подготовленности (В.С.Аванесов); система специально
составленных заданий, решение которых имеет однозначно правильные ответы (Е.А.Михайлычев); метод педагогической диагностики (К.Ингекамп).
Примем следующее определение теста:
Тест — это инструмент, состоящий из системы стандартизированных заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов.
Отметим, что все основные функции контроля: обучающая, развивающая, мотивационная, диагностическая и прогностическая, -реализуются через его нетрадиционную форму - тесты.
Самое существенное требование, отличающее тест от экзамена и от остальных методов контроля, - это обязательная проверка его качества. Существуют соответствующие научно-обоснованные критерии, которые позволяют оценить качество теста: объективность, достоверность (надежность), валидность, трудность, селективность, эффективность.
К настоящему времени в педагогическом сообществе нет единства в классификации тестов. В.С.Аванесов, А.Н.Майоров, М.Б.Челышкова, Т.Д.Макарова видят разные признаки демаркации. Однако в соответствии с методологией создания теста все авторы единодушно выделяют: критериальные, предназначенные для выявления факта порога усвоения учебного материала;
нормативные, обеспечивающие ранжирование учащихся по уровню усвоения материала, относительно нормы. По профессиональному признаку можно определить: стандартизированные, и нестандартизированные тесты.
Из существующего многообразия типологизаций тестов мы выделим в первую очередь то, которое может быть соотнесено с
видами контроля: предупредительным, текущим, итоговым. Это, соответственно, установочный, формирующий, итоговый тесты. Установочный тест выявляет исходный уровень подготовки школьников, он содержит как легкие, так и трудные задания. Замерив базовый уровень учащегося, учитель может наблюдать за развитием каждого ребенка, вносить элементы индивидуализации в учебный процесс. Формирующий тест определяет прогресс достигнутого в обучении. К данному типу тестов мы относим базовые и диагностические. Первые включают репродуктивные задания и проводятся на уровне формирований понятий. Вторые содержат задания от репродуктивных до творческих и выявляют уровень усвоения темы или раздела программы. Итоговый тест, который чаще называют тестом школьных достижений, должен отвечать всем требованиям стандартизированного научно обоснованного теста.
Проанализировав многообразие классификаций тестовых заданий, представленных в литературе, и сопоставив их с нормативными документами, мы считаем целесообразно предложить классификацию по типам и видам заданий: типы - закрытые, открытые; виды - с выбором одного верного ответа, с выбором более одного верного ответа, на установление соответствия, на установление правильной последовательности, на дополнение с кратким ответом, на дополнение с развернутым ответом.
Вопрос о количестве заданий в тесте нуждается в методологических экспериментах. Опыт проведения нами итоговых тестов по математике показал, что он может включать 20 - 35 заданий. При конструировании теста удобнее всего воспользоваться технологической матрицей, описание которой есть в литературе, но нигде нет её модели. В диссертационной работе мы приводим
методические рекомендации по конструированию этой матрицы, учитывающей содержание, виды деятельности, количество заданий разного типа.
Анализ литературы и опыт, накопленный в ходе создания и апробации тестов, позволил выделить основные требования к составлению и структуре тестовых заданий.
Одним из направлений модернизации образования является введение единого государственного экзамена (ЕГЭ). Хотя в среде педагогической общественности нет единой точки зрения, но все большее число педагогов и руководителей различных уровней признают, что ЕГЭ - более надежный инструмент для оценки образовательных достижений школьников. Общероссийские тестовые баллы массового тестирования задают средние статистические нормы учебных достижений, относительно которых субъекты образовательного процесса могут
самоидентифицироваться в едином контрольно-измерительном пространстве. Анализ успехов и недостатков требуется образовательным учреждениям, органам систем управления на всех иерархических уровнях для коррекции образовательного процесса. Так как экзамен по математике является обязательным для всех выпускников, то результаты ЕГЭ можно рассматривать как информационную основу для организации многоуровневого мониторинга. Особо подчеркнем, что вводимая независимая система оценивания, осуществляемая в рамках ЕГЭ, является мощным воспитывающим средством. Отсюда - воспитывающая функция мониторинга, которая проявляется опосредованно.
Российская система образования не является однородной по качеству предоставляемых услуг. Всякая информация, полученная в ходе мониторинговых исследований, должна иметь своего адресата
и аккуратно представляться. Пользователями данной информации в Ярославской области являются: департамент образования среднего и начального профессионального обучения, высшие и средние учебные заведения, аттестационные службы, институт развития образования, муниципальные органы управления образованием, методические службы, учителя, учащиеся, родители.
Вторая глава диссертации посвящена непосредственному построению системы мониторинга математической подготовки школьников.
Мы построили модель системы мониторинга математической подготовки школьников. Под моделью мы понимаем образ (схему) системы мониторинга: совокупность её элементов, свойства которых и отношения между которыми, удовлетворяют заданным принципам. Мониторинговые исследования изучают уровень математической подготовки в регионе в начальной, основной и средней школе. Направления, по которым осуществляется мониторинг математической подготовки учащихся, зависят от ступени обучения школьников: в начальной школе - это выборочное тестирование по математике выпускников начальной школы; в основной школе - выборочное тестирование выпускников по алгебре, по геометрии, выборочная перепроверка письменных аттестационных работ; в средней школе - тестирование в форме ЕГЭ, выборочная перепроверка письменных аттестационных работ выпускников вечерних школ, профессиональных училищ и учащихся, занимавшихся по математике по курсу «А» в дневных общеобразовательных школах; выборочная перепроверка работ выпускников, получивших серебряные медали.
Измерения учебных достижений проходит по единой технологии. Субъектами мониторинговых исследований являются
органы управления образованием различного уровней. Все элементы взаимосвязаны и подчинены целям эффективности математического образования и обучения. Они сами являются системами низших порядков, между ними происходит взаимодействие - деятельность, поэтому систему мониторинга можно охарактеризовать как открытую деятельностную систему.
В данной работе строится несколько звеньев в иерархической системе мониторинга: международный, федеральный,
региональный, внутришкольный, которые, в свою очередь, являются тоже сложными иерархическими системами. Звенья (подсистемы) в единой системе мониторинга обладают свойством взаимопроникновения. Особенно большую роль приобретает взаимопроникновение федерального и регионального
мониторингов.: при осуществлении первого на уровне региона можно достроить выборку и провести исследования, используя один и тот же измеритель, чтобы затем сравнить областные результаты с общероссийскими. В данной ситуации мониторинг уровня учебных достижений школьников по математике в Ярославской области служит подсистемой федерального мониторинга.
В области довольно успешно осуществляется взаимопроникновение мониторинга регионального и некоторых муниципальных округов, например, г.Ярославля, Ярославского, Первомайского, Некрасовского районов. Если муниципальный мониторинг нацелен на изучение математической подготовки отдельного образовательного учреждения, то внутришкольный -направлен на изучение деятельности, прежде всего, конкретной личности: ученика, педагога. Систематическая диагностика процесса обучения напрямую связана с оперативной коррекцией, что позволяет обеспечить личностно-ориентированный подход в
обучении, определить «зоны ближайшего развития» ученика. В помощь учителям математики и администрациям ОУ для организации внутришкольного мониторинга при активном участии автора диссертации создана серия тестовых материалов по алгебре для учащихся 7-9 классов, содержащих базовые, диагностические, итоговые тесты и методические рекомендации по их использованию в учебном процессе. Автор диссертации совместно с «Ярославским городским центром развития образования» принимал активное участие в создании и апробации этих материалов. Большое значение приобретает накопительный объем информации об ученике, учителе.
Схему функционирования мониторинга мы представляем в виде семи иерархических этапов: подготовительном, проведения измерений и сбора информации, машинной обработки результатов, интерпретации данных, прогнозирования и корректировки. Каждый из этапов выполняет свои задачи и между этапами существует взаимообусловленная связь.
За последнее десятилетие появляется многообразие типов и видов образовательных учреждений, которые работают по разным учебным планам, программам, учебникам. Так как государственный статус ОУ устанавливается с учетом средних показателей для образовательных учреждений соответствующего вида на территории субъекта РФ, то возрастает значимость результатов мониторинга математического образования, которые можно использовать при аккредитации. Исходя из принципа конвенциальности, для эффективного функционирования системы регионального мониторинга, нами разработан пакет проекта нормативно-правовой документации, который включает документы федерального и регионального уровней. Данные документы нормативно регулируют
деятельность участников проведения мониторинга, обеспечивают информационную безопасность, регламентируют состав баз данных.
В работе значительное место отведено методике построения измерителя по математике для проведения мониторинговых исследований. Измеритель представляет собой нормативный тест, состоящий из двух частей: закрытых заданий с выбором одного верного ответа (часть «А») и открытых заданий со свободно конструированным ответом (часть «В»). Опыт, накопленный в ходе апробации, позволил сделать вывод, что целесообразно соотношение заданий разного типа, как 2:1. Суммарное количество балов за часть «А» не должно превосходить суммарного количества за часть «В». От целей мониторинга зависит соотношение заданий в тесте по уровням усвоения. В работе подробно описана методика конструирования итогового теста.
Необходимым условием для формирования банка заданий является определение кодификатора по математике, который содержит планируемые результаты обучения. Он содержит перечень учебных тем по математике с указанием элементов содержания, количеством заданий по уровням усвоения, картотеку заданий. В работе мы рассматриваем методику конструирования такого кодификатора.
Необходимым этапом в создании измерителя является его апробация. Она осуществляется как по отношению к отдельным заданиям, так и ко всему тесту в целом. Задания проверяются на: однозначность и ясность понимания текста; предполагаемый интервал времени, отведенного на выполнение; прогностическую валидность предложенных альтернатив; соответствие заявленной трудности и уровня сложности (усвоения) задания фактической.
При осуществлении мониторинговых процедур, в целях экономии средств и времени, исследования математической подготовки школьников проводились на репрезентативной выборке, представляющей точную модель изучаемой генеральной совокупности. При проведении исследования математической подготовки выпускников основной школы по алгебре мы построили выборку в 1374 человека. При подсчете статистических данных был использован аппарат, предложенный И.И.Елисеевой.
Прежде чем перейти к построению нормы среднестатистической величины для региона, проверяется гипотеза о близости эмпирического распределения к нормальному. Подсчеты показали, что характеристики в распределении выпускников основной школы по среднему баллу по алгебре незначительно отличаются от характеристик нормального распределения. Исходя из того, что распределение близко к нормальному, мы определяли шкалу отметок.
При проведении массовых мониторинговых исследований обеспечение стандартизации процедуры является неотъемлемым условием. Нами был создан сценарий тестирования, включающий жесткие инструкции и требования, что обеспечивает единообразие процедуры и является гарантией точности и надежности данных, полученных в ходе исследования.
Функционирование региональной системы мониторинга невозможно без обучения кадров - организаторов тестирования и экспертов. Разработанные нами программы обучения предназначены для различных категорий людей, принимающих участие в тестировании, и нацелены на оказание помощи учителю в: организации оперативного контроля, умении разбираться в многообразии тестов, составлении простейших тестовых заданий.
Сегодня учителю необходимы знания об объективных средствах контроля, т.к. бездумное применение тестов может нанести непоправимый урон математическому образованию.
В 2003 году Ярославская область вступила в эксперимент по введению единого государственного экзамена по математике. Результаты экзамена начинают использоваться для формирования информационных баз региональной системы мониторинга. Отметим, что использовать информацию, полученную в ходе проведения ЕГЭ, следует осторожно: учитывать при аттестации ОУ, учителей не одномоментные замеры, а результаты наблюдений в течение четырех-пяти лет. ЕГЭ, как информационная основа мониторинговых исследований, без сомнения имеет огромное значение. Но наряду с положительными явлениями, могут наблюдаться и негативные последствия. В работе мы проанализировали последствия ЕГЭ как для системы образования в целом, так и для различных категорий его участников: учащихся, родителей, учителей, образовательных учреждений, органов управления различных уровней.
В качестве средства для диагностики уровня математической подготовки в области мы использовали также традиционные формы контроля. Нами осуществлялась выборочная перепроверка письменных аттестационных работ выпускников. Перепроверка организуется на предмет: выполнения учащимися государственных требований к уровню подготовки по математике; соответствия проверки школьными аттестационными комиссиями требованиям оценивания; контроля качества проверки. Анализ перепроверки выявил ряд проблем в области: наблюдается общая тенденция к завышению отметок (по некоторым ОУ оно составило до 20% от общего количества работ в ОУ); в отдельных городских школах
зафиксировано занижение (до 48%); значительно увеличилось количество двоек. Исследование показало, что учителями допускаются пропуски ошибок, чаще всего при построении графиков функций, решении неравенств, расстановке знаков при преобразовании алгебраических выражений.
Это еще раз подтвердило гипотезу, что отметка, выставленная ОУ, не является государственной оценкой и выводы о хорошей или плохой подготовке школьников на основании отметок ОУ безосновательны - необходима независимая экспертиза.
Важным этапом в осуществлении мониторинга является анализ и интерпретация результатов. Региональный мониторинг позволяет проводить слежение за уровнем математической подготовки на уровне школы, муниципального округа, области. В диссертационной работе нами предложены характеристики обобщения по каждому из уровней. При осуществлении внутришкольного контроля удобно использовать такие характеристики как мода (наиболее часто встречающийся результат в выборке) и размах влияния (разность между наибольшим и наименьшим значением). Эти показатели позволяют характеризовать группу на однородность, ранжировать группы в выборке. Данные о характеристике класса дают возможность планировать индивидуальную работу с учащимися.
Нами были обследованы результаты ЕГЭ в 2003 году по районам г.Ярославля и некоторым муниципальным округам. В наших исследованиях основными показателями результативности являлись средний балл, справляемость, успешность. Мы рассмотрели влияние различных факторов на данные показатели. В области явно прослеживается зависимость между средним баллом (справляемостью, успешностью) и местоположением ОУ (большой
город, малый город, село). Мы проанализировали уровень подготовки в негосударственных образовательных учреждениях, результаты в них ниже средне-областных.
Полученная в ходе исследований информация визуализируется с помощью диаграмм, графиков, таблиц. Проведенные нами исследования математической подготовки выпускников основной школы в 60 ОУ позволили увидеть ситуацию в распределении школ области по сравнению со средними областными характеристиками.
Для методистов важным является вопрос об усвоении основных структурных единиц содержания математического образования: в сравнении с общероссийскими результатами; в зависимости от учебно-методического комплекта, по которому велось обучение. В построенной нами региональной системе мониторинга такая информация может быть представлена на уровне учителя, школы, муниципального округа, области. Сравнивая корреляционные отношения по различным признакам контрольной работы по алгебре за курс II ступени обучения, мы выявили, что наибольшее влияние на средний балл оказывают факторы: количество часов в неделю по алгебре (0,75 - далее в скобках указано корреляционное отношение), УМК (0,50),
квалификационная категория учителя (0,45), тип местности, где находится ОУ (0,44). Наименьшее влияние оказывают - нагрузка учителя в неделю (0,11) и стаж учителя (0,09).
В заключении диссертации обобщены обсуждаемые в ней материалы, сделаны определенные выводы.
Мониторинг как практическая система
Любой процесс имеет временные характеристики, свою историю. Понимание процесса, его анализ, целенаправленное воздействие на него становятся эффективнее при наличии возможности отслеживания истории данного процесса во времени. Необходимым инструментом для этого является мониторинг.
Monitoring (лат.) - предостерегающий. Мониторингом принято называть регулярные, выполняемые по заданной программе наблюдения состояния предварительно выделенного одного или нескольких объектов [92, с.119].
Впервые мониторинг был использован в почвоведении, позднее в экологии. В экологии понятие «мониторинг» определяется как непрерывное слежение за состоянием окружающей среды с целью предупреждения нежелательных отклонений по важнейшим параметрам. По С.Ф.Реймерсу: мониторинг - взаимосвязь наблюдения и предупреждения, он нацелен на фиксацию отрицательных последствий хозяйственных действий [109]. Мониторинг наблюдение, оценка и прогноз состояния окружающей среды в связи с хозяйственной деятельностью человека [23, с.825]. Словарь океанографических терминов определяет мониторинг как комплексную систему наблюдений, оценки и прогноза изменений состояния окружающей среды под влиянием антропогенных воздействий.
В сфере экологии глубоко разработан методологический аппарат мониторинга, созданы средства измерения, мониторинг широко принят научным сообществом, статус закреплен на законодательном уровне (ст.63 Конституции РФ).
Изучение литературы позволяет сделать вывод, что экологический мониторинг[92, с. 120]: обеспечивает постоянную оценку экологических условий среды обитания человека, выявляет текущее состояние природных сред и биологических объектов; определяет корректирующие действия в тех случаях, когда целевые показатели экологических условий не достигаются; устанавливает причины негативного воздействия на природные среды и объекты, также источники их возникновения до того, как будет нанесен значимый ущерб.
Основными функциями системы экологического мониторинга являются [92, с. 124]: выделение объекта наблюдения или его структурно-самостоятельной части; обследование выделенного объекта наблюдения; установление информационной модели для объекта наблюдения (установление целевых показателей); установление перечня измеряемых и вычисляемых величин и параметров для получения целевых показателей; планирование измерений; проведение измерений; управление данными измерений (сбор, передача, хранение и т.п.); оценка состояния объекта наблюдения; прогнозирование состояния объекта наблюдения; представление информации в удобном для пользователя виде.
Экологический аспект в наблюдении состояний окружающей среды проявляется в системной организации таких наблюдений [92, с. 120]. При строительстве АЭС система мониторинга начинает создаваться на стадии выбора строительной площадки для ее размещения. Когда заканчивается этап строительства объекта, экологический мониторинг становится неотъемлемой частью эксплуатации станции и продолжается даже после вывода энергоблока из эксплуатации.
«Экологический мониторинг - это процесс сбора в определенных местах параметрических показателей, описывающих состояние природной или природно-антропогенной системы. Сбор показателей производится с установленной частотой и в согласованном объеме. Целью экологического мониторинга является прогноз поведения системы в целом и ее отдельных компонентов для предотвращения чрезвычайных ситуаций" .
Если рассматривать экологический мониторинг применительно к природно-технической системе "АЭС - окружающая среда", то в идеале это целая система, включающая в себя получение информации, базу данных, блок прогнозов (программные и другие средства, с помощью которых можно просчитывать прогнозы и уровни риска). Основная задача производственного экологического мониторинга - получение информации для выработки рекомендаций руководству станции по повышению эколого-экономической эффективности работы АЭС.
В социологии мониторинг рассматривается как средство обеспечения эффективного функционирования системы прогнозирования, он строится на систематическом, специально организованном опросе, предполагает обязательную нацеленность на сферу управления. Под мониторингом известный академик, социолог И.В. Бестужев-Лада понимает - "систематические наблюдение, оценку и прогноз состояния окружающей среды, обусловленные хозяйственной деятельностью человека" [12]. Есть и более полное определение социально-политического мониторинга как постоянного, систематического сбора информации средствами массовой коммуникации в целях наблюдения, контроля за ходом развития какого-либо социально-политического явления или процесса и его прогнозирования [156]. Это определение достаточно точно описывает основные характеристики мониторинга - систематичность, динамичность, нацеленность на прогноз.
Тест как измерительный инструмент
В ходе контроля проверяется соответствие достигнутых учащимися знаний, умений и навыков установленным государственным эталонам (стандартам), а оценка выражает реакцию на степень и качество этого соответствия. Тестирование является стандартизированной формой контроля: процедура проведения теста, оценка знаний единообразны (стандартны) для всех учащихся.
Выдающийся русский ученый Дмитрий Иванович Менделеев говорил, что наука начинается с измерения. Измерением называют установление соответствия между изучаемыми объектами, с одной стороны, и числами с другой. Оно подразумевает наличие определенной шкалы, определенной метрики, возможность приближенно отражать одно и то же состояние измеряемого объекта на один и тот же индекс шкалы, оценить точность этого приближения. Выбор измерительного средства всегда начинается с постановки целей измерения и соотнесения их с целями, для которых разработаны измерительные средств, предлагаемые на рынке образовательных услуг. Измерительное средство должно позволять получать достоверную информацию.
Тест как измерительный инструмент используется в большинстве стран мира. Наиболее качественным инструментом для измерения результатов обучения являются тесты [68, с. 12]. Разработка их основана на мощной теории. Практика тестирования насчитывает более 120 лет, накоплен громадный опыт использования тестов в различных областях человеческой деятельности. Под педагогическим измерением понимают процесс установления соответствия между оцениваемыми характеристиками учащихся и точками эмпирической шкалы, в которой отношения между различными оценками характеристик выражены свойствами числового ряда [137, с.63]. Образовательный стандарт без стандартного измерителя - декларация о намерениях, идея фикс, не имеющая ни фундамента, ни завершения [120, с.34].
По мнению К.Ингекампа предтечей теста школьной успеваемости были появившиеся приблизительно в 1864г. "scale books" (шкалированные книги) англичанина Джорджа Фишера, в 1894г. при проверке орфографических знаний американец Дж. М. Райе применил свои таблицы, в 1908г. Стоун опубликовал первый тест по арифметике [31,с.13]. В качестве самых ранних примеров диагностики личной успеваемости можно назвать систему экзаменов при приеме на гражданскую службу в Китайской Империи (1115 год до н. э.); в России при Александре І, в соответствии с "табелем о рангах", поступающие на государственную службу должны были сдать так называемый тринадцатый экзамен: географию, историю, иностранный язык.
Первые научные труды по теории тестирования появились в начале XX века, на стыке психологии, социологии и педагогики. В 1923 году Труман опубликовал первые тесты педагогических достижений. В 1933 году в тестах педагогических достижений стал использоваться принцип измерения, разработанный в психологической лаборатории [31]. Педагоги называют эту науку -педагогическим измерением (educational measurement), В.С.Аванесов - педагогической тестологией. Основные функции педагогического измерения представлены в одном из солидных американских справочников - Lindquist- это оказание помощи в учебе, совершенствование процесса преподавания, консультирование в школе, определение позиций в системе образования.
Если в США, в Европе совершенствовалась технология создания тестов, то в России во время сталинского режима тестология и педология рассматривались как буржуазное явление, основоположники педологии были репрессированы, программы по работе в данном направлении свернуты. В 60-е годы в дидактику проникают тесты через систему программированного обучения, развитие которого связано с работами Н.Ф.Талызиной [125], вопросы тестологии отражены В.П.Беспалько в работах по проблемам педагогических технологий [10]. В 1845году бостонские общественные школы заменили устный экзамен на письменный. Обоснование этого нововведения было похоже на рассуждения более позднего периода, когда вводилось тестирование: письменные экзамены ставят всех учащихся в равные условия, содержание экзамена охватывает большой объем материала, уменьшается элемент случайности в выборе задаваемого вопроса, сводится на нет необъективность экзаменатора [8]. Сегодня традиционные формы контроля не достаточно оперативны, для их осуществления требуется значительное время, возникла необходимость в новых видах проверки знаний. Обучение же может быть эффективным только в том случае, если существует надежная обратная связь от ученика к учителю, дающая достоверную информацию о восприятии и усвоении материала школьниками.
Постановка системы исследовательских задач
Целью настоящего исследования является непосредственное построение системы мониторинга математической подготовки школьников в регионе.
Практическая разработка осуществлялась на основе научного исследования, в основу которого положены три основные методологические функции:
- первая - ориентирующая, которая реализуется при отборе данных;
- вторая - предсказательная, опирающаяся на казуальные зависимости в образовании;
- третья - классифицирующая, помогающая систематизировать факты путем выявления существенных свойств и связей [57,с.12].
Цель исследования потребовала решения системы поставленных исследовательских задач. Первая группа историко-диагностических задач:
- провести теоретический анализ опубликованных отечественных и зарубежных работ по проблеме построения мониторинга, изучить современное состояние проблемы;
- уточнить дефиниции понятий в различных источниках, определить единство терминологии, составить тезаурус.
Вторая группа теоретико-моделирующих задач:
- разработать механизм целеполагания с учетом принципа преемственности;
- установить элементы системы мониторинга;
- определить организационную структуру, функции мониторинга;
- найти методы реализации исследований, адекватных целям;
- выявить потенциальных пользователей информации, полученной в ходе исследований.
Третья группа практически-преобразовательных задач:
- выявить основные показатели, критерии эффективности мониторинговых исследований;
- разработать инструментарий, адекватный целям и методам исследования;
-построить модель организационной структуры проведения измерения и сбора информации;
- создать проект пакета документов, определяющих нормативно-правовую базу реализации мониторинга и механизмов ее совершенствования;
- сформировать систему интерпретации, анализа и представления результатов мониторинга;
- разработать практические рекомендации потенциальным пользователям информации по коррекции образовательного процесса.
Решение некоторых задач требует преимущественно изучения литературы, других - обобщения, модернизации, комбинирования известных подходов, третьих - отыскания собственного решения. Используя понятие «дерево целей» из [29, с.60], построим его вариант для нашего исследования (схема 4). Данная схема позволяет взглянуть на проблему построения системы мониторинга с точки зрения целеполагания и четко обозначить конкретные пути и способы её решения.
В схеме выделены три блока исследования: постановочный, преобразующий, аналитический.
Первый блок носит теоретический характер, он предполагает проведение анализа состояния математического образования в области. В области реализуется широкий спектр образовательных услуг, как в государственных, так и в частных образовательных учреждениях (ОУ). Обширна инфраструктура ОУ в области: средние, основные и начальные общеобразовательные школы, гимназии, лицеи, вечерние школы. Уровень математической подготовки в них отличается существенно.
Наблюдается большое разнообразие реализуемых программ по математике - классы с изучением математики:
- углубленным (курс С),
- по курсу В (не менее 5 часов в неделю),
- по курсу А (менее 5 часов в неделю).
Широка палитра используемых учебно-методических комплектов (УМК) в регионе. Встает проблема, как помочь учителю в выборе УМК, исходя из профессиональной подготовки педагога и контингента учащихся. Сегодня методические службы, по существу, не имеют данных об эффективности использования того или иного УМК. Требуется корректировка в программах курсов повышения квалификации учителей.
