Содержание к диссертации
Введение
Глава 1. Региональная система оценки качества обучения как предмет научного исследования 13
1.1. Качество обучения и его оценивание 13
1.2. Современное состояние региональных систем оценки качества обучения 21
1.3. Основные компоненты систем оценки качества обучения, их виды и функции.ЗО
1.4. Концептуальная модель региональной системы оценки качества обучения и принципы ее научной организации 47
Выводы по первой главе 56
Глава 2. Научные основы педагогических измерений, процедуры и технологии оценки качества обучения 58
2.1. Педагогические измерения в контрольно-оценочных системах 58
2.2. Показатели и критерии оценки качества обучения 74
2.3. Формы и методы оценки подготовленности учащихся 89
2.4. Методы шкалирования в региональной системе оценки качества обучения... 105
Выводы по второй главе 110
Глава 3. Опыт экспериментального моделирования условий повышения эффективности региональной системы оценки качества обучения в Ростовской области в контексте эксперимента по введению единого государственного экзамена 113
3.1. Региональный опыт тестирования школьников и абитуриентов 113
3.2 Опыт проведения мониторинговых исследований по качеству обучения в рамках эксперимента по введению единого государственного экзамена 123
3.3 Аттестация педагогов и образовательных учреждений Ростовской области с использованием результатов тестирования 131
3.4. Подготовка кадрового потенциала Ростовской области для эффективного функционирования региональной контрольно-оценочной системы 145
Выводы по третьей главе 149
Заключение 151
Литература 155
- Качество обучения и его оценивание
- Педагогические измерения в контрольно-оценочных системах
- Региональный опыт тестирования школьников и абитуриентов
- Опыт проведения мониторинговых исследований по качеству обучения в рамках эксперимента по введению единого государственного экзамена
Введение к работе
Актуальность работы. Начатая в конце 90-х годов и проводимая в настоящее время модернизация российского образования предусматривает системное реформирование содержания образования, увеличение вариативности учебных программ, совершенствование структуры государственных образовательных стандартов, введение независимой аттестации выпускников учебных заведений и создание эффективной системы отбора абитуриентов вузов на основе результатов единого государственного экзамена (ЕГЭ). Сегодня пути и методы повышения эффективности управленческих воздействий лежат в области квалиметрии, использующей методы педагогических измерений и обеспечивающей научную основу количественной оценки качества образования,
В практике отечественного образования складывается ситуация, под влиянием которой традиционная контрольно-оценочная деятельность педагогов и управленцев постепенно перерастает в современные эффективные формы контроля и управления качеством обучения, базирующиеся на отличных от традиционных методов теоретико-методических основах, иных информационных потоках, измерителях и технологиях. В такой ситуации не разработанными остаются вопросы использования материалов, процедур и результатов массового тестирования для управления качеством обучения школьников. Существует потребность в уточнении целей, функций и принципов организации тестового контроля, обосновании самоконтроля, в создании методов корректной педагогической интерпретации результатов единого государственного экзамена для мониторинга качества образования, в разработке научных основ использования тестовых контрольно-оценочных систем на региональном уровне управления качеством образования.
В последнее время контроль и оценка знаний в учебном процессе явились объектами изучения в психолого-педагогических науках при обосновании важности развития контрольно-оценочных систем для повышения качества образования (Б.Г. Ананьев, B.C. Аванесов, В.П. Беспалько, Г.С. Ковалева, К.А. Краснянская, В.М. Полонский, В.П. Симонов, Н.Ф. Талызина, МБ. Челышкова, А.Г. Шмелев, В. А. Якунин и др.) и зарубежных ученых ( Б. Блум, Р. Гронлунд, К. Ингенкамп, В. Оконь и др.).
Определенный вклад в решение про'блем диагностики внесли работы отечественных ученых по индивидуализации обучающих и контрольно-
корректировочных воздействий педагогов (С.К. Боголюбов, Е.В. Бондаревская, Л.С.
Выготский, Б.С. Гершунский, В.В. Давыдов, Л.В. Занков, В.В. Краевский, И.Я.
Лернер, А.Н. Леонтьев, О.Б. Лошнова, В.М. Монахов, В.В. Сериков, М.Н. Скаткин,
В.Д. Шадриков, В.В. Фирсов, Е.А. Ямбург и др.).
Необходимой составляющей научного фундамента современного контроля
явились исследования по компьютеризации контрольно-оценочных процессов,
проведенные В.И. Нардюжевым, Л.М. Подцубной, А.О. Татуром, А.Г. Шмелевым и
др. Несомненно, очень важны концептуальные и методологические проблемы
оценки качества обучения, исследованные в контексте мониторинга и управления
качеством образования в трудах Н.Ф. Ефремовой, Г.С. Ковалевой, Э.Л.
Красновского, А.А. Макарова, Н.А. Селезневой, АЛ Субетто и др.
Несмотря на широкий спектр исследований по проблемам контроля и
обучения в условиях обращения к педагогическим измерениям и перехода от
методов субъективного оценивания к тестированию существует ряд проблем, не
нашедших пока должного отражения в трудах отечественных и зарубежных ученых:
недостаточно исследованы возможности контрольно-оценочных систем в
аттестации образовательных учреждений и педагогических кадров; требуют
дальнейшей проработки показатели качества обучения применительно к задачам
педагогических измерений в образовании, не раскрыта специфика педагогических
условий.
Существует серьезное противоречие между потребностями региональных органов управления образованием в получении интегрированной, объективной информации о качестве обучения в регионе и невозможностью получить такого рода информацию с помощью традиционных систем контроля, его критериев, инструментария и средств.
Поиск путей преодоления отмеченных недостатков и противоречий, позволил выявить проблему и сформулировать тему исследования: «Теория и практика моделирования региональной системы оценки качества обучения», конкретизировав ее применительно к общему среднему образованию.
Цель диссертационного исследования состоит в разработке и теоретическом
обосновании педагогических основ региональной контрольно-оценочной системы,
базирующейся на педагогических измерениях (квалиметрических подходах) и
обеспечивающей в процессе ее функционирования решение задач повышения
эффективности управления качеством обучения.
Объект исследования - управление качеством обучения в региональной образовательной системе.
Предмет исследования - контроль и оценка качества обучения в управлении региональной образовательной системой.
Гипотеза исследования: состоит в предположении о том, что педагогическими условиями совершенствования региональной контрольно-оценочной системы выступают:
- организация мониторинговых исследований качества обучения по
результатам независимых контрольно-оценочных процедур;
- системность использования педагогических измерителей и банков
калиброванных тестовых заданий (заданий с известными уровнями трудности
на шкале измерений) в сочетании с инструментальными средствами контроля,
статистической обработки и педагогической интерпретации его результатов;
- представление оценок контроля на интервальной шкале с высокой
степенью их дифференциации по уровням и качеству подготовленности
обучаемых;
- использование данных массового тестирования при аттестации
образовательных учреждений и педагогов, а также для самоконтроля,
самокоррекции и самооценки' субъектами образования результатов
образовательной деятельности.
Для достижения цели исследования и проверки гипотезы были поставлены и решены следующие задачи:
1. Анализ проблем создания и функционирования контрольно-
оценочных систем в образовании, выявление позитивных тенденций и
перспективных направлений их развития.
2. Разработка концептуальной модели региональной системы оценки
качества обучения, создание классификационных схем деятельности
образовательных учреждений и видов используемых педагогических тестов в
контрольно-оценочных системах, обоснование контрольно-оценочных
процедур, показателей, критериев и оценочных шкал для определения
качества обучения в рамках региональной контрольно-оценочной системы и в
связи с экспериментом по введению ЕГЭ.
3. Экспериментальное моделирование путей совершенствования
системы аттестации образовательных учреждений и переподготовки педагогов, основанных на многоуровневом мониторинге качества обучения в региональной образовательной системе.
Для решения этих задач использована совокупность методов научного исследования: общенаучные - анализ, синтез, классификация, сравнение, объяснение, индукция и дедукция, научное доказательство, абстрагирование; эмпирические - изучение педагогического опыта и опыта работы региональных структур управления образованием, анализ литературных источников, наблюдение, анкетирование и тестирование; специальные - мониторинг, статистический и педагогический анализ результатов.
Методологическая и теоретическая основа:
- методолгия педагогического исследования и педагогического контроля
(СИ. Архангельский, В.Г. Афанасьев, Ю.К. Бабанский, В.П. Беспалько, И.В.
П.Я. Гальперин, Y. Ингенкамп, В.В. Краевский, И.Я. Лернер, В. Оконь, П.И.
Пидкасистый, В.М. Полонский, М.Н. Скаткин, Н.Ф. Талызина, В.А. Якунин и
др.);
- квали метрический поход к управлению качеством обучения,
основанный на использовании педагогических измерителей (В.И. Байденко,
Н.Ф. Ефремова, В.А. Кальней, В.А.Качалов, М.В. Кларин, А.А. Макаров, В.П.
Панасюк, В.П. Симонов, Г.К. Селевко, СЕ. Шишов, В.А. Шухарадина, В.В.
Фирсов и др.);
- теория педагогических измерений (B.C. Аванесов, П. Клайн, Г.С
Ковалева, В.И. Нардюжев, Ю. М. Нейман, В.Ю. Переверзев, А.О.Татур, В,А.
Хлебников, М. Б. Челышкова, А.Г. Шмелев, N. Е. Gronlund, R. Hambleton,
J.Keeves, F. Lord, G. Rasch, D. Weiss и др.);
психолого-педагогические теории, раскрывающие сущность
диагностики способностей и возможностей обучаемых в контексте реализации
основных положений личностно-ориентированного развивающего обучения
(П.Я. Гальперин, В.Н. Дружинин, Е.В. Бондаревская, В.В.Давыдов, Л.В.
Занков, СВ. Кульневич, О.Е. Лебедев, В.В. Сериков, В.Т. Фоменко, Д.Б.
Эльконин, И.С Якиманская и др.).
На защиту выносятся:
1. Основные положения, уточняющие сущность квалиметрического
подхода к оценке качества обучения в контексте парадигмы
литчностно-ориентиро ванного развивающего обучения,
ориентирующие на выявление не только подготовленности
обучающихся в предметной области (знания, умения, навыки, опыт
творческой деятельности, предметные, межпредметные и
транспредметные компетенции), но и степени развития личностных
качеств (ценностно-смысловое отношение к обучению, ориентация в
окружающей действительности, самоорганизация, самоконтроль,
самоподготовка, усидчивость, собранность, умение мобилизоваться
на достижение планируемого результата). В процессе тестирования
содержательные элементы предметной подготовленности
испытуемого (латентный параметр) выявляются как измеряемые
параметры (уровень учебных достижений), а степень личностного
развития оценивается в процессе качественного анализа результатов
тестирования. Подобного рода тесты должны конструироваться с
опорой на методологию IRT (Item Response Theory) и дополняться
инструкциями по выполнению, стандартизированными бланками
ответов, процедурами, технологиями обработки результатов,
методами шкалирования и оценивания.
2. Обоснование педагогических условий эффективного
функционирования современной контрольно-оценочной системы:
организация мониторинговых исследований оценки качества
обучения по результатам независимых контрольно-оценочных
процедур; переход к инновационным видам педагогических
измерителей, системность их использования и повышение их
дифференцирующей способности; расширение уровней сбора и
обобщения количественной образовательной информации
(региональный уровень, уровень учебных заведений, уровень отдельных учащихся или педагогов); активизация обучающей функции контроля, перенос центра тяжести с оценивания результата на анализ и коррекцию процесса обучения и формирование его результата; подготовка педагогических кадров использованию
материалов, технологий и результатов тестирования для совершенствования образовательного процесса;
Концептуальная модель, цели и принципы функционирования региональной системы оценки качества обучения, которая представляет собой структурированную целостность организационных, технологических, функциональных и материально-технических составляющих современного контроля, объединенных единой методологической основой использования педагогических измерений, организацией контроля учебного процесса и управления качеством обучения путем установления необходимого уровня требований. Основные особенности такой системы: объективность; высокая степень полифункциональности; опора на теорию и практику педагогических измерений в сочетании с традиционными формами и методами контроля; высокая степень открытости и доступности оценочной информации широкому кругу пользователей. Совокупность организационных форм тестирования в алгоритме деятельности образовательных учреждений по подготовке к ЕГЭ включает: внешний тестовый контроль как форму независимого тестирования (централизованное, региональное аттестационное и др.); использование внутришкольного тестового контроля в обучении; обучающее тестирование обеспечивающее активизацию познавательной деятельности путем предоставления возможности самокоррекции, самоподготовки и самоорганизации на основе самоаттестации.
Модель оценки качества подготовленности школьников и выпускников региона средствами педагогических измерений по разным предметным областям на разных этапах обучения, включающая критерии и методы оценки. Качество подготовленности обучающихся рассматривается как многомерная интегральная характеристика испытуемого, * определяющая познавательную активность учащегося, имеющиеся у него на момент измерения
знания, навыки и компетентности; опыт учебной деятельности, умения совершенствовать свои креативные возможности, делать корректные суждения о своей учебной деятельности, решать нестандартные задачи; а также другие значимые для поставленной цели измерений характеристики испытуемого. Среди методов оценки преимущественными являются методы обработки результатов массового тестирования: статистический анализ учебных достижений по территориям и образовательным учреждениям региона, сравнение показателей с нормами по разным уровням обобщения данных от индивидуального до генеральной выборки; способы наглядного представления образовательной информации и ее интерпретации. Эффективность этих методик обеспечивается алгоритмами многофакторного педагогического анализа статистических результатов тестового контроля; способами корректной интерпретации результатов тестирования, единого государственного экзамена, различных видов компьютерного, внешнего обучающего и локального школьного тестирования; использованием названных методик при аттестации общеобразовательных учреждений. Суть алгоритма многофакторного тестирования заключается в сравнении результатов исследуемой выборки со среднестатистическими нормами или другими объектами оценивания в однотипном ряду, а также по вертикали с различной степенью обобщения данных. Научная новизна исследования состоит в:
определении квалиметрического подхода к созданию современных контрольно-оценочных систем в образовании, и требований к качеству тестов для их использования в региональной системе оценки качества обучения;
разработке педагогических основ региональной системы оценки качества обучения, включающих концептуальную модель системы и совокупность педагогических условий, необходимых для ее эффективного функционирования;
- разработке методик анализа и интерпретации результатов единого
государственного экзамена и других форм массового тестирования в целях
управления качеством обучения школьников в регионе.
Теоретическая значимость результатов исследования:
-систематизированы научные подходы к определению показателей и
критериев качества обучения в контексте проблем управления региональными образовательными системами;
- уточнен понятийный аппарат педагогики, связанный с оценкой знаний,
в частности, введены такие понятия, как: «подготовленность обучающегося
(состояние испытуемого на момент педагогического измерения уровня его
учебных достижений как измеряемого параметра); контрольно-оценочная
система (совокупность структур, средств и технологий контроля, методов
шкалирования и оценивания, способов интерпретации результатов).
сформулированы и обоснованы принципы организации современных контрольно-оценочных систем, цели их создания и основные функции применительно к общему среднему образованию. Практическая значимость заключается в том, что:
- предложен и апробирован подход к обеспечению региональной
системы управления качеством обучения постоянным информационным
потоком результатов педагогических измерений для их анализа и
интерпретации;
разработана методика использования данных единого
государственного экзамена и их интерпретации для проведения мониторинга в рамках региональной системы оценки качества обучения;
- построен механизм, позволяющий на единой основе данных одного и
того же свойства сопоставлять и анализировать достижения разных
территорий, образовательных учреждений и учебных программ.
Достоверность полученных результатов и обоснованность основных выводов исследования обеспечены преимущественной опорой на получившие признание научной общественности источники информации в области теории педагогических измерений и результаты педагогических исследований
отечественных ученых, применением системы современных и
апробированных методов теоретико-экспериментального исследования, экспериментальной проверкой и внедрением разработанных подходов и методик в практику образования.
Базой исследования явились: кафедра педагогических измерений Донского государственного технического университета (ДГТУ, г. Ростов-на-Дону); региональное представительство Центра тестирования Министерства образования Российской Федерации при ДГТУ; общеобразовательные учреждения Ростовской области. В качестве базовых для диссертационного исследования использовались данные, полученные при проведении тестового контроля в общеобразовательных учреждениях региона на разных стадиях обучения школьников; материалы аттестации школ г. Ростова; результаты эксперимента по введению ЕГЭ в Ростовской области; данные анкетирования школьников, учителей и родителей, проведенного по разработкам и под руководством автора.
Основные этапы исследования:
На первом этапе (2000-2001 гг.) изучался опыт существовавшей в Ростовском регионе системы оценки качества обучения, анализировалась степень теоретической разработанности проблем организации и проведения контрольно-оценочных процедур, выбора средств оценки качества обучения, нормирования качества, его прогнозирования, информационного обеспечения систем управления качеством образования в целях содействия реализуемой стратегии управления развитием региональных образовательных систем.
На втором этапе (2001-2002 гг.) были разработаны основные концептуальные положения региональной системы оценки качества обучения, обоснован набор требований к компонентам и педагогические условия ее эффективного функционирования.
На третьем этапе (2003-2004 гг.) осуществлялась экспериментальная проверка основных концептуальных положений и модели региональной системы оценки качества обучения, разрабатывались практические рекомендации по ее внедрению в практику образования, анализировались
результаты внедрения, обобщались итоговые результаты исследования, формулировались основные положения теории.
Апробация основных положений и результатов исследования.
Основные результаты исследования рассмотрены и обсуждены на:
X симпозиуме «Квалиметрия человека и образования: методология и практика».- М., ИЦПКПС, 2002.
Межрегиональной научно.-практической конференции «Единый государственный экзамен в региональной системе управления качеством образования» - Ростов-на-Дону, 2003.
Всероссийском совещании по итогам эксперимента по введению единого государственного экзамена. - Москва, МО РФ, 2004;
Региональных и муниципальных конференциях и совещаниях по вопросам управления качеством обучения.
Структура и объем диссертации; результаты диссертационного исследования изложены в трех главах. Работа содержит введение, заключение и приложения с результатами, иллюстрирующими возможности реализации разработанных методик в образовательной практике. Общий объем работы составляет 175 страниц с рисунками и таблицами, список литературы состоит из 157 первоисточников, имеется 5 приложений.
+
Качество обучения и его оценивание
В наши дни качество обучения и возможные подходы к его оцениванию находятся в центре внимания педагогического сообщества и органов управления образованием. Ведутся общественные дискуссии о качестве обучения, о методах и средствах его оценивания, создаются многочисленные аттестационные и диагностические центры, повсеместно разрабатываются различные оценочные средства, в том числе и педагогические тесты, проводится эксперимент по введению единого государственного экзамена для аттестации выпускников общеобразовательных учреждений и отбора абитуриентов. Интенсивно развивается информатизация образования, открываются недоступные ранее возможности обучения и развития личности, сопровождающиеся становлением новых образовательных технологий и существенными изменениями в педагогической теории и практике, методах управления качеством обучения. Вхождение нашей страны в мировое образовательное пространство повысило внимание к качеству подготовки молодежи, обусловило необходимость формирования концепции качества образования, активизировало поиск путей его достижения и создания надежных средств, методов и технологий контроля и оценивания результатов, соотносимых с международными стандартами.
Сегодня простое утверждение образовательного учреждения о соответствии качества обучения требованиям образовательного стандарта уже не воспринимается общественностью (потребителями) как гарантия получения качественного образования. В то же время требования высокого качества образования со стороны потребителей предъявляются не только на заключительной стадии обучения, но и на-все более ранних. В условиях интенсивного развития системы независимого массового тестирования (международные обследования, единый государственный экзамен - ЕГЭ, централизованное, различные виды регионального и др.) система образования становится более открытой обществу в сфере оценки результатов учебного труда, а в системе обучения создаются условия для целенаправленного использования материалов, технологий и методов тестирования в массовой образовательной практике. Это значит, что сама концепция оценки и управления качеством образования начинает претерпевать заметные изменения: она уже затрагивает не только учащихся и их достижения, но и образовательные учреждения, преподавателей, всю систему образования в целом.
В этой связи теоретическим аспектам оценки качества обучения уделяется значительное внимание. Вопросам объективной диагностики подготовленности учащихся, внедрения в образовательную практику инновационных концепций и технологий индивидуализированного обучения в сочетании с деятельностным подходом как основным направлением повышения качества подготовленности обучаемых посвящены работы Б.Г. Ананьева, Ю.К. Бабанского, Л.С. Выготского, П.Я. Гальперина, В. В. Давыдова, О. Б. Лошновой, Г. К. Селевко, В. В. Фирсова, В. Д . Шадрикова, И. С. Якиманской, Е. А. Ямбурга и др. [6, 11, 26, 27, 36, 84, 108, 123, 135, 142, 144].
В последние годы появились и стали интенсивно развиваться многоплановые психолого-педагогические исследования по объективизации оценочных процедур, разработке качественного инструментария и модернизации контрольно-оценочных процессов в образовании, по многомерным педагогическим измерениям и корректной интерпретации результатов массового тестирования для управления качеством образования. К этим исследованиям можно отнести работы В.П. Беспалько, Г.С. Ковалевой, К.А. Краснянской, А.Н. Майорова, А.О. Татура, А.Г. Шмелева и др. [17, 68, 85, 120, 137]. Сюда же примыкают работы по конструированию тестов B.C. Аванесова, Г.С. Ковалевой, В.А. Хлебникова, М. Б. Челышковой, а также работы по шкалированию В.И. Звонникова, Ю.М. Неймана, Н.Н. Найденовой, СВ. Никифорова, В.Ю. Переверзева и др. [2, 47, 67, 91, 93, 98, 129].
Определенный вклад в проблему совершенствования методов и средств диагностики усвоения нового материала вносят работы по индивидуализации обучающих и контрольно-корректировочных воздействий со стороны педагога таких авторов, как Ананьев Б.Г., Ш.А. Амонашвили, Боголюбов, Е.В. Бондаревская, Л.С. Выготский, А.Л. Гавриков, В.В. Давыдов, Л.В. Занков, В.В. Краевский, И.Я. Лернер, О.Б. Лошнова, Н.А. Менчинская, В.М. Монахов, П.И. Пидкасистый, Г.К. Селевко, В.В. Сериков, Н.Ф. Талызина и др. [5, 6, 8, 19, 26, 36, 70, 81, 84, 89, 94, 99, 107, 111, 118]. Смежные по тематике исследования проблем моделирования и прогнозирования достижений учащихся на основе математических моделей Item Response Theory (IRT) в адаптивном тестировании отражены в работах ряда отечественных и зарубежных ученых, таких как В. И. Нардюжев, М. Б. Челышкова, А. Г. Шмелев, В.А. Шухардина, J.P. Keeves, G.G. Kingsbury, R.L. Linn, F.M. Lord, G. Rasch, R.K. Hambleton, D.J. Weiss и др. [92, 128, 137, 138, 147, 151, 153, 154, 156, 157]. С необходимостью обращаются к оценке качества все те, кто занимается теорией или практикой мониторинга качества образования: Н.Ф. Ефремова, А.Н. Майоров, А.А. Макаров, Н.А. Селезнева, А.И. Субетто и др. [41-43,85,86, 109-110, 116].
Для эффективного решения задач мониторинга приходится разрабатывать принципиально новые подходы к оценке качества, отражающие динамику развития обучаемого при переходе на разные ступени образования. В свою очередь новые подходы порождают спектр нерешенных на сегодняшний день проблем, связанных с созданием динамических контрольно-оценочных систем на различных уровнях управления образованием, так или иначе, связанных с ответом на вопрос о том, что такое качество в сфере образования.
Однако, постоянные попытки ученых и практиков найти ответ на этот вопрос позволяют сделать несомненный вывод о его дискуссионном характере, о неоднозначности подходов к трактовке этого понятия. Дополнительные трудности в трактовке появляются и в тех случаях, когда одновременно используют и противопоставляют два понятия "качество" и "количество".
Неоднозначность определения термина "качество подготовки", заложена и на уровне нормативных документов. Например, в Законе РФ "Об образовании", где "...цель и содержание аттестации определяются, как установление соответствия содержания, уровня и качества подготовки выпускников образовательных учреждений требованиям государственных образовательных стандартов" [46]. Тем самым, в законе декларируется существование двух рядоположных объектов оценки (уровень и качество) без должной конкретизации и дифференциации этих объектов применительно к задачам оценивания.
Педагогические измерения в контрольно-оценочных системах
Структурные элементы системы оценки качества обучения, предлагаемые в предыдущих разделах исследования, представляют совокупность взаимодействующих объектов различной природы, в большей или меньшей степени имеют системные свойства - ориентацию на измерения и измеримость. Ключевым понятием, отличающим педагогические измерения от других, является объективность, В современной педагогической науке измерения принято связывать исключительно с использованием тестов [152]. Естественно, что при создании региональной системы оценки качества обучения мы отдаем предпочтение специфической объективности тестового контроля по сравнению с традиционной системой опроса, поскольку именно он обеспечивает более высокое качество измерений. По определению цель измерения - получение численных эквивалентов, отождествляемых с оценками измеряемой переменной.
В отечественном образовании все еще наблюдается явная недооценка возможностей педагогических измерений и непонимания преимуществ использования тестов. Психологическая установка на неприятие тестов характерна для работников как средней, так и высшей школы. При этом преподаватели забывают о недостатках и низкой эффективности традиционного контроля, отнимающего много времени, которое можно было бы с пользой потратить на обучение, а недостатки традиционных методов иногда переносят на тесты. Доминирующая в учебных заведениях традиционная контрольно-оценочная система делает результаты обучения не измеряемыми, не сопоставимыми, тем самым исключая возможность их использования для реализации обратной связи в механизме управления качеством образования. Ограниченность знаний об объекте управления -образовательном процессе - и о каждем из его субъектов не позволяет педагогам достоверно определить степень и особенности управленческих воздействий, необходимых для повышения качества образования.
На деле это приводит к тому, что традиционный контроль «отторгает» тестовые методы, а если и «принимает», то в сильно упрощенном, а иногда и искаженном виде. К примеру, субъективизм традиционных методов контроля нередко выдается за индивидуализацию контрольно-оценочной деятельности педагога и связывается с возможностью усиления воспитательных воздействий на обучаемых. При этом тестовый метод многими педагогами трактуется примитивно, тесты ассоциируют исключительно с авторскими заданиями, в которых следует выбрать из числа предложенных ответов правильный ответ, что является давно прошедшим этапом в педагогических измерениях. Случается, что педагоги недооценивают обучающий потенциал тестовых заданий, не подозревая о существовании специальных корректирующих и диагностирующих видов тестов. Если первые позволяют выявить пробелы в подготовке обучаемых, то вторые предназначены для установления причин пробелов. В сочетании эти два вида тестов являются мощным средством индивидуализации учебного процесса, а в компьютерных обучающих программах способствует значительному повышению эффективности и качества обучения.
Основываясь на результатах анализа, проделанного в процессе диссертационного исследования, можно сделать вывод о том, что существующие в практике отечественного образования контрольно-оценочные системы не базируются на научной парадигме и не используют основные положения и методы теории педагогических измерений. Трудности в понимании измерений в образовании возникают в связи с тем, что сам по себе термин «объективность измерений» понимается по-разному. В рамках самой простой, распространенной трактовки объективность воспринимается как неотъемлемое свойство тестовых оценок, обеспечиваемое путем устранения субъективизма педагогов из оценочного процесса. Именно так понимают объективность многочисленные пользователи единого государственного экзамена. И сами выпускники, и их родители убеждены в том, что использование тестовых технологий и независимых экспертов для проверки работ исключает субъективизм и влияние на оценку со стороны школьных или вузовских педагогов.
В данном исследовании пришлось принимать во внимание различные факторы, связанные с природой показателей качества обучения и с возможностями различных методов оценивания его качества. Прежде всего -это стремление к объективности оценивания учебных достижений обучаемых для того, чтобы обеспечить максимально возможную объективность результатов учебной и контрольно-оценочной деятельности педагогов. Правда, в последнем случае следует говорить только об оценивании, а не о педагогическом измерении, поскольку при традиционном оценивании знаний обучаемых неизвестна ошибка измерения. Величина ошибки позволяет принять полученные результаты измерений в качестве объективных оценок подготовленности обучаемых либо отвергнуть их в случае, когда ошибка превышает допустимые пределы точности измерений.
Региональный опыт тестирования школьников и абитуриентов
Сложившаяся десятилетиями традиционная система итоговой аттестации выпускников общего образования и система конкурсного отбора поступающих в вузы сегодня подвергается серьезным изменениям и совершенствованию, наступает осознание того, что без технологий массового тестирования невозможно говорить о качестве образования.
Современная стратегия модернизации образования предусматривает решение трех ключевых задач, необходимых для развития системы образования в России: в соответствии с образовательной политикой государство должно обеспечить доступность получения образования, его качество и эффективность. Одним из важных направлений модернизации является не только изменение контрольно-оценочного процесса, но также практики отбора абитуриентов в вузы и ссузы путем введения единого государственного экзамена (ЕГЭ).
Формирующаяся в последнее время федеральная система массового тестирования (международных обследований, единого государственного экзамена, централизованного и других видов тестирования) создает новые возможности в системе контроля и аттестации. Развитие информационных технологий автоматизированной проверки и обработки результатов позволяет одновременно в одних и тех же условиях аттестовать всех выпускников общеобразовательных учреждений страны и проводить по этим же результатам отбор абитуриентов в вузы, обеспечивая связующее и регулирующее звено между общеобразовательными и высшими учебными заведениями. Контрольно-оценочный процесс становится все более открытым обществу. ЕГЭ, как показывает наш опыт, способен обеспечить ориентиры и динамизм процессу совершенствования всей системы образования, задавая единый уровень требований к содержанию образования на всей территории страны, позволяя в перспективе перейти к информационным технологиям аттестации выпускников, обеспечивая им возможность участвовать в конкурсе в различные вузы страны, не выезжая из дома. Предполагаемое создание единой информационной системы позволит в ближайшее время в режиме реального времени всем заинтересованным следить за тем, как происходит представление абитуриентов на зачисление в тот или иной вуз. Такая прозрачность в решении образовательных проблем еще больше обеспечит понимание того, что экзамен переходит из статуса эксперимента в штатный режим. ЕГЭ - это в полном смысле пример вхождения системы образования в информационную эпоху развития общества.
По ежегодным опросам Телетестинга тысяч школьников России число сторонников массового тестирования среди отличников приближается к 90%, а среди троечников колеблется от 40 до 60%. Такая разница в оценках объясняется тем, что тестирование сокращает факторы случайности и необъективности, свойственные традиционным экзаменам. От этого больше выигрывают сильные ученики и сильные учителя, меньше слабые и средние,
Опыт трех лет участия школ и вузов Ростовской области в эксперименте по введению ЕГЭ показал, что такой метод может обеспечить более качественный отбор молодежи для обучения в вузах путем надежной дифференциации их по уровню подготовленности. Динамика участия вузов в эксперименте по стране показывает значительный рост, участвующих в эксперименте (рис. 8).
Из них в 2004 г. в Ростовской области принимали участие в ЕГЭ более 1000 общеобразовательных учреждений, 16 вузов и более 40 ссузов. Динамика участия Ростовской области в эксперименте по введению ЕГЭ положительна, увеличивается число образовательных учреждений, участвующих в эксперименте, и число выпускников, сдающих ЕГЭ по выбору. Из 21 вуза Ростовской области 18 в той или иной мере принимали свидетельства ЕГЭ в качестве оценок вступительных испытаний, из них 16 принимают непосредственное участие в эксперименте, обеспечивая организацию и проведение ЕГЭ на втором этапе.
Опыт проведения мониторинговых исследований по качеству обучения в рамках эксперимента по введению единого государственного экзамена
Практическая реализация диагностических наблюдений и экспертных оценок осуществляется через систему мониторинга. СЕ. Шишов и В.А. Кальней мониторинг качества образования рассматривают как систематическую и регулярную процедуру сбора данных по важным образовательным аспектам на национальном и местном (включая школы) уровнях, используемую для эффективного управления учебно-воспитательным процессом [136]. Согласно А. Н. Майорову - это «...постоянное наблюдение за каким-либо процессом с целью выявления его соответствия желаемому результату или исходному положению» [85]. Образно говоря, мониторинг представляет собой «..."градусник", позволяющий измерять "температуру" объекта». В большинстве случаев мониторинг качества образования разделяется на два вида: 1) мониторинг качества образовательной деятельности; 2) мониторинг качества учебных достижений обучающихся. Особенно активно мониторинговые методы используются в последние годы как современный подход к анализу качества образования и его комплексных характеристик, способности субъекта или образовательной системы развиваться и совершенствоваться. Однако на основе анализа целого ряда работ пока можно говорить о существовании только локальных систем мониторинга в нашей стране и других странах. Еще не создана устойчивая система классификаций различных видов и уровней мониторинга, хотя, по мнению А.Н. Майорова, «гипотетическая система классификаций мониторинга» может быть реализована в-ближайшее время [85].
В отечественной литературе все чаще встречается понятие "образовательный мониторинг"-, выделяются его направления: социологический, педагогический, психологический, валеологический, воспитательный и управленческий.
Образовательный мониторинг в данном исследовании рассматривается как компонент системы высокого порядка. С одной стороны его можно рассматривать как метод научного исследования с целью повышения эффективности управления, как метод исследования реальных параметров и характеристик объектов и субъектов обучения, воспитания и развития. А, с другой, как способ накопления результатов исследований, позволяющий сопоставлять их, анализировать и прогнозировать направления развития отдельного субъекта образовательного процесса или педагогической системы. Педагогический мониторинг включает в себя дидактический и воспитательный. Основные задачи педагогического мониторинга - оценка знаний, умений и навыков (в более широком смысле — учебных достижений) и соотнесение их уровня с заданным эталоном (стандартом) или статистическими нормами. Разносторонняя информация, обеспечиваемая педагогическим мониторингом, способствует повышению уровня взаимодействия между различными субъектами образовательного процесса, создает условия самооценки и .самоидентификации, самовоспитания и саморазвития для этих субъектов. В таком случае можно говорить также о комплексном мониторинге, обеспечивающем весь комплекс характеристик системы и ее подсистем.
Таким образом, для создания системного подхода к оценке качества обучения необходимо не только уметь определить и операционализировать данное понятие, но и построить оптимальную, иерархическую модель для отбора, анализа показателей и оценивания обобщенной меры качества образования по совокупности критериев. Необходимо также дифференцировать различные уровни сбора информации (региональный уровень, уровень учебных заведений-, уровень отдельных учащихся или педагогов), выделять достаточное по полноте охвата количество направлений сбора информации о качестве обучения, вложениях в образование, учебный процесс, его результаты, установить корректную взаимосвязь между отдельными периодами обучения в рамках системного мониторинга качества образования.
В качестве показателей современного мониторинга используются: На рис. 11-12 приведен рейтинг различных образовательных систем по математике ЕГЭ - 2002 г. Видно, что в целом баллы сельских выпускников несколько ниже, чем выпускников городских школ, но это различие не является существенным (рис. 10-11). Вместе с тем, между самым низким и самым высоким уровнем подготовленности выпускников расхождение весьма значительное и достигает 20,5 балла, в то время как основной массив территорий имеет средние тестовые баллы в диапазоне от 40 до 50 баллов,
