Содержание к диссертации
Введение
Глава 1. НАУЧНО-ТЕОРЕТИЧЕСКИЕ ОСНОВЫ КАЧЕСТВА ОБРАЗОВАНИЯ В СОВРЕМЕННЫХ УСЛОВИЯХ
1.1. Социокультурное и педагогическое обоснование качества образования 31
1.2. Учебные достижения как аспект качества образования и объект педагогического тестирования 53
1.3. Многоуровневый подход к тестовому контролю как средству управления качеством образования 73
Основные выводы по первой главе 90
Глава 2- НАУЧНО-ТЕХНОЛОГИЧЕСКИЕ ОСНОВЫ ТЕСТОВОГО КОНТРОЛЯ КАЧЕСТВА УЧЕБНЫХ ДОСТИЖЕНИЙ В ПЕДАГОГИКЕ
2.1. Исторические аспекты развития тестового контроля в образовании 94
2.2. Понятийно-классификационная база современного тестирования 111
2.3. Теоретические основы конструирования тестов как контрольных измерительных материалов (КИМов) 133
2.4. Этапы и алгоритмы создания контрольных измерительных материалов 152
2.5. Технология статистической обработки результатов тестирования 172
Основные выводы по второй главе , 182
Глава 3. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ КВАЛИМЕТРИЧЕСКОГО МОНИТОРИНГА С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИЙ ТЕСТОВОГО КОНТРОЛЯ
3 Л. Понятие квалиметрического мониторинга в образовании 185
3.2, Принципы и уровни квалиметрического мониторинга 206
33. Организационные формы тестового контроля в системе
многоуровневого квалиметрического мониторинга 233
3.4. Педагогические аспекты подготовки обучающихся к тестовому контролю...247
Основные выводы по третьей главе 267
Глава4. СИСТЕМА МНОГОУРОВНЕВОГО КВАЛИМЕТРИЧЕСКОГО МОНИТОРИНГА В УПРАВЛЕНИИ КАЧЕСТВОМ ОБРАЗОВАНИЯ
4.1. Практика формирования образовательной статистики 270
4.2. Сравнительный анализ образовательной статистики федеральной и региональной образовательных систем по предметным областям 282
4.3. Статистический анализ по региону зависимости результатов
тестового контроля от личностных факторов обучающихся 318
4.4. Региональный опыт тестирования как метода отбора абитуриентов , 336
4.5. Социально-педагогические факторы, обеспечивающие эффективность тестового контроля на региональном уровне 358
Основные выводы по четвертой главе.-... 375
Заключение 380
Литература 390
Приложения 421
- Социокультурное и педагогическое обоснование качества образования
- Исторические аспекты развития тестового контроля в образовании
- Понятие квалиметрического мониторинга в образовании
Введение к работе
Актуальность работы* Коренные изменения в сфере образования, начавшиеся в 90-х годах и продолжающиеся до настоящего времени, открыли широкие возможности для развития инновационных процессов. В последнее время наблюдается интенсивное расширение объема содержания образования, сопровождающееся информатизацией всех его уровней; создание условий для развития многообразия типов и видов образовательных учреждений, вариативности образовательных программ, учебников, технологий и методик обучения; идет разработка образовательных стандартов; изменяется контрольно-оценочная система в общем (среднем) образовании, широкое распространение получают технологии независимого массового тестирования.
В последние годы усилились процессы диверсификации и интеграции всех уровней образования, что и привело к различию требований, предъявляемых на следующих друг за другом образовательных ступенях. В результате этого значительно увеличился разрыв между подготовкой выпускников общеобразовательных учреждений и требованиями вступительных испытаний в вузы. Без специальной целенаправленной подготовки выпускников практически невозможно поступление в вузы, особенно трудным это становится для сельской молодежи.
Постановлением Правительства Российской Федерации «Об организации эксперимента но введению единого государственного экзамена» (2001 г.) и Концепцией модернизации российского образования (2000 г.) предусматривается повышение качества образования и введение независимой аттестации выпускников общеобразовательных учреждений.
Совершенствование системы подготовки выпускников и методов их отбора для продолжения обучения на более высокой ступени обусловило потребность в создании на государственном уровне связующего и регулирующего звена между общеобразовательными и высшими профессиональными учреждениями, обеспечивающего единство требований и делающего всю систему образования прозрачной для общества.
В этой связи коренным образом изменяется не только система обучения и оценивания подготовленности обучающихся, но также изменяются средства, методы и системы контроля качества образовательного процесса и образовательных систем. Важными становятся вопросы, связанные с повышением эффективности использования результатов массового стандартизированного тестирования для управления качеством образования, организации для этих целей новых видов мониторинга, опирающегося на возможности современной образовательной статистики.
С переходом в общем образовании от методов субъективного оценивания к технологиям педагогического тестирования возникает потребность использования в практике педагогов тестирования не только в целях контроля, но также для обучения и развития обучающихся. Основываясь на опыте ряда зарубежных стран, возможности частичного преодоления трудностей следует искать на пути научно-обоснованного комплексного подхода к широкому использованию материалов и технологий тестового контроля при подготовке школьников, где значимое место отводится анализу объективных результатов тестирования для самоконтроля, самоподготовки, самоидентификации и саморазвития обучающихся.
Таким образом, в практическом плане актуальность проблемы данного диссертационного исследования обусловлена созданием федеральной системы тестирования, необходимостью повышения эффективности использования средств и методов тестового контроля в образовательной практике и управлении качеством образования. Изменение контрольно-оценочного процесса в общем образовании сопровождается интенсивным развитием теории и практики массового тестирования. В таких условиях возникают потребности: в определении места и роли тестового контроля в системе подготовки и развития личности; разработке инновационных методов подготовки школьников к новым формам аттестации; в создании эффективных средств управления качеством образования с использованием образовательной статистики массового тестирования; функционирования долговременного и достоверного, объективного квалимегрического
мониторинга качества образовательных систем, теоретического и практического обоснования его функций и принципов организации.
Актуальность данного исследования подтверждается рядом противоречий, обусловленных неотложными практическими потребностями образования и реальными возможностями их обеспечения. На обобщенном уровне их можно обозначить как противоречия между:
- необходимостью повышения качества подготовленности обучающихся и
низкой эффективностью традиционных форм обучения;
расширением объемов использования информационных технологий и преобладанием практики традиционного субъективного контроля;
- требованиями оперативности получения и анализа результатов контроля
и отсутствием объективности, системности и надежности получения оценок;
расширением объемов независимого массового тестирования, использования его результатов для поступления в вузы (ссузы) и недостаточным использованием его в учебном процессе;
накоплением статистической образовательной информации и отсутствием способов использования ее для управления качеством образовательного процесса и образовательных систем,
В теоретическом плане актуальность проблемы диссертационного
исследования определяется недостаточной научной разработанностью
теоретико-методологических основ использования тестового контроля для
повышения качества образования, подготовленности обучающихся и их
личностного развития. Важным является научное обоснование оптимального
сочетания традиционного и тестового контроля в учебном процессе, его
использования для образовательного мониторинга, адекватного современным
требованиям модернизации контрольно-оценочной системы и
совершенствования средств и методов управления качеством образования.
В практике отечественного образования предмет, функции и принципы использования тестового контроля в обучении представлены крайне слабо, а в опубликованных работах практически не выявлены функции современного тестирования в системе обучения и мониторинга. До недавнего времени
наблюдалась явная недооценка открывающихся возможностей использования результатов контрольно-оценочной деятельности в практике педагога для управления качеством подготовки и развития школьников.
Несмотря на развитие системы тестирования в нашей стране тестовый контроль еще не стал необходимой составляющей педагогической теории. Проведенный анализ действующих учебников по педагогике, изданных за последние 5-6 лет, не выявил в них какого-либо заметного теоретического представления тестового контроля как составляюшей педагогической теории и практики [193, 209 и др.]- Анализ содержания программ профессиональной подготовки педагогов также указывает на полное отсутстви е курсов и спецкурсов по теории педагогических измерений, что приводит к тому, что педагогические вузы выпускают учителей, не готовых включаться в инновационный процесс контроля, активно участвовать в создании педагогических измерителей и использовать тестирование в целях обучения.
Вместе с тем, в результате расширяющейся практики использования современных стандартизированных контрольно-измерительных материалов и информационных технологий (централизованное тестирование, единый государственный экзамен и др.) складывается педагогическая ситуация и создаются условия для более целенаправленного использования средств и методов тестового контроля в учебном процессе и организации новых видов информационного образовательного мониторинга. Накапливающаяся образовательная информация по результатам тестового контроля позволяет в значительной степени обеспечить обратную связь в обучении и, обеспечивая индивидуализацию образования, создавать условия для личностного развития обучающихся.
В последнее время обозначился ряд проблем, условий и требований, связанных с модернизацией отечественного образования, К их числу можно отнести: необходимость подготовки педагогов современным контрольно-оценочным технологиям, применению в образовательной практике материалов, техники и технологии современного тестирования; создание методов диагностики уровня и структуры усвоения учебного материала в
различных предметных областях и на различных стадиях обучения, совершенствования учебных программ и педагогического процесса по результатам тестирования; разработку систем и методов подготовки школьников к независимым формам аттестации; использование тестового контроля для отбора абитуриентов и при аттестации образовательных систем; формирование системы квалиметрического мониторинга как современного информационного средства управления качеством образования.
Решение поставленных задач сопряжено с многочисленными трудностями, обусловленными отсутствием теоретических работ по обоснованию возможностей тестового контроля в обучении, контроле и управлении качеством образования. Только в конце 90-х годов появились первые попытки использования результатов контроля для развивающего личностно-ориентированного обучения. Это нашло отражение в многообразии подходов отечественных авторов (МК. Акимова, Е.В. Бондаревская, В. В. Давыдов, Л, В. Занков, Г.Ф. Карпова, С, В. Кульневич, Г. К. Селевко, В, В. Сериков, Э, И. Унт, В. В, Фирсов и др.).
Несколько позже появились публикации теоретиков и педагогов-практиков, затрагивающие отдельные фрагментарно выделенные вопросы педагогических измерений, теории и практики массового и адаптивного тестирования, использования образовательной информации для диагностики и экспертизы качества в образовании (Т.В. Абрамян, B.C. Аванесов, М.К. Акимова, А.С. Границкая, В.В. Давыдов, О.Б. Лошнова, А.Н, Майоров, Г.К. Селевко, Ю.В, Федюкова, В.В. Фирсов, ГА. Цукерман, В.Д. Шадриков, И.С. Якиманская и автор данной работы).
Многие специалисты, работающие в области педагогической квалиметрии (Н.О. Бильчаева, М.Б. Гузаиров, Н.Н- Голышева, Г\С. Ковалева, О.З. Кузнецова, Н.А. Кулемин, Т.В. Мирская, Е.А. Михайлычев, В.М. Мокосеев, В.И- Нардюжев, А.И. Севрук, АЛ Субетто, Г.К. Селевко, А.О. Татур, В.А, Хлебников, М.Б, Челышкова, В.А. Шухарадина, AT. Шмелев и др.)> отмечают широкие возможности тестирования в совершенствовании образовательного процесса, расширении возможностей выбора обучающимися
форм аттестации, а также дня развития теории и практики самого тестирования.
Несмотря на широкий спектр работ по проблемам тестирования и мониторинга, можно отметить, что в отечественной педагогической квалиметрии еще слабо представлены вопросы взаимосвязи образовательного процесса, тестирования и мониторинга, не разработаны принципы использования тестирования в учебном процессе для обучения и оценивания личностных параметров обучающихся- В подходах к решению ряда теоретических вопросов по образовательному мониторингу отсутствует системность, определение и классификация видов квалиметрического мониторинга, существующие классификационные схемы не в полной мере отвечают современным требованиям и возможностям мониторинга, не изучены возможности различных видов массового тестирования в организации образовательного мониторинга. Все эти проблемы требуют системного исследования. В первую очередь они заставляют обращаться к вопросам более широкого применения независимого массового тестирования на различных стадиях обучения. Не менее важными являются вопросы выяснения его влияния на личностное развитие обучающихся, а также создания методов многофакторного анализа объективной сопоставимой образовательной информации в масштабах общероссийской системы образования и отдельных ее подсистем.
Решение проблематики данного исследования закономерно сопряжено
с разработкой проблем качества образования и объективно способствует
самоопределению педагогической науки в отношении сущности и показателей
качества в образовании. Предполагается, что диссертационное исследование
будет способствовать преодолению в педагогической теории заметного
противоречия между появлением все новых и новых технологий измерения
результатов образования и недостаточной результативностью
образовательных процессов, а также не разработанностью понятия качества образования. В этой связи исследование связано с необходимостью интеграции достижений отечественной науки и практики в области обучения и
контроля; использованием отечественных и зарубежных теоретических и технологических разработок массового тестирования; требует создания научных, методологических, теоретических и технологических основ тестового контроля как обучающей технологии и мониторинга как эффективного средства управления качеством образования.
Сложность исследования определяется его междисциплинарным характером, обусловленным необходимостью использования различных педагогических теорий и парадигм, неоднозначным отношением к тестовому контролю ученых и практиков, современным состоянием теории и практики тестирования, мониторинга и управления качеством в образовании.
Вместе с тем, в условиях информатизации общества и образования все более важными и необходимыми становятся оперативный педагогический анализ образовательной статистики, получение информация об уровне учебных достижений обучающихся, оценка качества педагогического процесса и образовательной системы. Для этого образовательная информация должна оперативно обрабатываться и доводиться до потребителей, активно воздействовать на субъектов образовательного процесса в целях повышения его качества.
Действительно, сегодня тестирование становится органической частью современного образовательного процесса, важнейшим условием установления обратной связи, благодаря которому обучение в полном смысле слова превращается в дифференцированный, личностно-ориентированный процесс, обеспечивающий индивидуальный темп обучения. Тестовый контроль способствует устранению субъективизма и авторитаризма в оценке учебных достижений обучающихся, становится средством объективизации экспертизы и диагностики качества образовательного процесса и образовательных систем. Что касается существующей практики, то пока отдельные педагогические инновации по организации индивидуализированного и развивающего обучения больше опираются на интуицию и опыт педагога на фоне резкого возрастания количества его труда и психологических нагрузок, а не на современные эффективные методы выявления уровня учебных достижений и
структуры усвоения содержания в различных предметных областях. Практически не используются в образовательной практике и управлении качеством образования поистине неограниченные возможности современных информационных методов получения, обработки и предъявления результатов массового тестирования, их содержательного анализа в целях оперативного и адекватного воздействия на всех субъектов образования.
Поиск путей преодоления отмеченных противоречий, недостатков теории и не использованных возможностей практики определил выбор темы диссертационного исследования "Тестовый контроль качества учебных достижений в образовании".
Объект исследования - контрольно-оценочная деятельность в системе образования как фактор повышения качества образовательного процесса и средство управления качеством образовательных систем.
Цель — разработка концепции и научно-теоретических основ многоуровневого квалиметрического мониторинга как средства управления качеством образования, основанного на тестовом контроле и обеспечивающего положительные изменения при подготовке и развитии обучающихся, отборе абитуриентов.
Предмет - теоретическое и технологическое обоснование тестового контроля в образовательной практике и системы многоуровневого квалиметрического мониторинга в управлении качеством образования.
Основная гипотеза исследования состоит в предположении о том, что тестовый контроль учебных достижений обучающихся становится средством управления качеством образования при условии включения его в систему многоуровневого квалиметрического мониторинга, осуществляемого на единой информационной основе независимой образовательной статистики результатов массового стандартизированного тестирования как данных одного и того же свойства, позволяющих сопоставлять качество различных образовательных программ и педагогических систем в масштабах отдельных образовательных учреждений, территорий, регионов и страны в целом.
Создание системы многоуровневого квалиметрического мониторинга требует теоретического обоснования, что предполагает:
разработку теории тестового контроля как средства обучения и развития, основанного на интеграции отечественных идей и теорий личностно-ориентированного и развивающего образования, зарубежной методологии IRT конструирования тестов, использовании современных технологий массового тестирования;
дополнение теории управления качеством образования новыми видами и уровнями мониторинга, выделение показателей и критериев, включенных в. многоуровневый квалиметрический мониторинг, обеспечивающий сопоставимость, достоверность и объективность результатов контроля по различным выборкам и на генеральной совокупности испытуемых, позволяющий образовательным системам идентифицировать себя в образовательном пространстве страны или выбранной территории.
Данная гипотеза распадается на более простые, проверяемые эмпирически, результаты реализации которых представлены в соответствующих разделах исследования.
Первая гипотеза частного порядка касается условий, обеспечивающих качество педагогических измерителей и контрольно-оценочного процесса в образовании. Эти условия состоят в том, что;
технологии массового тестирования обеспечивают соответствие содержания контрольных измерительных материалов образовательным стандартам, целям контроля и оптимальности требований к уровню подготовленности обучающихся;
массовые педагогические измерения проводятся в условиях одновременности, независимости и стандартизации контрольно-оценочных процедур для генеральной выборки испытуемых одного и того же уровня обучения, сохранения конфиденциальности контрольных измерительных материалов на момент проведения контроля и на этапе обработки результатов тестирования;
результаты тестирования оперативно анализируются обучающимися и педагогами, широко используются для совершенствования образовательных программ и педагогического процесса, индивидуализации обучения, обеспечения личностного развития при усилении педагогики сотрудничества в вопросах подготовки обучающихся к аттестации.
Вторая гипотеза частного порядка касается качества технологических процедур получения и обработки результатов тестирования. Предполагается, что тестовый контроль реально может выявлять качество учебных достижений обучающихся и качество образовательных систем, обеспечивая им позитивные изменения при условиях:
систематического применения педагогических измерений в образовательной практике как метода обучения и фактора личностного развития обучающихся на всех стадиях обучения, начиная с младших классов;
оптимального сочетания традиционных форм и методов контроля с тестированием в пропорциях, необходимых для успешного обучения и развития обучающихся;
сопоставимости оценок тестового контроля по разным массивам испытуемых и на генеральной выборке, позволяющей идентифицировать субъектов образовательного процесса в общем образовательном и контрольно-оценочном пространстве;
- оперативности анализа индивидуальных и статистических результатов с
целью корректировки образовательных программ и образовательного
процесса на основе результатов массовых контрольно-оценочных процедур;
-использования информационных технологий обработки материалов тестирования, накопления, отбора, анализа и представления его результатов.
Третья гипотеза частного порядка касается условий организации квалиметрического мониторинга качества образования. Положительные изменения в качестве образования проявятся, если будут обеспечены:
- участие в тестировании статистически достаточного количества
учащихся, обусловливающее рандомизацию случайных, неизмеримых
педагогических факторов, имеющих место в процессе традиционного
контроля;
- организация постоянного потока результатов массовых
стандартизированных педагогических измерений, условий их накопления,
оперативной статистической и содержательно-аналитической обработки;
- проведение многомерного и многофакторного анализа результатов
тестирования, их теоретически обоснованная корректная педагогическая
интерпретация, обусловливающая совершенствование средств и методов
обучения и контроля.
Четвертая гипотеза частного порядка связана с корректностью анализа и педагогической интерпретации результатов тестового контроля. Многоуровневый квалиметрический мониторинг на основе тестового контроля явится средством управления качеством образования при условиях;
использования развивающего, личности о-ориентированного и индивидуализированного подходов при обучении и реализации контрольно-оценочной функции;
обеспечения гуманизации обучения на основе объективизации оценивания его результатов, снижения психологических нагрузок на обучающихся и педагогов;
освоения педагогами технологий контроля и оценки учебных достижений, основанных на оптимальном сочетании современных контрольно-оценочных процедур с формами и методами традиционного контроля;
развития независимых форм диагностики и экспертизы качества образовательных систем при аттестации образовательных учреждений;
исключения условий возникновения конфликтности среди субъектов образовательного процесса при аттестации-
Поставленная цель и сформулированные гипотезы реализуются в ходе решения следующих конкретных задач исследования.
1. Выявление педагогических основ качества современного образования
как основания для разработки технологий его контроля и оценки.
2, Определение и обоснование функций тестового контроля в оценке качества образования, выявление связей между объективностью тестового контроля, качеством учебных достижений обучающихся и качеством образовательных систем,
3- Моделирование тестового контроля в контексте современных квалиметрических теорий управления качеством образования,
Разработка целостной технологии тестирования, обучения и мониторинга, поэтапно обеспечивающей выявление результативности образовательного процесса.
Разработка концепции многоуровневого квалиметрического мониторинга качества учебных достижений как средства управления качеством образования.
Разработка теоретических и технологических подходов к организации многоуровневого квалиметрического мониторинга на основе различных организационных форм тестового контроля в системе управления качеством образования.
Обоснование алгоритмов и технологий многофакторного анализа результатов тестового контроля в условиях проведения эксперимента по введению единого государственного экзамена.
Исследование социально-педагогических факторов, обеспечивающих эффективность тестового контроля в системе квалиметрического мониторинга в образовании.
Методологическую основу исследования составили идеи и теории: качества образования В.И. Байденко, ВА.Качалова, О.Е. Лебедева,
Н.А.Селезневой, АН Субетто, В.Д. Шадрикова и др.;
структуры образовательного процесса (В.1\ Афанасьев, СИ.
Архангельский, Ю.К, Бабанский, И.В. Блауберг, В.И. Загвязинский, В.В.
Краевский, И.Я. Лернер, Н.В. Кузьмина, М.Н. Скаткин, В.А, Якунин и др.);
личностно-ориентированного и развивающего образования (Е.В-
Бондаревская, В.В.Давыдов, Л.В. Занков, Г\Ф. Карпова, СВ. Кульневич, В.В.
Сериков, В/Г. Фоменко, Д.Б. Эльконин, И-С. Якиманская и др.);
IRT как методологической основы современных методов конструирования тестов (A, Bimbaum, R. Hambleton, LKeeves, FXord, G. Rasch, D. Weiss и др.);
Теоретической базой являются педагогические исследования: - управления образовательными системами (В.Н. Бураков, B.C. Лазарев,
А.А. Макаров, Н.Д. Малахов, Д.А. Новиков, М.В. Рыжаков, НИ. Третьяков и
др-);
тестового контроля качества учебных достижений обучающихся (В-С. Аванесов, Г.С. Ковалева, В.И. Нардюжев, Ю. М. Нейман, АО.Татур, В.А. Хлебников, М. Б. Челышкова, А.Г. Шмелев и др.);
мониторинга, связанные с диагностикой качества подготовленности обучаемых (В.А. Кальней, А,Н. Майоров, Г.К, Селевко, СЕ. Шишов, В.А. Шухарадина, Ю.В. Федюкова, В.В. Фирсов, Г.А- Цукерман, и др.).
Объединение и интеграция этих теорий позволили разработать концепцию и теоретические основы организации многоуровневого квалиметрического мониторинга качества образовательного процесса и образовательных систем на основе тестового контроля, а также технологию использования тестирования для обучения и развития обучающихся в условиях модернизации отечественного образования.
В решении поставленных целей и задач использовались общенаучные и специальные методы теоретического и эмпирического исследования, обеспечившие системный и комплексный подход:
теоретического анализа и синтеза проблем качества, управления, тестирования и мониторинга в образовании;
естественный педагогический эксперимент по использованию тестирования, анкетирования, наблюдения, рейтинга и контент-анализа;
методы многофакторного анализа педагогических явлений, математического моделирования и параметризации тестов в рамках теории IRT;
многообразные модели мониторинга; структуризация связей и прогнозирование.
Исследование осуществлялось в несколько этапов:
1 этап (1996 -1998 г.г.) — подготовительный: изучалась литература по
проблемам тестирования и вопросам диагностики, мониторинга и экспертизы
качества образования; проводился, накапливался и исследовался опыт
массового тестирования в регионе и в стране;
этап (1998-2000 г.г.) — аналитико-поисковый и научно-исследовательский: проблемно ориентированный анализ литературных источников и подготовка теоретической базы исследования; выбор, формулирование и обоснование проблемы, определение целей и задач исследовательской работы; создание экспериментальных баз и накопление статистических данных; моделирование объектов исследования; разработка структурно-функциональных схем и методов многофакторного анализа статистических данных, выбор средств их визуализации; апробация результатов исследований на конференциях, симпозиумах и совещаниях;
этап (2000—2002 г.г.) — аналитико-синтетический: проведение многофакторного педагогического анализа результатов педагогического тестирования; обобщение выводов; разработка системы многоуровневого квалиметрического мониторинга на основе данных банка образовательной статистики; оформление статистической образовательной информации в виде отчетов для органов управления образованием, подготовка статей и монографии;
4 этап (2002 - 2003 г.г.) — заключительный: подведение итогов
исследования, оформление диссертационного исследования, разработка
рекомендаций по подготовке учащихся к тестированию, использованию
результатов тестирования для ведения квалиметрического мониторинга
качества учебных достижений с целью оперативного и адекватного
управления качеством образования.
Базой исследования явились: кафедра педагогических измерений Донского государственного технического университета (ДГТУЭ г.Ростов-на-
Дону); региональное представительство Центра тестирования Министерства образования Российской Федерации при ДГТУ; общеобразовательные учреждения Ростовской области.
Личный вклад автора. В основу получения теоретических результатов исследования положен анализ работ отечественных и зарубежных ученых и практиков в области педагогики, тестологии и квалиметрии, практики массового тестирования учащихся в стране и в Ростовской области. В течение семи лет автор непосредственно обеспечивала аттестацию учащихся общеобразовательных учреждений области средствами массового тестирования (централизованного, "Телетестинга", единого государственного экзамена, локального внешнего и др.), внедряла тестовые технологии и инновационные разработки в области тестового контроля и квалиметрического мониторинга в образовательную деятельность школ региона, оказывала методическую помощь общеобразовательным учреждениям, органам управления образованием, педагогам вузов. Деятельность по развитию тестирования в регионе автором была построена в том числе и как естественный эксперимент, реальный, научно организованный процесс, обеспечивающий получение и накопление необходимой статистической и научной информации, проверку гипотезы, решение цели и задач данного диссертационного исследования.
Диссертант непосредственно участвовала в разработке региональной нормативной базы по организации и проведению ЕГЭ, информационно-технологического и научно-методического обеспечения массового обучающего и итогового тестирования в Ростовской области; проводила методическую и функциональную подготовку руководителей образованием к эксперименту по введению ЕГЭ на межрегиональном, региональном и муниципальном уровнях; занималась составлением содержательно-аналитических региональных отчетов по итогам аттестации выпускников по материалам и в форме ЕГЭ, обучением директоров и учителей общеобразовательных учреждений, а также преподавателей вузов теории и практике, технике и технологии современного тестирования. Особо следует
отметить разработку и внедрение методик подготовки школьников к тестовому контролю.
В качестве базовых для диссертационного исследования
использовались данные, полученные при проведении независимого тестового
контроля в общеобразовательных учреждениях региона на разных стадиях
обучения школьников; материалы аттестации школ г. Ростова методами
тестирования; результаты эксперимента по введению ЕГЭ в Ростовской
области; данные анкетирования школьников, учителей и родителей,
проведенного по разработкам и под руководством автора.
Среднестатистические по стране показатели централизованного тестирования и единого государственного экзамена использовались в качестве контрольных (эталонных) при сравнении уровня учебных достижений отдельных выборок учащихся по различным предметным областям.
Достоверность и объективность новых научных результатов исследования обеспечивалась теоретическим анализом получивших признание научной общественности источников информации в области педагогических исследований отечественных и зарубежных ученых и практиков, использованием разнообразных теорий и эмпирических методов педагогического исследования и анализа; внедрением апробированных технологий тестового контроля в образовательную практику, организацией на региональном уровне квалиметрического мониторинга качества образовательных систем по результатам тестирования, валидностью и надежностью стандартизированных тестовых материалов, прошедших несколько ступеней апробации на централизованном тестировании и едином государственном экзамене; репрезентативностью выборочной совокупности испытуемых (более 200 чел, на вариант теста) и статистических результатов различных форм массового тестирования (входного, тематического, рубежного, репетиционного и аттестационного); соответствием методов целям, предмету исследования и его задачам.
Обоснованность решения ряда поставленных в диссертационном
исследовании проблем обеспечивалась путем многократных
экспериментальных проверок, внедрением в практику образовательных учреждений и управлений образованием инновационных разработок и технологий- Достижению должного научного уровня исследования и обоснованности его результатов способствовало широкое использование системного подхода, соблюдение логики общенаучного исследования с опорой на методологию современной педагогической науки. Достоверность выводов по результатам работы подтверждалась проверкой их на соответствие общим тенденциям развития педагогической теории и практики.
Научная навита результатов исследования заключается в постановке и интегрированном рассмотрении комплекса теоретико-методологических и технологических проблем;
выявление педагогических основ качества образования, одним из основных принципов достижения которого является независимый контроль учебных достижений как показателей качества образования, В контексте данного исследования учебные достижения рассматриваются как совокупность содержательных компонентов результатов обучения, подлежащих педагогическим измерениям и количественному выражению в баллах, а также выявляемых в процессе анализа результатов тестирования компонентов личностного развития, таких как: усидчивость, собранность, развитие межпредметньгх компетенций и ценностной ориентации, умение мобилизовать себя на достижение планируемого результата, самоорганизация, самоконтроль, самоподготовка, целеполагание и др.;
обоснование того, что в обучении и развитии школьников тестовый контроль должен быть нацелен на выявление объективного уровня учебных достижений, дифференциацию индивидуальных зон ближайшего и актуального развития не интуитивным, а операциональным способом, позволяющим активизировать учебную деятельность обучающихся;
разработка целостной обучающей технологии, основанной на педагогическом принципе единства обучения и контроля, обеспечивающей при тестировании самоанализ, самооценку, самоидентификацию и самоподготовку обучающихся, в результате чего тестовый контроль
становится не только средством определения уровня учебных достижений, но и инновационной технологией обучения и личностного развития;
систематизация и обоснование функций современного тестирования в обучении и оценке качества образования (диагностическая, контролирующая, обучающая, гуманистическая, стандартизирующая, организационная, управляющая, мотивационно-побудительная и др.);
развитие теории и практики образовательного мониторинга как фактора повышения качества образования;
разработка концепции и теоретическое обоснование
квалиметрическоного многоуровневого мониторинга как информационного средства управления качеством образования;
разработка и обоснование алгоритмов и технологии многофакторного анализа результатов тестирования для выявления качества образовательного процесса и образовательных, систем;
- выявление социально-педагогических факторов, обеспечивающих эффективность тестового контроля.
Принципиально новыми являются концепция и научные основы многоуровневого квалиметрического мониторинга качества образования, основанного на сборе, накоплении и анализе статистических результатов массового тестирования; систематизация его функций, классификация видов и уровней такого мониторинга, принципов его организации. Показаны возможности использования квалиметрического мониторинга в управлении качеством регионального образования.
Теоретическая значимость исследования* В процессе исследования решены задачи теоретического характера.
1. Систематизированы представления о категории качества образования, обоснованы возможности использования тестирования как независимой формы контроля качества учебных достижений обучающихся в системе управления образованием; проведены систематизация и уточнение понятийного аппарата тестологии как науки, исследующей проблемы педагогического тестирования, и мониторинга как средства управления
качеством образования,
2. Обобщены теоретические» методологические и технологические положения современного тестирования как средства измерения уровня учебных достижений в образовании.
3- Разработана система подготовки обучающихся с использованием различных видов тестирования (внутреннего и внешнего); составлен алгоритм деятельности образовательного учреждения по подготовке школьников к независимой аттестации; обоснованы функции массового тестирования как обучающей технологии и как метода независимой экспертизы при аттестации образовательных учреждений.
Разработаны научные основы квалиметрического мониторинга как современного информационного средства управления качеством образовательного процесса и образовательных систем, основанного на системном применении тестового контроля и использовании статистических результатов педагогических измерений для оперативного воздействия на субъектов образования и образовательный процесс, определены принципы его организации, функции, уровни и виды.
Выявлены и обоснованы технологические возможности использования материалов, технологий и результатов независимого массового тестирования (централизованного и единого государственного экзамена) при отборе выпускников общеобразовательных учреждений для продолжения образования на более высокой ступени.
Разработаны и апробированы новые методы многофакторного анализа статистических результатов массового тестирования обучающихся на основе их сопоставимости и возможностей сравнения по разным уровням обобщения и объектам наблюдения.
7. Разработана и апробирована экспериментальная программа
подготовки педагогов к использованию тестирования в образовательной практике в целях развития личности, организации и проведения независимых массовых контрольно-оценочных процедур.
Практическая значимость результатов достигается за счет
ориентации не на описательные результаты контроля, а на установление соотношений между оценками испытуемых, получаемых на основе педагогических измерений и обеспечивающих возможности определения и сопоставления качественных характеристик обучающихся и образовательных систем- Проведенные исследования открывают возможности разработки и использования методик подготовки школьников к независимой аттестации с использованием тестирования; организации квалиметрического мониторинга качества образовательного процесса и образовательных систем; проведения сравнительного анализа усвоения содержания учебных дисциплин по различным массивам тестируемых и на генеральной выборке; использования материалов и технологий массового тестирования для аттестации образовательных учреждений.
Результаты данного исследования используются
общеобразовательными учреждениями Ростовской области при подготовке
школьников к ЕГЭ, работниками различных уровней управлений
образования, педагогами и научными работниками. Разработанный автором спецкурс по проблемам тестового контроля и квалиметрического используется для переподготовки педагогических кадров и специалистов сферы управления образования.
На защиту выносятся:
1 _ Основные положения теории тестового контроля как средства оценки качества образования. Предпосылки этой теории создаются характеристикой современной образовательной ситуации, анализом современного состояния теории и практики совершенствования содержания образования и путей повышения его качества, В системе повышения качества образования все большее значение приобретает контроль, обеспечиваемый надежными измерениями уровня учебных достижений обучающихся на разных этапах обучения с помощью материалов и технологий педагогического тестирования.
Целостное представление теории, технологии и практики современного тестирования достигается новым компетентности ым подходом к обучению и
контролю, адекватным определением таких базовых педагогических понятии,
как "учебные достижения", "уровни учебных достижений", "качество учебных
достижений". Учебные достижения раскрывают не только подготовленность
обучающихся в данной предметной области (знания, умения, навыки, опыт
творческой деятельности, предметные, межпредметные и транспредметные
компетенции), но и степень развития как сформированность личностных
качеств (ценностно-смысловое отношение к обучению, ориентация в
окружающей действительности, самоорганизация, самоконтроль,
самоподготовка, усидчивость, собранность, умение мобилизоваться на достижение планируемого результата). Качество учебных достижений проявляется в соответствии достигнутого уровня требованиям стандарта и личностного развития как интегрированном показателе, концентрированно отражающем достижения всех этапов и составляющих учебного процесса, качество учебной деятельности всех его субъектов и самой образовательной системы, В педагогической оценке результатов тестирования отражаются уровень учебных достижений обучающегося, уровень профессионализма и интенсивность труда педагога, внешние и внутренние установки на достижение результата, а также надежность методов и технологий оценивания. В процессе тестирования содержательные элементы предметной подготовленности испытуемого (латентный параметр) выявляются как измеряемые параметры (уровень учебных достижений), а степень личностного развития оценивается только в процессе качественного анализа результатов тестирования.
2, Система функций современного тестирования, отличающегося
высокой степенью полифункциональности. Основными являются функции
общеучебного плана: диагностическая, контролирующая, обучающая,
развивающая, мотивационно-побудительная, организационная,
стандартизирующая, демократизирующая, информационная, социально-экономическая, гуманистическая , и управленческая. По своим фундаментальным основаниям современное тестирование позволяет прогнозировать развитие обучающихся и образовательных систем, создавать
обучающие и контролирующие информационные программы и технологии, совершенствовать средства и методы управления качеством образования. В условиях независимого тестового контроля объектами оценивания становятся все субъекты образования: обучающиеся, педагоги, образовательные системы, органы управления образованием. Информационные технологии тестирования и анализа его результатов обусловливают возможности формирования новых информационных средств управления качеством образования в стране на единой основе образовательной статистики результатов независимого тестирования обучающихся.
3, Теория и практика конструирования и параметризации теста как педагогического измерителя. Выделены три основных этапа развития тестирования в стране и за рубежом: донаучный, существовавший до 30-х годов прошлого столетия; классический, имевший место до 70-х и современный {кеалиметрический\ особенно активно развивающийся с конца 90-х годов. В основе квалиметрического подхода лежат идеи конструирования тестов с опорой на методологию IRT (Item Response Theory) использования математических моделей, получившую развитие в трудах зарубежных ученых. Такие тесты дополняются инструкциями по их выполнению, стандартизированными бланками ответов, процедурами тестирования, технологиями обработки результатов, методами шкалирования и оценивания. Совокупность заданий, инструкций по их выполнению и бланков ответов в отечественной тестологии получает название контрольных измерительных материалов (КИМов), основным компонентом которых является тест. В современном понимании тест рассматривается как измерительное средство, представляющее собой стандартизированную систему калиброванных (известной трудности) тестовых заданий специфической формы, позволяющее надежно и объективно оценить уровень учебных достижений испытуемых и выразить результат в числовом эквиваленте. В процессе моделирования и создания теста выделяется несколько этапов от определения цели тестирования до апроксимации целевой функции теста в приемлемой степени и подготовки необходимого числа вариантов разработанного теста с учетом
характеристик качества тестовых задании: показателей содержания, показателей использования, статистических показателей апробации-Важными являются также принципы организации самого процесса тестирования, такие как объективность, оптимальность, справедливость и гласность.
4, Обучающая технология с использованием средств и методов
тестирования, основанная на педагогических принципах органического
единства обучения и контроля, алгоритм подготовки школьников к тестовому
контролю. Тестовый контроль становится эффективным средством оценки
качества содержательных компонентов образования, если его теоретические
положения дополняются разработкой методик, обеспечивающих
использование тестовых материалов и технологий для подготовки
обучающихся к новым формам аттестации. Разработанная классификация
организационных форм тестирования выделяет внешний тестовый контроль,
проявляющийся в проведении массовых контрольно-оценочных процедур
итогового тестирования (единого государственного экзамена,
централизованного или регионального), а также внутренний обучающий. Широкое использование информационных технологий, включая компьютерное адаптивное тестирование как наиболее эффективный метод генерации и предъявления тестов для индивидуализации обучения и контроля, открывает новые возможности самоконтроля, самообучения, саморазвития и самоидентификации субъекта образовательного процесса з едином образовательном и контрольно-оценочном пространстве. Обучающее тестирование обеспечивает активизацию познавательной деятельности путем предоставления возможности самокоррекции, самоподготовки и самоорганизации в процессе обучения и контроля на основе самоаттестации, В этом смысле тестирование становится не только объективным средством контроля, но и инновационной технологией обучения и развития.
Введение тестового контроля в образовательную практику рассматривается и как способ изменения взаимодействия педагога и обучающегося, перевода образовательного процесса на технологии субъект-
субъектных отношений, изменение принципов построения и
совершенствования обучающих программ, перевод когнитивного компонента образования в пространство современной гуманистической педагогики и педагогики сотрудничества.
Основными условиями, обеспечивающими эффективность данной технологии, выступают: стандартизация базового содержания образования и требований к уровням его усвоения; содержательная подготовка и адаптация школьников к новым формам и методам итоговой аттестации; выработка навыков предъявления ответов на различные формы тестовых заданий.
Ее реализация базируется на принципах оптимального соотношения традиционного и тестового контроля в образовательной практике; независимости контрольно-оценочных процедур от педагога; системности использования различных видов обучающего тестирования (входного, тематического, рубежного, репетиционного и др.) на всех стадиях обучения, начиная с ранних; развитии субъектной позиции и свободного самоопределения школьников относительно выбора форм и методов итоговой аттестации; стимулировании личностной самоидентификации в равных для всех испытуемых условиях; создании ценностно-мотивационного отношения к обучению в процессе тестирования.
Использование принципов системности и независимости различных видов обучающего тестового контроля для получения объективной образовательной информации позволяет более точно определять зоны актуального и ближайшего развития обучающихся, обеспечивает усиление индивидуализации и принципов личностно-ориентиро ванного обучения на основе дифференциации уровней подготовленности школьников. Важными составляющими этой технологии являются: овладение педагогами необходимыми квалиметрическими навыками оценки уровней учебных достижений обучающихся; обеспечение гласности результатов тестирования; всесторонний анализ достижений и упущений образовательного процесса методическими объединениями образовательных учреждений. Анализ достоверной и сопоставимой образовательной информации создает реальные
возможности для совершенствования, разработки и использования наиболее эффективных образовательных программ и технологий обучения. При таком подходе тестирование выступает одним из современных, объективных, оперативных, развивающих, психосберегающих и ресурсосберегающих средств обучения и экспертной оценки содержательных компонентов образования.
Алгоритм подготовки школьников к независимой аттестации предусматривает: введение элементов тестирования в содержание образования на ранних стадиях обучения; обучение технологии подготовки ответов на тестовые задания различных форм (с выбором ответа, со свободным ответом, с конструированием развернутого ответа и др.); упражнения по рациональному использованию времени работы с тестом; выработку навыков заполнения стандартизированных бланков ответов и личностно-значимого отношения к тестированию, стремления к достижению максимального результата; обеспечение педагогической поддержки при подготовке к тестовому контролю.
5. Концепция и модель многоуровневого квалиметрического мониторинга качества образовательного процесса и образовательных систем-Научные основы организации такого мониторинга основываются на интеграции теоретических идей и технологий личностно-ориентированного, развивающего обучения, теории массового тестирования, теории IRT, положениях мониторинга и управления качеством образования. Принципиальное отличие многоуровневого квалиметрического мониторинга заключается в использовании таких контрольно-оценочных процедур, которые ориентированы не на субъективные механизмы локального контроля, а на технологии массового тестирования, дистанцированного от учителя и удовлетворяющего требованиям объективности, сопоставимости и репрезентативности оценок. В этой совокупности оценок выделяется основная структура — качество учебных достижений обучающихся.
Многоуровневый характер квалиметрического мониторинга позволяет на единой информационной основе образовательной статистики результатов
тестирования анализировать и сравнивать между собой характеристики систем и субъектов образования по различным уровням обобщения данных контроля (индивидуальный, образовательных единиц и образовательных учреждений, территориальный, региональный и федеральный). Основными принципами организации такого мониторинга являются: системность, автономность, согласованность, технологичность, информативность, сопоставимость, интегрируемость и дифференцируемостъ информации, объективность и др.
Разработанная в диссертации модель многоуровневого
квалиметрического мониторинга включает: сбор, накопление и
систематизацию образовательной информации; ее дифференциацию по видам
мониторинговой деятельности (дидактический, сравнительный,
динамический, проблемный, управленческий, комплексный и др.), обобщение данных по различным объектам и уровням наблюдения (индивидуальный, классный, школьный, территориальный, муниципальный, региональный, федеральный), содержательный анализ. Реализацию функционального подхода к анализу результатов тестирования (получение валидной образовательной информации, создание обратной связи в образовании, выявление результативности образовательного процесса, прогнозирование и управление развитием, определение рейтинга субъектов мониторинга и др.) обеспечивает педагогически корректная интерпретация данных одного и того же свойства, принятие адекватных управленческих решений (материально-техническое, кадровое, информационное, методическое обеспечение и др.).
В качестве основных элементов многоуровневого квалиметрического мониторинга качества образования выделяются следующие:
установление образовательных стандартов и олерационализация средств и методов контроля: определение требований стандартов в индикаторах (измеряемых величинах) и установление критериев, по которым можно судить о приближении подготовленности испытуемых к уровням учебных достижений, задаваемым образовательными стандартами;
разработка стандартизированных контрольных измерительных материалов, техники и технологии тестирования и проверки результатов;
выбор методов шкалирования к оценивания уровней учебных достижений обучающихся;
сбор метрических данных о качестве учебных достижений по различным выборкам испытуемых с использованием информационных технологий и программно-инструментальных средств;
систематизация и анализ результатов, проведение мониторинговых исследований, оценивание достигнутых результатов относительно требований стандартов;
интерпретация результатов анализа и выработка рекомендаций по совершенствованию образовательного процесса;
принятие соответствующих мер, направленных на получение положительных изменений в деятельности образовательных учреждений по повышению качества образования.
Такой мониторинг становится действенным методом модернизации общего образования в стране, обеспечивая сохранение и укрепление единого образовательного пространства; инструментом эффективного воздействия на всех субъектов образования; современным средством совершенствования системы образования и управления ее качеством.
6- Научно-методические основы многофакторного содержательного анализа структурированности знаний обучающихся по всему спектру учебных дисциплин. Эффективность методик обеспечивается алгоритмами многофакторного педагогического анализа статистических результатов тестового контроля; способами корректной интерпретации результатов массового тестирования, единого государственного экзамена, различных видов компьютерного, внешнего обучающего и локального школьного тестирования; при аттестации общеобразовательных учреждений. Суть алгоритма заключается в сравнении результатов исследуемой выборки со среднестатистическими нормами или другими объектами оценивания в однотипном ряду, а также по вертикали с различной степенью обобщения данных, позволяющих выявить и обосновать влияние на качество учебных достижений различных, в том числе и личностных факторов. В частности,
обнаружены прямая зависимость среднего тестового балла от отношения к обучению как творческой деятельности и устойчивое (в динамике за четыре года) влияние территориального фактора на результаты обучения. Методы многофакторного анализа результатов тестирования являются средством объективной экспертизы содержательных компонентов качества образования и личностного развития: знаний, умений, навыков, творческого опыта учебной деятельности, ценностно-смыслового отношения к обучению, ключевых компетенций и др.
7. Результаты содержательных компонентов учебных достижений и
личностных характеристик испытуемых, выявленных в ходе анализа данных
тестового контроля. Анализ влияния личностных факторов на результаты
тестирования позволил сделать выводы о том, что развитые познавательные
интересы учащихся и профессиональные предпочтения положительно влияют
на результативность обучения в целом. Обнаружена прямая зависимость
среднего тестового балла от уровня самооценки учащихся и их отношения к
обучению как творческой деятельности.
На основе анализа квалиметрической образовательной информации проведены сравнения различных образовательных систем по регионам, отдельным территориям и общеобразовательным учреждениям. Как показал дидактический анализ, проведенный по этому алгоритму, Ростовскую область по результатам тестирования можно считать среднестатистической среди регионов в стране. Выявлены различия в качестве естественно-математического и гуманитарного образования по различным типам образовательных учреждений. Вполне закономерно несколько более высокие результаты но сравнению со среднестатистическими общероссийскими показывают лицеи и гимназии, ниже — школы, затем — техникумы и колледжи, наиболее низкие результаты получены по СПТУ. Частные образовательные учреждения в среднем по стране пока не показывают преимуществ перед муниципальными школами.
8. Результаты социально-педагогического анализа отношения
различных субъектов образовательного процесса к тестовому контролю как
форме независимой аттестации. В обществе непрерывно растет потребность в независимых методах контроля и оценки подготовленности обучающихся, включая обучение на ранних стадиях. Современные методы измерения уровня учебных достижений получают все большее признание обучающихся, педагогов и родителей: в Ростовской области более 60% респондентов положительно оценивают изменение контрольно-оценочного процесса. Анализ полученных результатов опроса субъектов образовательного процесса становится необходимым условием учета социально-педагогических факторов при выборе, введении и развитии новых форм и методов аттестации в образовании.
Апробация результатов исследования: Основные положения диссертационного исследования отражены в публикациях автора в виде статей в журналах и сборниках, тезисов докладов на научных конференциях и монографии "Современные тестовые технологии в образовании".
Материалы исследования доложены на следующих конференциях и симпозиумах:
Конференция Совета Европы «Ключевые компетенции и проблемы оценки качества подготовки учащихся», г. Ростов-на-Дону, 2000;
ITI Международная электронная научная конференция «Новые технологии в образовании» - п Воронеж, 2000.;
XXVIII Международная научная конференция и дискуссионный научный клуб «Информационные технологии в науке, образовании, телекоммуникации и бизнесе» - г. Ялта, 2001 г.
Международная конференция «Развитие национальной системы экзаменов: опыт России, СНГ и США» - г. Москва, 2003;
Всероссийские научные, научно практические и научно-методические
конференции:
«Российский вуз; в центре внимания - личность» - г. Ростов-на-Дону, 1998; «Роль классических университетов в развитии единого научного и образовательного пространства России» - г. Ростов-на-Дону, 1999;
«Развитие системы тестирования в России»-г.Москва, 1999; 2000;
2001,2002;
«Управление качеством образования в муниципальном образовательном пространстве» - г. Челябинск, 2001.
«Оценка эффективности образовательных инноваций и технологий» г- Славянск — на - Кубани, 2001;
Девятый симпозиум Исслед- центра пробл. кач. подгот. спец. «Квали-метрия человека и образование: методология и практика» - г. Москва, 2000;
Десятый симпозиум Исслед. центра пробл. кач. подгот. спец «Квали-метрия человека и образование: методология и практика» - г. Москва, 2002;
IV Межрегиональная научно-практическая конференция «Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России в контексте реформирования образования» - г.Санкт-Петербург, 2001;
V Межрегиональная научно-практическая конференция «Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России в контексте модернизации образования» - г.Санкт-Петербург, 2002;
* Региональные научно-методические и научно-практические конференции: «Инженерно-техническое образование на рубеже XX века» - г. Ростов-на-Дону, 1999;
«Направления и пути совершенствования образовательного процесса на основе современных образовательных технологий» - г. Ростов-на-Дону, 1999;
Первая областная конференция «Информационные технологии в образовании» - г. Ростов-на-Дону, 2001.
Внедрение результатов исследования4. Автор в значительной степени практически обеспечила создание и развитие в Ростовской области распределенной системы независимого массового тестирования школьников-Результаты исследования положены в основу спецкурса «Педагогические измерения в образовании», программа которого разработана для обучения педагогов теории и практике конструирования, параметризации и использования современных контрольно-оценочных средств на основе теории IRT, методам организации многоуровневого квалиметрического мониторинга, использованию тестового контроля в педагогической практике- За последние
годы с целью повышения квалификации и тестовой грамотности на базе кафедры педагогических измерений ДГТУ, региональных и межрегиональных семинаров с участием автора прошли обучение более 3-х тысяч учителей школ, преподавателей вузов, работников управлений образованием Ростовской области и других регионов страны на этапе подготовки к проведению единого государственного экзамена. Результаты диагностических исследований отношения различных категорий населения к аттестации школьников тестированием использованы Минобразованием Ростовской области при определении формы участия региона в эксперименте по введению единого государственного экзамена.
Многие методические разработки автора вошли в региональную нормативно-правовую базу проведения единого государственного экзамена в Ростовской области и использованы в других регионах, В образовательных учреждениях Ростовской области широко применяются разработанные автором по результатам диссертационного исследования методики много факторного анализа статистических результатов тестового контроля для управления качеством образования.
Структура и объем диссертации: диссертационное исследование изложено в четырех главах, содержит введение, заключение и приложения с результатами, иллюстрирующими возможности реализации разработанных методик в образовательной практике. Общий объем работы составляет 458 страниц с 59 рисунками и 30 таблицами, список литературы состоит из 336 первоисточников, имеется 6 приложений.
Социокультурное и педагогическое обоснование качества образования
В настоящее время теоретический анализ тенденций и направлений развития образования как никогда важны для понимания происходящих в мире процессов, формирования образовательной политики и путей реформирования системы образования в целом- В условиях стремительно изменяющегося мира перед школой, учителями и преподавателями вузов ставятся задачи подготовки личности, готовой к различным изменениям в мире и умеющей адаптироваться в окружающей среде. Современная динамика развития общества такова, что знания обновляются быстрее, чем происходит подготовка нового специалиста. Одна из причин этого явления заключается в рассогласовании между меняющимися условиями существования общества и неспособностью системы образования быстро адаптироваться к этим изменениям [68, 239, 282 ].
В последнее время эта проблема обострилась во всех сферах жизнедеятельности общества. Во многом это связано с развитием рыночных отношений, требованием обеспечения конкурентоспособности специалистов на рынке труда. С появлением конкуренции на рынке труда, простое утверждение образовательного учреждения о соответствии качества обучения требованиям образовательного стандарта сегодня не является гарантией получения качественного образования- Особенно важными становятся роль и значение качества образования в связи с социально-экономическими преобразованиями в стране. Остро стала ощущаться потребность в повышении эффективности средств достижения качества и управления качеством в образовании.
Путь выхода из кризиса обозначен как «модернизация государства через модернизацию образования» [146, 147]- Одной из важнейших проблем является повышение и оценка качества образования. Это находит отражение в основных нормативно-правовых документах в области образования: Федеральном законе «Об утверждении Федеральной программы развития образования в России» (2000г.); программе «Модернизация образования» (2000 г.); Национальной доктрине образования (2000 г,); материалах заседаний Государственного совета Российской Федереции (2001 г.), плане действий Правительства РФ в области социальной политики и модернизации экономики на 2000 и 2001 г.г, и других.
Проблема оценки качества товаров и услуг, в том числе и образования, в мире существовала всегда. Для раскрытия сущности данного явления и в связи с широким использованием в образовании таких категорий, как «качество» и «количество», необходимы анализ социокультурного значения качества образования и общих подходов к управлению им. Выделяют три рода качества: природные или материально-структурные» функциональные и системные (социальные). При этом системно-социальные качества и общественная логика их формирования полностью приложимы к человеку и образованию [140].
Истоки квалитологии как науки об измерении качеств личности восходят к учениям Аристотеля и Гегеля. Согласно аристотелевским определениям, «- - .качестволг является относящееся к сущности видовое отличие вещей то, благодаря чему предметы признаются так или иначе качественно определенными...», а «.„количеством называется то, что можно счесть, это величина, если его можно измерить,-- Количество, в отличие от качества, выступает как определенность» [18, с, 93 - 94]. Наиболее удачные определения категориям «качество» и «количество» даны Аристотелем, который сумел четко выразить существенные черты количественной определенности явлений. «Качество и количество - это две определенности каждого явления, находящиеся в единстве друг с другом. Это единство качества и количества есть мера» [66, с. 176]- Таким образом, количество есть не что иное, как количество какого-то качества. По определению Гегеля, «...мера — это количественное качество или качественное количество, это количественные границы существования данного качества» [48, с. 184]. Превращение одного явления в качественно иное есть скачок9 обусловливающий изменения в природе, обществе и человеческом сознании (познании), проявляющийся в каждой из сфер действительности. Скачок рассматривается как: обусловленность качественных изменений количественными; разрешение противоречия между старым качеством и новым количеством; ликвидация прежней меры; переход качества в количество; возникновение новой меры и нового противоречия между новыми качеством и количеством; разрыв непрерывности количественных изменений; перерыв качественной непрерывности в существовании определенных явлений; отрицание новым старого; преобразование содержания и формы; изменение определенного уровня сущности [42, 232].
Однако следует учитывать, что само по себе количественное накопление новых фактов и сведений может длиться сколь угодно долго, не вызывая качественных изменений объекта или системы. При этом скачок в образовании, связанный с качественными изменениями, может возникнуть только на основе освоения новых теорий, методов, приемов и технологий воспитания, обучения, развития и контроля.
Исторические аспекты развития тестового контроля в образовании
Структурные элементы системы оценки качества обучения, рассмотренные в предыдущих разделах исследования, представляют из себя совокупность взаимодействующих объектов различной природы, вместе с тем они в большей или меньшей степени обладают явно выраженным системным свойством - ориентацией на измерения и измеряемость- Без сомнения, отдельные элементы педагогических измерений присутствуют всегда при оценке знаний учащихся, однако, они нацелены исключительно на получение качественных эквивалентов оцениваемых свойств учащихся в тех случаях, когда речь идет о традиционном оценочном процессе. На практике процессы контроля и оценки существенно различаются не только по разным образовательным учреждениям, но также между требованиями учителей одной и той же школы. В большинстве случаев окончательный результат оценивают с помощью порядковой (качественной) пятибалльной шкалы. Как показали исследования объективности оценивания у нас и за рубежом, разброс отметок в различных ситуациях за один и тот же ответ может быть от "2" до "5" [250, 273]. И это естественно, так как при традиционных методах оценивания неизменно присутствует субъективный фактор. Эта проблема к настоящему времени стала многоаспектной — политической, экономической, социальной, педагогической, психологической, этической, научной и организационно-технологической.
Образовательный процесс как целостная педагогическая система, включающая разные аспекты подготовки обучающихся, рассмотрен в работах СИ. Архангельского, Ю.К. Бабанского, B.IL Беспалько, В.В. Давыдова, В.В. Краевского, Н.В. Кузьминой, И.Я. Лернера, Г.И. Михалевской, М.Н. Скаткина, В.Т- Фоменко, В.А. Якунина и др. В этой системе одним из важнейших элементов являются контроль и оценка результатов образования. Проверку и оценку знаний и умений учащихся определяют как «...средство получения учителем информации о качестве усвоения, продвижения в развитии обучающихся, эффективности применения тех или иных средств; для учащихся — это сигнал об уровне усвоения ТОРІ ИЛИ иной темы; для администрации - средство оценки эффективности педагогической деятельности учителей, результат работы школы» [117, с. 90]. Вопросам проверки и оценки знаний учащихся посвящено большое число работ (B.C. Аванесов, Т.И- Батурина, СИ. Высоцкая, ЗХ. Григорьева, М.И. Зарецкий, Г.С- Ковалева, В.В. Краевский, МЛ. Лернер, А.Н. Майоров, Е.И. Перовский, В«М. Полонский, СИ. Руковский, М.Н. Скаткин, B.IL Стрезикозин, СЕ. Шишов и др.).
Важнейшей задачей образования в настоящее время становится выработка надежного, управляемого, объективного инструментария оценки качества образования, его соответствия меняющимся концептуальным основам обучения и контроля, практическим подходам, образовательным потребностям личности. Наряду с традиционной системой контроля и оценки качества обучения учащихся и студентов в России складывается и внедряется в практику образования новая система — педагогическое тестирование, начинают широко использоваться тесты, конструируемые на основе математических логистических моделей Раша (G. Rasch) [331, 333] и Бирнбаума (A. Bimbaum) [113], Цель измерения — получение численных эквивалентов, отождествляемых с оценками измеряемой переменной. Поэтому в современной педагогической науке измерения принято связывать исключительно с использованием тестов.
Влияние субъективного фактора существенно снижается при тестовом контроле знаний учащихся. Поиск ответа на вопрос «как оценить результат?» привели ученых и практиков к попытке «технологизировать» процесс оценки подготовленности обучающихся- Существенные изменения претерпевает концепция оценки, поскольку только количественный подход не предоставляет точной характеристики уровня получаемого образования, а только качественный затруднен из-за неотработанности субъективных критериев. Комбинирование различных подходов, использование разнообразных процедур, в том числе и педагогического тестирования, может выявить объективную информацию о качестве подготовленности обучаемых и качестве образовательных услуг,
Тестология как наука об измерении характеристик человека все больше находит применение в педагогике, психологии и социологии в зависимости от того, что является объектом измерения и изучения. Вместе с тем, высказываемый многими специалистами тезис о важной роли тестирования в оценке качества учебных достижений и управлении качеством образования пока еще не нашел достаточно полного отражения в исследованиях как самостоятельная, новая и актуальная научная область, имеющая большое теоретическое и практическое значение для развития личности, В сравнении с другими научными направлениями в педагогике она является достаточно новой, представляющей собой прикладное направление педагогики по вопросами разработки тестов учебных достижений, организации процесса и технологии тестирования, обработки и шкалирования результатов.
Понятие квалиметрического мониторинга в образовании
Необходимость адаптации образования к потребностям современного общества обусловливает поиск научно обоснованных оценок качества образования и наблюдения за процессами его развития. Важнейшим условием повышения качества общего образования являются систематический контроль и анализ объективных данных о качестве обучения и подготовленности обучающихся- Процесс управления качеством образования может быть эффективным только при наличии постоянной обратной связи, обеспечивающей субъектов образования надежной валидной информацией о качестве всей системы образования и ее составляющих. Однако такая связь в практике образования пока еще организована слабо. Только в последнее время исследуются отдельные компоненты мониторинга: диагностика, моделирование, прогнозирование, компьютерная поддержка.
Анализ литературы по данной проблеме свидетельствует, что само понятие мониторинга трансформировалось от более общего - "проверка и учет знаний учащихся", количественного — "оценка знаний и умений", к более жесткому - "контроль и учет знаний и умений", далее - к неопределенному - "отслеживание учебных достижений учащихся" и более диагностичному - "измерение уровня достижения учащимися образовательного стандарта" и, наконец, к современным понятиям -"диагностика качества образования", "образовательный мониторинг", "экспертиза качества образования" и, наконец, "квалиметрический мониторинг". Анализ частоты использования тех или иных понятий позволяют выделить наиболее употребимые из них при характеристике мониторинга: система, наблюдение, анализ, прогнозирование, диагностика состояния объекта или процесса, экспертиза.
Диагностика (от греч. diagnosis — распознавание) - средство выявления результатов обучения и практика оценивания качества учебно-воспитательной деятельности, состояния педагогических процессов и явлений, а также дифференцированная процедура получения информации о ряде показателей, критериев, признаков, качеств, отнесение их к определенному классу, в результате чего получается достаточно полное представление о реальном состоянии отдельных параметров качества образования [32, 176, 192], Как отмечает И.ППодласый, «Диагностика должна быть индикатором качества категорическим определителем успеваемости обучаемого или, наоборот, должна существовать как показатель преимуществ или недостатков той или иной системы» [192, с. 545]. В последние годы диагностика качества образования стала превращаться в относительно самостоятельную, быстро развивающуюся отрасль педагогической науки и образовательной практики. Диагностика, оценка состояния и возможностей системы позволяют определяться в выборе стратегии управления качеством образования- Основную задачу диагностики как научного направления такие авторы, как Б. П. Битинас, Л, И. Катаева, Е. А, Михайлычев и многие другие, видят в определении оптимальной совокупности непосредственно фиксируемых показателей состояния педагогических явлений и процессов, где каждый отдельно взятый показатель только с некоторой вероятностью свидетельствует об этом состоянии [32, 160]. С этих позиций в современной педагогической литературе чаще используется понятие "диагностика качества образования" — "диагностирование", которое рассматривается как "деятельность по установлению и изучению признаков, характеризующих состояние каких-либо систем, для предсказания возможных отклонений и предотвращения нарушений нормального режима их работы" [158, с. 119].
Объектом мониторинга и диагностических исследований, как правило, является педагогическая система. Основными элементами педагогической системы являются: обучающийся» цели образования, содержание образования, дидактические процессы, организационные формы, педагоги, опосредующие их деятельность технические средства и др. [30, 31]. Достаточно подробно педагогическая система рассмотрена в работах: В. П. Беспалько, Л. Г, Борисовой, Л. Ф- Колесникова, В. А. Кальней, Ю. А. Конаржевского, В. С, Леднева, A. Н. Майорова, В. К Нуждина, Л. Б, Сахарчука, П. И. Третьякова, В, Н. Турченко, С. Е. Шишова и др. Для анализа состояния педагогической системы необходима научно обоснованная экспертная оценка результатов диагностических наблюдений Экспертные методы на основе мониторинговых исследований широко используются в различных сферах человеческой деятельности: в планировании (Г.Г. Азгальдов, 3.IL Райхман), в управлении (ЛГ, Евланов, В.А, Кутузов), в технике (Б. 3- Докторов), в научных исследованиях (Л.В. Голованов). За последнее время спектр использования этих методов в педагогике значительно увеличивается: при оценке качества обучения (НТ. Алексеев, Л.Г. Евланов, А.А. Кузнецов, В А. Кутузов и др.); ДОя организации профориентационной работы (И.Я. Киселев, А.А. Люблинская и др.), при отборе задач и заданий (А.В. Карнаухов, B.C. Черепанов, М.Б. Челышкова, Ю.А. Шнейдер и др.)- Общие вопросы использования экспертных методов в педагогических исследованиях отражены в работах В.П, Беспалько, Н.В. Галицыной, B.C. Гершунского, Н.Н. Катаева, Э-Г. Скибицкого, ME. Тарасовой, В.С- Черепанова и др.
