Содержание к диссертации
Введение
Глава 1. ПРОБЛЕМЫ ПРИМЕНЕНИЯ ТЕСТОВЫХ ТЕХНОЛОГИЙ ДЛЯ КОНТРОЛЯ УЧЕБНЫХ ДОСТИЖЕНИЙ ОБУЧАЮЩИХСЯ В СИСТЕМЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ 15
1.1. Общие проблемы применения тестовых технологий в системе профессионального образования 15
1.2. Характеристика педагогических тестов, применяемых для контроля и диагностики учебных достижений обучающихся в системе профессионального образования 21
1.3. Основы методологии экспертизы качества тестовых материалов 34
1.4. Модели экспертизы качества тестов в современной дидактической тестологии 43
1.5. Основные выводы 56
Глава 2. ТЕХНОЛОГИЯ КОМПЛЕКСНОЙ ЭКСПЕРТИЗЫ КАЧЕСТВА ТЕСТОВЫХ
МАТЕРИАЛОВ 58
2.1. Теоретико-методологические основы комплексной экспертизы качества тестовых материалов для контроля и диагностики уровня учебных достижений обучающихся 58
2.2. Функциональная модель комплексной экспертизы качества тестовых материалов 61
2.2.1. Предварительная экспертиза качества тестовых материалов 63
2.2.2. Формально-содержательная экспертиза качества тестовых материалов 79
2.2.3. Тестологическая экспертиза качества тестовых материалов 92
2.2.4. Интегральная экспертиза качества тестовых материалов 110
2.3. Информационные потоки комплексной экспертизы качества тестовых. материалов 120
2.4. Структурная модель организации и проведения комплексной экспертизы
качества тестовых материалов 120
2.5. Основные выводы 125
Глава 3. АПРОБАЦИЯ ТЕХНОЛОГИИ КОМПЛЕКСНОЙ ЭКСПЕРТИЗЫ КАЧЕСТВА ТЕСТОВЫХ МАТЕРИАЛОВ 128
3.1. Организация и проведение мониторинга качества учебных достижений обучающихся I и II курса Томского политехнического университета 128
3.2. Формирование предварительного электронного банка тестовых материалов 131
3.3. Методика формирования состава экспертной группы 137
3.4 Организация и проведение предварительной экспертизы качества тестовых материалов 141
3.5 Организация и проведение формально-содержательной экспертизы качества тестовых материалов 143
3.6 Организация и проведение тестологической экспертизы качества тестовых материалов 147
3.7 Организация и проведение интегральной экспертизы качества тестовых материалов 148
3.8. Основные выводы 156
ЗАКЛЮЧЕНИЕ 158
Список использованной литературы 162
Приложения 177
Приложение 1 .Таблица характеристик тестовых заданий, учитываемых при внутренней
экспертизе тестовых материалов 177
Приложение 2.Кодификатор содержания учебной дисциплины «Общая химия» 180
Приложение 3.Образец варианта теста для тестирования по разделу: «Химия d-металлов»
(дисциплина «Общая химия») до проведения комплексной экспертизы качества 185
Приложение 4.0бразец варианта теста для тестирования по разделу: «Химия d-металлов»
(дисциплина «Общая химия») после проведения комплексной экспертизы качества... 189
Акт о внедрении и использовании 192
- Общие проблемы применения тестовых технологий в системе профессионального образования
- Теоретико-методологические основы комплексной экспертизы качества тестовых материалов для контроля и диагностики уровня учебных достижений обучающихся
- Организация и проведение мониторинга качества учебных достижений обучающихся I и II курса Томского политехнического университета
Введение к работе
Актуальность темы исследования. Современное социально-экономическое и политическое развитие России формирует новые требования к качеству подготовки специалистов. Согласно «Концепции модернизации российского образования на период до 2010 года» основной целью профессионального образования является «подготовка квалифицированного работника соответствующего уровня и профиля, конкурентоспособного на рынке труда, компетентного, ответственного, свободно владеющего профессией и ориентированного в смежных областях деятельности, способного к эффективной работе по специальной и профессиональной мобильности, удовлетворению потребностей личности в получении соответствующего образования» [79].
Процесс повышения качества профессионального образования затрагивает все уровни образовательной деятельности. В контексте мировых тенденций к обеспечению качества высшего профессионального образования особую значимость приобрела проблема разработки и внедрения внутривузовских систем оценки качества образования.
Как следствие преобразований в системе профессионального образования, возникает проблема формирования принципиально новых подходов к педагогическому контролю учебных достижений обучающихся. В новой парадигме педагогической науки акцент ставится, прежде всего, на многомерном и многоэтапном измерении качества учебных достижений обучающихся. Необходимость в достоверной оценке актуализировала проблему поиска эффективных научно обоснованных методов и средств контроля качества результатов профессионального образования. Одним из эффективных средств педагогического контроля качества обучения является педагогическое тестирование.
Современное педагогическое тестирование представляет собой комплекс стандартизованных методов измерения учебных достижений обучающихся. Эффективность применяемой системы контроля зависит не
5 только от объективных и надежных технологий, но и от качества
применяемых тестовых материалов. В этой связи проблема обеспечения
систем контроля качества образования надежными и валидными тестами
приобрела особую актуальность.
В научных исследованиях зарубежных (К. Ингенкамп, Б. Немерко, К.
Денек, Ю. Кеттел, В. Оконь, Б. Блум и др.) и отечественных (В С. Аванесов,
В.П. Беспалько, Н.Ф. Ефремова, М. В. Кларин, Г.С. Ковалева, А.Н. Майоров,
А.О. Татур, B.C. Черепанов, М.Б. Челышкова и др.) ученых доказано, что
педагогические тесты обладают рядом преимущественных свойств перед
другими средствами педагогического контроля: технологичность,
оперативность, объективность, систематичность, комплексность,
полифункциональность, универсальность и т.д. В системе
профессионального образования дидактические тесты являются основным
средством оценки качества и мониторинга профессионального образования:
в процедурах оценки результатов образовательной деятельности,
аккредитации образовательных учреждений и т.д.
Одной из важнейших задач применения тестовых технологий для контроля в учебном процессе является разработка и совершенствование педагогических тестов как максимально объективного и точного измерительного инструмента.
В настоящее время в практике применения тестовых технологий в системе профессионального образования существуют противоречия между: S потребностью в достоверной и оперативной информации о качестве
учебных достижений обучающихся и невозможностью ее получения из-за
отсутствия стандартизированных фондов оценочных средств; S необходимостью в повышении качества тестов и используемыми
методами экспертизы, которые не позволяют получить объективную
оценку их качества;
S целями экспертизы и невозможной их полной реализации из-за отсутствия комплексного подхода в применении релевантных методов оценивания качества тестовых материалов; S потребностью в технологии комплексной экспертизы качества тестовых материалов, применение которой позволит обеспечить контроль надежными и валидными тестами, и отсутствием соответствующей технологии.
Проблема исследования заключается в необходимости разработки и апробации технологии комплексной экспертизы качества тестовых материалов для системы профессионального образования.
Практика применения тестовых технологий выявила важнейшую проблему: использование некачественных тестов для педагогического контроля качества обучения. Как возможное решение этой проблемы Министерством образования России был подписан Приказ «О сертификации качества педагогических тестовых материалов» (Приказ от 17.04.2000 №1122). В это же время начались активные научные разработки моделей экспертизы качества тестовых материалов и процедур сертификации тестов с разных позиций: на основе формальных правил конструирования тестовых заданий (Н.А. Гулюкина, В.Ю. Переверзев, СВ. Клишина), формально-содержательных правил (М.Б. Челышкова, B.C. Аванесов, Е.Л. Михайлычев, В.И. Васильев, А.В. Никитин) и методологических основ (Е.Д. Попова, Д.М. Узденов). Несмотря на накопленный научно-педагогический опыт в области дидактической тестологии, вопрос об оценивании качества тестовых материалов до сих пор остается актуальным.
Значимость данной проблемы определила тему исследования: «Модель и технология комплексной экспертизы качества тестовых материалов для системы профессионального образования».
В данном диссертационном исследовании термин «тестовый материал»
используется применительно к педагогическим тестам, не прошедшим
процедуру стандартизации и сертификации. *
7 Объект исследования: качество тестовых материалов.
Предмет исследования: модель и технология комплексной экспертизы качества тестов, используемых в системе профессионального образования.
Под технологией понимается «система условий, форм, методов, средств и критериев решения поставленной педагогической задачи» (A.M. Новиков, 2009).
Цель исследования: разработка модели оценки качества тестовых материалов и технологии комплексной экспертизы тестовых материалов как фактора обеспечения достоверности оценки учебных достижений обучающихся в учреждениях профессионального образования.
Гипотеза исследования состоит в предположении о том, что качество тестов может быть обеспечено, если:
качество тестов рассматривать как интегральное свойство, проявляющееся через соответствие требованиям к качеству содержательных, формальных, функциональных и структурно-логических характеристик тестовых материалов;
оценка качества тестов будет проводиться с использованием методов комплексного оценивания на основе критериев и показателей качества тестовых материалов;
технология комплексной экспертизы качества тестов будет разработана на основе модели оценки тестовых материалов.
В соответствии с целью и гипотезой исследования были определены следующие задачи:
Провести теоретический обзор научной литературы по проблемам разработки и применения тестовых материалов для контроля учебных достижений обучающихся в системе профессионального образования.
Проанализировать опыт применения существующих моделей оценки качества тестовых материалов.
Обосновать необходимость комплексного оценивания качества тестовых материалов.
4. Обосновать систему критериев и показателей качества тестовых
материалов.
Разработать модель оценки качества тестовых материалов на основе комплексного оценивания.
Разработать технологию комплексной экспертизы качества тестовых материалов для системы профессионального образования.
Провести апробацию технологии комплексной экспертизы качества тестовых материалов.
Теоретико-методологическую основу исследования составили ведущие положения: S теории и методологии профессионального образования (В.И. Байденко,
В.И.Блинов, А.Т. Глазунов, А.Н. Лейбович, М.В. Никитин, A.M. Новиков,
П.Н. Новиков, Е.А. Рыкова, Д.В. Чернилевский, и др.); S методологии системного анализа (Ф.П. Тарасенко, Ф.И. Перегудов, И.В.
Прангишвили, Я. Такахара); S общей, образовательной и педагогической квалиметрии (Г.Г. Азгальдов,
СИ. Архангельский, В.И. Байденко, К. Ингенкамп, А.Н. Майоров, Е.А.
Михайлычев, В.И. Огорелков, С.А. Сафонцев, А.И. Субетто, и др.); S в области формирования систем оценки качества образовательных
достижений обучающихся (В.П. Беспалько, В.И. Блинов, К. Ингенкамп,
А.Н. Лейбович, А.Н. Майоров, A.M. Новиков, О.Е. Пермяков, А.И.
Субетто и др.); S разработки технологий компьютерного тестирования (В.И. Васильев, Т.Н.
Тягунова и др.); ^таксономии уровней усвоения учебного материала (В.П. Беспалько, Г.К.
Селевко, Д. Толлингерова, К. Денек); S теории и технологии обучения (СИ. Архангельский, Ю.К. Бабанский, В.П.
Беспалько и др.); S дидактической тестологии (B.C. Аванесов, Т.М. Балыхина, Н.А. Гулюкина,
Н.Ф. Ефремова, СВ. Клишина, В.Ю. Переверзев, М.Б. Челышкова, и др.);
9 S работы в области экспертного оценивания (А.И. Орлов, Б.Г. Литвак, B.C.
Черепанов).
Методы исследования: при решении поставленных задач были использованы теоретические методы (теоретико-информационный анализ научной литературы; понятийно-терминологический анализ философских и -педагогических источников; проектирование и моделирование технологических процессов комплексной экспертизы с помощью программного обеспечения BPWin 4.1); эмпирические методы (анкетирование; тестирование, сбор и обработка данных с использованием программ Statistica, Exel, Winsteps, SPSS Statistics 17.0; методы экспертных оценок, примененные при апробации технологии комплексной экспертизы качества тестовых материалов); методы математической статистики и статистики качеств, примененные при обработке экспериментальных данных.
База исследования:
Опытно-экспериментальная работа проводилась на базе ГОУ ВПО «Томский политехнический университет» (ТПУ). В эксперименте приняли участие обучающиеся I и II курсов (было проведено свыше 30 тыс. человеко-экзаменов в период с 2003 по 2005 гг.), преподаватели общеобразовательных дисциплин, разработчики и эксперты тестовых материалов, организаторы тестирования, слушатели курсов повышения квалификации Томского областного института повышения квалификации и переподготовки работников образования.
Этапы диссертационного исследования. Исследование проводилось в три этапа.
На первом этапе (2002-2003 гг.) изучалось состояние проблемы в теории и практике контроля и мониторинга качества учебных достижений студентов технического вуза, осуществлялся ее всесторонний анализ, разрабатывались и проверялись отдельные подходы и процедуры,
10 впоследствии составившие основу модели комплексной экспертизы качества
тестовых материалов, определялась гипотеза исследования.
На втором этапе (2003—2005 гг.) были уточнены предмет и задачи исследования, разработана модель оценки качества тестовых материалов с позиций комплексного оценивания, проведена опытно-экспериментальная работа по проведению апробации отдельных элементов технологии комплексной экспертизы качества тестовых материалов при проведении массового тестирования обучающихся ТПУ.
На третьем этапе (2005—2008 гг.) осуществлялась обработка и анализ эмпирических данных, полученных в ходе опытно-экспериментальных работ, проверка гипотезы диссертационного исследования, обобщение и систематизация результатов исследования.
Научная новизна диссертационного исследования.
Обоснован комплексный подход к оцениванию качества тестовых материалов, выступающий методологическим регулятивом в процедурах экспертизы качества и обеспечивающий интегральную оценку качества тестовых материалов.
Разработана модель системы оценки качества тестовых материалов, состоящая из системной совокупности четырех основных подсистем (предварительной, формально-содержательной, тестологической и интегральной экспертизы), находящихся в вертикальной соподчиненной причинно-следственной связи, определенной логикой последовательности достижения целей экспертизы, позволяющая получить достоверную оценку качества тестовых материалов за счет:
S того, что категория «качество тестовых материалов» рассматривается как интегральное свойство, проявляющееся через соответствие требованиям к качеству содержательных, формальных, функциональных и структурно-логических характеристик тестовых материалов;
S реализации комплексного подхода к оцениванию качества тестовых материалов;
S применения релевантных методов оценивания интегрального качества;
S реализации последовательности этапов экспертизы;
S использования системы критериев и показателей для оценки интегрального качества тестовых материалов.
3. Разработана и апробирована технология комплексной экспертизы через реализацию последовательности алгоритмов организации и оценивания интегрального качества тестовых материалов.
Теоретическая значимость заключается в том, что: S определена роль педагогических тестов как средства, обеспечивающего
достоверную оценку учебных достижений обучающихся в учреждениях
профессионального образования; S разработаны методологические подходы к формированию фондов
стандартизированных оценочных средств для контроля и оценки учебных
достижений обучающихся; S на основе анализа категории «качество тестовых материалов» определена
специфика тестовых материалов для системы профессионального
образования как педагогического измерительного инструментария оценки
качества подготовки обучающихся; S обогащен понятийный аппарат тестовой квалиметрии путем уточнения
понятия «качество тестовых материалов», дано определение
«комплексная экспертиза качества тестовых материалов» и
«интегральный показатель качества тестовых материалов»; S научно обоснован комплексный подход в оценивании качества тестовых
материалов и предложены релевантные методы оценивания
интегрального качества тестовых материалов;
12 S предложена модель оценки качества тестовых материалов и
апробирована, разработанная на ее основе, технология комплексной
экспертизы; S предложена иерархическая система критериев и показателей качества
тестов и тестовых заданий, основанная на теории важности критериев. Предложенные подходы в рамках технологии комплексной экспертизы качества тестовых материалов обогащают теорию и практику тестовой квалиметрии релевантными методами оценивания интегрального качества тестовых материалов.
Практическая значимость определяется возможностью
использования технологии комплексной экспертизы качества тестовых материалов в образовательных учреждениях и организациях, занимающихся независимой оценкой качества образования, при формировании фондов стандартизированных оценочных средств, обеспечивающих достоверную оценку учебных достижений обучающихся в учреждениях профессионального образования, в части:
использования разработанной иерархической системы критериев и показателей качества тестов и тестовых заданий;
применения комплекса мер по организации и проведению комплексной экспертизы качества тестовых материалов;
применения алгоритмов определения комплексного (интегрального) показателя качества тестовых материалов для формирования фонда стандартизированных педагогических тестов.
Применение технологии комплексной экспертизы качества тестовых материалов позволяет повысить качество тестовых материалов за счет реализации комплексного подхода.
По материалам диссертационного исследования разработана программа курсов повышения квалификации работников образования по теме: «Технология разработки и комплексной экспертизы качества тестовых материалов для мониторинга и оценки качества образования».
13 Технология комплексной экспертизы качества тестовых материалов
применяется при разработке педагогических тестов для мониторинга
качества образования в Томском политехническом университете.
Материалы диссертационного исследования реализованы в «Методических рекомендациях по конструированию педагогических тестов для мониторинга качества образования», учебно-методическом комплексе «Технология разработки и комплексной экспертизы тестовых материалов для мониторинга и оценки качества образования».
Апробация и внедрение результатов исследования. Основные результаты диссертационного исследования обсуждались на международных и всероссийских конференциях «Информационные технологии в повышении качества образования», г. Омск, 2006 г.; «Актуальные проблемы качества образования и пути их решения», г. Уфа, 2006 г.; «Наука. Технологии. Инновации», г. Новосибирск, 2006 г.; «Образование и наука без границ-2006», г. Днепропетровск, 2006 г.; «Новые информационные технологии в образовании», г. Екатеринбург, 2007 г., «Развитие тестовых технологий в России», г. Москва, 2007 г. и др.
Технология комплексной экспертизы качества тестовых материалов апробирована и применяется в Томском политехническом университете, что подтверждается актом использования результатов научных исследований. На базе Томского областного института повышения квалификации и переподготовки работников образования осуществляется повышение квалификации по теме «Технология разработки и комплексной экспертизы тестовых материалов для мониторинга и оценки качества образования».
Достоверность и обоснованность результатов исследования обеспечиваются комплексным рассмотрением изучаемой проблемы в рамках концепции построения общероссийской системы оценки качества образования; применением методов системного анализа, квалиметрии, математической статистики; положительными результатами опытно-
14 экспериментальной работы, апробацией в условиях конкретных
образовательных систем региона.
На защиту выносятся следующие положения:
Качество тестовых материалов — это интегральное свойство их содержательных, формальных, функциональных и структурно-логических характеристик, обусловливающих достоверность оценки учебных достижений обучающихся.
Экспертиза качества тестовых материалов должна отвечать общеметодологическим принципам системности, объективности, комплексности, профессиональной компетентности экспертов, преемственности всех этапов экспертизы, и необходимости контроля за соблюдением процедур экспертизы.
Модель оценки качества тестовых материалов представлена системной совокупностью четырех основных подсистем — (предварительной, формально-содержательной, тестологической и интегральной экспертизы), находящихся в вертикальной соподчиненной причинно-следственной связи, определенной логикой последовательности достижения целей экспертизы.
4. Комплексное оценивание качества тестовых материалов реализуется
посредством применения многокритериального иерархически
взаимосвязанного оценивания качественных и количественных
показателей качества тестовых материалов и выражается через значение
интегрального показателя качества.
Структура диссертационного исследования определяется логикой исследования и поставленными задачами. Диссертация состоит из введения, трех глав, заключения, списка использованной литературы, включающего 169 наименований, 4 приложений. В диссертации 27 таблиц, 12 рисунков. Общий объем работы составляет 192 страницы.
Общие проблемы применения тестовых технологий в системе профессионального образования
Совершенствование системы высшего профессионального образования (далее ВПО) в условиях интеграции в мировое образовательное пространство актуализирует проблему обеспечения качества образования. Гарантия качества образования лежит в основе параметров качества обучения, формирующих образовательный процесс. В условиях, когда качество обучения является движущей силой технологического и общественного прогресса, гарантия качества приобретает свои собственные аспекты, влияющие на изменения образовательных стандартов и учебных программ [18].
Оптимальным решением проблем обеспечения качества профессионального образования, в этой связи, видится в разработке и внедрении внутривузовских систем оценки качества образования на основе стандартов, разработанных ENQA (Европейская ассоциация по обеспечению качества высшего образования) [83, 106, 123, 134, 135 и др.]. Внедрение стандартов качества в систему профессионального образования призвано обеспечить гарантии качества за счет соответствия целому ряду требований, которые включают в себя: формализованную политику, официальные механизмы утверждения периодических проверок и мониторинга программ и степеней, системы оценивания достижений обучающихся, системы аттестации, повышения квалификации и пр. [18]. Разработке методологических основ новой концепции оценки качества посвящены работы ученых в области квалиметрии образования, таких как Н.Ф. Ефремова, О.Е. Пермяков, А. И. Субетто, С.А. Сафонцев, Н. А.Селезнева, Ю.Г. Татур, B.C. Черепанов и др.[22, 55, 111, 121, 125, 135, 147]. В рамках данной концепции происходит интеграция основных категорий образовательного пространства: образование рассматривается как совокупность «процесса» и «результата» [134]. В этих условиях категория результата образовательного процесса из итогового компонента, имеющего триединую сущность (единство результатов обучения, воспитания и развития) модифицируется в многоуровневую и многокомпонентную категорию. В работе [18] под результатом профессионального образования понимаются ожидаемые и измеряемые конкретные достижения обучающихся, выраженные на языке знаний, умений, навыков, способностей и компетенций.
Изменения содержания обучения в системе профессионального образования, основанные на внедрении государственных образовательных стандартов, ориентация на овладение базовыми профессиональными компетенциями влечет за собой и изменения в контрольно-оценочной системе как составляющей системы управления качеством образования: на основе анализа результатов контроля проверяется не только качество обучения, но и эффективность образовательных технологий в целом, вырабатываются корректирующие мероприятия по совершенствованию учебно-воспитательного процесса и пр. При этом необходимо отметить, что в общем виде под качеством обучения понимается уровень подготовки обучающихся, состав проверяемых знаний, умений и навыков (ЗУН), их структура и сформированность компетенций [55]. Современное понимание качества профессионального образования включает в себя такие характеристики, как уровень и объем знаний, концептуальность и системность знаний, устойчивость, долговременность и перспективность знаний, фундаментальность и практичность, сложившийся тип профессионального мышления, способность синтезировать знания по изменяющимся условиям деятельности, т.е. стиль деятельности и уровень профессиональной подготовки [61].
Одним из основных объектов контрольно-оценочной деятельности, с позиций измерения результата образовательного процесса, являются учебные достижения как фундаментальная основа формирования профессиональных компетенций обучающихся. Вопрос о количественном измерении уровня качества учебных достижений был сформулирован и поставлен как педагогическая задача еще в советской педагогике в 30-е годы XX века. С.Г. Шаповаленко, анализируя государственную программу по химии, писал: «Объем знаний является количественным показателем эффективности учебно-воспитательного процесса, что характеризует качество обучения» [17]. Контроль качества учебных достижений — главная составляющая процесса обучения. Если рассматривать обучение как процесс, то он может быть представлен такими ключевыми компонентами как целеполагание, деятельность и контроль. В современной дидактике при описании уровней учебных достижений подходят через определение целей и задач изучения дисциплины. Согласно словарю по общественным наукам [127] целеполагание - смыслообразующее содержание практики, состоящее в целеформировании и целереализации. Целеформирование — формирование цели как субъективно-идеального образа желаемого. Целереализация — воплощение цели в объективно-реальном результате деятельности.
Важнейшей концептуальной проблемой системы контроля и оценки качества профессионального образования является определение и описание результатов обучения с позиций квалиметрического подхода. Вопрос о результатах образования и качестве результатов образования до сих пор остается дискуссионным. Значительная часть исследовательских работ посвящена описанию критериальной базы оценивания результатов обучения через описание целей обучения [17, 23, 55, 121, 124, 142,162 и др.].
Основные требования к уровню результатов профессионального образования представлены в государственных образовательных стандартах, которые помимо федеральных, региональных и внутривузовских требований, включают и международные ориентиры.
С позиций квалиметрического подхода результаты обучения должны обладать свойством диагностичности, что позволяет количественно измерить качество учебных достижений обучающихся [20]. Согласно этому положению, цели обучения должны формулироваться на языке тех задач, для решения которых необходимы подлежащие усвоению знания, умения, убеждения, эстетические чувства и т.д.
В современной теории педагогических измерений цели обучения в профессиональном образовании описываются через таксономию учебных целей. Под таксономией педагогических целей понимается система, содержащая упорядоченную классификацию целей, используемая при планировании обучения и оценки его результатов, являющаяся надежным инструментом при проверке новых курсов [18].
Таксономия позволяет описать структуру целей, степень их сложности и взаимные отношения. Основу таксономии составляет операционализация учебных целей. Операционные цели содержат описание конечного поведения студента (действие и содержание описания), условия его проявления и стандарты (критерии) его достижения [164, с. 49]. Таким образом, таксономия учебных целей является инструментом, позволяющая выходить на качественный и количественный анализ результатов обучения.
class2 ТЕХНОЛОГИЯ КОМПЛЕКСНОЙ ЭКСПЕРТИЗЫ КАЧЕСТВА ТЕСТОВЫХ
МАТЕРИАЛОВ class2
Теоретико-методологические основы комплексной экспертизы качества тестовых материалов для контроля и диагностики уровня учебных достижений обучающихся
Важность применения корректных процедур экспертизы качества тестовых материалов отмечается в научных трудах таких ученых, как А. Анастази, К. Д. Дятловой, Н.Ф. Ефремовой, Д. Кубельски, А.Н. Майорова, Е.А. Михайлычева, В.Ю. Переверзева, Е.Д. Поповой, О.А. Татура, Д.М. Узденова, М.Б. Челышковой и т.д. На данный момент существующие методики экспертизы тестовых материалов применяются бессистемно, иногда в процедурах экспертизы отсутствуют целые блоки (в виду их трудоемкости, длительности по времени проведения и отсутствия подготовленных специалистов), отсутствие стандартизированной критериальной базы оценивания. Кроме того, отсутствие стандартизированной критериальной базы оценивания снижает достоверность и информативность данных о качестве тестовых материалов. В связи с этим, первостепенной задачей разработки качественных ТМ является задача повышения эффективности экспертизы качества тестовых материалов на основе системного подхода.
Системный подход, являясь основой исследования, предстает как методология разработки модели комплексной экспертизы качества ТМ, в основе которой лежат процессы сбора, обработки и анализа информации в процессе оценки качества ТМ с целью его улучшения. Таким образом, целью экспертизы качества ТМ является комплексная оценка его качества.
Основными задачами экспертизы качества тестовых материалов являются:
1. оценка качества спецификации тестового материала;
2. оценка степени соответствия тестового материала целям обучения и содержанию учебной дисциплины, требованиям образовательной программы и образовательного стандарта;
3. оценка соответствия формы, содержания (значения, смысла) морфологических (слово, символ, знак) и синтаксических (выражения, обороты) единиц тестового задания форме и содержанию аналогичных единиц, использованных (используемых) при изложении данной учебной дисциплины;
4. сбор необходимой информации о качестве тестовых материалов для постановки целей и решения задач стандартизации баз тестовых материалов.
Применение системного подхода к оценке качества ТМ позволяет получать достоверную и комплексную информацию о качестве составляющих элементов; обеспечивать надежную проверку данных; дает возможность прогнозировать будущее состояние объекта; указывают средство воздействия, обеспечивающее желаемое изменение объекта [104, с.ЗЗ]. Кроме того, в применение системного подхода позволяет реализовать главное требование к системе экспертизы качества ТМ — комплексное оценивание качества ТМ. В последние десятилетия в рамках экспертологии была выявлена еще одна разновидность экспертизы — комплексная экспертиза, которая позволяет оценивать объекты, имеющие сложную структуру, что в свою очередь обеспечивает необходимую полноту знаний об объекте экспертизы посредством изучения и обобщения разнородной информации [34].
Система комплексной экспертизы качества тестовых материалов обладает следующими особенностями:
1. многокритериальное оценивание тестовых материалов и его компонентов (элементов);
2. совместная и многоаспектная деятельность специалистов в составе рабочей группы. Рабочая группа формируется из специалистов разного профиля: разработчики тестовых материалов, эксперты-предметники, тестологи, методисты, организаторы тестирования; 3. разделение функций и объектов исследования между специалистами рабочей группы в соответствии с их специальными знаниями;
4. формирование сбалансированной системы критериев и показателей качества тестовых материалов и определение их нормативных значений;
5. совместное обобщение результатов экспертизы, полученных на разных этапах проведения оценивания, формулирование итогового заключения и определение перечня мероприятий по дальнейшей доработке и корректировке тестовых материалов.
Рассматривая экспертизу качества ТМ как систему, можно выявить следующие ее ключевые свойства:
S целостности всех подсистем и компонентов, входящих в его структуру, обусловленных главной целью функционирования системы в целом;
S комплексности, которая обеспечивает многокритериальное оценивание качества на разных этапах экспертизы и позволяет учитывать взаимосвязь качественных и количественных показателей качества ТМ;
S иерархичности, то есть система состоит из взаимосвязанных подсистем, которые образуют иерархию; S функциональности взаимосвязанных подсистем: каждая подсистема, входящая в структуру системы в целом, обладает своими функциональными, пространственными, временными и ресурсными характеристиками;
S интегрированное— система экспертизы качества ТМ является подсистемой вышестоящего уровня — системы разработки ТМ. Таким образом, под комплексной экспертизой качества тестовых материалов понимается процесс системного исследования совокупности внутренних и внешних свойств тестовых материалов методами и приемами комплексного оценивания с целью получения интегрального показателя качества.
Организация и проведение мониторинга качества учебных достижений обучающихся I и II курса Томского политехнического университета
Согласно «Концепции модернизации российского образования на период до 2010 года» основной целью профессионального образования является «подготовка квалифицированного работника соответствующего уровня и профиля, конкурентоспособного на рынке труда, компетентного, ответственного, свободно владеющего профессией и ориентированного в смежных областях деятельности, способного к эффективной работе по специальной и профессиональной мобильности, удовлетворению потребностей личности в получении соответствующего образования» [79]. В этой связи с 2002 года Центром обеспечения качества образования Томского политехнического университета (далее ЦОКО ТПУ) проводится мониторинг качества результатов обучения. Под мониторингом качества образовательных достижений обучающихся понимается организованное, непрерывное изучение информации об учебных достижениях, выявление отклонений от заданных стандартом требований к качеству образования критериев, разработку коррекционных рекомендаций по минимизации отклонений и повышению качества образования [71]. При этом основной целью проведения мониторинговых мероприятий является сбор, обработка и предоставление объективной информации о результатах учебной деятельности ТПУ для оперативного управления качеством образования.
При начальном этапе внедрения мониторинга учебных достижений обучающихся в ТПУ были проведены следующие мероприятия:
1. разработаны кодификаторы по учебным дисциплинам;
2. определены основные темы для проведения тестирования студентов I и II курса по общим дисциплинам;
3. составлены спецификации тестов;
4. сформирована Рабочая группа, в которую вошли специалисты ЦОКО ТПУ и преподаватели кафедр;
5. сформирован Предварительный банк тестовых материалов;
6. разработана методика комплексной экспертизы качества ТМ;
7. разработана методика анализа и интерпретации результатов тестирования;
8. подготовлены инструкции для экспертов, организаторов и дежурных, составлены протоколы экспертной оценки и протоколы наблюдения за ходом тестирования;
9. разработана методика информационного обеспечения специалистов структурных и административных подразделений ТПУ, ведущих образовательный процесс.
Проведение мониторинговых исследований в ТПУ на первоначальном этапе было направлено на стандартизацию:
S процедур тестирования;
S сформированного банка ТМ;
S методик обработки и интерпретации результатов тестирования. Для организации и проведения текущего контроля качества обучения студентов I и II курса ТПУ была сформирована Рабочая группа, в состав которой вошли специалисты, прошедшие переподготовку и повышение квалификации на кафедре Педагогических измерений Института инженерной педагогики ТПУ по направлению дополнительной квалификации «Тестолог-специалист в области педагогических измерений». В результате был сформирован предварительный состав Рабочей группы в следующем количестве: 105 организаторов тестирования, 27 наблюдателей, 23 разработчика тестовых материалов, 34 эксперта качества тестовых материалов, 8 специалистов-тестологов, 1 программист и 1 системный администратор.
Для проведения тематического контроля уровня учебных достижений студентов I и II курса ТГГУ технических специальностей проводилось бланковое тестирование на информационной автоматизированной системе «АИС Экзамен». Система полностью автоматизирует процесс тестирования, начинающийся с планирования оценочных мероприятий, подготовки контрольно-измерительных материалов и заканчивающийся созданием архива, содержащим результаты тестирования и электронные копии оригинальных бланков ответов. Перед тестированием осуществляется автоматизированное распределение тестируемых по аудиториям и местам, а также автоматизированное распределение вариантов теста. После распределения распечатываются именные бланки ответов, в которых содержатся данные о студенте, автоматически впечатываемые в него из базы данных, поддерживаемой системой. В соответствии с регламентом АИС «Экзамен» перед началом тестирования проводилась организованная рассадка студентов на места, закрепленные за каждым студентом. Рассадку и контроль над тестированием осуществляли организаторы — специалисты факультетов и институтов ГПУ, прошедшие предварительный инструктаж в ЦОКО ТПУ. Тестирование проводилось в «поточных» аудиториях ТПУ в течение 90 минут без участия преподавателей.
