Содержание к диссертации
Введение
Глава 1. Проблемы педагогической диагностики
1.1. Методологические основы педагогических измерений 12
1.2. Тестовые технологии: состояние, проблемы, перспективы 18
1.3. Основы конструирования педагогических тестовых материалов 25
1.4. Особенности внедрения тестовых технологий в образовательный процесс 39
Выводы по первой главе 44
Глава 2. Научно-практические основы технологии разработки многовариантных тестовых заданий
2.1. Математическое моделирование фактора случайного угадывания в тестологии 45
2.2. Оценка вероятности выполнения многовариантных тестовых заданий на основании теории IRT. 52
2.3. Репрезентативность многовариантных тестовых заданий, специфика распределения их количества в тесте 58
2.4. Экспертиза качества тестовых материалов 65
Выводы по второй главе 73
Глава 3. Методика применения многовариантных тестовых заданий в учебном процессе
3.1. Модель технологии оценивания качества подготовки студентов вузов 74
3.2. Специфика конструирования многовариантных тестовых заданий...80
3.3. Математические модели для обработки результатов тестирования...85
3.4. Интерпретация результатов оценивания качества подготовки студентов вузов 95
Выводы по третьей главе 107
Заключение 108
Литература 112
Приложение 1. Терминологический словарь исследования 130
Приложение 2. Варианты педагогических тестовых материалов 135
Приложение 3. Анкеты для экспертизы тестовых заданий 153
- Методологические основы педагогических измерений
- Математическое моделирование фактора случайного угадывания в тестологии
- Модель технологии оценивания качества подготовки студентов вузов
Введение к работе
Социально-экономические преобразования, происходящие в нашем обществе, выдвигают новые требования к содержанию образования и качеству знаний обучающихся (учащихся, студентов). Проект новой реформы образования предусматривает системное реформирование его содержания и развитие Общероссийской системы оценки качества образования.
Проблему качества образования и его управления исследовали многие отечественные ученые: В.И. Байденко, И.А. Зимняя, Г.С. Ковалева, В.М. Полонский, Н.А. Селезнева, В.М. Соколов, А.И. Субетто и другие. Идеи и результаты этих исследований служат научно-методической базой для организации педагогического контроля в различных видах образовательных учреждений.
Путь к созданию системы оценки качества подготовки обучаемых многие исследователи видят в разработке теории научной организации педагогического контроля и использовании возможностей контрольно-измерительных материалов, в том числе, и педагогических тестовых материалов, разработанных на основе методов теории моделирования и параметризации педагогических тестов - теории IRT (Item Response Theory).
Проблематика тестирования достигла к настоящему времени в российском образовании критической остроты, особенно в связи с введением Единого Государственного экзамена, процедура проведения которого требует повышения объективности оценки, как знаний обучающихся, так и качества тестовых материалов.
Научные основы создания тестовых технологий - предмет исследований ряда отечественных ученых: B.C. Аванесова, В.П. Беспалько, А.Н. Майорова, Е.А. Михайлычева, Ю.М. Неймана, А.О. Татура, В.А. Хлебникова, М.Б. Че-лышковой и др., а также зарубежных ученых: А. Бирнбаума, К. Ингекампа, Г. Раша и других.
Многие исследователи отмечают, что объективность традиционных форм контроля имеет большую зависимость от множества внешних факторов, в силу чего их погрешность измерения иногда велика, а надежность измерения доста точно мала. Поэтому, более перспективной формой педагогического контроля качества подготовки обучающихся являются тесты, объективность которых зависит от правильной последовательности выполнения всех этапов технологии их конструирования и реализации.
В настоящее время в учебном процессе чаще используются «классические» тесты, включающие тестовые задания закрытого типа с выбором одного правильного ответа. В то же время, существуют и другие формы тестовых заданий: с выбором нескольких правильных ответов, на установление соответствия, правильной последовательности, открытого типа и др. (так называемые многовариантные тестовые задания), которые имеют ряд преимуществ: они уменьшают вероятность случайного выбора всех правильных ответов, позволяют сократить число тестовых заданий при диагностике того же объёма контролируемых знаний. Однако они не получили широкого распространения в учебном процессе ввиду недостаточной разработанности технологии их конструирования и оценивания получаемых при их использовании результатов тестирования.
Все это позволяет обозначить в педагогической теории и практике следующие противоречия:
• между потребностью в объективном оценивании качества подготовки обучающихся и отсутствием соответствующего валидного и надежного педагогического инструментария;
• между необходимостью введения в практику образовательных учреждений тестов, характеризующихся низкой вероятностью случайного выбора правильного ответа, обладающих большей эффективностью, объективностью, диагностирующими возможностями и недостаточной разработанностью технологии их создания и оценки.
В контексте изложенного проблема исследования может быть сформулирована следующим образом: как повысить эффективность и объективность оценивания качества подготовки студентов вузов, используя педагогические тестовые материалы? Недостаточная теоретическая разработанность проблемы, ее практическая значимость и актуальность обусловили выбор темы диссертационного исследования: «Технология оценивания качества подготовки студентов вузов на основе многовариантных тестовых заданий».
Цель исследования: теоретически обосновать и разработать технологию оценивания качества подготовки студентов вузов с помощью многовариантных тестовых заданий и опытно-экспериментальным путем проверить эффективность её реализации.
Объект исследования: педагогический контроль качества подготовки обучающихся.
Предмет исследования: тестовая технология оценивания качества подготовки студентов вузов на основе многовариантных заданий.
Ключевые понятия исследования:
• качество подготовки — уровень усвоения знаний, умений, навыков, определяемый в соответствии с нормативными требованиями (ГОС, ЕГЭ и др.) в зависимости от категории обучающихся, типа образовательного учреждения и специфики учебного предмета;
• классические тестовые задания закрытой формы - задания с выбором одного правильного ответа;
• многовариантные тестовые задания (закрытой или открытой формы, на установление соответствия, правильной последовательности и др.) — задания с выбором нескольких правильных ответов.
Гипотеза исследования заключается в том, что оценивание качества подготовки студентов вузов на основе технологии с использованием многовариантных тестовых заданий будет более объективно и эффективно, если:
• научно обоснована и разработана модель технологии оценивания качества подготовки;
• учтены следующие характеристики и их особенности: возможность учета неполного
ответа, увеличение разрешающей способности тестов, уменьшение вероятности угадывания полного правильного ответа, возможность одновременной диагностики нескольких видов знаний;
• при обработке результатов тестирования учитывать коэффициент и ло гит полноты ответа при оценке уровня знаний студентов.
В соответствии с целью, объектом, предметом и гипотезой исследования предполагается решить следующие задачи .
1) провести теоретическое исследование существующих тестовых методик педагогического контроля;
2) разработать педагогическую технологию оценивания качества подготовки студентов вузов с использованием многовариантных тестовых заданий;
3) обосновать и разработать методику обработки данных тестирования с использованием многовариантных тестовых заданий;
4) провести сравнительный анализ результатов диагностики качества подготовки студентов вузов на основе различных видов тестовых заданий;
5) разработать комплект тестов, включающих многовариантные тестоьые задания для оценивания качества подготовки студентов вузов.
Методологическая основа исследования базируется на положениях общей и частно-научной методологии; идеях гуманизации образования; принциг пах системного подхода; концепции квалиметрического подхода к педагогическим измерениям; принципах и методологии научного педагогического исследования.
Теоретическую основу исследования составляют:
• концепции учебных знаний обучающихся (В.И. Гинецинский, А.А. Зиновьев, Л.Я. Зорина, И.Я. Лернер, Н.Ф. Талызина, Л.Т. Турбович, Б. Блум, Р. Гагн, Дж. Гилфорд, Г.Д. Бухарова, Н.Н. Тулькибаева и др.);
• теоретические основы педагогической квалиметрии (А.С. Казаринов, В.П. Мизинцев, А.А. Мирошниченко, В.И. Михеев, В.П. Панасюк, А.И. Субет то, B.C. Черепанов, О.Ф. Шихова. и др.); • научные основы педагогической тестологии (B.C. Аванесов, А. Бирнба-ум, К. Ингемкамп, В.А. Исаев, А.Н. Майоров, Е.А. Михайлычев, Ю.М. Нейман, Г. Раш, В.М. Соколов, Т.А. Снигирева, В.А. Хлебников, М.Б. Челышкова и др.);
• концепции педагогических технологий (О.В. Долженко, В.П. Беспалько, З.Д. Жуковская, М.В. Кларин, Г.П. Корнев, Т.В. Машарова, Ю.К. Чернова, М.А. Чошанов, Н.Е. Эрганова и др.).
Для решения поставленных задач применялись следующие методы исследования:
• теоретический анализ и синтез при изучении литературных источников, обосновании и разработке технологии оценивания качества подготовки обучаемых;
• теоретические методы (классификация, аналогия и системный анализ);
• эмпирические методы (анкетирование, наблюдение, тестирование);
• метод групповых экспертных оценок;
• статистические методы обработки результатов педагогического эксперимента.
Организация, база и этапы исследования. Опытно-экспериментальная работа осуществлялась в Ижевской государственной медицинской академии и ряде образовательных учреждений Удмуртской Республики.
На первом этапе (2001 - 2002г.г.) (подготовительном) - основной задачей являлось изучение исследований по разработке и применению педагогических тестовых материалов в учебном процессе, проводился анализ проблем оценивания качества подготовки студентов в Ижевской государственной медицинской академии и ряде образовательных учреждений Удмуртской Республики. В результате были сформулированы проблема и гипотеза исследования.
На втором этапе (2002 - 2004г.г.) (исследовательском) - разрабатывались технология оценивания качества подготовки студентов вузов с использованием многовариантных тестовых заданий и методика обработки результатов тестирования. На третьем этапе (2004 - 2008г.г.) {опытно — экспериментальном) -происходила апробация педагогических тестовых материалов, включающих многовариантные тестовые задания для оценивания качества подготовки студентов первого курса по физике в Ижевской государственной медицинской академии, а также проводился статистический анализ и обобщение результатов исследования.
Научная новизна исследования заключается в следующем:
• разработана педагогическая технология оценивания качества подготовки студентов вузов с использованием многовариантных тестовых заданий, позволяющая более объективно диагностировать уровень усвоения знаний;
• предложены дополнительные параметры для оценки качества подготовки обучающихся (для уровня знаний и уровня трудности заданий с учетом неполноты ответа; коэффициент и логит полноты ответа);
• выявлены факторы, определяющие преимущества применения многовариантных тестовых заданий (повышение объективности, эффективности, технологичности), предложены приемы целенаправленного управления этими факторами.
Теоретическая значимость исследования состоит в том, что:
• в категориальный аппарат педагогической тестологии введены понятия: «многовариантные тестовые задания», «коэффициент полноты ответа», «логит полноты знаний» обучающихся;
• обосновано повышение эффективности педагогических тестовых материалов, включающих многовариантные тестовые задания за счет возможности диагностирования нескольких видов знаний;
• доказано повышение объективности использования в тестовых технологиях многовариантных тестовых заданий (учет долей правильных, неправильных и неполных ответов в каждом тестовом задании);
• выявлена необходимость дифференцированного оценивания результатов тестирования с использованием многовариантных тестовых заданий (с применением и без применения формулы коррекции на угадывание правильного ответа) в зависимости от целей.
Практическая значимость исследования заключается в следующем:
• создана педагогическая технология оценивания качества подготовки студентов вузов с использованием многовариантных тестовых заданий, которая применяется в учебном процессе ряда образовательных учреждений Удмуртской Республики;
• разработана и обоснована методика статистической обработки результатов тестирования на основе многовариантных, тестовых заданий, позволяющая повысить объективность оценивания качества подготовки обучающихся;
• предложена формула коррекции на угадывание правильного ответа при использовании многовариантных тестовых заданий;
• разработаны: учебно-методическое пособие «Характеристики и особенности многовариантных тестовых заданий» и дидактические материалы для реализации предложенной технологии в различных типах образовательных учреждений, в том числе комплект педагогических тестов, включающий многовариантные тестовые задания различной формы (около 500 заданий).
Результаты исследования нашли отражение в серии статей, тезисах и материалах конференций, методических разработках.
Основные положения, выносимые на защиту:
1. Использование многовариантных тестовых заданий уменьшает вероятность угадывания полного правильного ответа, позволяет одновременно диагностировать нескольких видов знаний, увеличивает разрешающую способность тестов, повышает объективность и эффективность оценивания качества подготовки студентов вузов.
2. Педагогическая технология оценивания качества подготовки обучающихся на основе многовариантных тестовых заданий должна разрабатываться методом групповых экспертных оценок на базе модели, включающей блоки:
1) целеполагания (определение целей диагностики, нормативных требований, учет категории обучаемых); 2) формирующий (создание банка тестовых зада ний и их экспертизу); 3) контрольно-оценочный (оценка качества подготовки и определение рейтинга обучающихся).
3. Статистическая обработка результатов тестирования, полученных с помощью многовариантных тестовых заданий, должна включать определение: коэффициента полноты ответа; логита полноты ответа с учетом долей правильных, неправильных и неполных ответов в каждом тестовом задании, что позволяет обеспечить более высокую разрешающую способность, надежность и ва лидность тестов.
4. Комплекты многовариантных тестовых материалов, разработанных методом групповых экспертных оценок, позволяют провести объективное оценивание качества подготовки студентов вузов.
Достоверность и обоснованность полученных результатов обеспечена непротиворечивыми исходными методологическими позициями, комплексным подходом к оцениванию качества подготовленности обучающихся, совокупностью методов теоретического и эмпирического исследования, их адекватностью цели и задачам исследования, разносторонним качественным и количественным анализом собранного фактологического материала, многолетней апробацией идей в образовательных учреждениях различных типов.
Апробация работы и внедрение результатов исследования.
Диссертационное исследование выполнено в рамках научно-исследовательской программы «Образование в Уральском регионе: научные основы развития и инновации» в соответствии с планом важнейших НИР Уральского отделения РАО на 2006 - 2010 г.г. (разд. 3, п. 3.21 «Разработка теоретических основ и квалитативной технологии формирования и диагностики структуры знаний обучаемых»).
Материалы исследования были представлены на XI Всероссийском симпозиуме «Квалиметрия в образовании: методология, методика, практика» (Москва, 2006 г.), международной научно-методической конференции (Ижевск, 2005 г), IV Всероссийской конференции «Развитие тестовых технологий в России» (Москва, 2002 г.), региональных научно-практических конференциях «Традиции и инновации в образовании» (Ижевск, 2005 г.), «Инновации в профессиональном и технологическом образовании: квалиметрия, деонтология, тестология» (Ижевск, 2007 г.).
Основные положения и результаты исследования обсуждались на кафедре профессиональной педагогики Ижевского государственного технического университета и на семинарах Института повышения квалификации и переподготовки работников образования Удмуртской Республики.
Структура и объем диссертации.
Работа состоит из введения, трёх глав, заключения, библиографии, приложений. Общий объем текста - 156 страниц. Работа иллюстрирована рисунками, диаграммами, графиками, таблицами, формулами. Список используемой литературы включает 169 наименование, из них 21 - работы зарубежных авторов.
Методологические основы педагогических измерений
Измерение - совокупность действий, выполняемых при помощи средств измерений с целью нахождения числового значения измеряемой величины в принятых единицах измерения. Различают прямые и косвенные измерения [17, с. 47].
Педагогическое измерение - это процесс установления соответствия между оцениваемыми характеристиками обучаемых и точками эмпирической шкалы, в которой отношения между различными оценками характеристик выражены свойствами числового ряда [149, с. 63]. Педагогическое измерение представляет собой процесс количественного сопоставления изучаемого свойства личности с некоторым эталоном, принимаемым за единицу измерения. Из этого определения следует, что основная цель измерения в педагогике - это получение численных эквивалентов проявления интересующего признака. Получаемые при измерении числа позволяют глубже проникнуть в суть изучаемых явлений. При педагогическом измерении свойство фиксируется в виде содержания понятия, например, знание учебной дисциплины. Предметом педагогических измерений часто бывает подготовленность испытуемых, которая представляет собой единство знаний, умений, навыков, представлений. К подготовленности можно отнести и используемое в настоящее время понятие «компетентность». В качестве единицы измерения выступает тестовое задание, объектом оценки выступают обучаемые, предметом подготовленность испытуемых, а результатом измерения - шкала баллов тестируемых.
Педагогическое измерение начинается с концептуализации. Вначале делаются предположения относительно предмета измерения. Например, что такое знания учащихся или студентов, из чего они состоят, можно ли найти показатели наличия или отсутствия знаний, каковы эти показатели, хорошо ли они указывают на меру знаний? После того как решен вопрос о предмете измерения, далее проводится операционализация понятия, т.е. понятию придается удобная для решения практической задачи форма. При этом выделяют набор эмпирических индикаторов которыми могут быть задания теста. В зависимости от количества правильно выполненных заданий обучающемуся присваивается определенное место на шкале. При этом локализация места расположения результата тестируемого на шкале зависит, как показывает анализ литературы [4, 6, 148, 149], в основном, от соотношения между величиной его истинного знания и трудностью задания. Если балл у ученика высок, а задание - легкое, то ученик, как правило, справляется с ним. В противном случае, тестируемый, скорее всего, не справится с заданием. Следует отметить, что невозможно точно предугадать конечный результат, можно говорить лишь о некоторой вероятности успеха.
Как отмечает B.C. Аванесов [6] исторически сложилась традиция рассмотрения любого измерения вместе с вопросами оценки допускаемых при этом ошибок или погрешностей. Существует постулат о неизбежной погрешности любого измерения, как бы тщательно они не проводились. Это приводит к другому исходному положению теории измерений - тезису о невозможности знания абсолютного значения измеряемой величины.
Постулат и тезис объясняют - почему проблему качества педагогического измерения стали рассматривать в тесной связи с вопросами оценки погрешностей.
Вероятностный характер наблюдаемых результатов выполнения теста вызван влиянием различных факторов, приводящих к возникновению ошибок измерения. Среди этих факторов выделяют случайные и систематические. К случайным факторам можно отнести настроение испытуемого, поведение экзаменатора, обстановку при тестировании и др. Систематические ошибки возникают из-за неудачного выбора подхода к созданию теста, применения малоэффективной технологии при его разработке и обработке данных тестирования, некачественной интерпретации результатов.
Математическое моделирование фактора случайного угадывания в тестологии
При обработке результатов тестирования важно оценить вероятность случайного выбора учеником правильного ответа в зависимости от вида тестового задания. Чаще при подсчете результатов выполнения заданий тестируемыми выбирают дихотомическую оценку знаний. За правильно выполненное задание тестируемый получает один балл, а за неправильное - ноль. Если тест состоит из заданий с двумя ответами, то индивидуальные баллы, подсчитанные как сумма правильных ответов, будут существенно искажены эффектом случайного угадывания. Коррекция на угадывание для заданий с двумя ответами в этом случае может осуществляться нахождением разности между числом правильно и неправильно выполненных им заданий. Так, если число тестовых заданий составило 30, а тестируемый ответил верно на 20 из них, то скорректированный балл будет 20-10=10. Для тех, кто выполнит половину заданий теста, скорректированный балл составит 15-15=0. Из приведенного примера видно, что балл «сильного» ученика не сильно уменьшился после коррекции (на 10 единиц), а у «слабого» - значительно, т.к. половину ответов он мог угадать. Для теста из заданий с двумя ответами формула коррекции индивидуальных баллов может быть записана в виде (131, с. 123)
где / - номер тестируемого; Х\ - скорректированный балл /-го испытуемого; X, — тестовый балл до коррекции; W, — число неправильно выполненных или пропущенных заданий теста.
Недостаток данной формулы связан с тем, что в основу её построения положен ряд предположений, не согласующихся с практикой выполнения теста. Так, например, далеко не всегда неправильные ответы являются следствием случайного угадывания. Часто данная ситуация возникает из-за ошибочного выполнения задания теста. Угадыванием можно пренебречь, если тест состоит из большого числа заданий (что приводит к трудоемкости его создания, а также утомляемости тестируемых). Второй путь - увеличение числа ответов в тестовом задании. Например, до трёх.
Модель технологии оценивания качества подготовки студентов вузов
Одно из основных направлений образовательной политики России связано с повышением качества образования, с поиском надежных средств, методов и технологий оценки качества учебных достижений, уровня обученности учащихся и студентов. Это предполагает разработку новых эффективных и объзк-тивных моделей, форм, методов и средств повышения качества педагогических технологий.
Педагогическая технология - наука о мастерстве обучения. Слово «технология» происходит от греческих слов: techne — искусство, мастерство; logos — наука, закон.
Под педагогической технологией понимается направление, которое ставит целью повысить эффективность образовательного процесса, гарантировать достижения учащимися запланированных результатов обучения.
Педагогическая технология - воспроизводимый способ организации учебного процесса с чёткой ориентацией на диагностически задаваемую цель [58, с. 16]. Главными признаками педагогической технологии является: 1) диагностичность описания цели;
2) воспроизводимость диагностического процесса;
3) воспроизводимость педагогических результатов.
В.П. Беспалько глубинный смысл педагогической технологии видит:
1) в отходе от экспромтов и перехода к предварительному проектированию;
2) разработке структуры и содержания учебно-познавательной деятельности самого учащегося;
3) в диагностическом целеобразовании и объективном контроле качества усвоения учащегося учебного материала;
4) в реализации принципа целостности структуры и содержательности компонентов учебно-воспитательного процесса [15, с. 69-70].
Ю. К. Чернова [140] выделяет наиболее существенные признаки, присущие педагогической технологии:
- диагностичность целеобразования;
- результативность;
- экономичность;
- проектируемость;
- целостность;
- управляемость.
Цель педагогической технологии - повысить эффективность образовательного процесса, гарантировать достижения учащимися запланированных результатов обучения, поэтому педагогическая технология конструирования многовариантных тестовых заданий должна быть целенаправленна и научно обоснована.
Для оптимальной разработки технологии необходима выработка системной концепции. Концепция - это система взглядов на что-либо или основная мысль, которая применяется при трактовке или интерпретации какого-либо многогранного явления или предмета на современном этапе развития знаний о нем. Как показывает анализ работ [1, 28, 33, 58, 127, 134] в педагогической науке в настоящее время создана достаточно полная общая концепция диагностики знаний, умений и способностей обучаемых. Дальнейшее развитие общая концепция должна найти в разработке новых технологий контроля, в том числе с использованием многовариантных тестовых заданий.
