Содержание к диссертации
Введение
Глава 1. Теоретические основы адаптивного тестирования в контроле учебных достижений студентов при дистанционном обучении 18
1.1. Особенности дистанционного обучение в условиях вуза 18
1.2. Контроль учебных достижений студентов в дистанционном обучении и показатели его эффективности 30
1.3. Теоретические основы адаптивного тестирования, принципы и условия его организации в дистанционном режиме 46
1.4. Стратегии и алгоритмы адаптивного тестирования в условиях дистанционного обучения 61
Выводы 73
Глава 2. Эмпирическое исследование влияния адаптивного тестирования на эффективность контроля учебных достижений студентов в дистанционном обучении 75
2.1. Обеспечение надежности и валидности результатов адаптивного тестирования 75
2.2. Методика шкалирования результатов адаптивного тестирования в дистанционном обучении 85
2.3. Опытно-экспериментальная работа по реализации адаптивного тестирования и анализ эффективности контроля учебных достижений в дистанционном обучении 89
Выводы 103
Заключение 105
Литература 108
Приложения 128
- Контроль учебных достижений студентов в дистанционном обучении и показатели его эффективности
- Теоретические основы адаптивного тестирования, принципы и условия его организации в дистанционном режиме
- Методика шкалирования результатов адаптивного тестирования в дистанционном обучении
- Опытно-экспериментальная работа по реализации адаптивного тестирования и анализ эффективности контроля учебных достижений в дистанционном обучении
Введение к работе
Актуальность исследования. Концепция долгосрочного социально-экономического развития Российской Федерации на период до 2020 года ставит перед системой образования стратегическую цель – повышение доступности качественного образования, развитие его до уровня, соответствующего требованиям инновационного развития экономики, современным потребностям общества и каждого гражданина. Достижение указанной цели происходит через модернизацию институтов системы образования, выступающих одновременно инструментом социального развития общества, через социализацию всех пользователей системы образования, в том числе лиц с ограниченными возможностями здоровья, а также через подготовку и переподготовку профессиональных кадров. В соответствии с государственными целями и социальным заказом на подготовку специалистов и концепцией «образование в течение всей жизни» необходимо учитывать региональные, этнокультурные и территориальные особенности России, требующие активного развития и применения дистанционных технологий в образовании. Кроме этого, федеральные государственные образовательные стандарты высшего профессионального образования предусматривают значительное количество часов на самостоятельную работу обучающихся, что приводит к необходимости использования дистанционных технологий и актуализирует проблему контроля учебных достижений студентов в новых условиях обучения.
Система контроля, являющаяся важным компонентом любой технологии обучения, в условиях дистанционного обучения (далее – ДО) требует значительного обновления и развития таких способов и средств оценивания учебных достижений студентов, которые бы обеспечивали объективной и сопоставимой информацией всех участников учебного процесса. Характерными примерами применения инновационных подходов к организации контроля и получения оценки в системе среднего образования является Единый государственный экзамен, в сфере профессионального образования – Федеральный интернет–экзамен, а в сфере профессионального отбора – оценочные центры кадровых служб, недостаточно развитые в России, но получившие значительное распространение в других странах мира. Требования сопоставимости, прогностичности и четкого описания процедур и критериев оценки созвучны с основными положениями Болонской декларации, поскольку способствуют обеспечению гарантий качества высшего образования и объективности контрольно-оценочного процесса.
Научные проблемы и перспективы развития дистанционного обучения, электронного обучения, а также применение информационно-коммуникационных технологий в образовании рассматриваются в работах отечественных исследователей (А.А. Андреев, А.Л. Гавриков, В.С. Гершунский, Т.В. Громова, А.Н. Грюнцев, В.Г. Домрачеев, А.Д. Иванников, Ю.И. Капустин, В.Н. Кашицин, А.О. Кривошеев, М.А. Лукашенко, И.В. Моисеева, Л.Ю. Монахова, Е.С. Полат, А.Н. Тихонов, А.В. Хуторской, В.Д. Шадриков и др.) и зарубежных ученых (Rey Thomas, Mikhael Muchnic, Peter Knight, Takeshi Utsumi, Alan Chute и др.). В исследованиях А.А. Андреева, С.М. Косенка, Е.Б. Сергиенко, В.И. Солдаткина, А.В. Соловова, В.А. Трайнева, В.П. Тихомирова, С.А. Щенникова и других ученых разработаны теоретические и методологические основы дистанционного обучения, рассмотрены формы его организации, определены роль и место дистанционного обучения в системе непрерывного образования. В ряде работ описывается опыт дистанционного обучения по отдельной дисциплине (Ю.П. Господарик, А.А. Журин, Д.В. Новенко, Е.С. Полат и др.) либо процесс обучения в специфических условиях (А.В. Батаршев, В.О. Мигунов).
Проведенный анализ результатов научных исследований и публикаций показал, что наряду с развернутым рассмотрением технологических аспектов ДО (Е.И. Горюшкин, В.В. Гриншкун, А.В. Репьев и др.) не достаточно проработанными остаются вопросы контроля и оценивания учебных достижений и связанные с этим процессы, осуществляемые в дистанционном режиме. Решение организационно-педагогических задач, в состав которых входят теоретические, дидактические и технологические вопросы, позволит повысить эффективность контроля учебных достижений студентов в дистанционном обучении. Эффективность педагогического контроля в условиях дистанционного обучения предполагает получение высоко надежных и валидных результатов оценивания с опорой на теорию педагогических измерений и оперативную обратную связь «обучающийся – педагог», а также достижение экономической и технологической целесообразности.
Характерной чертой ДО является применение информационно-коммуникационных технологий. В этой связи в педагогическом контроле на первое место выходят количественные методы измерений, позволяющие принимать оперативные решения и корректирующие воздействия. На количественном уровне измерений, прежде всего, выделяют тестирование в компьютерном формате. К настоящему времени по вопросам компьютерного тестирования проведены многоплановые исследования, имеется большое число публикаций, разработаны программно-инструментальные средства для генерации и предъявления тестов (А.О. Кривошеев, В.И. Нардюжев, А.А. Чумаков и др.).
Анализ возможностей традиционного тестирования с фиксированным числом заданий и временем на их выполнение, применяемого в дистанционном обучении как основной метод контроля, позволяет сделать вывод о необходимости обращения к адаптивному тестированию. Адаптивное тестирование позволяет повысить эффективность контрольно-оценочных процедур за счет индивидуализации процедуры тестирования и предъявления студенту таких заданий, которые ему посильны для выполнения, что, в свою очередь, приводит к точности измерения, минимизации числа заданий и времени на контроль.
Теоретические основы педагогического контроля освещены в трудах Ш.А. Амонашвили, Б.Г. Ананьева, Ю.Г. Бабанского, В.П. Беспалько, В.И. Гинецинского, З.Д. Жуковской, И.И. Легостаева, В.И. Михеева, Е.Г. Перовского, В.М. Полонского, Н.Ф. Талызиной и др.
Проблемы теории и методики педагогических измерений представлены в работах В.С. Аванесова, А. Анастази, Т.М. Балыхиной, В.А. Болотова, В.И. Звонникова, Н.Ф. Ефремовой, В.М. Кадневского, Л.В. Караваевой, Т.И. Корчинской, И.С. Мадай, А.Н. Майорова, А.С. Масленникова, Б.У. Родионова, Т.А. Снегиревой, А.О. Татура, М.Б. Челышковой и др.; положения современной теорией тестов (Item Response Theory) и ее параметрические методы освещены в исследованиях Е.Ю. Кардановой, В.Г. Наводнова, Н.Н. Найденовой, Ю.М. Неймана, В.Ю. Переверзева, R. Hambelton, F. Lord, D. Weiss, W. J. van der Linden и др.
В контексте описываемых проблем эффективным методом контроля на количественном уровне измерений является компьютерное адаптивное тестирование (Г.В. Абрамян, С.С. Волкова, А.С. Границкая, В.И. Звонников, Т.Д. Краснова, В.О. Мигунов, В.И. Нардюжев, Т.Н. Тягунова, М.Б. Челышкова, А.Г. Шмелев, В.А. Шухардина и др.), научным базисом которого является современная теория тестов – Items Response Theory. Вопросы адаптивного тестирования привлекали внимание зарубежных ученых и с начала 90-х годов XX века оно получило за рубежом широкое признание в сфере практики (H.H. Chang, J.J. Fremer, C.A. Glass, R. Hambleton, G. Kingsbury, J. M. Linacre, F. Lord, C. Mills, R.J. Mislevy, M. Potenza, M. D. Reckase, L. Rudner, J. Spray, R. Swets, D. Thissen, W. J. van der Linden, Н. Wainer, W.C. Ward, D. Weiss, T. Yao и др.).
Изучение научно-педагогической литературы и современного состояния контрольно-оценочной системы в дистанционном обучении показало, что основные усилия по решению проблем контроля и оценки учебных достижений в ДО направлены на развитие информационного и материально-технического обеспечения, но недостаточно проработанным остается спектр теоретических, дидактических и методических задач. Таким образом, возник ряд объективных противоречий между:
нарастающей потребностью в повышении качества профессиональной подготовки специалистов и ограниченными возможностями сложившейся системы педагогического контроля, рассматриваемого как инструмент отслеживания этого качества;
насущной необходимостью развития и совершенствования дистанционного обучения в системе профессионального образования и недостаточной проработанностью вопросов теоретического, дидактического и методического обеспечения контроля учебных достижений студентов в условиях дистанционного обучения;
необходимостью совершенствования контрольно-оценочных процедур, повышения их эффективности в условиях дистанционного обучения и невозможностью достижения этой цели традиционными методами и средствами, в том числе традиционным тестированием, что заставляет обращаться к адаптивному тестированию;
необходимостью актуализации методов самоконтроля и самооценки в дистанционном обучении и ограниченными возможностями существующих форм, средств и способов, не обеспечивающих реализацию указанных методов.
Данные противоречия определили проблему исследования, заключающуюся в разработке теоретического, дидактического и методического обеспечения адаптивного тестирования для его проведения в условиях высокой эффективности контрольно-оценочных процедур в дистанционном обучении, реализуемом в системе профессиональной подготовки студентов.
Актуальность и важность рассматриваемой проблемы, ее недостаточная теоретическая и методическая проработанность в области дистанционного обучения послужили основанием для определения темы диссертационного исследования: «Адаптивное тестирование учебных достижений студентов в дистанционном обучении».
Цель исследования – теоретико-методическое обоснование и экспериментальная проверка адаптивного тестирования как метода эффективного контроля учебных достижений студентов в дистанционном обучении.
Объект исследования – контроль учебных достижений студентов в дистанционном обучении.
Предмет исследования – адаптивное тестирование как метод контроля учебных достижений студентов в дистанционном обучении.
Гипотеза исследования – адаптивное тестирование обеспечит эффективность контроля учебных достижений студентов в дистанционном обучении, если:
его научные основы опираются на педагогические теории личностно-ориентированного и развивающего обучения, теорию деятельностного подхода и теорию педагогических измерений;
при его осуществлении выполняется комплекс педагогических условий: систематичность контроля, интерактивность, высокий дифференцирующий эффект, индивидуализация за счет отбора контрольных заданий, соответствующих по трудности зоне актуального развития каждого контролируемого обучаемого; а также совокупность технологических условий: разработана программно-инструментальная среда для использования и реализации адаптивных стратегий и алгоритмов в процессе контроля, обеспечивающих высокую надежность, валидность и сопоставимость оценок; наличие банка калиброванных тестовых заданий с устойчивыми характеристиками их параметров; готовность преподавателей к созданию тестовых заданий и их реализации;
на основе теории педагогических измерений и современной теории тестов реализуется взаимосвязанная совокупность методик, стратегий и алгоритмов моделирования теста, учитывающая трудность и дифференцирующую способность задания, обеспечивающая выполнение правил остановки адаптивного тестирования в условиях высокой надежности, валидности и сопоставимости оценок.
Для достижения цели и проверки гипотезы поставлены следующие задачи исследования:
Проанализировать состояние проблемы контроля учебных достижений студентов в дистанционном обучении как одной из современных форм в системе профессионального образования и определить показатели его эффективности.
Рассмотреть теоретические основы адаптивного тестирования с позиции эффективности контроля учебных достижений студентов в дистанционном обучении.
Установить и обосновать совокупность педагогических и технологических условий, обеспечивающих функционирование адаптивного тестирования, и оценить эффективность контроля учебных достижений в дистанционном обучении с помощью выделенных показателей.
Разработать и экспериментально апробировать программно-инструментальную среду и методики моделирования адаптивного тестирования, обеспечения надежности и валидности его результатов, их шкалирования с учетом выделенных педагогических и технологических условий.
Методологическая и теоретическая основы исследования определяются поставленными целями и задачами и базируются на:
– методологии и принципах педагогического исследования и педагогического контроля (С.И. Архангельский, Ю.К. Бабанский, В.П. Беспалько, П.Я. Гальперин, В.И. Загвязинский, К. Ингенкамп, М.В. Кларин, В.В. Краевский, И.Я. Лернер, В.И. Михеев, В.М. Полонский, М.Н. Скаткин, Н.Ф. Талызина и др.);
– концепции личностно ориентированного и развивающего обучения, теории деятельностного подхода (Е.В. Бондаревская, Л.С. Выготский, В.И. Загвязинский, И.А. Зимняя, Н.В. Кузьмина, А.Н. Леонтьев, А.В. Петровский, С.Л. Рубинштейн, В.В. Сериков, И.С. Якиманская и др.);
– психолого-педагогических теориях, раскрывающих принципы и методы диагностики индивидуальных склонностей, способностей и возможностей учащихся (Б.Г. Ананьев, С.С. Волкова, Л.С. Выготский, В.Н. Дружинин, Л.В. Занков, А.А. Кузнецов, Л.Н. Ланда, Т.В. Машарова, И.Э. Унт, М.А. Холодная, И.С. Якиманская и др.);
– классической и современной теории тестов (В.С. Аванесов, Дж. Алгина, А. Анастази, Т.М. Балыхина, Н.Ф. Ефремова, В.И. Звонников, Г.С. Ковалева, Л. Крокер, В.Ю. Переверзев, Н.Н. Нохрина, Н.А. Сеногноева, А.О. Татур, М.Б. Челышкова, А.Г. Шмелев и др.);
– теории дистанционного обучения, обучения взрослых и исследованиях в области информатизации образовательного процесса (А.Х. Ардеев, А.А. Андреев, А.Л. Гавриков, А.Д. Иванников, В.Г. Кинелев, М.В. Литвиненко, М.В. Моисеева, В.И. Овсянников, О.П. Околелов, В.И. Солдаткин, Е.С. Полат, А.В. Хуторской, Р.М. Шерайзина, С.А. Щенников, М.Г. Мур, Дж. Кирсли, Дж. Стефенсон и др.);
– психолого-педагогических аспектах дистанционного обучения (Е.И. Машбиц, О.К. Тихомиров, Э.Г. Скибицкий, Л.И. Холина, Н.В. Мараховская, А.И. Пилипенко и др.),
– положениях о самостоятельной работе (П.И. Пидкасистый, Ш.З. Валиев, В.Н. Стариков и др.) и построении системы профессиональной подготовки и непрерывного образования (А.А. Вербицкий, С.Г. Вершловский, А.Е. Марон, Л.Ю. Монахова, В.Г. Онушкин, Г.А. Федотова, Р.М. Шерайзина и др.);
– работах, связанных с проведением педагогического эксперимента (Ю.К. Бабанский, Дж. Гласс, М.И. Грабарь, В.И. Загвязинский, К.А. Краснянская, В.И. Михеев, А.И. Пискунов, Дж. Стенли и др.);
– теории адаптивного тестирования (В.Д. Ван-дер-Линден, Х. Вэйнер, Д. Вейсс, С.С. Волкова, А. Зара, В.И. Звонников, Г. Кингбури, Ф.М. Лорд, В.И. Нардюжев, М. Рекэйс, Л. Руднер, Дж. Спрей, М.Б. Челышкова, В.А. Шухардина, Р.К. Хэмблетон, Т. Яо и др.)
Для решения поставленных задач были использованы следующие методы исследования: теоретические – анализ психолого-педагогической литературы в аспекте изучаемой проблемы; анализ педагогического опыта; систематизация и моделирование; эмпирические – констатирующий эксперимент, включенное наблюдение, беседы, анкетирование, тестирование, математико-статистические методы обработки результатов эксперимента.
Этапы исследования. Исследование проводилось с 2005 по 2011 гг. и состояло из нескольких взаимосвязанных этапов.
На первом (теоретико-поисковом) этапе (2005 – 2006 гг.) осуществлялись теоретический анализ проблемы педагогического контроля при дистанционном обучении, осмысление и определение темы, изучалась научная и учебно-методическая литература, накапливался практический опыт, определялись методологический и методический подходы к проблеме. Анализировались основные положения современной теории тестов – Items Response Theory, проводились содержательный отбор и предъявление студентам тестовых заданий, математическая обработка результатов тестирования.
На втором (экспериментально-аналитическом) этапе (2006 – 2009 гг.) осуществлялась экспериментальная работа, на основании которой проводился анализ эффективности адаптивного тестирования.
На третьем этапе (2010 – 2011 гг.) анализировались и обобщались результаты исследования, осуществлялась их содержательная интерпретация и проверка методами математической статистики эффективности применения адаптивного тестирования учебных достижений в дистанционном обучении через выделенные показатели, литературная обработка диссертационного материала.
База исследования: ФГБОУ ВПО «Ивановский государственный химико-технологический университет» (ИГХТУ), Центр тестирования ИГХТУ, ФГБОУ ВПО «Ивановский государственный университет» (ИвГУ).
Научная новизна исследования состоит в том, что:
определены и дополнены аспекты контроля учебных достижений студентов в дистанционном обучении в части повышения его эффективности путем перехода к адаптивному тестированию, позволяющему получать надежные и валидные результаты при минимизации ошибки измерения, числа заданий и времени на их выполнение для каждого студента;
установлены и обоснованы педагогические (индивидуализация, дифференциация, интерактивность, систематичность) и технологические (банк калиброванных заданий, программно-инструментальная среда, готовность преподавателей) условия, обеспечивающие эффективность контроля учебных достижений студентов в дистанционном обучении при использовании адаптивного тестирования;
определены показатели эффективности контроля учебных достижений студентов в дистанционном обучении, в качестве которых выступают точность измерения, длина адаптивных тестов и время тестирования;
разработана совокупность взаимосвязанных методик реализации адаптивного тестирования в условиях дистанционного обучения, включающая в себя: стратегии и алгоритмы моделирования теста в адаптивном режиме, которые учитывают трудность и дифференцирующую способность задания; обеспечение объективных, сопоставимых и релевантных содержанию обучения результатов тестирования, их шкалирование и представление в удобном для анализа и интерпретации виде.
Теоретическая значимость исследования определяется тем, что:
Расширен и дополнен понятийно-категориальный аппарат, учитывающий специфику контроля в дистанционном обучении. В частности, конкретизировано понятие «эффективность контроля учебных достижений», которая предусматривает получение высоко объективных (надежных) и релевантных содержанию обучения (валидных) результатов оценивания учебных достижений студентов, технологическую и экономическую целесообразность контрольно-оценочных процедур.
В основу контроля учебных достижений студентов в дистанционном обучении положено адаптивное тестирование, определяемое как научно обоснованный метод контроля, который реализуется с помощью автоматизированных процессов генерации, предъявления и оценки результатов выполнения адаптивных тестов. Специфика адаптивных тестов, связанная с оптимальным подбором характеристик заданий (трудности и дифференцирующей способности), их числа, последовательности и скорости предъявления применительно к уровню подготовленности каждого студента, обеспечивает повышение эффективности педагогических измерений по сравнению с ситуацией использования традиционных тестов, содержащих фиксированное число заданий, одинаковое для всех студентов тестируемой группы.
Раскрыты научные подходы к отбору заданий при генерации адаптивных тестов. Алгоритм отбора нацелен на индивидуализацию состава адаптивного теста для каждого контролируемого студента и основан на требовании посильности при выполнении, которое регламентирует соответствие трудности заданий зоне его актуального развития. Соотнесение оценок параметров трудности заданий с зоной актуального развития каждого студента базируется на современной теории тестов.
Практическая значимость исследования заключается в том, что полученные результаты могут использоваться в организации контроля учебных достижений при различных формах обучения, в том числе сочетающих очное обучение с технологиями ДО. Разработанное научно-методическое сопровождение и программно-инструментальная среда по реализации адаптивного тестирования могут быть применены в преподавании различных учебных курсов в системе дистанционного обучения, использоваться в системе повышения квалификации профессорско-преподавательского состава, а также в курсе «Современные средства оценивания результатов обучения».
На защиту выносятся следующие положения:
Адаптивное тестирование, базирующееся на современной теории тестов (Items Response Theory) в педагогических измерениях, является эффективным методом контроля учебных достижений студентов в дистанционном обучении в условиях, когда отсутствует непосредственное общение преподавателя со студентами. При использовании адаптивного тестирования показателями эффективности процесса и результатов контроля учебных достижений студентов в дистанционном обучении являются точность измерений, число заданий адаптивного теста и время, затраченное на тестирование каждого студента. Обязательным условием процесса оптимизации оценок по перечисленным показателям является высокая содержательная валидность каждого адаптивного теста. Таким образом, минимизация числа заданий за счет адаптации не должна приводить к снижению валидности результатов выполнения адаптивного теста.
Функционирование адаптивного тестирования учебных достижений студентов в дистанционном обучении обеспечивается выполнением комплекса педагогических и технологических условий. Педагогические условия включают: систематичность контроля, интерактивность, высокий дифференцирующий эффект и индивидуализацию за счет предъявления каждому студенту заданий, которые соответствуют зоне актуального развития, посильны по трудности для выполнения и обеспечивают мотивацию учебной деятельности в процессе контроля. Технологические условия предусматривают наличие программно-инструментальной среды, реализующей адаптивные алгоритмы предъявления заданий и обработки результатов их выполнения; наличие калиброванных заданий с известными оценками их параметров (трудность и дифференцирующая способность); готовность преподавателей к организации адаптивного тестирования.
Реализация адаптивного тестирования основана на совокупности взаимосвязанных методик, описывающих: стратегии входа в адаптивное тестирование, пошаговый пересчет оценок параметра подготовленности каждого студента после выполнения очередного задания адаптивного теста и алгоритмы отбора тестовых заданий при их пошаговом предъявлении, строящиеся на соотнесении оценок параметров трудности и дифференцирующей способности заданий с текущей оценкой уровня подготовленности каждого студента, а также методик обеспечения высокой валидности и надежности результатов тестирования, их шкалирования, для анализа и корректного представления участникам учебного процесса ДО.
Обоснованность и достоверность результатов исследования обусловлены комплексным использованием теоретических и эмпирических методов, адекватных цели и задачам исследования; всесторонним анализом проблемы при определении исходных теоретико-методологических позиций; непротиворечивостью полученных выводов относительно основных педагогических идей и результатов проверки эффективности предложенных методик по организации и проведению адаптивного тестирования учебных достижений в дистанционном обучении.
Апробация и внедрение результатов исследования. Основные теоретические положения и практические выводы диссертационного исследования изложены в публикациях автора и обсуждались на заседаниях кафедры педагогических измерений Института качества высшего образования (ранее – Исследовательский центр проблем качества подготовки специалистов) НИТУ «МИСиС» (2005 – 2011); сообщались в докладах и выступлениях на конференциях, научно-методических семинарах, практических занятиях системы повышения квалификации преподавателей: «Математические методы в технике и технологиях – ММТТ-17» (Кострома, 2004); «Новые технологии в организации и контроле учебного процесса» (Иваново, 2005); «Научно-методическое обеспечение управления качеством образования в ИвГУ» (Иваново, 2005); «Проблемы качества высшего образования» (Иваново, 2006); «Современные средства контроля и оценки качества подготовки специалистов в вузе» (Иваново, 2006); «Традиции ИвГУ и вызовы Болонского процесса: проблемы, противоречия, пути решения» (Иваново, 2007); «Инновационные методы и средства оценки качества образования» (Москва, 2007); «Современные подходы к обеспечению качества образования в условиях университета» (Иваново, 2008), «Актуальные проблемы химико-технологического образования» (Москва, 2009); «Математические методы в технике и технологиях – ММТТ-22» (Иваново, 2009); «Научно-методические аспекты перехода на уровневую систему образования» (Иваново, 2010); «Инновационные технологии в образовании» (Иваново, 2007, 2009, 2010, 2011), «Образование–экономика–право: процессы трансформации и критерии эффективности» (Москва, 2011).
Результаты исследования внедрены в учебный процесс и в систему курсов повышения квалификации профессорско-преподавательского состава по программе «Современные средства оценивания результатов обучения» ФГБОУ ВПО «Ивановский государственный химико-технологический университет» (ИГХТУ) и ФГБОУ ВПО «Ивановский государственный университет» (ИвГУ) и отражены в 19 публикациях автора.
Структура диссертации. Диссертация состоит из введения, двух глав, заключения, библиографического списка и приложений.
Контроль учебных достижений студентов в дистанционном обучении и показатели его эффективности
По мнению многих исследователей, педагогический контроль и оценка занимают центральное место в педагогическом процессе. Перед дистанционным обучением стоят такие же актуальные вопросы качества, как и перед всей системой образования. Отслеживание качества подготовки обучающихся на разных ступенях образования проводится с помощью мониторинга и контроля, в которых основным объектом выступают учебные достижения. Именно через контроль осуществляется обратная связь: и педагог, и студент получают информацию и подтверждение о результатах своего труда. В этом смысле дистанционное обучение как современная инновационная форма получения образования, которую возможно организовать самостоятельно или органично встроить как в очное, так и в заочное обучение, нуждается в развернутых исследованиях, связанных с контрольно-оценочной деятельностью и с обоснованием качества. Ставшие привычные методы контроля в традиционной системе обучения при классно-урочной форме в дистанционном обучении уже не отвечают ни его принципам, ни современным взглядам на процесс управления качеством образования [23, 48, 52, 96, 113, 116, 137, 138 и др.].
Понятие «учебные достижение», подлежащие контролю в дистанционном обучении, прочно вошло в теорию и практику образования. Несмотря на частое употребление, данный термин трактуется во многих работах достаточно свободно без точного описания, что же под ним понимается [12, 48, 52, 71, 158 и др.]. Научный подход к определению учебных достижений студента мы связываем с подготовленностью, которая является латентной характеристикой интегрального свойства и определяет состояние испытуемого по когнитивной составляющей образования на момент педагогического контроля. Сами учебные достижения, с одной стороны, могут пониматься как по-иному названные индивидуальные результаты обучения (знания, умения, навыки и компетенции), а с другой, нечто абстрактное и не поддающееся оценке, имеющее латентную природу [48]. Если «достижение» толковать как решенную проблему, то «учебные достижения» следует трактовать как решенные учебно-значимые проблемы. В своих исследованиях Ефремова Н.Ф. отмечает, что учебные достижения раскрывают не только подготовленность обучающихся в конкретной предметной области (знания, умения, навыки, опыт творческой деятельности, предметные, межпредметные и транспредметные компетенции), но и степень развития как сформированность личностных качеств (ценностно-смысловое отношение к обучению, ориентация в окружающей действительности, самоорганизация, самоконтроль, самоподготовка, усидчивость, собранность, умение мобилизоваться на достижение планируемого результата), и предлагает рассматривать учебные достижения как совокупность содержательных компонентов результатов обучения, подлежащих педагогическим измерениям и количественному выражению в баллах, а также выявляемых в процессе анализа результатов тестирования компонентов личностного развития [48, с. 19].
В нашей работе под учебными достижениями будем понимать доступные наблюдению и оцениванию методами теории педагогических измерений индивидуальные результаты обучения студентов (знания, умения, навыки и компетенции), их личностные новообразования и способы учебной деятельности, выраженные количественными и качественными показателями.
Происходящая сегодня модернизация образования, обновление его содержания, форм и методов обучения влекут за собой перестройку контрольно-оценочной системы. Изменения в области педагогического контроля связаны с теоретическими положениями о том, что нужна такая парадигма образования, которая не только и не столько позволит учащимся усваивать и запоминать информацию, использовать алгоритмы для разрешения частных проблем, но, прежде всего, подготовит их к обозначению, выявлению проблемы, нахождению информации для ее решения, оцениванию альтернатив, созданию идей и продуктов, разработке новых решений сложных дилемм. Кроме того, одно из фундаментальных положений дидактики состоит в том, что оценка как результат контроля должна носить объективный характер, а в отдельных случаях выступать как поощрение с целью мотивации обучающегося и стимулирование его на успешное обучение и развитие. В этой связи и контроль учебных достижений в ДО, на основании которого делаются оценочные суждения о качестве подготовки студентов, должен носить объективный и поощрительный характер. К настоящему времени в педагогической науке нет устоявшегося подхода к толкованию понятия «контроль», которое выступает и как объект теоретических исследований, и как инструмент в практической работе педагога. Зачастую встречается замена слова «контроль» на «оценивание», тогда как последнее следует рассматривать как совокупность процессов получения, анализа и интерпретации результатов контроля, которые формируют оценку учебных достижений.
Сам педагогический контроль учебных достижений в дистанционном обучении определяется как единая дидактическая и методическая система проверочной деятельности, совместного и объединяющего характера, руководящую и организаторскую роль в которой занимает педагог (или тьютор в определениях ДО). Контроль выполняет различные задачи - это оценка результатов и уровня достижений обучающихся, выявление пробелов в знаниях и установление взаимосвязи между планируемыми и достигнутыми результатами, поиск достоинств и недостатков определенных методик обучения, сравнение индивидуальной и коллективной работы педагогов, способствование корректным и правильным управленческим решениями в образовании [2, 23, 26, 42, 65, 68, 136 и др.].
Основными компонентами педагогического контроля как целостной системы являются [52]: - выделенные темы, разделы, дидактические единицы, выступающие в роли понятийных индикаторов; - операционализированные через их формирование эмпирические индикаторы (вопросы, задания и т.д.); - разработанные модели планируемых результатов контроля; - контрольные мероприятия; - сопоставление модели и полученных результатов контроля; - выводы, оценочные суждения и принятые на их основе решения о продолжении контроля или выставлении оценок. Традиционно в дидактике контроль классифицируют на входной, текущий (рубежный, тематический) и итоговый (заключительный) контроль [42,55,136,158].
Теоретические основы адаптивного тестирования, принципы и условия его организации в дистанционном режиме
Развитие адаптивного тестирования в образовании было обусловлено стремлением ученых и практиков к повышению индивидуализации и эффективности педагогических измерений. На интуитивном уровне педагогами давно понимались бессмысленность и малоэффективность предъявления трудных заданий слабо подготовленным учащимся и низкая информативность оценок хорошо подготовленных испытуемых в том случае, если им задавались легкие задания. Это весомое обстоятельство, когда педагог в своей работе не ориентируется на гипотетически средне подготовленного учащегося, и подталкивало к уменьшению числа заданий, времени, стоимости тестирования, ошибки измерения и повышению точности оценок, полученных учащимися по результатам выполнения теста, при этом не теряя в надежности и содержательной валидности. Очевидно, что адаптивное тестирование возможно организовать при наличии соответствующей научной базы, обширного банка тестовых заданий и компьютерной программно-инструментальной среды.
Одним из первых, кто обратился к адаптивному тестированию был Ф.М. Лорд (F.M. Lord), взявший за основу научный аппарат Items Response Theory [200], в русскоязычной литературе которая чаще всего переводится как современная теория конструирования тестов. Проведенные им исследования заложили фундамент адаптивного тестирования. Используя возможности IRT, связанные с введением дифференцированной ошибки измерения и моделированием тестов с заданной информационной функцией, исследователь соединил традиционные методы адаптивного тестирования с математическими методами IRT. Современная теория тестов IRT, нацеленная на оценивание латентных параметров испытуемых и заданий тестов на основе математико-статистических моделей измерения, является частью более общей теории латентно-структурного анализа (Latent-Structural Analysis - LSA), но каждое из этих направлений имеет свои особенности и сферу применения. Теория LSA используется в социально-психологических исследованиях, IRT применяется для конструирования и интерпретации результатов педагогических тестов. Не останавливаясь на подробном сравнении и анализе классической и современной теорий тестов, отметим, что IRT основывается на научном аппарате, для которого характерны строго формализованное представление и анализ эмпирических данных, фундаментальный теоретический подход и корректное решение практических задач педагогического измерения.
В виду слабого развития компьютерных технологий и отсутствия необходимого программного обеспечения идеи Ф.М. Лорда на практике не получили широкого распространения. На сегодняшний день в связи с интенсивным развитием компьютерных и информационных технологий стало возможным внедрение теоретических положений адаптивного тестирования в учебный процесс. Качественная калибровка тестовых заданий, формирование из них банков, высокий уровень автоматизации их предъявления, оперативное реагирование на ответы испытуемого, компьютерное моделирование тестов - все это стало возможным с появлением компьютеров. Первыми странами, где использовались возможности математических моделей IRT, компьютеров и программных средств по праву следует считать США, Австралию, Нидерланды, Японию. [81, 171, 176, 179, 184, 186, 192, 199, 200, 209, 211, 217, 230 и др.].
В нашей стране развитие адаптивного тестирование связано, прежде всего, с психолого-педагогическим наследием Л.С. Выготского. В его работах доказано, что обучение должно быть согласовано с уровнем развития ребенка. «Определение уровня развития и его отношения к возможностям обучения составляет незыблемый и основной факт, от которого мы можем смело отправляться как от несомненного» [31]. Поэтому необходимо определить, по меньшей мере, два уровня развития индивидуума, без знания которых мы не сумеем найти верное отношение между реальным уровнем развития и потенциальными возможностями его обучения в каждом конкретном случае. Первый - это уровень «актуального развития» психических функций ребенка, который сложился в результате определенных, уже завершившихся, циклов его развития. Здесь речь идет об актуальном уровне подготовленности учащегося, характеризуемом тем, какие задания он может выполнять самостоятельно, без помощи взрослых. Второй - это уровень, отражающий психический потенциал развития личности, это «зона ближайшего развития». Данный уровень свидетельствует о том, чего не может ребенок выполнить самостоятельно, но с чем он справляется с небольшой помощью. Поскольку у каждого учащегося свои зоны актуального и ближайшего развития, то из этого следует и разная динамика (темпы) умственного развития.
Предложенная Л.С. Выготским концепция о зонах развития ребенка подтолкнула к созданию методик дифференциации заданий в индивидуализированном режиме, позволяющем организовать для каждого учащегося адаптивное обучение и адаптивный тестовый контроль. Программированный контроль, получивший развитие в 1960-1970-е годы, послужил прообразом компьютерного контроля и также способствовал созданию фундамента развития адаптивного тестирования в отечественном образовании [20].
В последние десятилетия XX века и по настоящее время объем теоретико-методологических и практических работ по педагогическим измерениям, современной теории конструирования и применения тестов в образовании значительно расширился. И все же нужно признать тот факт, что в настоящее время педагогические измерения не являются самостоятельной научной областью и развиваются в рамках классической педагогики, которая нелегко принимает математический аппарат и методики конструирования педагогических измерителей. Вместе с этим, благодаря существенному прогрессу в развитии тестовых методов и проведению ряда методологических исследований отечественными учеными в последние десятилетия, произошел заметный сдвиг в контрольно-оценочной деятельности в сторону предпочтения эффективной теории IRT. На фоне этих научных исследований стали затрагиваться и рассматриваться вопросы адаптивного тестового контроля [2, 6, 27, 48, 93, 94, 101, 128, 162 и др.], центральное место среди которых занимает работа М.Б. Челышковой [156].
В IRT, служащей научно-практической основой для адаптивного тестирования, начальная оценка латентного параметра, который трактуется как некоторая переменная величина, получается непосредственно из эмпирических данных измерения. Переменный характер измеряемой величины указывает на возможность последовательного приближения к объективным оценкам параметра с помощью определенных итерационных методов. В педагогических тестах, являющихся основным инструментом измерений, в качестве латентной переменной выступает уровень подготовленности по предмету (или курсу), который в IRT обозначается символом в, а латентный параметр трудности задания - /?, которые распределены по нормальному закону. Датский математик Г. Раш (G. Rash), рассмотревший оптимальное соотношение между в и Д предложил форму связи этих параметров в виде разности 6-/3 [208]. Введение разности для оценок трудности заданий и уровня подготовленности предполагает существование единой интервальной шкалы с единицей измерения, получившей в работах зарубежных исследователей название «логит» ("logit") [102, 156,171,191,208].
Выбор математической модели, описывающей взаимосвязь между эмпирическими результатами тестирования и значениями латентных параметров в и /? является центральным в IRT. Основное предположение в IRT состоит в существовании некоторой математической модели взаимосвязи между эмпирическими результатами тестирования и значениями латентных параметров в и /?. Исследования А. Бирнбаума (A. Bimbaurm), Ф.М. Лорда (F.M. Lord), Г. Раша (G. Rash) [179, 200, 208] по анализу линии регрессии наблюдаемых результатов выполнения теста на латентную переменную в привели к выводу о нелинейном характере связи между наблюдаемыми и истинными баллами.
Методика шкалирования результатов адаптивного тестирования в дистанционном обучении
Уровень подготовленности испытуемого в - это единственный латентный параметр, оценка которого происходит во время адаптивного тестирования и который должен быть измерен с минимальными затратами по времени и максимальной точностью. Как отмечалось в первой главе, невозможно одновременно оптимизировать несколько параметров, выступающих критериями эффективности контроля, и при выборе одного приходится поступаться другим. В нашем диссертационном исследовании адаптивное тестирование организовывалось как итоговый контроль учебных достижений, в связи с чем, выбор был сделан в пользу точности получаемых оценок, которая предполагает минимизацию ошибки измерения. При этом гипотеза экспериментальной работы состояла в том, что ошибка измерения при адаптивном тестировании должна быть не выше аналогичной ошибки при традиционном тестировании на фоне снижения времени и числа заданий тестирования.
Применение логитов в моделях IRT позволяет поставить на одну шкалу логитов меру подготовленности испытуемых и меру трудности заданий. Эта шкала латентных переменных является интервальной, в которой возможны все арифметические действия над числами, кроме деления, что составляет ее преимущество перед номинальной и порядковой шкалами. Поскольку процесс тестирования в нашем исследовании строится на итерационных методах и аппарате IRT, то получаемые оценки уровня подготовленности нужно также обрабатывать в рамках современной теории тестов. Особенностью является то, что оцениваемые параметры хоть теоретически и могут принимать любые значения, но на практике лежат в интервале (- 4; 4) и имеют несколько знаков после запятой, они малопригодны для сообщения испытуемым и другим заинтересованным. По этой причине возникает необходимость линейного преобразования оценок в другую удобную для сообщения результатов шкалу. Процедура перевода первичных оценок в производные показатели, обеспечивающие адекватную интерпретацию и сравнение результатов выполнения тестов в теории педагогических измерений называется шкалированием [6, 60].
Процесс преобразования состоит из двух этапов. Первый - это умножение всех значений параметра на один и тот же шкалирующий множитель для перевода результатов в область целых чисел. Второй -перенос всех значений параметра на множество положительных числе путем прибавления некоторой константы, позволяющей избавиться от отрицательных оценок параметра в. В общем виде преобразование шкалы логитов уровня подготовленности можно записать, как внов =/ втек + а, где вИ0в - оценка параметра испытуемого на множестве положительных чисел, втек - оценка этого же параметра в интервале (-4; 4) шкалы логитов, у шкалирующий множитель, определяющий размерность новой шкалы, а -константа переноса, определяющая ее начало.
Стандартная ошибка измерения преобразуется по формуле Se( oe) = y Se( meK) гДе $е(Р„ов) новая стандартная ошибка измерения, у имеет тот же смысл, что и ранее.
В процессе преобразования шкалы логитов особое значение придается правильному выбору шкалирующего множителя у, после которого осуществляется перенос всех шкалированных значений на множество положительных чисел. К выбору шкалирующего множителя существует несколько подходов [158, 201, 205, 221]. Процесс выбора приемлемых значений у основан на анализе перехода наименьшей наблюдаемой разницы сырых баллов (LOD) в наименьшую разницу (LMD) оценок параметра в в шкале логитов, построенной на основе модели Раша. Проведенный анализ позволил получить простой и удобный критерий для выбора у, связав значения константы с длиной теста. В результате такого шкалирования новые значения в будут расположены в интервале (30; 70). В предложенном линейном преобразовании выбор значений а и у обусловлен соображениями удобства, поскольку при увеличении абсолютного значения разности \в - р\ на 5 единиц по сравнению со значением 0-/3 = 0 вероятность правильного выполнения задания возрастет или уменьшится в три раза.
Таким образом, при переходе от сырых показателей к производным используется процедура шкалирования, которая может основываться на классической теории тестов или современной теории тестов IRT. В работе выбор сделан в пользу линейного преобразования шкалы логитов для сообщения результатов студентам, выполняющим тест. Параметры, определенные для шкалирования, выбраны исходя из соображений удобства и сохранения информации, полученной в процессе тестирования.
Опытно-экспериментальная работа по реализации адаптивного тестирования и анализ эффективности контроля учебных достижений в дистанционном обучении
Цель опытно-экспериментальной работы по реализации адаптивного тестирования в дистанционном обучении заключалась в проверке педагогических и технологических условий, апробации выбранной стратегии, методик обеспечения надежности и валидности результатов, а также их шкалирования, которые в совокупности обеспечат эффективность контроля учебных достижений. Опытно-экспериментальная работа проводилась на базе двух вузов Ивановской области - в ФГБОУ ВПО «Ивановский государственный химико-технологический университет» (ИГХТУ) и ФГБОУ ВПО «Ивановский государственный университет» (ИвГУ).
На экспериментальном этапе исследования решались следующие задачи: - выявление необходимости в обновлении контрольно-оценочной системы в практике профессионального образования; - разработка инструментария для организации и проведения адаптивного тестирования; - организация контроля учебных достижений студентов в дистанционном обучении в форме традиционного и адаптивного тестирования через программно-инструментальную среду и компьютерные программы тестирования; - оценка и анализ эффективности адаптивного тестирования учебных достижений студентов в дистанционном режиме через сравнение результатов педагогических измерений и выделенные показатели эффективности.
Поставленные задачи последовательно решались в течение ряда лет (с 2005 по 2011 гг.). В опытно-экспериментальной работе на разных ее этапах приняли участие 667 человек, из которых 459 студентов и 208 преподавателей. Адаптивное тестирование как основной метод тестирования еще не занял достойное место в отечественной контрольно-оценочной системе образования, однако, широко используется в зарубежных службах и центрах тестирования. В ходе экспериментальной работы нами было проведено анкетирование преподавателей и студентов технического вуза (ИГХТУ) на предмет удовлетворенности существующей системой контроля учебных достижений в учебном процессе (Приложения 1,2). Результаты анкетирования основных участников учебного процесса в части вопросов, связанных с обновлением форм и методов контроля, подтвердили выдвинутую гипотезу. 80% преподавателей (общее число - 102 чел.) и 78% студентов (общее число 124 чел.) выступают за объективность оценок, индивидуальный подход в контроле, необходимость использования современных технических средств и компьютерных программ для его организации. При этом, чтобы такая форма контроля, как экзамен, создавала условия для объективной проверки и оценки учебных достижений студентов и не становилась сильным стрессом, необходимо: - преподавателям своевременно ставить студентов в известность о форме проведения экзамена, требованиях к уровню усвоения учебного материала, критериях оценки и отметки; - студентам при подготовке к экзамену ориентироваться на данные требования, понимая, что каждый уровень усвоения учебного материала соответствует определенной отметке; - в процессе итогового контроля использовать различные формы: компьютерное тестирование, свободное собеседование и т.д.; - в процессе экзамена усилиями студентов и преподавателей устанавливать атмосферу доброжелательности, ответственности и доверия.
Из общего числа опрошенных 64% студентов отметили, что тестирование как основная форма контроля является для них предпочтительнее устного ответа на несколько вопросов экзаменационного билета. Готовых контролировать себя самостоятельно во внеучебное время через Интернет оказалось 69% учащихся. Таким образом, готовность студентов к контролю учебных достижений с помощью информационно-комуникационных технологий актуализировала поиск такой формы тестирования, которая бы повышала мотивацию к выполнению контрольных заданий и соответствовала современных научным подходам в теории педагогических измерений.
Кроме готовности студентов к введению различных инноваций в обучении и контроле, была выявлена необходимость обучения профессорско-преподавательского состава вуза современным методам и средствам оценивания результатов обучения. В связи с этим автором исследования в течение ряда лет (2004, 2006, 2008, 2009 гг.) проводились курсы повышения квалификации по теории и практике педагогических измерений, на которых прошли подготовку 106 человек из числа профессорско-преподавательского состава ИГХТУ. Впоследствии на ряде кафедр университета (кафедры прикладной математики, физики, общей неорганической химии, промышленной экологии, электротехники, истории и культуры России, иностранных языков, экономики и финансов, финансов и кредита) была развернута планомерная работа по разработке собственных оценочных средств для текущего и итогового контроля.
Под руководством автора данной работы в ИГХТУ была организована внутривузовская система сертификации педагогических измерительных материалов, которая с одной стороны послужила побудительным мотивом для преподавателей в условиях рейтинговой системы ППС вуза, а с другой способствовала формированию фонда оценочных средств, который к настоящему времени состоит из заданий по циклам гуманитарных и социально-экономических дисциплин, естественно-научных и математических дисциплин, а также общепрофессиональных дисциплин для технического и экономического профиля (Приложение 8).
Лично автором и при его руководстве разрабатывались и апробировались тестовые задания по ряду дисциплин математического цикла (учебный курс «Математика», учебный курс «Методы вычислений»).
Опишем этапы работы по разработке тестовых заданий на примере курса «Методы вычислений» (аналогичные работы выполнялись по курсу «Математика»). Началу работы предшествовала разработка кодификатора на основе государственного образовательного стандарта и рабочей программы по учебному курсу «Методы вычислений» (Приложение 11). При составлении кодификатора весь материал, изучаемый в одном семестре, был поделен на пять крупных разделов: 1. Теория погрешностей; 2. Приближение функций; 3. Численное интегрирование; 4. Методы решения нелинейных уравнений и их систем; 5. Методы решения систем линейных алгебраических уравнений. Каждый из разделов в свою очередь делится на темы, темы - на блоки, блоки в свою очередь на ещё более мелкие единицы содержания. Нумерация рубрик кодификатора осуществлялась в соответствии с иерархией единиц содержания. Первая цифра обозначала номер раздела, вторая цифра -номер темы в разделе, третья - номер блока в теме и так далее. Цифры отделялись друг от друга точками.
