Содержание к диссертации
Введение
1 Дистанционная система обучения как объект исследования ... 10
1.1 Предмет исследования 11
1.2 Структура компьютеризированной системы Дистанционного Обучения 17
1.3 Показатели эффективности системы 18
1.4 Требования к подсистемам контроля знаний компьютеризированной системы дистанционного обучения 21
1.5 Постановка цели и задач исследования 25
1.6 Выводы по главе 27
2 Математические модели компьютеризированных систем дистанционного обучения 29
2.1 Анализ существующих математических моделей 29
2.2 Функциональная модель КСДО 34
2.3 Математическая модель КСДО 37
2.4 Построение эффективных систем дистанционного обучения 46
2.5 Выводы по главе 51
3 Построение подсистемы контроля знаний в КСДО 53
3.1 Концептуальная модель контроля знаний 54
3.2 Обзор существующих методов контроля знаний 56
3.3 Тестовые методы контроля знаний 58
3.3.1 Классический метод обработки результатов тестирования 61
3.3.2 Латентно-структурный анализ 61
3.4. Задача синтеза теста 66
3.5 Тестовое задание как измеритель 68
3.6 Оценка минимальной длины линейного теста 73
3.7 Адаптивные методы контроля знаний 79
3.9. Выводы по главе 90
4 Исследование адаптивной системы контроля знаний 92
4.1 Математическая модель комплекса для имитационного моделирование подсистемы адаптивного контроля знаний 93
4.2 Система для имитационного моделирования подсистемы адаптивного контроля знаний 97
4.2.1 Получение грубой оценки знаний 99
4.2.2 Оценка уровня знаний 101
4.2.3 Уточняющий опрос 108
4.2.4 Остановка процедуры адаптивного тестирования 109
4.2.5 Выбор заданий из банка
4.2.6. Моделирование испытуемого
4.3 Исследование адаптивной системы контроля знаний средствами имитационного моделирования 111
4.4 Эксперимент по сопоставлению бланкового и компьютерного адаптивного тестирования 115
4.5 Выводы по главе 124
Заключение 125
Библиографический список использованной литературы 128
- Требования к подсистемам контроля знаний компьютеризированной системы дистанционного обучения
- Построение эффективных систем дистанционного обучения
- Оценка минимальной длины линейного теста
- Исследование адаптивной системы контроля знаний средствами имитационного моделирования
Требования к подсистемам контроля знаний компьютеризированной системы дистанционного обучения
Требования к автоматизированным системам ДО полностью определяются задачами, стоящими перед ними. Такая система должна за приемлемое время дать обучаемому необходимые знания. При профессиональной подготовке требования к минимальному уровню знаний задаются образовательной профессиональной программой. Функционально система ДО должна содержать подсистему "учитель" и средства контроля знаний.
Подсистема "учитель" должна обеспечить подачу учебного материала в наиболее воспринимаемой пользователем форме. Методическое обеспечение должно допускать многовариантность изложения учебного материала, эффективно сочетать различные методики, стили и формы изложения, иметь возможность делать перерывы в обучении и восстанавливать изложение после них, и по результатам текущего контроля знаний следить за изменением как скорости восприятия, так и эффективности предложенных методик изложения; при необходимости менять уровень сложности предлагаемого учебного материала, способ представления и методику изложения, иметь прогностические функции. Средства контроля знаний должны обеспечивать входной, текущий и итоговый контроль знаний.
Специализированный вычислительный комплекс, используемый для построения системы ДО, должен содержать технические и программные средства, обеспечивающие бесперебойную работу системы в целом, а также быстрый доступ к информации и быстрый отклик системы, иметь системы восстановления.
Программные средства должны эффективно реализовывать систему и методики ДО, осуществлять постоянную обратную связь с обучаемым, проводить текущий и заключительный контроль знаний, использовать систему резервирования данных.
Эффективность технической системы характеризуется степенью соответствия своему назначению. В большинстве случаев невозможно использовать один универсальный показатель эффективности, и поэтому вводят ряд таких показателей -характеристик системы. В данном случае речь идет о компьютеризированных системах дистанционного обучения, которые состоят из нескольких взаимодействующих подсистем: обучающая программа, телекоммуникационная система, ученики, и каждая подсистема характеризуется своими, присущими только данной подсистеме характерными параметрами.
Будем исходить из того, что главной целью создания систем дистанционного обучения является обучение в какой-либо предметной области. Будем понимать под критерием работоспособности КСДО соответствие содержащихся в ней знаний по объему и структуре тому объему и структуре, который задан в образовательной профессиональной программе. Для работоспособной системы в качестве показателя, используемого при оценке эффективности, можно выбрать время усвоения предложенного учебного материала. Данная мера является характеристическим параметром всей системы в целом и является аналогом системной производительности в вычислительной технике. Во время прохождения курса обучения время затрачивается непосредственно на усвоение учебного материала, текущий контроль знаний, усвоение дополнительного учебного материала или повторение пройденного и итоговый контроль знаний. Под временем усвоения будем понимать время, затраченное на прохождение всего учебного курса, включая время на текущий и итоговый контроль знаний на соответствие усвоенных знаний требованиям образовательной профессиональной программы. Следует отметить, что повтор учебного материала и дополнительный материал предлагается только в случае неудовлетворительного результата при текущем контроле знаний. Так как время усвоения является величиной случайной, зависящей от личностных качеств обучаемого, для характеристики системы необходимо использовать величину среднего времени усвоения Ts. Таким образом, среднее время усвоения будет служить комплексной оценкой эффективности, характеризующей систему дистанционного обучения. Показатель стоимости С характеризует затраты обучаемого при прохождение учебного курса. Так как значительной частью стоимости С являются затраты на оплату телекоммуникационных услуг, сильно зависящих от личностных качеств обучаемого, для характеристики системы дистанционного обучения целесообразно использовать показатель С0 — средние затраты обучаемого на обучение. Исходя из вышесказанного, набор обобщенных показателей, которые должны использоваться при оценке эффективности системы можно определить как двойку:
Построение эффективных систем дистанционного обучения
Предложенная математическая модель построена в предположении, что ученик работает в режиме On-Line, и на своем рабочем месте имеет только "тонкого" клиента - Internet Browser.
Данная модель легко может быть распространена на более общий случай, когда часть обучающей программы размещается на рабочем месте ученика и обучение "учитель" - ученик происходит в режиме Off-Line, а телекоммуникационные каналы используются лишь для передачи очередной порции информации и при процедурах контроля.
Сложность функциональных зависимостей, определяющих стоимость, от параметров отдельных подсистем, не позволяет в общем виде решить задачу построения оптимальной компьютеризированной системы дистанционного обучения.
Поэтому целесообразно задачу решать следующим образом: оптимизируется каждая подсистема входящая в КСДО и далее рассматриваются различные варианты построения КСДО в целом и из них выбирают наилучшие. При построении системы дистанционного обучения ее создатели не могут влиять на индивидуальные свойства обучаемого, такие как особенности восприятия информации, тип и скорость мышления, уровень базовой подготовки, но должны учитывать диапазон значений для этих параметров при разработке учебного курса. При разработке учебного курса весь учебный материал разбивается на отдельные темы, после изучения которых производится контроль освоения материала и выбор траектории дальнейшего движения. Создание хорошего учебного курса требует больших затрат и, таким образом, увеличивает составляющую Сд, но позволяет снизить время обучения Т и затраты на оплату телекоммуникационных услуг за счет сокращения длины маршрута по графу обучения. Система контроля знаний весьма сильно влияет на стоимость эксплуатационных затрат, так как в каждом узле при движении по графу обучения производится контроль усвоения предъявленного материала, а по завершению обучения производится итоговый контроль. Так как составляющая эксплуатационных расходов на контроль знаний прямо пропорциональна времени, затрачиваемому на контроль, можно сформулировать определение оптимальной подсистемы контроля знаний КС ДО: Оптимальной является та система контроля знаний КСДО, которая обеспечивает оценку уровня освоения контролируемого раздела образовательной профессиональной программы с заданной точностью за минимальное время. 1 Создана математическая модель, описывающая с функциональной точки зрения КСДО - ] и включающая три компоненты: модель обучающей программы , модель обучаемого (ученика), и модель среды передачи (Интернет) 2 На основе разработанной математической модели КСДО получены выражения, связывающие показатели эффективности КСДО с параметрами отдельных подсистем (обучаемый, среда передачи, обучающий комплекс) и предложен подход к построению эффективных систем дистанционного обучения. С=Сд+Сэ где Сд -постоянная составляющая, плата за доступ к КСДО; Сэ - переменная составляющая, стоимость эксплуатации системы дистанционного обучения при изучении курса. Т = і1(ОБ,УК,СК,ПД) CA=f2(YK,CBK,N) C3=f3(OB, УК,СК,ЦД) где ОБ - вектор индивидуальных свойств обучаемого; УК - вектор свойства учебного курса; СК - вектор свойства системы контроля знаний; ПД - вектор параметров канала передачи информации; СВК -стоимость специализированного вычислительного комплекса для ДО; N - число пользователей учебным курсом. 3 Сформулирован критерий оптимальности подсистемы контроля знаний КСДО. Оптимальной является система контроля знаний КСДО, которая обеспечивает оценку уровня освоения контролируемого раздела образовательной профессиональной программы с заданной точностью за минимальное время.
Оценка минимальной длины линейного теста
Линейный тест, равномерно покрывающий весь рабочий интервала логистической прямой, должен содержать более 30 заданий. Для проведения же измерений с высокой точностью может потребоваться на порядок больше тестовых заданий.
Процедура контроля при использовании такого теста длится несколько часов, создает большую нагрузку на обучающихся, что снижает объективность оценки, и кроме того требует больших трудозатрат на проведение и обработку результатов контроля знании. Снизить количество предъявляемых при контроле заданий позволяет использование процедуры адаптивного тестирования. Суть метода состоит в оценивании после каждого шага уровня знаний обучающего и предъявлении ему наиболее эффективных с точки зрения контроля качества знаний заданий, трудность которых близка к уровню знаний обучающегося в Устройство обработки при адаптивном тестировании работает в нестационарном режиме, при котором после обработки ответа на очередное задание изменяются значения оценки уровня обученности и среднеквадратичной ошибки ее измерения. При этом встает задача отыскания правила остановки процедуры тестирования. Возможны два подхода: при первом процедура тестирования прекращается, когда достигнута заданная точность измерения; при втором фиксируется количество предъявляемых заданий. Потенциальных выигрыш в количестве предъявляемых заданий, который позволяет получить процедура адаптивного тестирования, равен отношению интервала априорной неопределенности измеряемого параметра 0 к ширине информационной кривой тестового задания. Однако этот выигрыш не достижим, ибо для старта адаптивной процедуры тестирования необходимо иметь оценку уровня знаний обучаемого. Причем точность оценки должна быть такова, чтобы доверительный интервал оценки был меньше ширины информационной кривой задания на уровне 0.5. В общем случае при адаптивном тестировании должна использоваться двухступенчатая процедура, когда на первом этапе используется короткий тест с линейной структурой (экспресс-опрос), а на втором этапе запускается процедура адаптивного уточнения оценки испытуемого. Необходимость двухступенчатой процедуры обусловлена нестационарностью адаптивного процесса в условиях априорной неопределенности (отсутствием грубой оценки уровня знаний). Выходными показателями первого этапа являются: -оценка уровня обученности испытуемого; Я - среднеквадратичная ошибка измерения параметра G после завершения первого этапа; ti - длительность первого этапа. Исходными данными для второго этапа являются: Отм Отт " границы интервала априорной неопределенности уровня обученности испытуемых после завершения первого этапа; fig- требования к точности измерения, задаваемые значением среднеквадратичной ошибки измерения. Параметрами второго этапа являются правила остановки для завершения второго этапа. Выходными показателями второго этапа являются: п2 - количество заданий, предъявляемых на втором этапе; мнжество заданий, предъявляемых на втором этапе. О -оценка уровня обученности испытуемого; - среднеквадратичная ошибка измерения параметра 9 и г после завершения второго этапа; \г - длительность второго этапа. Исходя из предположения о том, что оценка параметра 0 после завершения первого этапа является случайной величиной с нормальным законом распределения, ширину интервала априорной неопределенности параметра 0 перед началом второго этапа 0Іах 0шш можно найти через ширину доверительного интервала для оценки параметра после завершения первого этапа. Решение задачи оптимизации для КСДО при использовании адаптивного тестирования требует нахождения количества заданий предъявляемых на первом этапе п1опт, при котором суммарная продолжительность процедуры контроля знаний окажется минимальной. Так как время контроля знаний является монотонной функцией от количества предъявляемых заданий, можно при оптимизации искать значение Пі0Пт , при котором общее количество предъявляемых заданий минимально. В связи с тем, что аналитического решения сформулированной задачи оптимизации в общем случае из-за сложности анализа нестационарного режима работы устройства оценки при адаптивном тестировании найти не удалось, в четвертой главе данной работы представлены результаты имитационного моделирования системы адаптивного тестирования. Сложность анализа вызвана использованием трехпараметрических вероятностных моделей и прямой зависимостью от конкретного математического метода, реализующего отдельные этапы адаптивного контроля знаний. Ниже приводится оценка выигрыша процедуры адаптивного тестирования для частного случая, когда параметры а и с всех тестовых заданий в банке заданий одинаковы, а точность оценки параметра G после завершения экспресс-анализа такова, что Lp -ширина доверительного интервала для 0 равна А - ширине информационной кривой тестового задания на уровне 0,5.
Исследование адаптивной системы контроля знаний средствами имитационного моделирования
В заключении сформулируем положения, определяющие научные и практические результаты работы. Научные результаты работы: предложена математическая модель компьютерной системы дистанционного обучения и введены критерии оптимальности КСДО. создана математическая модель подсистемы контроля знаний и обоснован выбор метода контроля знаний для КСДО. разработана математическая модель адаптивного тестового метода контроля знаний, на основе которой решена задача синтеза теста, минимизирующего время измерения. Основные практические результаты состоят в следующем: создана экспериментальная система адаптивного контроля знаний на основании результатов имитационного моделирования. проведен эксперимент по сопоставлению результатов оценки знаний с использованием бланкового и адаптивного компьютерного тестирования, подтвердивший правильность основных теоретических результатов. Правильность основных теоретических выводов, полученных в диссертационном исследовании, подтверждена экспериментами по оценке знаний одних и тех же испытуемых с использованием линейного бланкового теста и при адаптивном тестировании. Результаты работы служат основой для создания компьютеризированной системы дистанционного обучения и совершенствования методов компьютерного контроля знаний. Введенный критерий эффективности систем дистанционного обучения может использоваться и при сравнении эффективности различных вариантов построения учбных курсов. Научные результаты исследования были опубликованы в сборниках работ Исследовательского центра проблем качества подготовки специалистов (1997, 1998), выносились на обсуждение на конференциях «Чебоксары, 1995»; «Телематика-97»; «Современные технологии обучения», 1998, в докладах на научных конференциях в рамках Дней Науки в НовГУ (Новгород, 1995), (Новгород, 1996), (Новгород, 1997). Все научные и практические результаты получены автором самостоятельно. Дальнейшее направление исследований может идти в следующих направлениях: дальнейшей детализации математической модели системы КСДО в целях оценки структуры знаний обучаемых; разработки методов шкалирования при использовании гетерогенных тестов; разработки математических методов анализа смысла текста, что позволит более точно оценивать знания при использовании тестовых заданий в открытой форме. Библиографический список использованной литературы 1 Аванесов B.C. Научные проблемы тестового контроля знаний. -М.: Исследовательский центр подготовки специалистов. - 1994 2 Аванасов B.C. Теоретические основы разработок заданий в тестовой форме. - М.: Исследовательский центр подготовки специалистов. - 1995 3 Аванесов B.C. Основы научной организации педагогического контроля в высшей школе. - М. -1989 4 Аванесов B.C. Форма тестовых заданий. М.: Исследовательский центр Д 991 5 Авчухова Р.Э. Некоторые модельные представления при исследовании системы управления процесса обучения. Диссерт. канд. тех. наук. Рига- 1974 6 Анастази А. Психологическое тестирование. М.: Педагогика. -1982.-320 с. 7 Андреев А. О подходе к построению эффективной системы дистанционного обучения. Всероссийская научно методологическая конференция «Телематика-97». Тезисы докладов.-Санкт-Петербург, 8 Андреев А.С, Андреев С.С. Экспериментальная система адаптивного тестирования по биологии. «Квалиметрический мониторинг образования: содержание, организация, практика.» ТЕЗИСЫ ДОКЛАДОВ ./Седьмой симпозиум "Квалиметрия человека и образования. Методология и практика. Проблемы измеримости образовательных стандартов и квалиметрического мониторинга образования". Книга вторая. Часть П.- М.: Исследовательский центр проблем качества подготовки специалистов, 1998. 9 Андреев А.С Андреев С.С. О подходе к анализу эффективности системы дистанционного обучения. Международная конференция «Современные технологии обучения» Тезисы доклада. Санкт-Петербург 1998 10 Андреев А.С, Андреев С.С. Исследование алгоритмов адаптивного тестирования. Тезисы доклада. Квалиметрия человека и образования. Методология и практика. Проблемы создания комплексного мониторинга качества образования в России. VI симпозиум,М.,1997 11 Андреев А.С, Емельянов Г.М. Определение критерия эффективности подсистемы контроля знаний КСДО. Тезисы доклада. Восьмая научная конференция преподавателей, аспирантов и студентов. Научное издание. Великий Новгород: НовГУ,2001 12 Архангельский СИ. Учебный процесс в высшей школе, его закономерные основы и методы. М. Высшая школа, 1980, 368с 13 Аткинсон Р., Бауэр Г., Кротерс Э. Введение в математическую теорию обучения. М.-1969.-486с.
