Содержание к диссертации
Введение
ГЛАВА I. Методы и стандарты при компьютерном обучении и контроле знаний 10
1.1. Методы оценки знаний при компьютерном обучении 12
1.1.1. Метод линейно-кусочной аппроксимации оценки знаний... 12
1.1.2. Метод, основанный на вычислении оценок совокупности признаков обучаемых 14
1.1.3. Метод, основанный на алгоритме автоматизированного анализа и обработки структуры макромодели учебного материала 16
1.1.4. Методы, основанные на теории ответа на вопрос (IRT) 20
1.1.5. Метод дифференцированного тестирования 25
1.2. Системы создания тестов и проведения тестирования 27
1.3. Стандарты в области образовательных технологий 28
1.4. Выбор и обоснование модели и структуры программного комплекса 40
1.5. Выводы 41
ГЛАВА II. Модель тестирования и механизм адаптации 43
2.1. Корреляционный анализ ответов на вопросы при адаптивном тестировании 43
2.2. Марковская модель оценки способности при адаптивном тестировании 50
2.3. Метод максимального правдоподобия для оценки способности тестируемого 59
2.4. Использование метода Хука-Дживса для оценки параметров вопросов 62
2.5. Выводы 67
ГЛАВА III. Программная реализация комплекса для адаптивного тестирования 69
3.1. Функционирование системы дистанционного обучения с использованием стандарта SCORM 69
3.2. Алгоритм адаптивного тестирования в условиях системы дистанционного обучения 71
3.3. Состав комплекса и алгоритм его функционирования при адаптивном контроле знаний 76
3.3.1. Программная реализация редактора курсов 78
3.3.2. Программная реализация модуля проведения тестирования 80
3.3.3. Реализация программы подготовки, сбора и обработки статистической информации при тестировании 82
3.4. Выводы 84
ГЛАВА IV. Результаты опытной эксплуатации программного комплекса адаптивного тестирования 86
4.1. Методика применения программного комплекса для адаптивного тестирования 86
4.2. Адаптивное тестирование студентов технического вуза по дисциплине «ООП» 87
4.3. Адаптивное тестирование учащихся медицинского училища по дисциплине «Сестринское дело при инфекционных заболеваниях» 90
4.4. Выводы 96
Заключение 97
Библиографический список использованной
Литературы 99
- Метод, основанный на алгоритме автоматизированного анализа и обработки структуры макромодели учебного материала
- Марковская модель оценки способности при адаптивном тестировании
- Алгоритм адаптивного тестирования в условиях системы дистанционного обучения
- Адаптивное тестирование учащихся медицинского училища по дисциплине «Сестринское дело при инфекционных заболеваниях»
Введение к работе
Актуальность темы. Ограниченность по времени и большие объемы информации затрудняют освоение учебного материала, регламентируемого программами и образовательными стандартами подготовки специалистов различных отраслей. Такая технология поддержки учебного процесса, как дистанционное обучение позволяет студентам изучать материал, строя процесс обучения и задавая темп получения знаний самостоятельно. Она дает возможность формировать обучающую среду исходя из различий в уровне подготовке и способностей к обучению.
Важной составляющей дистанционного обучения является контроль знаний. Несмотря на то, что к настоящему времени разработано достаточно большое количество методов и алгоритмов компьютерного тестирования, многие из них строятся на субъективных оценках тестовых заданий. Наиболее адекватными являются методы адаптивного тестирования, при использовании которых, оценка сложности каждого задания получается путем обработки статистической информации, что исключает субъективность конечной оценки знаний испытуемых. Сам процесс такого тестирования позволяет адаптировать тестовый контроль к уровню знаний тестируемого, что снижает время, затрачиваемое испытуемым на прохождение контрольных испытаний. Но и эти методы имеют недостатки, связанные с тем фактом, что они не учитывают зависимость между последовательностью ответов тестируемых. В связи с этим актуальной является проблема создания адек
ватных моделей адаптивного тестирования и их использование в условиях дистанционного обучения.
Целью данной работы является создание адекватной модели адаптивного тестирования для эффективного контроля знаний при дистанционном обучении.
В соответствии с этой целью были поставлены следующие задачи:
1. усовершенствовать модель адаптивного тестирования для учета зависимости между последовательностью ответов;
2. предложить метод определения параметров математической модели по экспериментальным данным;
3. разработать алгоритм адаптивного тестирования на основе усовершенствованной модели;
4. создать комплекс программ, реализующий разработанный алгоритм в условиях дистанционного обучения;
5. провести испытания по использованию разработанного алгоритма и программного комплекса.
Методы исследования. В работе использованы методы теории вероятностей и математической статистики, в частности, методы теории марковских цепей, численные методы и методы объектно-ориентированного проектирования и программирования.
Научная новизна. і. Выполнено усовершенствование математической модели адаптивного тестирования, предложена модель последовательности ответов в виде марковской цепи.
2. Предложен способ использования аппарата марковских цепей для оценки уровня знаний при адаптивном тестировании.
3. Разработан алгоритм адаптивного тестирования для систем дистанционного обучения, основанных на стандарте SCORM, и выполнена его программная реализация.
4. Предложена методика проведения адаптивного тестирования с использованием разработанной модели в условиях дистанционного обучения.
5. Выполнена апробация предложенной методики.
Практическая значимость работы состоит в программной реализации предложенного алгоритма адаптивного тестирования. Разработанный программный комплекс позволяет создавать модули тестирования, которые могут быть использованы в курсах дистанционного обучения, разработанных в соответствии со стандартом SCORM, а также позволяет подготавливать тестирование, производить сбор и обработку статистической информации при тестировании.
Апробация работы. Основные результаты работы были представлены на всероссийской конференции с международным участием на тему: "Информационные и телекоммуникационные технологии в науке и образовании Восточной Сибири", Иркутск, 2001; всероссийской конференции с международным участием на тему: "Информационные технологии в энергетике, экономике, экологии", Иркутск, 2002; на международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права» в г. Сочи, 2002; межрегиональном семинаре «Дистанционное обучение в высшей школе: модели и технологии»,
Санкт-Петербург, 2004; на семинарах в Иркутском государственном техническом университете и Байкальском государственном университете экономике и права в 2002 - 2004 гг.. Выполненные в рамках данной работы программные продукты отмечены дипломом выставки научных работ ИрГТУ в 2004 году.
Результаты внедрения. Результаты работы внедрены в учебный процесс Иркутского государственного технического университета и Селенгинского медицинского училища. Имеются акты о внедрении.
Публикации. По результатам исследования опубликовано 7 работ, в том числе одна в зарубежной литературе.
1. Ульянов Д.А., Кирий В.Г., Использование компьютерных сетей в образовании. Повышение эффективности познавательной деятельности обучающихся // Материалы 2-ой международной научно-методической конференции. -1999. - Вып. 3. - С. 57-59.
2. Кокоуров В.И., Ульянов Д.А., Лебедев К.С. Применение новых информационных технологий при реализации платформы дистанционного обучения. Пример реализации с использованием стандарта SCORM // Научные труды V Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права». - 2002. - Книга «Информатика». - С. 74-77.
3. Кирий В.Г., Ульянов Д.А. Корреляционный анализ ответов на вопросы при адаптивном тестировании // Вестник ИрГТУ. - 2003. -№3-4 (15-16).-С. 125-128.
4. Ульянов Д.А. Методика адаптивного тестирования в системах дистанционного обучения. // Современные информационные
технологии в науке и образовании. Сборник докладов и тезисов молодежной научно-практической конференции / Под общ. Ред. Горленко A.M. - Изд-во ИрГТУ. - Иркутск. - 2004. - С. 91-92.
5. Ульянов ДА. Элементы адаптивного тестирования в системе дистанционного обучения, основанного на стандарте SCORM // Вестник ИрГТУ. - 2004. - №1 (17) - С. 154-156.
6. Кирий В.Г., Ульянов Д.А., Применение марковской модели для оценки уровня знаний при адаптивном тестировании // Вестник ИрГТУ. - 2004. - №3 (19) - С. 21-26.
7. Ulyanov, Dmitriy A., Implementation of Computer Adaptive Testing in SCORM-Based Distance Education Environment. Proceedings of the 3rd International Conference on Education and Information Systems: Technologies and Applications. EISTA 04. - 2004. - vol. 4 -pages 94-96.
Метод, основанный на алгоритме автоматизированного анализа и обработки структуры макромодели учебного материала
Для успешной деятельности на рынке образовательных услуг образовательные учреждения любой формы собственности должны быть «открытыми системами», способные отслеживать происходящие изменения и соответственно им изменять себя и свою деятельность!!]. В связи с демографическим спадом девяностых годов, учебные заведения должны расширять свой рынок, предоставляя образовательные услуги не только молодым людям, которые только что получили свидетельства об окончании средней школы, но и работающим людям без отрыва от производства. Одним из способов осуществления этого является использование средств дистанционного обучения, таких как кейс-технологии, Интернет технологии, теле- и видеоконференции.
Приказ Министерства Образования Российской Федерации от 18.12.2002 г. «Об утверждении Методики применения дистанционных образовательных технологий (дистанционного образования) в образовательных учреждениях высшего, среднего, и дополнительного профессионального образования РФ» дает следующее представление о дистанционном обучении: «Дистанционное обучение обеспечивается применением совокупности образовательных технологий, при которых целенаправленное опосредованное или не полностью опосредованное взаимодействие обучающегося и преподавателя осуществляется независимо от места их нахождения и распределения во времени и пространстве на основе педагогически организованных технологий, прежде всего с использованием средств телекоммуникации... Целью дистанционного обучения является предоставление обучающимся непосредственно по месту жительства или временного их пребывания возможности освоения основных и (или) дополнительных профессиональных образовательных программ высшего и среднего профессионального образования соответственно в образовательных учреждениях высшего, среднего и дополнительного профессионального образования» ].
Современное развитие Интернет технологий в области дистанционного обучения позволяет доставлять необходимую для обучающегося учебную и методическую информацию, а также производить удаленный контроль знаний и удаленное выполнение лабораторных работ [3]. Большую роль в организации дистанционного обучения играют компьютерные информационные системы, называемые системами дистанционного обучения. Существуют организации, осуществляющие стандартизацию этих систем, что расширяет область использования различных курсов дистанционного обучения.
Существующие в современных системах дистанционного обучения механизмы контроля знаний позволяют авторам применять различные методики тестирования. Зачастую авторы тестов создают набор вопросов, каждый из которых задается каждому обучаемому. Такой подход является неэффективным и делает банк вопросов «уязвимым», то есть возрастает вероятность раскрытия информации о вопросах студентами, уже прошедшими тестирование. Этот факт является критичным, в особенности при использовании этой методики при тестировании студентов дневного обучения. В связи с этим актуальным является научно-обоснованный подход к выбору модели и метода тестирования.
Анализ современной отечественной и зарубежной литературы, предложенный в данной главе, позволил сделать выбор наиболее адекватной модели тестирования, предложить модернизацию этой модели и выполнить постановку задачи на создание комплекса программ для проведения контроля знаний в условиях дистанционного обучения.
Для ранжирования обучаемых при тестировании Л.В. Зайцевой и ее коллегами [4, 5, 6, 7] был предложен метод линейно-кусочной аппроксимации оценки знаний. В основе метода лежит алгоритм, основанный на классификации знаний (вопросов) обучающей программы по их дидактическим характеристикам, таким как значимость, трудность, спецификация. Характеристики значимости (z) и трудности (а) могут принимать одно из трех значений (минимальная, средняя, максимальная), а спецификации (s) - одно из четырех (задание типа «определение», «строение», «пример», «правило»). Таким образом, выделяется 36 (3x3x4) классов заданий, каждому из которых соответствует свой весовой коэффициент Wj =f(zJ,aJ,sJ); j=l,2,...,36. Число баллов, полученное обучаемым за выполнение п заданий, называется условной оценкой и вычисляется по следующей формуле:
Марковская модель оценки способности при адаптивном тестировании
В связи с широким развитием дистанционного обучения в настоящее время продолжают разрабатываться методики создания электронных учебников и тестирующих программ. В них справедливо уделяется внимание вопросам широкого использования мультимедийных технологий, повышения эффективности тестирующих систем. Для предоставления возможности использования учебных и тестовых материалов в различных средах компьютерного обучения и тестирования, к ним должны предъявляться требования по компиляции, адаптированные к индивидуальным особенностям обучаемых[36]. Большое внимание в настоящее время уделяется снижению временных и материальных затрат на создание версий учебников. Базой для реализации этих требований должны стать международные стандарты в области информационных технологий обучения, такие как IMS, IEEE LTSC, SCORM.
Компьютерные средства обучения разрабатываются уже более двадцати пяти лет. В начале в учебном процессе использовались различные программно-методические комплексы ДЛЯ освоения студентами элементов информационных технологий, затем получили развитие и компьютерные средства контроля знаний студентов. В конце 80-х годов стали создаваться компьютерные обучающие системы на базе электронных учебников по различным дисциплинам с текстовыми и графическими фрагментами [7].
Появление web-технологий ускорило дальнейшее развитие использования информационных технологий в обучении, началось становление дистанционного обучения, в том числе обучения через Internet. Также появилась концепция открытого образования, как системы предоставления образовательных услуг с помощью средств, имеющихся в распределенной информационно-образовательной среде, выбираемых пользователем самостоятельно и адаптируемых под его конкретные запросы.
Компьютерные обучающие и тестирующие системы, созданные в конце 80-х имели существенный недостаток - несовместимость форматов данных. Электронный учебник, созданный с помощью одной авторской системы обучения, не мог быть воспроизведен и использован в рамках другой. Существующие электронные учебники не удовлетворяли требованиям индивидуализации обучения, так как отсутствовали технологии адаптации содержания электронных курсов к запросам конкретных обучаемых. Проблемной также оставалась легкость сопровождения учебников, своевременного отражения в них современного состояния науки и техники.
Возникла проблема унификации архитектур обучающих систем, структур и форматов данных для представления учебных материалов, моделей обучаемых, средств управления учебным процессом и компиляции индивидуализированных версий учебных пособий, отражающих последние научно-технические достижения.
Для решения проблемы унификации было создано несколько международных и национальных организаций, целью которых стала стандартизация компьютерных средств обучения на основе современных информационных технологий. Среди этих организаций выделяются: IMS Global Learning Consortium - международный образовательный консорциум, развивающий концепцию, технологии и стандарты обучения на базе системы управления обучением IMS (Instructional Management System); IEEE LTSC - IEEE Learning Technology Standards Committee - комитет стандартизации в области технологий обучения, созданный в IEEE (Institute of Electrical and Electronics Engineers); AICC - Aviation Industry CBT Committee - комитет компьютерного обучения в авиационной промышленности; ADL - Advanced Distributed Learning Initiative Network - организация распределенного обучения, основанная департаментом политики в области науки и технологий в администрации президента США (OSTP - White House Office of Science and Technology Policy) и министерством обороны США (DoD), как сеть распределенного обучения, обеспечивающая широкомасштабный доступ к образовательным ресурсам многих пользователей. Рассмотрим основные международные стандарты, используемые в настоящее время при создании обучающих и контролирующих модулей систем дистанционного обучения. Спецификации IMS Консорциум IMS создан в 1997 г. ведущими промышленными компаниями в области информационных технологий, университетами и правительственными органами нескольких стран. Система IMS включает спецификации: IMS Content Packaging Specification - компоновка содержания учебников и учебных пособий; IMS Learner Information Package Specification - описание данных об обучаемом; IMS Metadata Specification - описание метаданных учебных материалов; IMS Digital Repositories Interoperability - описание связей разных репозиториев; IMS Question and Test Specification - описание типичных вопросов и средств тестирования; IMS Digital Repositories - описание хранилищ цифровых данных и ряд других. Эти спецификации предназначены для обеспечения распределенного процесса обучения, открытости средств обучения, интеропе-рабельности обучающих систем, обмена данными о студентах между электронными деканатами в системах открытого образования. Распространение IMS спецификаций должно способствовать созданию единой информационно-образовательной среды, развитию баз учебных материалов, в том числе благодаря объединению усилий многих авторов при создании электронных учебников и энциклопедий.
Алгоритм адаптивного тестирования в условиях системы дистанционного обучения
В качестве базисной точки bi при использовании данного метода в работе как при модели Бирнбаума, так и при Марковской модели выбирается bi = (0, -3) при котором а=0, Ь= -3.
Алгоритм функционирования данного метода следующий: Выбирается начальная базисная точка bi = (0, -3) и шаг длиной hi = 1 для каждого параметра вопроса, который необходимо оценить. 1. Вычисляется значение функции g (bi) в базисной точке bi. 2. Каждый параметр вопроса по очереди изменяется прибавлением длины шага. Таким образом, вычисляется значение функции g(bi+hiei), где ei - единичный вектор в направлении изменения параметра а. Если это приводит к уменьшению значения функции, то Ы заменяется на bi+hiei. В противном случае вычисляется значение функции g(bi-hiei), и если ее значение уменьшилось, то bi заменяется на Ы-hieu Если ни один из проделанных шагов не приводит к уменьшению значения функции, то точка Ы остается неизменной и рассматриваются изменения в направлении изменения параметра Ь, т.е. находится значение функции g(bi+h2e2) и т. д. После рассмотрения этих двух направлений получаем новую базисную точку Ъг. 3. Если Ьг=Ы, т. е. уменьшение функции не было достигнуто, то исследование повторяется вокруг той же базисной точки bi, но с уменьшенной длиной шага. На практике удовлетворительным является уменьшение шага в десять раз от начальной длины, что и делается в данной работе. 4. Если Ьг Ьі, то производится поиск по образцу. При поиске по образцу используется информация, полученная в процессе исследования, и минимизация функции завершается поиском в направлении, заданном образцом. Эта процедура производится следующим образом: а) Движение осуществляется из базисной точки b2 в направлении b2-bi, поскольку поиск в этом направлении уже привел к уменьшению значения функции. Поэтому вычисляется функция в точке образца Pi=bi+2(b2-bi). В общем случае РІ=ЬІ+2(ЬІ+І-ЬІ). б) Затем исследование продолжается вокруг точки Pi (Pi) . в) Если наименьшее значение на шаге б, меньше значения в ба зисной точке Ъг (в общем случае ЬІ+І), то получают новую базисную точку Ьз (bi+2), после чего следует повторить шаг а. В противном случае не производить поиск по образцу из точки Ьг (bi+i), а продолжить ис следования в точке Ьг(Ьі+і). 5. Процесс завершается, когда длина шага будет уменьшена до заданного малого значения. В данной работе эта величина равна 0,01. Этот метод модифицируется для учета ограничений. Для этого при решении задачи минимизации присваивается целевой функции очень большое значение там, где ограничения нарушаются. При реализации проверяется, каждая ли точка, полученная в процессе поиска, принадлежит области ограничений. Если каждая, то целевая функция вычисляется обычным путем. Если нет, то целевой функции присваивается очень большое значение. Таким образом, поиск осуществляется снова в допустимой области в направлении к минимальной точке внутри этой области. В данной работе в качестве ограничений выступает область допустимых значений параметров, т.е. Проведенный в рамках данной работы корреляционный анализ последовательности ответов позволил предложить модернизацию модели тестирования Бирнбаума математическим аппаратом марковских цепей. Применение данного математического аппарата позволяет получить более адекватную модель тестирования, учитывающую зависимость ответа тестируемого от результата, полученного на предыдущем шаге. Такая модель, по мнению автора, более адекватно описывает процесс тестирования при отображении результатов ответов на вопросы на каждом шаге тестирования. В данной главе также предложен интервальный метод оценки знаний с помощью марковской модели и введены новые, по сравнению с классической теорией, дополнительные характеристики процесса тестирования. Для оценки способности тестируемого предложено использовать известный в математической статистике метод максимального правдоподобия. Вариант использования данного метода приведен как для модели Бирнбаума, так и для марковской модели. Предложенный метод Хука-Дживса позволяет достаточно несложно реализовать оценку параметров вопросов по экспериментальным данным для двух описанных в данной работе моделей. Описание программной реализации математического аппарата, предложенного в данной главе, приводится ниже.
Адаптивное тестирование учащихся медицинского училища по дисциплине «Сестринское дело при инфекционных заболеваниях»
Первым шагом при тестировании является инициализация объекта, с помощью которого осуществляется тестирование. Здесь производится выбор курса, по которому будет осуществлено тестирование, файла данных, подготовленного программой подготовки тестирования, описанной выше и испытуемого. Результаты тестирования данного испытуемого будут записаны в тот же файл данных и могут быть в дальнейшем обработаны программой обработки статистической информации.
После нажатия кнопки «Далее» производится загрузка тестируемого модуля из файла курса стандарта SCORM. Файл очередного вопроса отображается испытуемым, который должен выбрать один из ответов и нажать кнопку «Следующий вопрос». Механизм, по которому осуществляется выбор очередного вопроса, описан в начале этой главы. Внедренный в программу просмотра web-страниц объект ActiveX, подобно Java Applety системы I.Logos, получает от модуля информацию о результатах в соответствии с моделью сті стандарта SCORM. Далее этот ActiveX объект производит сохранение полученной информации в файле данных, указанном при инициализации тестирования.
Программа подготовки, сбора и обработки статистической информации позволяет использовать механизм адаптивного тестирования по Бирнбауму и методику адаптивного тестирования с использованием марковской модели тестирования, описанные выше, с курсами, созданными для работы в системах дистанционного обучения, построенных на стандарте SCORM. Входными данными данной программы является курс, запакованный в zip-архив по правилам, описанным в руководстве по содержанию SCORM-совместимых курсов. Программа производит распаковку курса, считывание метаданных курса и позволяет подготавливать данный курс к проведению локального тестирования. В данной программе производится ввод студентов, участвующих в тестировании с тем, чтобы результаты тестирования сопоставлялись определенному испытуемому. Кроме подготовки тестирования программа позволяет просматривать структуру курсов и производить оценку параметров вопросов для адаптивного тестирования как при использовании модели Бирнбаума, так и при использовании марковской модели тестирования.
Описанная в данной главе программная реализация комплекса подготовки и проведения тестирования использует разработанную автором работы марковскую модель адаптивного тестирования, описанную во второй главе. Кроме этого, разработанный комплекс позволяет создавать и проводить классическое тестирование и адаптивное тестирование по модели Бирнбаума.
Комплекс включает программы создания курсов и тестов, сбора и обработки статистических данных о результатах тестирования, а также программное обеспечение проведения тестирования, реализованное в двух вариантах: в виде локальной версии для проведения тестирования в компьютерных залах, не объединенных локальной сетью, и в виде модуля для SCORM-совместимых систем. Последний вариант позволяет использовать созданные тесты в системах дистанционного и компьютерного обучения, основанных на стандарте SCORM, что расширяет диапазон применения разработанного комплекса. Выполненная реализация прошла апробацию в Иркутском государственном техническом университете и Селенгинском медицинском училище. Результаты, полученные при использовании разработанного комплекса, приведены в следующей главе. Для проведения адаптивного тестирования с помощью предложенного программного комплекса необходимо выполнение следующих шагов: 1. Составление вопросов с помощью программы редактора курсов (тестов). 2. Проведение классического тестирования студентов по всем вопросам банка для сбора статистической информации. Для проведения тестирования может быть использована как система дистанционного обучения i.Logos, так и разработанная локальная версия программы тестирования. 3. Оценка параметров вопросов осуществляется с помощью программы сбора и обработки статистической информации, описанной выше. Оценка параметров может быть выполнена как для модели Бирнбаума, так и для марковской модели тестирования. 4. Оценка валидности банка вопросов осуществляется путем вычисления функции информации банка вопросов[11], представляющую собой сумму функций информации всех вопросов банка. В идеале график этой функции должен быть параллелен оси абсцисс, на практике же, такого добиться невозможно. На этом же этапе производится «очистка» от вопросов на которые все испытуемые дали либо правильный либо неправильный ответ. 5. Ввод корректировок параметров вопросов производится в программе редактора курсов (тестов). 6. Проведение адаптивного тестирования по марковской модели с помощью системы дистанционного обучения i.Logos или локальной версией программы тестирования. В следующих параграфах данной главы приведены примеры использования всего программного комплекса на практике.
