Содержание к диссертации
введение 4
1 описание проблемы и обзор существующих решений... 10
Основные понятия 10
Описание проблемы 14
Обзор методик и моделей оценивания знаний 16
Методики оценивания знаний в традиционном тестировании 16
Модели оценивания знаний в системах автоматизированного тестирования 23
Модели оценки знаний с использованием четких тестов 23
Модели оценки знаний с использованием «нечетких» тестов 27
Постановка задачи 31
Четкие и нечеткие понятия и отношения предметной области 34
Подход к решению поставленной задачи 36
Выводы по первой главе 38
2 ОЦЕНИВАНИЕ ТЕСТОВЫХ ЗАДАНИЙ С РАЗДЕЛЕНИЕМ ПО УРОВНЯМ
УСВОЕНИЯ 40
2.1 Формальное представление результатов тестирования и их шкалирование
40
2.1.1 Формальное представление вопросно-ответных отношений в тесте 40
Формализация закрытых по форме вопросов в тестовом задании 40
Формализация открытых по форме вопросов в тестовом задании 44
Шкалирование стоимостных оценок тестового задания 48
Модель оценивания тестовых заданий 53
Оценивание тестовых заданий Iуровня усвоения 53
Оценивание тестовых заданий II и IIIуровней усвоения 57
Модель адаптивного тестирования 60
Модель интегральной оценки результатов тестирования 68
Выводы по второй главе 70
3 НЕЧЕТКИЙ ЛОГИЧЕСКИЙ ВЫВОД ПРИ ОЦЕНИВАНИИ РЕЗУЛЬТАТОВ
ТЕСТИРОВАНИЯ 71
3.1 Базы правил нечетких продукций в задаче оценивания результатов
тестирования 71
3.2фаззификация ! 73
3.3 Нечеткий логический вывод 80
Агрегирование 80
Активизация 81
3.3.3 Аккумуляция '. 82
3.4ДЕФАЗЗИФИКАЦИЯ 83
3.5 Выводы по третьей главе 85
4 ОПИСАНИЕ ВЫЧИСЛИТЕЛЬНЫХ ЭКСПЕРИМЕНТОВ 87
4.1 Описание программного обеспечения 87
Архитектура нечеткого регулятора 87
Компонент «Интерфейсная часть» нечеткого регулятора 89
Компонент «База правил» нечеткого регулятора 95
Компонент «Аппарат нечёткого вывода» нечеткого регулятора 99
4.2 Анализ результатов вычислительных экспериментов 103
Определение согласованности мнений экспертов 103
Экспертный анализ результатов 105
4.6 Выводы по четвертой главе 109
ЗАКЛЮЧЕНИЕ 111
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 113
ПРИЛОЖЕНИЕ А 123
Набор параметров тестовых заданий закрытого типа 123
ПРИЛОЖЕНИЕ Б 132
Ядро базы правил нечетких продукций для оценивания тестовых заданий і
уровня усвоения 132
ПРИЛОЖЕНИЕ В 138
Ядро базы правил нечетких продукций для оценивания тестовых заданий п и
iii уровней 138
ПРИЛОЖЕНИЕ Г 143
Модель базы правил в DTD-формате 143
ПРИЛОЖЕНИЕ Д..... 146
Список реализованных в нечетком регуляторе функций принадлежности .. 146
ПРИЛОЖЕНИЕ Е.... 148
Результаты оценивания теста нечетким регулятором, представленные на
экспертную оценку 148
ПРИЛОЖЕНИЕ Ж 153
Акты ОБ использовании материалов диссертационной работы 153
Введение к работе
Широкое внедрение информационных и коммуникационных технологий в сферу образования и решение проблемы качества обучения обуславливают необходимость разработки моделей, адекватных процессам учебной деятельности.
Повышение качества обучения является приоритетным направлением развития системы образования. Одной из основных задач управления качеством образования в учебном заведении является задача контроля качества обучения. В условиях современного информационного общества автоматизированное тестирование может стать основным инструментом для контроля качества [33, 42].
К настоящему времени разработаны разнообразные среды, предназначенные как для подготовки автоматизированного тестирования, так и его проведения: UniTest System [77], Конструктор тестов [56], Инспектор [87], Экспресс-тест [103], SunRav TestOfficePro [79], Тест [96], УПАТ [97], Система проверки знаний [89], HyperTest [88], Open TEST [58], Прометей [29], ACT-ТЕСТ [73], Neyron [100], СДТ Ната (md-77) [86] и др. По типу доступа они классифицируются как автономные, сетевые и удаленные. В этих средах в основном поддерживаются пять типов заданий, вопросы в которых требуют следующих типов ответов: выбор единственно правильного ответа; выбор нескольких возможных правильных ответов; установка последовательности правильных ответов; установка соответствий ответов; ввод ответа вручную с клавиатуры. Согласно теории усвоения Беспалько В.П. первые четыре типа заданий относятся к тестам первого уровня усвоения знаний (опознание, различение, классификация), пятый тип - ко второму уровню (подстановка) [19]. При этом на оценку выполнения тестового задания не влияет, к какому уровню усвоения и какому типу одноуровневых заданий оно относится. Оценивание задания во всех этих средах зависит от составителя теста, т.е. баллы за выполнение тестовых заданий назначаются им на основе его компетентности. В данном случае составитель теста выступает как эксперт в своей предметной области, и оценка, полученная тестируемым за выполнение теста, не лишена субъективизма. Кроме этого, способы вычисления интегральной оценки результатов тестирования отличаются простотой расчета: в основном используется аддитивный способ оценки правильно выполненных тестовых заданий. При дихотомичности и одноуровневое заданий в тесте каждое правильно выполненное задание оценивается в один балл. При политамичности и
многоуровневое на этапе формирования теста каждому заданию в зависимости от его сложности назначается определенный балл или весовой коэффициент. Интегральная оценка выполнения теста вычисляется как сумма полученных баллов за правильно выполненные задания.
Анализ систем контроля знаний студентов показал, что разработка этих систем преимущественно идет на эмпирической основе без должного научно-методического обоснования, без опоры на теоретические модели готовности специалиста к профессиональной деятельности, без привлечения методов педагогической квалиметрии. Слабая концептуальная разработанность технологии контроля все более приходит в противоречие с объективными потребностями вузовской практики по реализации программы повышения качества подготовки специалистов, и в связи с этим возникает необходимость разработки научно-обоснованной системы контроля знаний студентов.
Таким образом, существует техническая проблема, заключающаяся в совершенствовании процесса автоматизированной оценки результатов тестирования студентов, решение которой позволит повысить эффективность выполнения контроля знаний студентов, обеспечить объективность оценки выполнения теста как по уровням усвоения знаний тестовых заданий, так и по тесту в целом.
Предметная область задачи оценивания знаний учащихся относится к интеллектуальным задачам, решение которой зависит от субъективных критериев оценки тестового задания преподавателем, которым свойственна расплывчатость границ оценивания. Поэтому для решения технической проблемы была поставлена научная проблема, которая заключается в создании модели оценивания знаний студентов на основе применения аппарата нечеткой логики и теории вопросно-ответных отношений.
Объект исследования - система контроля знаний студентов.
Предмет исследования - оценивание результатов автоматизированного тестирования.
Цель работы - исследование и разработка модели оценивания знаний студентов, адекватно отражающей процесс оценки результатов автоматизированного тестирования.
Для достижения поставленной цели необходимо решить следующие задачи:
Выполнить анализ существующих методик и моделей оценивания результатов тестирования и определить подход к решению поставленной задачи.
Разработать математический аппарат реализации вопросно-ответных отношений в тестовых заданиях для распознавания ответов тестируемого и шкалирования стоимостных оценок тестовых заданий.
Разработать модель оценивания результатов автоматизированного тестирования на основе применения правил нечетких продукций.
Разработать программное обеспечение для реализации модели оценивания результатов тестирования и выполнить вычислительные эксперименты, осуществляющие проверку корректности модели.
Методы исследования базируются на математическом аппарате теории множеств, нечеткой, эротетической и математической логик, теории принятий решений, системного анализа.
Для описания понятий и отношений проблемной области использован теоретико-множественный подход. Разработка адаптивной модели оценивания результатов тестирования основана на методах нечеткого регулирования. Для формализации вопросно-ответных отношений в тестовых заданиях использован аппарат эротетической логики Н. Белнапа, базирующейся на логике предикатов первого порядка. Метод групповых экспертных оценок использован для проверки корректности модели. Системный анализ использован при исследовании предметной области, выработке подхода к решению задачи, определении методов решения задачи [53, 83]. Методы объектно-ориентированного программирования и разработки интеллектуальных систем использованы для разработки программного обеспечения в виде нечеткого регулятора оценивания результатов тестирования.
Достоверность научных выводов и практических рекомендаций основывается на теоретических и методологических положениях, сформулированных в исследованиях российских и зарубежных ученых, таких как Л.А. Заде [4-6], Е. Мамдани [16], Н. Белнап [18], Осипов [75] и других.
Построение модели осуществлялось также на базе научных трудов по педагогике В.С.Аванесова, С.И.Архангельского, В.П.Беспалько, И.Я.Лернера,
В.И.Михеева, М.Н.Скаткина, А.О.Татура, В.С.Черепанова, М.Б.Челышковой, А.И. Субетто и др. [1, 2, 13-15,19-22, 7-9, 61-63, 90-95,101].
Наиболее существенные результаты и научная новизна:
Разработаны базы правил нечетких продукций для оценивания тестовых заданий, отражающих каузальные рассуждения компетентных преподавателей при оценивании результатов тестирования и обеспечивающие условия адаптивного тестирования с учетом степени трудоемкости выполнения тестовых заданий и степени значимости содержащихся в них понятий.
Выполнена унификация представления тестовых заданий, что позволило применить для их формализации единый аппарат вопросно-ответных отношений, основанный на эротетической логике.
Практическая значимость исследования состоит в том, что полученные результаты могут быть применены при разработке систем автоматизированного тестирования, предназначенных для оценки знаний студентов по отдельным темам дисциплины, дисциплине в целом, организации междисциплинарного экзамена. Результаты тестирования могут быть использованы для определения уровня подготовленности студентов в различных разрезах: раздела дисциплины, дисциплины в целом, специальности, факультета, вуза и т.д. и служить основой разработки рейтинговой системы успеваемости учащихся.
Апробация результатов исследования. Основные положения диссертационной работы докладывались и обсуждались на Международной научно-методической конференции «Роль инфокоммуникационных технологий в совершенствовании системы управления качеством образования» (Санкт-Петербург, 2005 г.), Девятой Всероссийской научно-практической конференции «Проблемы информатизации региона» (Красноярск, 2005 г.), Четвертой Всероссийской научно-практической конференции «Единая образовательная информационная среда: проблемы и пути развития» (Барнаул, 2005 г.), Первой, Третьей и Шестой Всероссийских научно-технических конференциях «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2000, 2002, 2005 гг.), Второй Всероссийской научно-практической конференции «Российская школа и Интернет» (Санкт-Петербург, 2002 г.), научно-методической конференции «Методологические проблемы контроля качества учебного процесса при переходе к
инновационному образованию» (Улан-Удэ, 2000 г.). Результаты диссертации используются в учебной и производственной деятельностях Восточно-Сибирского государственного технологического университета и включены в программу учебной дисциплины «Системы искусственного интеллекта» специальности 010503 «Математическое обеспечение и администрирование информационных систем» в виде методических указаний к лабораторным работам по дисциплине «Системы искусственного интеллекта»; методик по созданию подсистемы нечеткого логического вывода и модуля оценивания результатов тестирования при разработке системы удаленного тестирования. Также они используются в дистанционном обучении центра информационно-методической поддержки образования Омского государственного университета для составления методики оценивания знаний обучаемых при удаленном тестировании.
Публикации. По теме диссертации опубликовано 14 работ общим объемом 12,1 п.л., из которых 11 статей, 1 учебное пособие и 2 свидетельства об официальной регистрации программы для ЭВМ.
Структура и объем диссертации. Диссертация изложена на 123 страницах, состоит из введения, четырех глав, заключения, списка использованной литературы и семи приложений. Работа содержит 30 рисунков и 20 таблиц. Список литературы содержит 105 наименований. Объем приложений составляет 30 страниц.
Первая глава посвящена описанию проблемной ситуации. Выполнен обзор методик контроля знаний учащихся при традиционном тестировании и моделей оценивания знаний при автоматизированном тестировании, сформулирована постановка задачи. Исходя из постановки задачи, определены четкие и нечеткие понятия и отношения предметной области; рассмотрены вопросы ее идентификации на принадлежность существующим классам неопределенности, и определен подход к оцениванию результатов тестирования.
Вторая глава посвящена разработке модели оценивания результатов тестирования. Выполнена формализация вопросно-ответных отношений в тестовых заданиях по уровням усвоения для распознавания ответов тестируемого и формального представления результатов тестирования; выполнено шкалирование стоимостных оценок тестовых заданий; разработаны базы правил нечетких продукций для оценивания тестовых заданий закрытого и открытого типов; с целью
обеспечения адаптивности тестирования разработана база правил нечетких продукций для ранжирования заданий в тесте; выполнен расчет интегральной оценки выполнения теста на основе результатов оценивания каждого тестового задания.
Третья глава посвящена разработке модели интегральной оценки знаний учащихся по дисциплине, специальности, факультету, учебному заведению, описаны компоненты модели: математическая модель, логическая модель данных по предметной области «Успеваемость учащихся» подсистемы «Учебная деятельность» системы «Управление вузом».
В четвертой главе приведены описание программного обеспечения, разработанного для проведения экспериментов, план проведения экспериментов, описание тестовых данных с обоснованием репрезентативности выборки данных, анализ результатов проведенных экспериментов. Полученные результаты позволили подтвердить достоверность основных положений работы.
Заключение по работе содержит перечень научных и практических результатов, полученных при решении поставленной в работе задачи.
В приложениях приведены набор параметров тестовых заданий закрытого типа, ядро базы правил нечетких продукций для оценивания тестовых заданий I уровня усвоения, ядро базы правил нечетких продукций для оценивания тестовых заданий II и III уровней, модель базы правил в ОТО-формате,список реализованных в нечетком регуляторе функций принадлежности, результаты оценивания теста нечетким регулятором, представленные на экспертную оценку, акты об использовании материалов диссертационной работы.
