Содержание к диссертации
Введение
ГЛАВА 1. Проблема построения компьютерных тестирующих систем для контроля знаний по техническим дисциплинам 10
1.1. Анализ современного состояния проблемы разработки компьютерных тестирующих систем 10
1.1.1. Компьютерные тестирующие системы (КТС): основные понятия и классификация тестов. Характеристики качества тестов 10
1.1.2. КТС - необходимый компонент компьютерных средств обучения, применяемых в учебном процессе технического вуза 17
1.2. Традиционные подходы к задачам компьютерного тестирования 23
1.2.1. Определение целей, содержания и структуры компьютерного теста 24
1.2.2. Модели компьютерного тестирования 27
1.2.3. Определение качества тестов. Разработка шкалы измерений и правил интерпретации результатов. Анализ результатов и составление отчета 31
1.3. Ограничения известных моделей и инструментальных средств для построения компьютерных тестирующих систем по техническим дисциплинам 33
1.4. Проблема автоматизации построения КТС и постановка задач,
решаемых в диссертационной работе 40
1.5. Выводы 44
ГЛАВА 2. Модель ктс и продукционный метод генерации тестовых заданий для КТС 46
2.1. Модель КТС, включающей механизм автоматической генерации тестовых заданий 46
2.2. Продукционный формализм 50
2.3. Метод генерации тестовых заданий для КТС 55
2.4. Интерпретации метода генерации тестовых заданий для различных предметных областей 62
2.4.1. Интерпретации метода для генерации тестовых заданий по дисциплине «Математика» 63
2.4.2. Интерпретации метода для генерации тестовых заданий по физике 66
2.4.3. Интерпретации метода генерации тестовых заданий по дисциплинам социально-гуманитарного цикла 69
2.4.4. Интерпретации метода генерации тестовых заданий по дисциплине «Метрология, стандартизация, сертификация» 70
2.4.5. Интерпретации метода генерации тестовых заданий по специальным дисциплинами и другие направления применения предложенного метода 75
2.5. Выводы 77
ГЛАВА 3. Инструментальный программный комплекс для построения компьютерных тестирующих систем и практические результаты его применения
3.1. Принципы построения и структура КТС
3.2. Инструментальный программный комплекс (ИПК) для построения компьютерных тестирующих систем 82
3.2.1. Структурные блоки ИПК 82
3.2.2. Формирователь структуры теста 84
3.2.3. Редактор грамматик 86
3.2.4. Блок генерации заданий по грамматикам 89
3.2.5. Блоки, реализующие другие способы автоматизированного формирования тестовых заданий 93
3.2.5. Генератор (синтезатор) теста 96
3.2.5. Программная реализация ИПК 97
3.3. Основные характеристики прикладных тестирующих систем, реализованных на базе предложенных модели и метода 103
3.3.1. Тренирующая интеллектуальная система 103
3.3.2. Инструментальная интеллектуальная программная среда 107
3.3.3. Интеллектуальная тестирующая система 110
3.3.4. Сетевая версия интеллектуальной тестирующей системы 118
3.3.5. Интернет-версия интеллектуальной тестирующей системы 126
3.4. Экспериментальная оценка качества генерируемых тестов 129
3.5. Результаты применения ИПК для прогнозирования успешности обучения 130
3.6. Оценка эффективности ИПК-КТС 132
3.7. Выводы 136
Заключение 139
Библиографический список 142
Публикации автора по теме диссертации
- Анализ современного состояния проблемы разработки компьютерных тестирующих систем
- Модель КТС, включающей механизм автоматической генерации тестовых заданий
- Инструментальный программный комплекс (ИПК) для построения компьютерных тестирующих систем
- Основные характеристики прикладных тестирующих систем, реализованных на базе предложенных модели и метода
Введение к работе
В современных условиях научно-технического прогресса, развития новых технологий и информатизации общества наряду с задачей обучения актуальной является задача постоянного обновления знаний специалистов. Важную роль в решении указанных задач играют компьютерные средства обучения. Применение информационных технологий в образовании позволяет индивидуализировать процесс обучения, обеспечить самоконтроль и контроль обучаемого с диагностикой ошибок и обратной связью. Демонстрация визуальной учебной информации, моделирование и имитация процессов и явлений существенно расширяют наглядность курса и повышают интерес к процессу обучения. В системе образования накоплено несколько тысяч компьютерных программ учебного назначения. Разрабатываются и используются как отдельные образовательные программные продукты, так и автоматизированные обучающие системы (АОС) по различным учебным дисциплинам. Подобные системы достаточно широко известны. Основным способом контроля знаний в обучающих системах по-прежнему остается тестирование. Помимо измерительной задачи тестирование может выполнять целый ряд функций: обучение, тренинг, развитие когнитивных способностей, повышение мотивации обучения и некоторые другие. Поэтому тестирующие системы (ТС) являются непременным атрибутом АОС.
Различные аспекты тестирования, создания и применения обучающих и тестирующих систем на базе современных информационных технологий, вопросы разработки баз данных и баз знаний программных систем рассмотрены в работах отечественных и зарубежных ученых Аванесова В.С, Башмакова И.А., Башмакова А.И., Воробьева В.И., Горбатова Д.С, Загвязинского В.И., Клайна П., Курганской Г.С., Минасова Ш.М., Поспелова Д.А., Третьякова П.И., Хованова Н.В., Чертовского В.Д. и др. Многие авторы отмечают трудоемкость организации тестирующих систем, так как основное внимание разработчики ТС уделяют автоматизации процессов тестирования и обработки его результатов, а при создании инструментальных средств решаются вопросы применения методологий и технологий тестирования, оформления интерфейса, стыковки различного программного обеспечения (в том числе и форматов наполнения систем). Использование в компьютерных средствах обучения для контроля знаний весьма ограниченного числа тестовых заданий (наличие в ТС большого количества разнообразных тестовых заданий позволяет повысить качество тренинга и объективность тестирования, реализовать построение адаптивных тестирующих систем) объясняется, в основном, слабой автоматизацией процессов построения тестов. Большинство существующих ТС отличаются узкой специализацией и сложностью внесения изменений в наборы тестовых заданий, что создает проблему адаптации обучающих систем к быстро меняющимся требованиям. Между тем, в связи с возникновением и интенсивным развитием новых технологий достаточно часто требуется обновление тестов (множеств заданий), например, в области информационных технологий и программирования. Поэтому проблема автоматизации построения компьютерных тестов контроля знаний по техническим дисциплинам представляется весьма актуальной.
Целью диссертационной работы является снижение трудоемкости построения компьютерных тестов, повышение обоснованности и глубины контроля знаний на основе автоматизации процесса формирования тестовых заданий, имеющих задашгую структуру и содержание.
Объектом диссертационных исследований являются компьютерные тестирующие системы, используемые в учебном процессе технических вузов.
Предметом исследования является моделыю-алгоритмическое и программное обеспечение автоматизированного формирования тестовых заданий по техническим дисциплинам.
Для достижения поставленной цели в диссертационной работе решаются следующие задачи:
1. Исследование существующих автоматизированных тестирующих систем и анализ методов их построения;
2. Разработка модели компьютерной тестирующей системы (КТС), включающей механизм автоматического порождения тестовых заданий;
3. Разработка метода автоматической генерации тестовых заданий в структуре КТС;
4. Разработка алгоритмов реализации основных функций инструментального программного комплекса (ИПК), основанного на предложенном методе;
5. Разработка и реализация инструментального программного комплекса для автоматизированного построения компьютерных тестирующих и обучающих систем на основе метода автоматической генерации тестовых заданий;
6. Проведение экспериментальных исследований прототипов КТС и оценка их эффективности и качества создаваемых тестов.
Результаты выполненных в работе исследований и проектных работ базируются на использовании методов статистического анализа, информационного моделирования данных и знаний, модульном и объектно-ориентированном подходе к проектированию и программированию, теории формальных языков и грамматик, теории дедуктивных систем и исчислений.
Основные положения, выносимые на защиту:
1. Модель компьютерной тестирующей системы, включающая механизм динамического формирования тестовых заданий для контроля знаний;
2. Продукционный метод автоматической генерации тестовых заданий, предназначенный для построения компьютерных тестов контроля знаний;
3. Алгоритмы реализации основных функций инструментального программного комплекса (ИПК), разработанного на основе метода автоматической генерации тестовых заданий и предназначенного для формирования тестов контроля знаний.
Научная новизна работы заключается в следующем:
1. Разработана модель компьютерной тестирующей системы, отличающаяся от существующих моделей наличием механизма оперативного формирования тестовых заданий и позволяющая обеспечить предъявление заданий в соответствии с заданной структурой теста в динамическом режиме;
2. Предложен продукционный метод автоматической генерации тестовых заданий, отличающийся возможностью быстрого изменения характеристик компьютерных тестов и позволяющий оперативно генерировать заданное количество тестов и управлять их содержанием в автоматическом режиме;
3. Разработаны алгоритмы реализации основных функций инструментального программного комплекса (ИПК), построенные на основе метода автоматической генерации тестовых заданий и отличающиеся от существующих алгоритмов тем, что предоставляют возможность на основе формальных грамматик генерировать тесты заданной структуры и содержания.
Практическая ценность результатов работы заключается в том, что разработаны и доведены до практической реализации модель тестирующей системы, метод автоматической генерации тестовых заданий и алгоритмы реализации основных функций, предложенные для построения КТС, которые нашли применение в виде прикладного инструментального программного комплекса. ИПК отличается способностью автоматического порождения прикладных тестирующих и обучающих систем и позволяет учесть специфику предметной области и методики преподавания всех циклов дисциплин технического вуза, особенности методов построения учебных курсов; снизить затраты на разработку обучающих и (или) тестирующих систем. Результаты экспериментов по автоматизированному созданию на базе ИПК тестирующих систем и их апробации показывают эффективность применения предлагаемого подхода. Качество генерируемых тестов достаточно высокое.
Прикладные компьютерные тестирующие и обучающие системы, разработанные автором в ходе диссертационных исследований, успешно применяются в течение ряда лет в учебном процессе нескольких вузов как при использовании традиционных форм организации учебного процесса, так и при дистанционных формах обучения. Результаты работы внедрены в Вологодском государственном техническом университете (в структуре АОС «Метрология», в мультимедийном электронном учебнике «Интеллектуальные системы управления», в комплексах лабораторных работ по дисциплинам «Системное программное обеспечение», «Информационное обеспечение систем управления», «Оборудование автоматизированных производств»), в Вологодском государственном педагогическом университете (для контроля знаний по дисциплине «Базы данных и экспертные системы»), в филиале (г.Вологда) Северо-Западной академии госслужбы (в тестирующих системах по информатике и компьютерной подготовке), в ООО «Газстройпроект» г. Вологда и в ЗАО «КАМИ-СВЭП" г. Вологда (в системе повышения квалификации и аттестации персонала).
Основные результаты диссертации получены в рамках выполнения госбюджетных научно-исследовательских работ: "Исследование и разработка методов моделирования сложных систем" (Вологда, ВоПИ, 1996-98г.г., тема Г79.2.Э5), "Исследование методов разработки экспертных и обучающих систем"
Вологда, ВоПИ, 1996-98г.г., тема Г79.2.Э4), в гранте "Исследование и разработка математических методов и средств проектирования распределенных интеллектуальных информационных систем" (грант по фундаментальным исследованиям в области гуманитарных наук Г02-4.3-65 Минвуза РФ 2003-2004 г.г.)
Апробация. Основные результаты диссертационной работы докладывались и обсуждались более, чем на 20 конференциях и симпозиуме: I и III Международные конференции «Информационные технологии в производственных, социальных и экономических процессах: ИнфоТех» (Череповец, ЧГУ, 1996, 2001); I и II Международные научно-технические конференции «Информатизация процессов формирования открытых систем на основе СУБД, САПР, АСНИ и искусственного интеллекта» (Вологда, ВоГТУ, 2001, 2003, 2005); IV и V Международные конференции «Интерактивные системы» (Ульяновск, УлГТУ, 2001, 2003); II, III, IV и VI Международные научные конференции «Информация -Коммуникация - Общество» (Санкт-Петербург, ЛЭТИ, 2001, 2002, 2003, 2005); VIII, IX, X, XI и XII Международные конференции «Современные технологии обучения» (Санкт-Петербург 2002, 2003, 2004,2005, 2006); I и II Научно-технические конференции «Тренажерные технологии и симуляторы» (Санкт-Петербург, СПбГПУ 2002, 2003); X и XII Международные конференции «Математика. Компьютер. Образование» (Пущино, 2003, 2005); XIV, XV и XVI Международные конференции «Применение новых технологий в образовании» (Троицк, 2003, 2004, 2005); II и III Всероссийские научно-технические конференции «Вузовская наука - региону» (Вологда, ВоГТУ, 2004, 2005); II Международная научно-техническая конференция «Моделирование, оптимизация и интенсификация производственных процессов и систем» (Вологда, ВоГТУ, 2004); Международная научная конференция «Informatics, Mathematical Modelling and Design in the Technics, Controlling and Education (IMMD 2004)» (Владимир, 2004); VI Международный симпозиум «Интеллектуальные системы» (Саратов, 2004).
Публикации. По теме диссертации опубликовано более 30 работ, в том числе: 1 статья в журнале из перечня ВАК («Системы управления и информационные технологии»), 7 статей, 25 докладов на международных и российских научных конференциях. Публикации отражают все основные результаты диссертационной работы.
Объем и структура работы.
Работа содержит 201_ страницу, в том числе _Д41__страница основного текста, иллюстрированного _42__ рисунками и состоит из введения, трех глав, заключения, перечня литературы и приложений.
Краткое содержание диссертации
В первой главе «Проблема построения компьютерных тестирующих систем для коїггроля знаний по техническим дисциплинам» рассматриваются современное состояние процесса создания компьютерных тестирующих систем, традиционные подходы к задачам их разработки и проблемы построения КТС. Формулируются основные подходы к решению указанных проблем.
Во второй главе «Модель КТС и продукционный метод генерации тестовых заданий для КТС» предлагается модель компьютерной тестирующей системы, отличающаяся от традиционных наличием механизмов динамического формирования тестовых заданий и предполагающая предъявление заданий в динамическом режиме в соответствии с заданной структурой теста. Разработан продукционный метод автоматической генерации тестовых заданий, применение которого позволяет быстро изменять свойства системы, учитывать динамику процесса обучения и создавать структуры обучающих и тестирующих систем генерирующих неограниченное количество тестов и управлять их содержанием автоматическим образом.
В третьей главе «Инструментальный программный комплекс для построения компьютерных тестирующих систем и практические результаты его применения» рассматриваются принципы построения, структура, и программная реализация инструментального программного комплекса (ИПК), основанного на методе автоматической генерации тестовых заданий, описываются результаты экспериментов по автоматизированному созданию наборов тестов и их апробации на основании которых доказана эффективность применения предлагаемого подхода.
В «Заключении» приводятся основные общие выводы по работе и формулируются предложения о возможных направлениях дальнейших научных исследований.
Анализ современного состояния проблемы разработки компьютерных тестирующих систем
Понятие «тестирующая система» несет в себе две смысловых нагрузки [1]-[4]: - во-первых, это комплект тестовых материалов и методологии и технологии их применения. В этом смысле тестирующие системы используются в различных областях - в технике, в физиологии и медицине, в психологии и педагогике, в социологии; - во-вторых, это программный продукт, предназначенный для проведения тестирования с помощью компьютера. Компьютерной тестирующей системой (КТС) обычно называют программный инструментарий, применяемый для измерений проявления умственной деятельности человека посредством тестов.
Диссертационная работа посвящена построению компьютерных тестирующих систем, предназначенных преимущественно для контроля знаний студентов технического вуза с применением различных педагогических тестов. В психологии и педагогике под тестом понимают стандартизованные задания, результат выполнения которых позволяет измерить психофизиологические и личностные характеристики, знания, умения и навыки испытуемого. Учебные тесты (рис. 1.1) выделяются из прочих тем, что требуют специальной подготовки и не требуют согласия испытуемых. В технических вузах используются преимущественно тесты достижений (таблица 1.1.), которые могут различаться по характеру тестовых заданий, способу интерпретации результатов выполнения теста и т.п. [1] - [6]. Предлагаемые КТС тесты могут также обладать свойствами адаптивности, интегративности, параллельности и некоторыми другими. Адаптивный тест позволяет варьировать сложность заданий в зависимости от правильности ответов испытуемого, интегративный - нацелен на общую диагностику подготовленности испытуемого, параллельными называют тесты, составленные из так называемых параллельных заданий, которые имеют разное содержание, но одинаковые статистические характеристики [5].
Тест считается эффективным, если он точно соответствует по сложности заданий уровню подготовленности испытуемых и позволяет измерять интересующие характеристики испытуемых качественнее, быстрее, с меньшим числом заданий и т.д., В числе основных требований, удовлетворяя которым тест может быть охарактеризован как эффективный, следующие: достаточно высокая надежность, валидность, дискриминативность; наличие нормативных данных или возможность описания с высокой точностью моделью Раша и ей подобными результатов тестирования (а в случае индивидуально-ориентированных тестов - наличие критериев, установленных экспертом) и использование шкалы интервалов[7].
Необходимость тщательного выявления качества измерения признается одним из наиболее важных вопросов разработки теста большинством авторов[1], [6]—[10]. Основными характеристиками качества теста являются надежность, валидность, дифференцирующая способность и некоторые другие [1], [4], [5], [7], [10].
Надежность характеризует точность измерения, т.е. независимость его результатов от действия случайных факторов, и позволяет судить о том, в какой мере можно доверять данным тестирования. Если исследуемый признак по своей природе стабилен, то результаты повторных тестирований одних и тех же лиц должны быть сходными. Причинами недостаточной надежности тестов являются: разнообразие ситуационных условий испытания, несовершенство разработанного теста (нечеткость инструкций, принципиальная разнородность заданий, и т. д.), изменения внутреннего состояния испытуемых и их отношения к тестированию и т.п.
Количественным выражением данной характеристики служат коэффициенты надежности, каждый из которых отражает определенный аспект точности измерения. Процедура исчисления значений коэффициентов обычно предполагает установление корреляции рангов всех членов выборки, в отношении которых тест проверяется составителями перед его внедрением. Величина коэффициента надежности тем больше, чем неизменнее место (ранг) испытуемых по отношению ко всем другим рангам в выборке. Основные способы определения надежности тестов представлены в таблице 1.2. Оценка качества тестов по величине коэффициента надежности представлена в таблице 1.3 [1], [4], [7]. Если точность измерения недостаточна, процедура тестирования нуждается в дополнительной стандартизации, требующей выявить задания, которые следует переделать или изъять из употребления.
В отличие от надежности, которая характеризует степень точности измерения с помощью теста, не сообщая о том, что же именно измеряется, валидность -комплексная характеристика теста, указывающая на обоснованность и эффективность его применения и показывающая соответствие полученных характеристик цели тестирования. [1], [2], [7]. По словам американского психолога, автора фундаментального труда "Психологическое тестирование" А.Анастази "Валидность теста - понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает" [10]. Валидность зависит от качества заданий, их числа, полноты охвата содержания дисциплины, распределения заданий по сложности, метода отбора заданий в тест, интерпретации результатов тестирования, совокупности испытуемых. Мерой валидности является коэффициент корреляции теста с каким-либо критерием, например с оценками, полученными не тестовыми методами. Если высокая надежность теста свидетельствует, что он точно измеряет нечто, то высокая валидность указывает, что тест измеряет именно то, для чего он был разработан. Валидный для данной цели тест всегда надежен, но надежный тест может быть не валидным, т.е. значение коэффициента валидности не может превышать значение коэффициента надежности.
Наиболее распространенными типами валидности из множества типов, выделенных в классической тестологии [1] являются:
- содержательная - характеризует меру представленности в тестовых заданиях измеряемых свойств и имеет особое значение в критериально-ориентированных тестах (КОРТ) и тестах достижений. Определяется путем экспертного оценивания;
- конструктная - отражает степень соотнесения результатов теста с базовыми для него теоретическими понятиями (конструктами). Определяется, когда предмет измерения существует в неявном, комплексном виде, требует специального анализа. Например, если тест разрабатывается для установления степени понимания речи, то необходимо, как минимум, представлять, какие компоненты образуют этот конструкт. Осуществив анализ проблемы, мы можем в дальнейшем составить задания, отражающие разные аспекты понимания речи. После этого формулируется ряд гипотез о том, каким образом данные разрабатываемого теста будут коррелировать с широким кругом других тестов, направленных как на близкие конструкты, так и на отдаленные. Гипотезы проверяются методами корреляционного и факторного анализа. Подтвержде ниє или опровержение совокупности теоретически ожидаемых связей становится характеристикой конструктной валидности;
- критериальная - показывает степень соответствия результатов тестирования оценкам измеряемого качества или свойства, полученным другими (не тестовыми) способами (мнение специалистов, данные наблюдений и экспериментов, анализ продуктов деятельности испытуемых и т.д.). Критериальная валидность называется текущей, если производится сопоставление данных собранных одновременно, и прогностической, если результаты теста сопоставляются с более поздним поведением испытуемого в данной сфере (например, итоги тестирования учебных достижений в выпускном классе могут быть подтверждены или опровергнуты фактами поступления членов выборки в высшие учебные заведения);
- конкурентная - оценивается по результатам корреляции результатов данного теста с результатами других тестов;
- прогностическая - характеризуется коэффициентом корреляции между показателями теста и некоторым критерием, характеризующим, измеряемое свойство, через некоторый промежуток времени (3, 5 и т.д. лет).
Понятие "эмпирическая валидность" применяют к описанным типам валидности, если при определении степени выраженности использовались статистические способы анализа данных, то есть коэффициенты вычислялись путем корреляций.
Дискриминативность (дифференцирующая способность) [7] - характеристика, показывающая, насколько сильно задания теста различают испытуемых по уровню контролируемого показателя. Измеряется показателем дельта Ферпосона и принимает максимальное значение при равномерном (прямоугольном) распределении показателей (8=1). Тщательное конструирование теста позволяет обеспечить соответствующий уровень дискриминативности. Следует отметить, что по этому показателю тесты выгодно отличаются от других форм испытаний. Например, в опросах наиболее эффективно использовать три градации (ниже среднего, средний уровень и выше среднего), а при оценке знаний в нашей стране практически используются четыре оценки (неудовлетворительно, удовлетворительно, хорошо, отлично).
Модель КТС, включающей механизм автоматической генерации тестовых заданий
На основе анализа, выполненного в первой главе, выявлено, что большинство КТС не включает функций генерации тестовых заданий, и что модель тестирующей системы может быть усовершенствована введением в нее элементов и механизмов, необходимых для реализации указанной функции. Модель традиционной КТС (1.1) отражает, в основном, стадию тестирования и практически не отражает стадию подготовки теста, которая (и в частности, процесс составления тестовых заданий) требует значительных интеллектуальных усилий и затрат времени и полностью возлагается на человека. Модель (1.2), предполагая автоматическую генерацию тестовых заданий, механизмы генерации не раскрывает. В работе [31] авторами приводится модель, предполагающая извлечение тестовых заданий из текстов учебных пособий, но при этом тестовые задания помещаются в базу заданий и в процессе тестирования могут лишь быть извлечены из нее случайным образом, а их трансформация в процессе тестирования неосуществима. В ряде программных средств реализована генерация вычислительных задач, но пополнение банка заданий пользователю недоступно, и такие системы невозможно использовать для других классов задач (других учебных дисциплин) [113] - [114], [117]. Тем не менее, современные средства вычислительной техники вполне позволяют снизить трудоемкость процесса подготовки тестов и тестовых заданий [А 10] - [А 16]. Одним из путей решения указанной проблемы является реализация в КТС следующих функций (рис. 2.1): - динамическое составление тестовых заданий и формирование ответов на них на основе формальных грамматик; - автоматическое построение теста по заданной структуре.
Так как динамический синтез дуплетов задание - ответ предполагает наличие формальных грамматик, требуется также добавление функции: - создание и редактирование формальных грамматик.
В диссертационной работе предлагается модель компьютерной тестирующей системы (КТС) М us, базирующейся на продукционном формализме и позволяющей генерировать тестовые задания на основе формальных (контекстно-свободных КСГ, контекстно-зависимых КЗГ и др.) грамматик [АЗО]: MITs=(StiTs,{ScT},{DITs}), (2.1) где StiTs - структура КТС; {ScT} - множество сценариев тестирования, реализованных в КТС; {D us} - множество данных, необходимых для работы КТС и генерируемых КТС. Структура КТС представлена блоками регистрации Reg, создания и редактирования файлов с формальными грамматиками EdtKsG формирования теста FrmiTs, генерации тестовых заданий Grr, тестирования Tst и оценивания Est: St us = (Reg, EdtKSG, Frm,Ts, GTT, Tst, Est). Для каждого элемента структуры установлено свое множество выполняемых функций Fk={Fk0,...,Fkm}.
Блок регистрации Reg в предлагаемой структуре КТС, как и в структуре традиционной КТС, отвечает за регистрацию и идентификацию пользователей, разграничение прав доступа.
Блок тестирования Tst позволяет предъявлять испытуемому тестовые задания в соответствии с выбранным сценарием тестирования и проверять введенные ответы.
Блок оценивания Est реализует функции подведения итогов тестирования (подсчет баллов, выставление оценки, построение графика и т.п.) и отвечает за сбор информации об испытуемых, предъявляемых тестах, итогах тестирования. Сбор статистики о качестве тестовых заданий в обычном смысле в КТС с генерацией тестовых заданий возможен лишь в случае бланкового тестирования, когда итоги тестирования сканируются с тестовых бланков или вводятся оператором. При компьютерном тестировании, собирается статистика по типам вопросов, так как вопросы каждый раз генерируются вновь. Анализ собранных статистических данных по качеству теста позволяет также выявить уровень сложности типов тестовых заданий (разграничение заданий по сложности осуществляется обычно на основе эмпирических данных и для небольшого количества заданий), что является предпосылкой для реализации адаптивного тестирования, при котором в зависимости от правильности ответа на один или несколько предыдущих заданий изменяется уровень сложности последующих вопросов.
Редактор грамматик ECUKSG предназначен для ввода и редактирования грамматик, которые описывают порождаемые множества дуплетов задание-ответ. Формирователь FrmITS должен обеспечить формирование структуры теста, задания которого будут предъявляться в динамическом режиме.
Генератор GTT необходим для автоматической генерации тестовых заданий в соответствии с заданной структурой теста.
Сценарии тестирования Sc-m задаются преподавателем или испытуемым указанием одной из реализованных в КТС модели тестирования M(T)S и модели оценивания M(Est)y для теста с выбранной структурой StTr (включаемые темы, уровень сложности, количество заданий): ScT n = (М(Т);, M(Est)y, Процесс задания структуры теста практически не отличается от подобного процесса в иных КТС и определяется, в основном, техническими решениями по реализации блока, выполняющего указанную функцию.
Множество данных, с которыми работает система - {Dus} = ({KSG}, {N}, {S}), где {KSG} - множество формальных грамматик, на основе которых составляются тестовые задания; {N} - множество информации о пользователях; {S} -множество статистических данных.
Инструментальный программный комплекс (ИПК) для построения компьютерных тестирующих систем
Структурная схема ИПК представлена на рис.3.4. Обязательными элементами структуры ИПК являются редактор грамматик, формирователь структуры теста, блок генерации заданий по грамматикам и генератор теста. Редактор грамматик исполняет роль редактора базы знаний и предназначен для создания и редактирования файлов с грамматиками, на основе которых формируются тестовые задания, добавления и удаления грамматик, пополнения списка дисциплин и т.п. Формирователь структуры теста предназначен для определения типов и количества заданий каждого типа, включаемых в конкретный тест. При определении типов заданий указываются также имена файлов, в которых записаны сформированные ранее грамматики. Блок генерации тестовых заданий решает проблему преобразования грамматик в тестовое задание и записи этого задания в выходной файл. Генератор теста отвечает за формирование тестовых заданий в соответствии с заданной структурой на основе файлов грамматик. В процессе генерации создается файл, в котором информация о структуре создаваемого теста представлена в виде набора конкретных контекстно-свободных грамматик. Разнообразие вариантов теста (N) определяется количеством сформированных наборов грамматик (т) и числом вариантов (ki), которые можно создать по каждому набору грамматик: N=S(m ki) и уже при малых значениях m и ki достаточно велико. Для теста содержащего 10 вопросов, грамматики каждого из которых позволяют сформировать 5 вариантов задания, а варианты теста формируются по 5 наборам грамматик возможно создание 250 различных вариантов теста, что вполне достаточно для контроля 8 студенческих групп. В свою очередь разнообразие наборов грамматик обеспечивается количеством грамматик, включенных в соответствующие фалы по типам заданий.
Расширение функций ИПК осуществляется за счет добавления блоков, применяющих другие способы автоматизированного формирования тестовых заданий, например, блока извлечения вопросов из текста, блока генерации тестовых заданий на основе информации, извлеченной из текста и др. [31], [148], - [152], [А28], [АЗІ]. В этом случае формирователь структуры теста должен предусматривать синтез типов заданий, полученных разными способами. Реализация возможности работы со знаниями, содержащимися в электронных учебных пособиях, повышает уровень интеллекта ИПК.
Вывод информации с генератора теста возможен в двух направлениях: в текстовый файл и в систему компьютерного тестирования. Текстовый файл заданий может быть при необходимости отредактирован средствами текстового редактора и использоваться для бланкового тестирования. Другие применения вывода в текстовый файл: создание вариантов задач для курсового проектирования, создание экзаменационных билетов, создание вариантов контрольных работ, требующих развернутых ответов и т.д. Вывод информации в систему компьютерного тестирования предусматривает поочередные генерацию и предъявление тестовых заданий, что не позволяет испытуемому ознакомиться с тестовыми вопросами заранее.
Формирователь структуры теста предназначен для определения типов и количества заданий каждого типа включаемых в конкретный тест.
Структура теста определяется целью тестирования, а следовательно, объемом охватываемого материала. Материал любого изучаемого курса может быть представлен в виде иерархии: дисциплины — разделы — подразделы — темы — параграфы— ...[ 153]. Аналогичным образом может быть представлена и структура теста (рис.3.5). Однако, если обучение предполагает последовательное продвижение по курсу учебного материала, то тестирование может охватывать как отдельные структурные единицы (в т.ч. мелкие - промежуточный контроль), так и материал всего курса (в т.ч. гетерогенные (междисциплинарные) тесты). Иерархия тестового материала существенно усложняется, если учитывать типы и класс сложности заданий (под типом будем понимать целевую нагруженность задания: запоминание, понимание, применение и т.п.) (рис.3.6). Каждое подмножество тестовых заданий (ТЗ), относящихся к і-му тематическому классу, j-му типу, k-му классу сложности может быть описано группой КСГ, которые предполагается помещать в один файл. Пример организации тестового материала представлен на рис.3.7.
Для удобства навигации по файлам с КСГ (адресации) введем их шестизначную иерархическую нумерацию, указываемую в строке признак : признак ::= klmnp, где к, 1, m, n, р - целые числа, обозначающие, соответственно, номер дисциплины, раздела, подраздела, темы, файла с КСГ.
Для удобства реализации ограничим диапазон к, 1, т, п, р. Пусть к = 00,..99 (универсальность ТИС, позволяющей генерировать задания и проводить тестирование по 100 дисциплинам, видится вполне достаточной: большинство современных систем охватывают, как правило, менее 10 дисциплин, а чаще 1-2 дисциплины); 1, т, п, р = 0,..9 (ЭТО обеспечит подключение при тестировании 104 файлов с КСГ по каждой дисциплине (системы, содержащие более 7 элементов считаются сложными [40]).
Обращение к формирователю с целью задания структуры теста осуществляется как преподавателем (для организация различных видов контроля), так и обучаемым (для организации тренировки по какой либо структурной единице курса). В обоих случаях интерфейс целесообразно представить в виде иерархии окон (рис.3.8.)[154]. Количество вопросов по заданной теме может задаваться на любом уровне иерархии. Если в дальнейшем не производится конкретизация, то файлы с КСГ выбираются случайным образом из соподчиненной группы файлов. Однако, информация о структуре, заданной обучаемым, сразу же выводится в генератор теста и служит для создания тестовых заданий, а структура теста, заданная преподавателем, сохраняется в соответствующем файле и может использоваться обучаемым как для контрольного тестирования, так и для тренировки. Тематика заданных структур отображается в специальном окне (рис.3.9). Алгоритм работы формирователя структуры теста приведен на рис. 3.10.
Основные характеристики прикладных тестирующих систем, реализованных на базе предложенных модели и метода
Тренирующая интеллектуальная система (ТИС) [А2]- [А5] является одним из первых результатов работ, проводимых по внедрению описанных выше методов и средств [165]- [168]. ТИС позволяет автоматически генерировать тесты для определения уровня интеллекта (математические, лингвистические, тесты общего вида) [166]—[174] и программы их выполнения. За основу для выделения типов тестовых заданий и составления грамматик взяты тесты Айзенка [175]—[177]. В числе выделенных типов заданий: продолжение числовых и буквенных рядов; расшифровка слов и исключение лишнего; поиск недостающей фигуры (таблица 3 3); подбор слова, являющегося концом первого и началом второго; поиск числовой закономерности и подстановка недостающего числа; поиск синонима; слова и числа по кругу и некоторые другие. Введение продукционного аппарата открывает широкие возможности для построения различных систем развития интеллекта, с наращиванием разнообразия и усложнением внутренней структуры вопросов.
Структурная схема ТИС представлена на рис.3.16. Система включает в себя несколько модулей, текстовые файлы, содержащие словари для лингвистических тестов, типизированные файлы с информацией о результатах тестов, пройденных пользователями в процессе обучения и файлы с графической информацией.
Основным элементом системы является модуль управления, который осуществляет первоначальную проверку работоспособности системы при ее загрузке (проверка наличия всех необходимых файлов и правильности словарей лингвистического теста, соответствия аппаратных возможностей компьютера условиям нормальной работы), реализует взаимодействие других блоков, позволяет пользователю выбрать нужный режим работы. Модуль глобальных данных содержит описание данных, структур данных и процедур, которые являются доступными из всех модулей (информация о пользователе, находящемся в системе, о параметрах тестов, о настройках таймера, о результатах прохождения теста). Модуль настройки позволяет установить параметры тестов и настройки таймера. Модуль генерации предназначен для генерации текстовых файлов или файлов в формате MS Word с вопросами и ответами для теста желаемого типа.
Подсистемы лингвистических тестов, математических тестов и тестов общего вида отвечают за непосредственное осуществление соответствующего типа теста. Каждая подсистема содержит один главный модуль для формирования данных для теста (слов, чисел, графических изображений) в соответствии с параметрами теста и один или несколько диалоговых модулей. Диалоговые модули отвечают за предъявление пользователю заданий и считывание ответов на них. Полученные ответы пересылается в модуль глобальных данных. Модуль обучения, предназначен для организации тренировки. Он одержит процедуры, позволяющие генерировать и осуществлять тесты в соответствии с заданным уровнем сложности, изменяемым в зависимости от результатов прохождения теста испытуемым. Блок выдачи результатов служит для отображения информации о результатах тестирования пользователя.
Типизированные файлы создаются и изменяются самой системой. Они хранят информацию о тестах, по которым осуществлялось тестирование, и о результатах прохождения тестов пользователем. Файлы с графической информацией необходимы для формирования тестов общего вида и для формирования диалоговых форм лингвистических и математических тестов (в процессе работы системы не изменяются). Текстовые файлы словарей содержат данные для лингвистических тестов, записанные по определенному синтаксису. Файлы словарей могут дополняться и изменяться пользователем с помощью входящего в систему редактора словарей или с помощью любого текстового редактора, но во втором случае ответственность за правильность вводимых данных ложится на пользователя. Редактор словарей осуществляет изменение, дополнение и удаление записей из текстовых файлов словарей для лингвистических тестов. Он предоставляет пользователю удобный интерфейс и не позволяет ввести ошибочные данные. Измененные данные записываются в текстовые файлы согласно принятому синтаксису. ТИС требует около 7 Мбайт пространства при установке на жестком диске и нормально функционирует в среде Windows 95, Windows 98 и Windows NT.
В режиме тренировки обеспечивается определение индивидуальных показателей тестируемого по ряду тестов, в зависимости от программы обучения; мониторинг тренировочного процесса данного индивидуума; генерация тестов, соответствующих индивидуальной программе, с учетом достигнутых результатов; хранение результатов обучения и сбор статистической информации.
Объем генеральной совокупности тестов, порождаемых интеллектуальной системой, практически стремится к бесконечности, что является одним из достоинств ТИС. Пусть N - общее количество вопросов в данном тесте, Nt - количество типов вопросов, порождаемых генерирующей системой, щ - количество вопросов данного типа в тесте, NVJ- - количество возможных вариантов вопросов внутри данного типа. Общее количество возможных тестов без повторов одного и того же вопроса внутри данного теста выразится как:
Для лингвистической подсистемы разработано 18 типов тестовых заданий, при этом выбор количества вопросов каждого типа, включаемых в тест, происходит случайным образом (а, є (0,6)). В результате в заданный тест попадают не все типы вопросов, а распределение типов внутри теста (структура теста) будет переменным. Количество возможных структур лингвистических тестов будет лежать в диапазоне Qs=Ci810 - Cig15 (43758 - 816). Типичное распределение вопросов в структуре теста имеет вид: ai=6, а2=4, а3=6, а4=6, а5=6, а6=6, а7=2, ag=2, а9=1, а)0=1. Полагая, что в каждом типе имеется хотя бы по 10 вариантов, получим значение Q=80375, а учитывая количество возможных структур, общее число возможных тестов будет Q QS, т.е. 80375 43758= 3517049250 3,5 109.
Программная система зарегистрирована в институте промышленной собственности. Одна из версий рассматриваемой системы функционирует в режиме on-line на сайте кафедры АВТ ВоГТУ по адресу: http://www.vstu.edu.ru/atpp/webtest. Демонстрационная версия ТИС доступна для загрузки с личного сайта Швецова А.Н. по адресу: http://www.smit-vstu.narod.ru.
Апробация ТИС в студенческой среде доказывает возможность использования ее как тренирующей системы. При выполнении тестов общего вида обычной сложности прирост IQ [A3]- [А6] между первым и вторым тестированием составил в среднем 9,7%, а между вторым и третьим тестированием - 6%, что говорит о росте тренированности испытуемых к выполнению тестов определенного типа (рис.3.17).
