Содержание к диссертации
Введение
ГЛАВА 1 Анализ способов контроля знаний 11
1.1 Процесс контроля знаний 11
1.2 Характеристики процесса контроля знаний 13
1.3 Методы контроля знаний 17
1.4 Адаптивное тестирование 22
1.5 Подходы к организации адаптивного тестирования 23
1.6 Способы построения траектории тестирования
1.6.1 Способ с помощью теории Item Response Theory 26
1.6.2 Способ на основе байесовских сетей 26
1.6.3 Способ на основе теории конечных автоматов 28
1.6.4 Способ на основе цепей Маркова 29
1.6.5 Способ на основе сетей Петри 29
1.6.6 Способ дифференцированного тестирования
1.7 Критерии адаптивного тестирования 31
1.8 Анализ существующих систем адаптивного тестирования 31
1.9 Результаты и выводы по главе 34
ГЛАВА 2 Разработка модели адаптивного тестирования . 36
2.1 Модель описания процесса адаптивного тестирования 36
2.2 Модель предметной области 37
2.3 Модель тестового задания 40
2.3.1 Параметры модели тестового задания 42
2.3.2 Метод оценки параметров тестового задания 44
2.4 Модель обучаемого 46
2.5 Структура алгоритма адаптивного тестирования
2.6 Результаты и выводы по главе 50
ГЛАВА 3 Разработка метода генерации алгоритмов адаптивного тестирования 51
3.1 Характеристики адаптивного тестирования 51
3.2 Разработка классификации адаптивного тестирования 54
3.3 Разработка шаблонного алгоритма генерации алгоритмов адаптивного тестирования .- 56
3.4 Матрицы ограничения и зависимости между компонентами шаблонного алгоритма генерации алгоритмов адаптивного тестирования 58
3.5 Способ организации комплексного адаптивного тестирования 63
3.6 Матрица совместимости 65
3.7 Метод генерации алгоритмов адаптивного тестирования 66
3.8 Результаты и выводы по главе 68
ГЛАВА 4 Автоматизированная система разработки алгоритмов адаптивного тестирования 70
4.1 Архитектура системы 70
4.2 Реализация системы 76
4.3 Апробация системы
4.3.1 Разработка структуры БД «Русский язык как иностранный» 79
4.3.2 Постановка задачи на разработку алгоритма AT 83
4.3.3 Разработка алгоритмов адаптивного тестирования в системе...
4.3 Оценка эффективности предложенных модели и, методов 89
4.4 Результаты и выводы по главе 92
Заключение 93
Список литературы
- Способы построения траектории тестирования
- Модель предметной области
- Разработка шаблонного алгоритма генерации алгоритмов адаптивного тестирования
- Разработка структуры БД «Русский язык как иностранный»
Введение к работе
Актуальность темы исследования.
Электронное обучение (E-learning) – система электронного обучения, обучение при помощи информационных, электронных технологий. Контроль знания является неотъемлемой частью системы электронного обучения, в которой знания обучаемого может объективно оценивать.
Традиционный метод контроля знаний, основанный на проведении устного опроса, позволяет выбирать вопросы для каждого обучаемого, соответствующие уровню его способности. Однако этот метод применим только тогда, когда количество обучаемых невелико. Когда количество обучаемых достаточно большое, этот метод требует больших человеческих и временных ресурсов.
Для организации контроля знаний также используют письменное тестирование с заранее разработанными наборами тестов. Такое тестирование имеет свои преимущества, которое заключается в немедленной оценке результатов, и при этом многие обучаемые тестируются в одно то же время. Но для разных обучаемых одни и те же задания могу оказаться слишком легкими или слишком сложными, и это может сделать процесс тестирования скучным или наоборот вызвать стресс у обучаемого.
Несмотря на то, что уже разработано достаточно большое количество методов и алгоритмов компьютерного тестирования, наиболее адекватными являются методы адаптивного тестирования (АТ). АТ позволяет преодолеть недостатки традиционного тестирования, и получать информацию о способностях обучаемого сразу, а также давать задание соответствующего уровня способности обучаемого. Оценка уровня способности обучаемого отличается тем, что каждое задание дается в соответствии с уровнем способности обучаемого, эта способность регулярно обновляется в процессе тестирования.
Сам процесс такого тестирования позволяет повысить эффективность и сокращение времени тестирования. Это, как правило, приводит к уменьшению числа заданий, времени, стоимости тестирования и к повышению точности оценок, полученных обучаемыми по результатам выполнения теста.
Эффективность применения АТ зависит от выбранного алгоритма АТ. В существующих алгоритмах АТ параметры определены заранее и не могут быть изменены, и возможности выбора алгоритма АТ ограничены. Поэтому актуальной является задача создания метода генерации алгоритмов АТ, удовлетворяющих требованиям разработчиков адаптивных тестов.
Целью диссертационной работы является повышение эффективности организации процесса адаптивного тестирования за счет разработки метода генерации алгоритмов адаптивного тестирования.
Для достижения цели необходимо решить следующие задачи:
-
провести анализ современных подходов к организации АТ и систем, реализующих эти подходы;
-
разработать модель описания процесса АТ;
-
разработать метод генерации алгоритмов АТ;
-
реализовать предложенные модели и метод в программной системе;
-
оценить эффективность предложенных модели и метода.
Объектом исследования в диссертационной работе является процесс АТ.
Предметом исследования является способы организации АТ.
Методы исследования. При выполнении исследований и решении поставленных в работе задач использовались методы: системного анализа и обработки информации, теория моделирования, методы теории вероятностей и математической статистики, теории адаптивного тестирования, классической и современной теории тестов, теории графов и теории множеств, проектирования автоматизированных систем.
Научная новизна работы заключается:
-
впервые разработана комбинированная классификация АТ, систематизирующая существующие способы АТ и математические модели, применяемые для их организации;
-
впервые разработан шаблонный алгоритм генерации алгоритмов АТ, основанный на классификации АТ и матрицах ограничений, позволяющий разрабатывать различные алгоритмы АТ, удовлетворяющие требованиям пользователя;
-
разработан метод генерации алгоритмов АТ, основанный на шаблоном алгоритме генерации алгоритмов АТ и матрице совместимости способов построения траектории АТ, позволяющий разрабатывать алгоритмы на основе заданных критериев АТ;
-
предложен способ организации комплексного АТ, позволяющей повысить эффективность АТ;
-
разработана модель АТ, включающая структуру алгоритма АТ, модель предметной области и модель обучаемого, которые позволяют персонифицировать представление учебного материала и реализовывать алгоритмы АТ, необходимые для обеспечения требований к процессу проверки знаний тестируемого.
Положения, выносимые на защиту.
-
Классификация организации АТ;
-
Шаблонный алгоритм генерации АТ;
-
Способ организации комплексного АТ;
-
Метод генерации алгоритмов АТ;
-
Модель описания процесса АТ.
Достоверность и обоснованность результатов. Достоверность результатов работы обеспечивается использованием современных методов проведения научных исследований, корректным использованием математического аппарата, а также результатами применения разработанных моделей и метода генерации алгоритмов АТ и программной системы, разработанных на их основе.
Практическая значимость работы заключается в разработке среды разработки алгоритмов АТ, которые могут быть исползованы в контроле знаний.
Внедрение результатов. Система внедрена в Волгоградском государственном техническом университете(ВолгГТУ), на кафедре САПР и ПК.
Апробация работы. Основное положение и материалы диссертационной работы докладывались на научных семинарах кафедры «САПР и ПК» ВолгГТУ, а также на международных научных и научно-практических конференциях: IV международная научно-техническая конференция «Технологии разработки информационных систем» (г. Таганрог, 2013 г.), II международная научно-практическая конференция «Техника и технологии: роль и развитие современного общества» (г. Краснодар, 2013), VII международная научно-практическая конференция «Актуальные вопросы современной науки» (г. Санкт-Петербург, 2013), XIII Международная научная конференция «Актуальные вопросы современной техники и технологии» (г. Липецк, 2013) и в электронных конференциях: XV международная научно-практическая дистанционная конференция «Современные проблемы гуманитарных и естественных наук».
Публикации. По теме диссертации опубликовано 8 печатных работ, в том числе, 4 публикаций в журналах, рекомендованных ВАК, 4 статьи в сборниках трудов конференций.
Соответствие паспорту научной специальности. Указанная область исследования соответствует паспорту специальностей 05.13.01 - «Системный анализ, управление и обработка информации» (промышленность), а именно пункту 3 – «Разработка критериев и моделей описания и оценки эффективности решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации», пункту 4 – «Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации», пункту 5 – «Разработка специального математического и программного обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации»; и 05.13.10 – «Управление в социальных и экономических системах», а именно пункту 3 – «Разработка моделей описания и оценок эффективности решения задач управления и принятия решений в социальных и экономических системах», пункту 5 – «Разработка специального математического и программного обеспечения систем управления и механизмов принятия решений в социальных и экономических системах», пункту 12 – «Разработка новых информационных технологий в решении задач управления и принятия решений в социальных и экономических системах».
Объем и структура работы.
Диссертационная работа состоит из введения, четырёх глав с выводами, заключения, списка литературы, приложений. Общий объем диссертации ___ страницы, в том числе ___ рисунков, ___ таблиц, списка литературы из ___ наименований.
Способы построения траектории тестирования
Теория IRT основывается на латентно-структурном анализе, созданным П. Лазарсфельдом и его последователями. В теории IRT [34, 36 - 40], используется логистическая функция, описывающая зависимость вероятности правильного ответа обучаемого на задание, от уровня способности обучаемого и набора параметров задании. Теория математически связывает результаты ответов обучаемого на поставленные ему задания, статистику по заданиям и способности обучаемого. В теории IRT применяют три логистические модели: модель Раша [38], двух-параметрическую логистическую модель [40] и модель Бирнбаума [36], которые отличаются количеством параметров задания, участвующих в вычислении вероятности.
При AT под уровнем способности обучаемого понимают латентные (в том числе психические) свойства личности [41]. В общем виде вероятность ответа зависит от множества свойств обучаемого, но в теории IRT рассматривается лишь одномерный случай, когда вероятность правильного ответа зависит только от уровня способности обучаемого. Практически, в результате тестирования, оценка уровня способности показывает уровень подготовленности обучаемого по задаваемым ему заданиям. Каждое задание обладает своим набором параметров, которые обычно вычисляются на основе статистических данных, полученных в результате проведения тестирования по всем заданиям.
Приведенный метод использует вероятностную модель, опирающуюся на результаты статистической обработки данных о тестировании по заданиям базы, что позволяет получить объективную оценку уровня способности обучаемого.
Данный метод использует модель предметной области рассматриваемой учебного материала в виде семантической сети: С, R , где: С = (ct, і Є[1:п]) — множество тестов; R = (rip i,j Є[1:п]) - множество отношений между тестами. Связь тестов с„ Cj отношением гч означает, что для изучения обучаемом теста Cj Є С необходимо предварительное изучение им теста-родителя с, Є С. Множество тестов-родителей теста с,: parents (с J = (cipj = 1, 2, ..., п).
Оверлейная модель знаний обучаемого представляет собой множество: Q = (qi, і Є[1:п]), где q, - «оценочное» переменная, связанная с тестом с„ значением которой является оценка уровня знаний обучаемом этого концепта.
Совокупность всех переменных множества Q, которые соответствуют всем родителям теста с,: parents(q) = (qu,j = 1, 2, ..., п). Переменная q, определена на некоторой шкале (в терминологии байесовских сетей - гипотез), например, на дискретной шкале со значениями «отлично» - «Е», «хорошо» - «G», «удовлетворительно» - «S», «неудовлетворительно» - «N». Свидетельствами для подтверждения гипотезы о некотором состоянии в = {Е, G, S, N} переменной q, являются состояния всех переменных parents ).
На каждом шаге тестирования для всех переменных q, полагают известными вероятности их возможных состояний P(q, = в), а также условные вероятности P(q, = в \q,j = Q), 0j = {Е, G, S, N},j = 1,2, ..., п,. Таким образом, на текущем шаге тестирования состояние байесовской сети (концепт), соответствующей данному обучаемому, определяется совместным распределение: и Р(Яг.Яг. -.4J = П Р (ч, = \я!} = В,), где: ej = {E,G,S,N},j = 1,2, ..., п,
Поэтому, совокупность указанных условных вероятностей определяет вероятность каждого из возможных состояний оценочной переменной q, в зависимости от состояний родительских оценочных переменных parents(q,). При получении свидетельства об изменении уровня знаний обучаемом какого либо концепта, происходит обновление, вообще говоря, всей его модели знаний. В качестве итоговой оценки уровня знаний концепта с, целесообразно использовать оценку математического ожидания оценочной переменной q! [42]. Совокупность вероятностей P(qt = в), где в = {Е, G, S, N}, і Є[1:п], а также значений указанных атрибутов образуют профиль обучаемого, который определяет состояние обучаемого на каждом этапе его работы в AT. Знание этих параметров позволяет AT сформировать индивидуальную стратегию тестирования обучаемого.
Математическая модель конечного автомата выглядит следующим образом: Q, L /, О, А , где: Q = {М, X} - множество входных данных; М= {1, ..., т} - набор задания, где: т - количество заданных заданий; X— оценки результата выполнения состояния после m задания; X = {So, ..., SJ - множество тестов; / = {SJ - множество начальных тестов; О = {SJ - множество конечных тестов; Л - функция переходов.
Для проведения тестирования необходимо задать табличным способом матрицу переходов (таблица 2): - если переход разрешен, то значением ячейки будет Хі} - порог перехода из теста і в тест j (і - строка таблицы, j - столбцы таблицы); - если переход запрещен, то значением ячейки будет 0. Таблица 2 Матрица переходов s, s2 Sn-1 s„ Si 0 X,2 0 0 s2 0 0 0 Sn-1 0 0 0 Xn-ln Sn 0 X„2 0 0 Функция переходов Д определяется на основе сравнения уровня знаний текущего теста обучаемого и значения порога перехода в таблице переходов [43]. 1.6.4 Способ на основе цепей Маркова
Способ построения траектории тестирования на основе цепей Маркова основан на ориентированном графе, содержащем узлы и дуги. При этом каждым узлом является состояние процесса тестирования (концепт), и дуги между узлами определяют последовательность выполнения шагов тестирования, они помечаются вероятностями перехода от одного узла к другому [44, 45].
Итерационный характер процесса тестирования предполагает повторение некоторых состояний. Наличие состояний, которыми завершается процесс тестирования, является признаком поглощающей цепи. Матрица переходов для поглощающей цепи Маркова имеет вид: ІО ЕУ где: Q - подматрица, описывающая поведение процесса до попадания в поглощающее состояние; R - подматрица переходов в поглощающие состояния; О - нулевая подматрица; Фундаментальная матрица N = (Е — ф)-1 позволяет получить ряд характеристик исследуемого процесса тестирования, где Е - единичная подматрица. Вероятность завершения процесса в том или ином поглощающем состоянии определяется элементами матрицы В = N-R и зависит от того, какое состояние является исходным.
Сети Петри - один из современных инструментов моделирования и исследования параллельно работающих систем, обладающих определенной независимостью и собственной активностью. С этими характеристиками сеть Петри используется в AT [46], позволяющем построить индивидуальные траектории обучаемого при контроле знаний.
В модели предметной области учебный материал представляет собой множество концептов, представленных в виде текстовых страниц, веб-страниц, ссылок на файлы, тестовых заданий, графа. Сети Петри используются для анализа структуры динамических дискретных моделей сложных систем и логико-временных особенностей процессов и функционирования [47]. В связи с этим, структуру учебного материала, состоящую из множества концептов, удобно представить в виде модели сети Петри, в которой тестам соответствуют позиции сети, а контролирующим воздействиям - переходы.
Начальную маркировку сети определяет уровень знаний обучаемого до начала изучения им данного учебного материала. Текущая маркировка показывает текущий уровень знаний обучаемом данного учебного материала. Для каждой позиции сети устанавливают порог, определяемый требуемым уровнем знаний соответствующего концепта. На этой основе осуществляют перемаркировку сети.
Текущее состояние рассматриваемой сети Петри можно интерпретировать, как оверлейную модель обучаемого. На основе этой модели легко оценить текущий уровень знаний обучаемого во всех или некоторых концептах данной предметной области. Модель позволяет также управлять количество концептов , а также числом и трудностью тестовых заданий с целью обеспечения требуемого уровня знаний обучаемым заданных концептов. Весьма содержательной с этой точки зрения является история эволюции соответствующей сети Петри.
Модель предметной области
Для нахождения минимума функции (2) использован метод прямого поиска минимума функции нескольких переменных Хука-Дживса [69]. Одним из важных преимуществ данного метода является то, что он не требует нахождений значений производных в заданных точках. Поиск состоит из последовательности шагов исследующего поиска вокруг базисной точки по всем осами, за которой в случае успеха следует поиск по образцу.
Этот метод разрабатывался для решения задачи минимизации функции без учета ограничений, но для сокращения времени оценки параметров задания метод модифицирован, в него добавлен учет ограничений значений уровня трудности Ъ и коэффициента дискриминации задания а (рисунок 10). В данной работе в качестве ограничений выступает область допустимых значений параметров задания, т.е. 0 а 0.5, 0 b 1.
Этот метод модифицируется для учета ограничений. Для этого при решении задачи минимизации присваивается целевой функции очень большое значение там, где ограничения нарушаются.
При реализации проверяется, каждая ли точка, полученная в процессе поиска, принадлежит области ограничений. Если каждая, то целевая функция вычисляется обычным путем. Если нет, то целевой функции присваивается очень большое значение. Таким образом, поиск осуществляется снова в допустимой области в направлении минимальной точки внутри этой области. (Начало); Задать новую базисную точку (ai, bi) Провести поиск по образцу Провести исследующий поиск из базисной точки с шагом длиной h Вычислить f(a, b) в базисной точке (аО, ЬО) і Да—і Провести исследующий поиск из базисной точки с шагом длиной h {a, b) f(ai, bjj Рисунок 10 - Модифицированный метод Хука-Дживса Нет В [70] показано, что одним из необходимых компонентов в процессе организации AT является МО. При этом под МО понимают модель, которая хранит некоторую информацию об обучаемом в виде его характеристик, достаточную для обеспечения адаптации процесса тестирования к этому обучаемому. Другими словами, модель обучаемого содержит всю необходимую для использования в процессе AT информацию о нем - его уровне способности, уровне знаний и результатах тестирования.
Проведены анализ и классификации МО на основе работ [71 - 76]. В процессе AT используется динамическая МО, в которой показатели уточняются и корректируются с учетом структуры алгоритма AT [72]. Эта концепция требует, чтобы МО представляла собой модель не в рамках одного теста, а в рамках многих тестов предметной области. Таким образом, параметры МО в соответствии с данной концепцией должны обновляться на каждом шаге тестирования.
Поэтому, для расчета и хранения оценок результатов тестирования разработана МО, которая представляет изучаемые знания, информацию обучаемого и другие относящиеся к обучаемому характеристики.
Таким образом, модель обучаемого можно представить кортежем, содержащим параметры обучаемого: LM = (PData, К, в, Result), где: LM- модель обучаемого; PData - персональные данные обучаемого; К = (К» іЄ[1,п]) - текущий уровень знаний обучаемого по пройденным тестам МПО; в - уровень способности обучаемого (ability); Result - интегральная оценка результатов тестирования. Показатели уровня знания обучаемого К; показывают степень владения i-ого теста, и позволяют определить изучение обучаемого этого теста. Переход между тестами проводится с помощью вычисления уровня знания обучаемого.
Алгоритм AT описывает, как должна происходить адаптация в зависимости от МО и МПО. Тестирование на основе алгоритма AT выполняет следующие функции: - анализ деятельности обучаемого; - определение результатов тестирования, которое обычно сводится к выставлению оценки обучаемому; управление процессом тестирования на основе выбранных способов построения траектория тестирования.
Анализом деятельности обучаемого является процесс оценки результата выполнения тестового задания обучаемого. Для измерения правильности выполнения тестового задания используется много различных шкал [77 - 80]. В данной работе используется бинарная шкала для измерения результата выполнения тестового задания со значениями «правильно» и «не правильно».
Результат тестирования обучаемого вычисляется на основе методов оценивания. В настоящее время существуют разные методы оценивания: - метод оценивания на основе количественных критериев предусматривает вычисление некоторой величины, которая затем сравнивается с предварительно заданными граничными значениями. - метод оценивания на основе уровней усвоения [28]; - метод линейно-кусочной аппроксимации основан на классификации заданий по их дидактическим характеристикам (значимость, трудность и спецификация) [81, 82]; - методы оценивания на основе вероятностных критериев, в основе которых лежит та или иная гипотеза о зависимости вероятности правильного ответа обучаемого от уровня его способности и параметров задания [34, 83, 84, 85, 86]; методы классификационных таблиц используют специальную процедуру вычисления степени близости распознаваемой строки (совокупности признаков обучаемого) к строкам, принадлежность которых к классам заранее известна [52, 81,87, 88].
До настоящего времени уровень способности обучаемого вычисляется только с помощью теории ответа на вопрос (модель-IRT) [34]. Для этого используется логарифмическая функция, описывающая зависимость вероятности правильного ответа обучаемого на задание от способности обучаемого и некоторых параметров заданий. Уровень способности обучаемого вычисляется по формуле:
Разработка шаблонного алгоритма генерации алгоритмов адаптивного тестирования
Как было сказано, существующие алгоритмы AT позволяют проводить тестирование или только по учебному материалу (внешнее тестирование) или по уровню трудности задания (внутренне тестирование). Очевидно, выбор отдельного критерия AT не позволяет осуществить максимальную адаптацию. Для критерия тестирования по учебному материалу используются тесты, в качестве которых может быть тестовое задание или набор заданий. В первом случае формируется индивидуальный набор заданий. В другом случае определяется оптимальная траектория тестов, а количество заданий для усвоения каждого теста не может быть минимизировано. В тестировании по уровню трудности задания выбор следующего задания при учете ответа обучаемого на текущее задание позволяет формировать индивидуальный набор заданий. Таким образом, существующие алгоритмы AT не позволяют одновременно выстраивать оптимальную траекторию тестов и минимизировать набор заданий.
Для повышения адаптивности тестирования разработан способ организации тестирования, в котором тестирование проводится одновременно по двум критериям. Такой способ тестирования определён как комплексное AT [94]. При использовании комплексного AT тестирование учитывает оптимальную траекторию тестов, а набор заданий для усвоения каждого теста минимизируется.
Комплексное AT позволяет одновременно осуществлять внешнее и внутреннее тестирование (рисунок 16): - организация внешнего AT основана на МПО с учетом взаимосвязей между проверяемыми тестами; - организация внутреннего AT позволяет формировать контрольные задания на основе параметров МО. Комплексное AT сначала проводится на основе МПО, которая представляет собой ориентированный граф: множество вершин графа соответствует тестам, а множество ребер - связям между ними. AT учитывает взаимосвязи между проверяемыми тестами и позволяет оптимизировать последовательность тестов. Переход между тестами осуществляется с вычислением уровня усвоения текущего теста (уровень знания обучаемого). При этом, для определение усвоения каждого теста, формирование заданных тестовых заданий внутри теста используются приведенные ранее параметры МО (уровень способности обучаемого), которое позволяет выбирать точное задание соответствующего обучаемого. а) Внешнее AT
Для организации комплексного AT разработана матрица совместимости способов построения траекторий тестирования, отображающая возможности комбинирования способов построения. Эта матрица приведена на рисунке 17.
Матрица совместимости способов построения траектория тестирования Строки матрицы определяют способы построения траектории тестирования на основе модели учебного материала и столбцы матрицы - способы построения траекторий тестирования для адаптации одного теста.
При организации внутреннего AT всегда используют способы построения траектория тестирования с помощью теории IRT и дифференцированного тестирования, позволяющие выбирает последующее задание в зависимости от действия обучаемого. Способ построения траектория тестирования на основе байесовских сетей и на основе теории конечных автоматов применяют достаточно редко, потому что они требуют много времени для построения МПО (задание связей между заданиями). Внешнее AT использует способы построения траектории тестирования, которые позволяют построить индивидуальную траекторию тестов для каждого обучаемого с учетом уровня знания обучаемого.
Как было указано в первой главе, известные подходы к организации AT не позволяют разрабатывать различные алгоритмы AT, удовлетворяющие требованиям разработчиков адаптивных тестов. Таким образом, разработан метод генерации алгоритмов AT, который позволяет построить обобщенный алгоритм AT. Использование метода позволяет повысить эффективность AT за счет организации тестирования по критериям, заданным разработчиком. Выделены основные задачи, требующие решения при разработке алгоритма AT: как определить тип тестирования, т.е. сформулировать требования к тестированию (критерия AT); - как выбрать цель тестирования.
Выбор решений этих задач используется как исходные данные. Различные алгоритмы AT различаются подходами к выбору исходных данных, то есть они различаются по критериям AT и цели. На основе анализа характеристик к организации AT, разработан метод генерации алгоритмов AT, определяющий основу процесса AT и позволяющий разрабатывать алгоритмы AT, различающиеся способами реализации компонента. Для выбора способа реализации каждого компонента предлагается использовать разработанную классификацию AT, матрицы ограничения и матрицу совместимости способов построения траектория тестирования.
Метод генерации алгоритмов AT основывает на применении шаблонного алгоритма ГААТ, матриц ограничений и матрицы совместимости. Алгоритм метода генерации алгоритмов AT показан на рисунке 18.
Процесс организации алгоритм AT включает следующие шаги: 1) определение исходных данных, содержащих критерии AT и цели тестирования; 2) в зависимости от критериев AT и цели тестирования выбор способа построения траектории тестирования с учетом ограничений, определяемых соответствующими матрицами ограничений; 3) в зависимости от способа построения траектории тестирования и цели тестирования выбор соответствующих правил окончания тестирования с учетом матрицы ограничений; 4) выбор метода проверки результата тестирования и способа выбора первого задания в зависимости способа построения траектория тестирования.
Очевидно, в качестве исходных данных можно выбрать отдельный критерий AT или объединить два критерия AT (комплексное AT). Для разработки алгоритма комплексного AT на этапе выбора способа построения траектории тестирования нужно выбирать два способа построения траектории тестирования -внешний и внутренний в зависимости от матрицы совместимости [95]. Таким образом, предложенный метод генерации алгоритмов AT позволяет разрабатывать разные алгоритмы AT в зависимости от исходных данных.
Разработка структуры БД «Русский язык как иностранный»
Система реализована на языке С# с помощью библиотеки LINQ, на платформе Microsoft Visual Studio 2010. Подсистема «Пользователь» позволяет получить доступ для двух категорий пользователей в режиме разработчика и режиме обучаемого.
В режиме «разработчик» можно выполнить следующие функции: редактировать данные зарегистрированных обучаемых; получить доступ к своей базе данных и возможно редактировать содержание структуры МПО; создать или модифицировать алгоритмы AT. После разработки алгоритма AT разработчик должен зарегистрировать код алгоритма AT, который будет использован для определения процесса тестирования.
В режиме работы «Обучаемый» обучаемые могут получить доступ только к определенным алгоритмам AT, заранее назначенным разработчиком. Прежде чем обучаемые смогут пройти тестирование, их нужно зарегистрировать - внести сведения о них в базу данных программы. Эти сведения включают в себя фамилию, имя и отчество обучаемого и код алгоритма AT для входа в систему. Кроме того, каждый обучаемый должен входить в некоторую группу обучаемых, зарегистрированных раньше.
Подсистема «Разработка алгоритма AT» позволяет генерировать алгоритмы AT в зависимости выбора компонентов AT. В этой подсистеме выделены две части: выбор исходных данных и выбор алгоритма AT из списка алгоритмов.
Исходные данные являются общими настройками алгоритма AT. Они содержат требования к критериям AT, цели тестирования, выбор правила тестирования, которые влияют на организацию алгоритма AT. Исходные данные показаны на рис. Разработчики могут модифицировать алгоритм AT из БД или создать новый алгоритм. При этом, выбор исходных данных играет важную роль (рисунок 22). Файл Правка Справка
Выбор исходных данных алгоритма AT В зависимости от исходных данных, в системе генерируется список способов построения траектории тестирования. Способ выбора первого задания и метода проверки результатов тестирования автоматизировано выбираются в зависимости от выбора способа построения (рисунок 23).
Выбор алгоритма AT Подсистема «Разработка БД» осуществляет идентификацию зарегистрированных разработчиков, обращается к базе данных, в которой хранятся структура учебного материала, а также соответствующие тестовые задания и ответы, их параметры (уровень трудности задания, уровень дискриминация задания, максимальное время ответа для каждого задания). Эта подсистема позволяет разработчику создать новую базу данных, изменить настройки имеющейся БД, редактировать содержания заданий и ответов. Во время редактирования БД полезно периодически сохранять ее (приложение Г). Это позволит избежать потерь данных в аварийных случаях, таких как пропадание электропитания.
Подсистема «Проведение тестирования» используется для прохождения тестирования. Сначала подсистема проводит идентификацию зарегистрированного кода алгоритма AT, выбор соответствующего алгоритма. Процесс тестирования обучаемого осуществляется посредством вывода на экран задания и последующего получения ответа, обрабатываются поступившие данные и задается следующее задание выбранного алгоритма. А также записываются полученные результаты тестирования в базу данных для возможности дальнейшего анализа и использования разработчиком.
По окончании тестирования появляется результат обучаемого. Объем информации, представленной в нем, определяется разработчиком. В оценке результата обучаемого выделены две части: итог и задания. В первой из них выводятся основные сведения о результатах, во второй части представлены детализированные данные по каждому из заданий.
Экранные формы подсистемы показаны в приложение Б. Подсистема «Разработка МПО». Для разработки МПО разработчик создает количество тестов, используемые в процессе тестирования. Каждый тест состоит из множества разных тестовых заданий, которые выбираются в БД. После этого, необходимо разработать разрешенные связи между тестами, т.е. заполнить матрицу разрешенных переходов (приложение Г). Подсистема «Статистика и анализ результатов» позволяет хранить, обрабатывать и визуализировать результаты тестирования (приложение В).
Для анализа эффективности алгоритмов была разработана МПО по дисциплине «Русский язык как иностранный». В качестве базы тестовых заданий использованы задания из «Пособия для подготовки к сертификационному экзамену по лексике и грамматике» [97], которое применяется на подготовительном факультете Волгоградского государственного технического университета (ВолгГТУ) для оценки уровня знаний русского языка иностранных студентов.
