Содержание к диссертации
Введение
ГЛАВА 1. Обзор методов и систем компьютерного тестирования знаний 9
1.1 Методы организации тестирования 13
1.1.1 Традиционные методы организации тестирования 13
1.1.2 Адаптивные методы организации тестирования 15
1.2 Методы оценивания. 22
1.2.1 Математические методы и модели 23
1.2.2 Классификационные методы и модели оценивания. 37
ГЛАВА 2. Модель тестирования знаний, основанная на вероятностных критериях оценки 41
2.1 Процесс тестирования знаний 41
2.2 Выбор очередного задания 43
2.3 Типы тестовых заданий и их вероятностные модели 45
2.3.1 Бинарный элементарный тест 46
2.3.2 Тестовые задания с выбором одного или нескольких элементов 51
2.3.3 Исходы заданий 56
2.3.4 Вес ошибки 58
2.3.5 Тестовые задания с последовательным анализом элементов 60
2.3.6 Тестовые задания на установление соответствия. 65
2.3.7 Тестовые задания на установление правильной последовательности74
2.4 Коррекция матриц условных вероятностей тестовых заданий по результатам тестирования (процесс самообучения) 77
2.4.1 Адаптация матриц условных вероятностей на основе критерия максимального правдоподобия 79
2.4.2 Адаптация матриц условных вероятностей по мажоритарному принципу 83
ГЛАВА 3. Реализация системы дистанционного тестирования знаний, основанной на вероятностных критериях оценки, в компьютерных сетях 88
3.1 Технологии реализации клиент-серверных приложений 89
3.2 Структура системы дистанционного тестирования 94
3.3 Особенности функционирования системы дистанционного тестирования в среде интернет 106
3.3.1 Временные задержки при передаче данных 108
3.3.2 Время обработки запроса 109
3.3.3 Организация веб-узла 110
ГЛАВА 4. Имитационное моделирование процессов тестирования и самообучения. оценка временных характеристик работы системы в сетевой среде 114
4.1 Имитационное моделирование процесса тестирования 114
4.2 Имитационное моделирование процесса самообучения 119
4.3 Оценка времени транзакции и времени тестирования 124
4.3.1 Время обработки запроса 126
4.3.2 Распределение размера графических файлов 128
4.3.3 Время транзакции 128
4.3.4 Время тестирования 131
Заключение 134
Список использованной литературы 13 6
- Адаптивные методы организации тестирования
- Тестовые задания с выбором одного или нескольких элементов
- Структура системы дистанционного тестирования
- Имитационное моделирование процесса самообучения
Введение к работе
Актуальность темы. Особое значение в сфере образовательных услуг приобретает повышение квалификации сотрудников предприятий, в частности, тестирование знаний персонала. Научное направление, в рамках которого целенаправленно разрабатываются средства, алгоритмы и методики тестирования знаний, получило название «тестология», В последнее время наблюдается повышенный интерес к этой области, методологическую основу исследований которой составляют работы, направленные на создание и адаптацию средств и методов информатики и инфокоммуникациониых технологий для системы образования (В.С, Аванесов, Е.А. Михайлычев, Дж, Равен, М.И. Грабарь, Б,Я. Лихтциндер, В.А. Хлебников, М.Б. Челышкова, А.Г. Шмелев, Ю.М. Нейман, Н.И. Пак, О А- Козлов, А.А. Кузнецов, а также Дж. Раш, Дж. Гласе, Дж. Стэнли, К- Ингекамн, П. Клайн и др.).
По экономическим соображениям на первое место выходит дистанционное тестирование- Большинство тестирующих знания систем, в связи с развитостью сети Интернет, ориентировано на IP-технологии и используют мультимедиа информацию, объёмы которой достаточно велики. Однако малая пропускная способность абонентского доступа накладывает жесткие ограничения на объём передаваемой тестовой информации.
Эти ограничения входят в противоречие с требованиями объективности и надёжности тестирования, для обеспечения которых следует увеличивать число тестовых заданий, а, следовательно, объём передаваемой тестовой информации.
Разрешить эти противоречия позволят адаптивные системы, основанных на вероятностных методах диагностирования (И,В. Кузьмин, Б.Я. Лихтциндер, В.А. Гуляев, П.Ш. Абдуллаев, В.Е. Кладов, Р.Дж. Беннеттс), как наиболее объективных, а в процессе тестирования осуществляется направленный поиск тестовых заданий, существенно уменьшающий объём передаваемой информации.
Поэтому разработка новых сетевых средств дистанционного тестирования знаний является актуальной.
Целью работы является создание и реализация в компьютерных ІР-сетях адаптивных систем дистанционного тестирования знаний, основанных на вероятностных критериях оценки.
Для достижения поставленной цели в работе решаются следующие задачи:
разработка вероятностных моделей оценивания знаний для систем дистанционного тестирования, использующих ІР-технологии;
разработка адаптивных алгоритмов поиска тестовых заданий для сетевых компьютерных систем тестирования знаний;
разработка и реализация в веб-среде программного обеспечения адаптивной системы дистанционного тестирования знаний;
разработка вероятностных моделей различных типов тестовых заданий (выбор одного или нескольких элементов из набора, установление соответствий между элементами двух наборов, установление правильной поел едовательности);
разработка алгоритмов коррекции вероятностных параметров тестовых заданий;
исследование функционирования системы в сетевой среде (оценка временных характеристик, оценка выигрыша по времени тестирования и объёмам передаваемой тестовой информации).
Объектом исследования являются: системы дистанционного автоматизированного тестирования знаний, компьютерные сети оперативной обработки информации.
Предметом исследования являются: адаптивные алгоритмы тестирования знаний, основанные на вероятностных критериях оценки, процесс компьютерного тестирования, процессы передачи и обмена тестовой информации в компьютерных сетях.
Методы исследования. В работе применялись теоретические и экспериментальные методы исследования. При разработке моделей тестовых заданий, алгоритмов оценки уровня знаний использовались методы теории вероятно-
стей, теории информации, дискретной математики, комбинаторики, а также основы проектирования экспертных систем.
При реализации системы в виде программного продукта использовались объектно-ориентированное программирование, основы реляционных баз данных, основы технологии сети Интернет.
Исследование функционирования системы в сети Интернет, а также оценка временных задержек проводились на основе теории передачи дискретных сообщений, теории вычислительных систем, теории массового обслуживания.
Имитационное моделирование процессов тестирования и самообучения, а также моделей массового обслуживания проводилось на основе статистических методов (методе Монте-Карло).
Достоверность изложенных положений работы обосновывается корректным выбором исходных данных, строгим использованием математического аппарата при получении выводов. Подтверждается результатами имитационного моделирования процессов тестирования, коррекции вероятностных параметров тестовых заданий, процессов обмена тестовой информации в системе, результатами практического применения разработанного программного обеспечения, а также научными трудами и апробациями созданного научно-технического продукта на представительных научных форумах.
На защиту выносятся:
новые адаптивные алгоритмы дистанционного тестирования знаний посредством компьютерных сетей.
программные средства системы дистанционного тестирования, реализованные на основе веб-технологий;
вероятностная модель тестирования знаний и алгоритм направленного поиска очередного тестового задания, позволяющие достигнуть уменьшения объёмов передаваемой тестовой информации;
вероятностные модели основных типов тестовых заданий;
алгоритмы коррекции вероятностных параметров тестовых заданий, повышающие объективность оценки;
результаты исследования работы системы в сетевой среде: оценка временных характеристик на различных стадиях транзакций, оценка выигрыша по количеству тестовых заданий и объёмам передаваемой информации.
Научная новизна заключается в следующем: . разработан ранее не применявшийся алгоритм направленного поиска тестовых заданий, осуществляющий выбор очередного задания по критерию максимальной информативности, что позволяет снизить количество тестовых заданий, а, следовательно, объём передаваемой тестовой информации;
разработана вероятностная модель тестирования знаний, обеспечивающая, в отличие от других, высокий уровень надёжности тестов при малом количестве тестовых заданий;
предложен алгоритм коррекции вероятностных параметров тестовых заданий, отличающийся простотой реализации, устойчивостью и высокой сходимостью.
Практическая ценность работы заключается в том, что на её основе создана адаптивная автоматизированная система дистанционного тестирования знаний, ориентированная на работу в сетевой среде.
Программное обеспечение системы тестирования реализовано в виде веб-лриложения. Размещение его в сети Интернет позволяет проводить дистанционное, автоматизированное тестирование испытуемых и обеспечивает высокую доступность данной образовательной услуги.
Реализация и внедрение работы. Разработанная система используется для тестирования пользователей программного обеспечения, разрабатываемого ЗАО «Медиател», студентов ГОУВПО «Самарский государственный медицинский университет», слушателей Самарского регионального телекоммуникационного трейнинг центра.
Апробация работы. Результаты работы докладывались на российских и международных научно-технических конференциях и конгрессах: Международной конференции «Интерактивные системы: проблемы человеко-компьютерного взаимодействия» (Ульяновск, 2003); Международном конгрессе конференций «Информационные технологии в образовании» (Москва, 2003); XI Российской научной конференции профессорско-преподавательского состава, научных сотрудников и аспирантов (Самара, 2004); V Международной научно-технической конференции «Проблемы техники и технологии телекоммуникаций» (Самара, 2004); VIII Международной электронной научной конференции «Новые технологии в образовании» (Воронеж, 2004); Международной научно-технической конференции «Информационные, измерительные и управляющие системы (ИИУС-2005)» (Самара, 2005); 5-й Международной конференции молодых учёных и студентов «Актуальные проблемы современной науки» (Самара, 2004-2005).
Публикации. Результаты работы опубликованы в 16 научных работах, в том числе: 9 статей в научно-технических журналах и сборниках, 6 тезисов докладов на научно-технических конференциях и 1 свидетельство об официальной регистрации программы для ЭВМ.
Объём и структура диссертационной работы. Диссертация содержит введение, 4 главы и заключение, изложенные на 144 листах. В работу включено 42 рисунка, 13 таблиц, библиографический список из 88 наименований.
Адаптивные методы организации тестирования
Адаптивные методы тестирования предполагают использование информации от испытуемого или учебного материала при формировании набора тестовых заданий. К этому классу моделей относятся:
Случайная выборка с учетом особенностей испытуемого. Модель является развитием неадаптивных методов тестирования. Она аналогичен "Случайной выборке" и/или "Комбинированному методу", т.е. набор заданий также формируется непосредственно перед тестированием, но при генерации используется информация об общем уровне подготовленности, способности к обучению и, возможно, другие [23, 63-65, 68-70]. Таким образом, для каждого испытуемого генерируется набор заданий, соответствующий его уровню подготовленности и способностям, что является главным преимуществом данного метода. Другое достоинство метода: испытуемый, выполняя задания, соответствующие его способностям, не испытывает лишней психологической нагрузки во время тестирования. В качестве недостатка данного метода можно отметить следующее: испытуемые получают задания различной трудности (это, безусловно, должно быть учтено при выставлении оценки), т.е. один выполняет только простые задания, а другой - трудные. Поэтому, генерируя задания, соответствующие способностям испытуемого, целесообразно включить в набор и один - два задания повышенной трудности и значимости.
Тестирование на основе ответов с использованием графов. В этом методе тестирование осуществляется по заранее составленному сценарию или, другими словами, по разветвленной тестирующей программе. Обычно для таких заданий составляется граф, У каждого тестового задания имеется несколько вариантов ответа, возможно с различной степенью правильности. Всем ответам, кроме правильного, ставится в соответствие последующее задание со своим подмножеством ответов. На 1-м шаге тестирования предъявляется основное задание. Если на него дан неточный ответ, то следующее задание, уточняющее, будет содержать подмножество как «более правильных», так и «менее правильных» ответов. Если и на это задание получен ответ, отличный от правильного, предъявляется несложное задание, затрагивающее основные понятия предметной области, охваченной тестом. Это так называемый СТОП-вопрос [28], неправильный ответ на который приводит завершению тестирования. В случае правильного ответа на СТОП-вопрос тестирование переходит к следующему основному заданию. Таким образом, процесс тестирования представляет собой движение по ориентированному графу, вершины которого есть тестовые задания, а дуги переходы между ними. Первый слой содержит основные задания, второй — дополнительные, третий - СТОП-вопросы. Процедура тестирования конкретного испытуемого отображается на графе в виде некоторого пути. Анализируя его, можно сформировать ряд критериев, позволяющих говорить об уровне знаний испытуемого в данной предметной области- Так, чем путь длиннее, чем больше дополнительных заданий и СТОП-вопросов было предъявлено, тем ниже должна быть оценка. Предъявление хотя бы одного СТОП-вопроса лишает обучаемого надежды на оценки "хорошо" и "отлично"; если дополнительных более 10% от количества основных, то оценка не может быть выше, чем "хорошо"- Такой подход (как один из методов проведения тестирования, был использован в АОС "КОНТАКТ" [10]) в настоящее время встречается значительно реже, т.к. имеет существенный недостаток: всем испытуемым предлагаются одни и те же задания, однажды включенные в тестирующую программу. Устранить этот недостаток довольно просто - достаточно отделить сценарий тестирования знаний от набора тестовых заданий. Для этого необходимо подготовить комплект однотипных вопросов для каждой вершины графа, а в процессе тестирования случайным образом генерировать испытуемому вопрос из этого комплекта.
Предметно-критериальное тестирование, В каждой предметной области есть ключевые моменты, особенно важные темы, без знания которых невозможно усвоение более сложного материала в процессе учебы, или, которые будут необходимы в работе по специальности. На устном экзамене при личном контакте с учащимся преподаватель обязательно оценивает понимание этих тем. При автоматизированном тестировании можно учесть важность каких-либо разделов курса, увеличив долю вопросов по этим разделам в общем количестве вопросов (См. [21, 22]). Но это не всегда удобно для составителя теста, потому что не всегда наиболее важные разделы содержат больше всего материала. Поэтому существуют методики, предусматривающие учет таких параметров, как степень важности и объем изучаемого материала в разделах курса. При составлении теста преподаватель делит материал на темы и оценивает степень важности и объем изучаемого материала по каждой теме. Количество заданий по каждой теме должно соответствовать (быть пропорционально) объему изучаемого материала. Итак, преподаватель: разбивает курс на темы (разделы); определяет их объемы и степень важности; определяет структуру теста — количество вариантов ответов т на каждый вопрос. После этого вычисляется минимальное количество вопросов //, необходимое для того, чтобы при заданных параметрах: т9 р}9 р29 р3 (граничные значения рейтинга или балла) и уровне значимости можно было поставить оценку «5», «4», «3» или «2» за определенный раздел. Минимальное количество заданий будет содержать тест по теме с минимальным объёмом материала- Минимальное количество заданий по темам определяется пропорционально их объемам. По ответам испытуемого вычисляется оценка по каждой теме. При вычислении итоговой отметки за тест учитывается степень важности каждого раздела. Получившаяся итоговая оценка округляется до целых. Можно использовать не случайный выбор тестовых заданий, а, параллельно вычисляя рейтинг испытуемого, делать переход от одной теме к другой. Описанная выше методика позволяет давать испытуемым тест поэтапно, по мере изучения и усвоения материала отдельных разделов, и выводить итоговую оценку с учетом результатов промежуточного тестирования. Подобный подход используется в системе "Эксперт-ТС" [12], а также в [13, 27, 36].
Тестирование с учётом параметров заданий. Рассматриваемые здесь методики являются самыми распространёнными- Они позволяют учитывать различные параметры тестовых зданий (См. [61], а также [77, 88]). Однако выходными данными всех этих методов и моделей является некоторое значение, назовём его рейтингом, обычно из интервала [0,1].
Тестовые задания с выбором одного или нескольких элементов
Рассмотрим задание с выбором одного или нескольких элементов. Данные задания содержат набор элементов выбора, соответствующих БЭТ с определёнными параметрами. Как говорилось выше, элементы выбора могут быть правильными и неправильными. Выбор испытуемым правильного элемента есть положительный исход, а неправильного - отрицательный и наоборот. Обозначим событие, заключающееся в выборе /-го элемента через хг Событие, в результате которого /-й элемент остался невыбранным обозначим через х.. Кроме того, условимся, что если элемент является правильным, то х, = 1 и, следовательно, хк = 0. Если элемент является ошибочным, то xt = 0, jc. =1. Ответом на задание (обозначим ответ через Xу) является совокупность выбранных (указанных как правильные) и невыбранных (указанных как ошибочные) элементов. Например, ответом хххгх3 будет являться совокупность следующих событий: выбор первого и третьего элементов, а второй элемент останется невыбранным. Таким образом, любому ответу X. может быть поставлена в соответствие определённая комбинация событий х. (/ = 1,2,...,л). Если на количество выбираемых элементов не накладывается никаких ограничений, то количество т возможных ответов будет равно 2".
В зависимости от того, какие элементы являются верными, среди всего множества комбинаций имеется одна, которая соответствует безошибочному ответу. Обозначим кодовую комбинацию, соответствующую безошибочному ответу, через ХГ.
При ответе на данное задание испытуемый может допустить ошибки. В этом случае кодовая комбинация, соответствующая его ответу, будет отличаться от кодовой комбинации, соответствующей безошибочному ответу Вероятность того или иного ответа зависит от степени различия кодовой комбинации Xр соответствующей реальному ответу испытуемого и кодовой комбинации Хг9 соответствующей правильному ответу, а также от вероятностей правильного выбора каждого из элементов.
При неограниченном и независимом выборе элементов и, поскольку, ответ является совокупностью совместных событий выбора элементов, вероятность того, что испытуемый даст безошибочный ответ, равна:
Эквивалентная трудность тестового задания может быть изменена (уменьшена) введением ограничений на количество выбираемых элементов. Вследствие этого уменьшается количество возможных ответов. Например, если накладывать ограничения такие что, испытуемому необходимо выбрать только один элемент, количество ответов будет равно количеству элементов выбора. Это уменьшает эквивалентную трудность задания, что отражается в условных вероятностях, характеризующих данное задание. Таким образом, инструкция к заданию может дать испытуемому некоторую подсказку, следовательно, задание окажется несколько легче.
Если количество выбираемых элементов не ограничивается, то безусловные вероятности всех ответов одинаковы и равны где т — количество всех возможных ответов (т = 2п). Если на количество выбираемых элементов накладываются ограничения, то некоторые комбинации окажутся запрещёнными и всё множество комбинаций будет разбито на два подмножества. Подмножество разрешённых кодовых комбинаций обозначим через А. Подмножество запрещённых кодовых комбинаций обозначим через F. Вероятности выбора всех разрешённых комбинаций следует считать одинаковыми и равными —, а вероятности всех запрещенных комбинаций равны.
Рассмотрим частный случай тестового задания, для выполнения которого необходимо указать один правильный элемент из п. Допустим, при этом, что трудности БЭТ, соответствующих элементам выбора, равны между собой и равны т0 - Количество ответов в таком задании будет равно пу т,е, имеется всего п разрешённых комбинаций. С учётом указанных ограничений сумма
Структура системы дистанционного тестирования
Поскольку система представляет собой веб-приложение, всё взаимодействие пользователя с ней происходит с помощью запросов со стороны пользователя и выдачи соответствующей информации со стороны системы. Запрос включает в себя имя файла соответствующего компонента или подпрограммы и ряд параметров. Файлы этих компонентов и подпрограмм расположены в корневом каталоге. Файлы компонентов содержат алгоритмы управления объектами и обрабатывают достаточно сложные запросы. Файлы подпрограмм обрабатывают простые запросы и обычно не используют объекты.
Простые запросы, такие как, например, вывод рисунка или содержания вопроса или элемента выбора, обычно содержат достаточно информации, чтобы напрямую обратится к базе данных, получить из неё необходимую информацию, вставить её в соответствующий шаблон и вывести в браузер. Обычно такие запросы заложены в веб-интерфейсе системы. Например, если на странице необходимо показать рисунок, который не является частью интерфейса системы, а входит в состав содержательной части вопроса, на выводимой странице формируется тег графического изображения, В атрибуте sre (источник) этого тега вписывается ссылка, представляющая собой этот простой запрос. Например, тег а src— image.php?id-3341 выводит хранящийся в базе данных рисунок с идентификатором 334,
Сложные запросы обычно адресованы компонентам системы, которые создают главные объекты, например Дизайнер или Контроллер тестов. При их создании происходит разбор входящих параметров и формирование имён функций, а точнее методов этих главных объектов, которые будут использованы в дальнейшем для получения необходимой информации из базы данных, вставки её в соответствующие шаблоны и вывода в браузер пользователя- Далее происходит вызов этих методов. В процессе их выполнения могут использоваться другие объекты, в частности, вызываться методы этих объектов.
В методах ввода/вывода информации в/из базы данных используются стандартные для системы SQL-функции. Этими методами через модуль доступа к базе данных извлекаются и записываются необходимые данные. Модуль доступа к базе данных представляет набор этих стандартных SQL-функций- Если имеется другая СУБД, можно включить другой модуль доступа к базе данных, который содержит те же самые функции, но подключается и управляет совершенно другой базой данных. Такой принцип доступа к данным позволяет выбрать для хранения информации любую SQL-ориентированную СУБД,
Рассмотрим работу системы более подробно. Для обеспечения тестирования знаний в системе имеется дизайнер тестов, модуль тестирования, модуль статистики. Кроме модулей, целью которых является обеспечение тестирования знаний, система оснащена дополнительными модулями, обеспечивающими безопасность, гибкость и удобство использования. Модуль администрирования позволяет управлять доступом пользователей к тем или иным ресурсам. Контроль доступа осуществляется модулем авторизации. Модуль справки позволяет получать справочную информацию непосредственно по тому инструменту, который в данный момент используется. Конфигуратор позволяет настроить параметры подключения к базе данных, параметры суперпользователя, сделать дополнительные настройки.
Имитационное моделирование процесса самообучения
Исследование системы в режиме тестирования проведём с помощью имитационного моделирования. Объектом исследования является распределённая система тестирования знаний, основанная на вероятностных критериях, предметом исследования является функционирование системы в различных условиях.
Как говорилось выше, испытуемый может находиться в одном из нескольких состояний, которые соответствуют уровням знаний и характеризуются вероятностями. Изначально, если известна информация об успеваемости испытуемого, задаётся определённое распределение вероятностей состояний, если ничего об испытуемом не известно, то задаётся равновероятное распределение. Процесс тестирования продолжается до тех пор, пока какая-либо из вероятностей состояний не превысит задаваемого экспертом-преподавателем порогового значения. Возникает вопрос: всегда ли будет происходить это событие? Не случится ли такого, что никакая из вероятностей не достигнет этого значения, и тест будет продолжаться до тех пор, пока не закончатся задания? Если испытуемый обладает некоторым промежуточным уровнем знаний, то каким образом система будет вести себя в данном случае и выставит ли оценку, а если выставит, то какую? Ответить на эти вопросы поможет эксперимент. Необходимо протестировать данной системой большое количество испытуемых с разным уровнем знаний обработать полученные данные, а именно, количество тестовых заданий и полученные оценки для различных значений порога. Однако достаточно сложно найти такую выборку из реальных людей. Эту проблему можно решить с помощью имитационного моделирования, а точнее с помощью статистического моделирования.
Имитационное моделирование основано на воспроизведении с помощью ЭВМ, развернутого во времени процесса функционирования системы с учетом взаимодействия с внешней средой. Целью имитационного моделирования является конструирование имитационной модели объекта и проведение имитационного эксперимента над ней для изучения закона функционирования и поведения с учетом заданных ограничений и целевых функций в условиях имитации и взаимодействия с внешней средой [8].
Для реализации моделирования можно использовать саму систему- Процесс моделирования будет заключаться в том, чтобы провести тестирование имитируемого объекта достаточно большое количество раз для различных пороговых значений, зафиксировать количество заданных вопросов и полученные оценки [4]. Имитируемым объектом в данном случае является испытуемый, который обладает некоторым уровнем знаний.
Для начала необходимо задать некоторые начальные условия. Необходимо задать уровень знаний испытуемого, первоначальное распределение вероятностей состояний, массив количеств реализаций процесса тестирования различным количеством тестовых заданий, массив количеств различных оценок полученных в результате тестирования. Первоначальное распределение вероятностей состояний имитируемого объекта - равновероятное. Кроме того, в начале каждой реализации процесса инициализируется счётчик тестовых заданий. В конце каждой реализации процесса тестирования в заданных массивах фиксируется количество тестовых заданий и полученная оценка.
В процессе тестирования в зависимости от уровня знаний имитируемым объектом генерируется ответ, который вводится в систему, а система на основании теоремы Байеса пересчитывает вероятности состояний. Генерация ответа зависит от уровня знаний имитируемого объекта и осуществляется следующим образом. Элементы выбора можно представить в виде бинарных элементарных тестов - тестов с двумя исходами. Обозначим положительный исход — А.9 отрицательный — А. Совокупность этих событий - исходов бинарных элементарных тестов, входящих в состав тестового задания, — определяют ответ- Исходя из того же предположения, на котором построена система, что вероятность положительного исхода зависит уровня знаний и равна; где z - уровень знаний, а - трудность БЭТ, можно генерировать положительный исход с заданной вероятностью Р(А)= P+(Z,(T). Допустим, требуется воспроизвести факт наступления события А. Поставим в соответствие событию А событие В, состоящее в том, что х меньше либо равно вероятности наступления события А - Р{А) где х — случайное число с равномерным на интервале (0,1) законом распределения. Вычислим вероятность события В: P(B)J\\dy = P{A). Таким образом, события А и В являются равновероятными. Отсюда следует процедура имитации факта появления события А. Она сводится к проверке неравенства х Р(А), а алгоритм заключается в следующем: 1- С помощью датчика случайных чисел получают случайное число х; 2, Проверяют выполнение неравенства х Р{А) ; 3- Если оно выполняется, то событие А - произошло, если нет - то произошло А. Таким образом, генерируются исходы для каждого БЭТ, и формируется ответ. После получения ответа система пересчитывает вероятности состояний испытуемого, увеличивает счётчик тестовых заданий на единицу, выбирает, исходя из полученного распределения, наиболее информативное задание, к которому снова генерируется ответ. Так происходит до тех пор» пока какая либо из вероятностей состояний превысит заданный порог. После превышения фиксируется соответствующая оценка, и процесс тестирования повторяется. Для моделирования в качестве исходных данных были взяты различные значения моделируемого уровня знаний, в том числе и промежуточные, и различные значения порога /?п. Использовался набор из 142 тестовых заданий. В табл. 4,1 представлены результаты моделирования в виде максимального и среднего количества заданий, которое было предъявлено испытуемому с соответствующим уровнем знаний при соответствующем пороговом значении- В тех случаях, когда тестирование заканчивалось из-за отсутствия заданий в базе данных, значения выделены жирным шрифтом- В табл. 4.2 представлены частоты получения оценок при моделировании различных уровней знаний.
