Содержание к диссертации
Введение
Глава 1. Анализ подходов к моделированию и параметризации процесса оценки знаний методом тестирования 12
1.1. Введение в проблематику тестового контроля знаний 12
1.1.1. Определение, свойства теста, формы тестирования 19
1.1.2. Математические модели интерпретации результатов тестирования 25
1.2. Классификация и обзор современных систем компьютерного тестирования 39
1.2.1. Обзор средств крупномасштабного тестирования 41
1.2.2. Обзор систем оперативного контроля знаний 43
1.2.3. Обзор систем итогового контроля знаний 47
1.2.4. Обзор систем контроля знаний с поддержкой ответов открытой формы 48
1.3. Выводы по главе. Постановка задачи диссертационной работы 53
Глава 2. Постановка и анализ задачи построения автоматизированной тестирующей системы с анализом ответов испытуемого на естественном языке 56
2.1. Обоснование выбора и анализ объекта исследования 56
2.2. Разработка обобщенного алгоритма системы-объекта исследования 60
2.3. Разработка общих принципов математического моделирования автоматизированной тестирующей системы 84
2.4. Выводы по главе 86
Глава 3. Построение математических моделей средств автоматизации процессов оценки знаний методом тестирования с интеллектуальной обработкой ответов испытуемого на естественном языке 87
3.1. Анализ принципов и построение обобщенной модели системы-объекта исследования 87
3.2. Разработка и исследование методов расширения современной теории моделирования и параметризации тестирования на основе использования тестовых заданий открытой формы 93
3.3. Построение модели лингвистического ресурса тезауруса предметной области для целей семантического расширения деревьев поверхностно-синтаксического анализа 98
3.4. Разработка математической модели задачи сравнения деревьев поверхностно-синтаксического анализа 102
3.5. Разработка общих принципов математического моделирования этапов интерпретации результатов тестирования 106
3.6. Выводы по главе 112
Глава 4. Разработка программного комплекса автоматизирующего оценку знаний методом тестирования с использованием заданий открытой формы с интеллектуальной обработкой ответов испытуемого на естественном языке 113
4.1. Этапы разработки 113
4.2. Проектирование программного комплекса 114
4.3. Выбор и обоснование средств разработки 117
4.4. Описание структуры и принципов функционирования программного комплекса и входящих в него подсистем и модулей 121
4.5. Конструирование пользовательского интерфейса 129
4.6. Функциональная схема аппаратных средств 135
4.7. Выводы по главе 137
Глава 5. Применение разработанных моделей, алгоритмов и программного обеспечения для решения практических задач 138
5.1. Применение программного комплекса при тестировании знаний студентов технического ВУЗа 138
5.2. Применение программного комплекса в задачах проведения аттестации и сертификации высококвалифицированных специалистов 147
5.3. Применение программного комплекса в системах дистанционного образования 150
5.4. Сравнительный анализ функциональных характеристик разработанного программного комплекса с существующими аналогами 154
5.5. Выводы по главе 157
Заключение 158
Список литературы 160
Приложения 172
- Математические модели интерпретации результатов тестирования
- Разработка общих принципов математического моделирования автоматизированной тестирующей системы
- Разработка и исследование методов расширения современной теории моделирования и параметризации тестирования на основе использования тестовых заданий открытой формы
- Описание структуры и принципов функционирования программного комплекса и входящих в него подсистем и модулей
Введение к работе
Оценка знаний в традиционном (узком) понимании рассматривается как определение итогового уровня подготовки обучаемого в рамках некой предметной области после прохождения курса обучения. Ключевым моментом данного утверждения является неразрывность процесса контроля и процесса обучения. Это утверждение справедливо для традиционных очных форм обучения, альтернативных заочных и для новых, развивающихся форм, таких как дистанционное образование с применением информационных технологий. Существуют задачи контроля знаний и вне учебного процесса, которые используются в производственной среде. Основными из таких задач являются: аттестация персонала, проведение сертификационных экзаменов, отбор кандидатов на конкретные вакансии и т.н. Результатом оценки знаний, как правило, является определение некоторой величины в рамках шкалы оценивания. Последствия оценивания могут иметь самые различные результаты - от чисто морального эффекта, до определения критических выводов и принятия судьбоносного решения.
В связи с чрезвычайной важностью точности оценивания знаний необходимо подходить к этому явлению как к процессу объективного измерения и результаты такого измерения обрабатывать стандартными математическими методами и сопровождать стандартными характеристиками точности [62]. Весь процесс оценки знаний должен выполняться в рамках научно-обоснованной методологии, с практической апробацией, подтверждающей работоспособность теории.
Задачи исследования проблемы оценки знаний ставят несколько целей:
максимизация объективности оценивания;
увеличение эффективности процесса оценки;
- внедрение новых форм и способов оценки в современных
(нетрадиционных) способах обучения, аттестации, сертификации
специалистов, и других сферах деятельности человека.
Тестирование, как форма оценки знаний, является одним из
перспективнеиших направлений увеличения качества решения поставленных
задач. Использование тестирования в реальной деятельности позволит
повысить детальность и точность оценивания и, кроме того, может являться
единственно возможной формой процесса проверки знаний в ряде ситуаций,
таких как:
проверка знаний высококвалифицированных специалистов, вследствие дефицита квалифицированных контролирующих кадров, сложности организации экзаменационной комиссии, трудоемкости процесса контроля;
оценка знаний в системах дистанционного образования с использованием сетевых технологий Интернет;
проведение массовой аттестации, сертификации специалистов, обучаемых.
Использование ответов, вводимых в свободной текстовой форме, является самой естественной и наиболее сложной задачей при организации системы контроля знаний. Использование подобных заданий имеет следующие преимущества перед «традиционными» заданиями закрытого типа:
увеличивает точность и детальность оценивания;
позволяют определять правильность ответа на поставленный вопрос с определенной точностью;
исключает фактор случайного выбора;
минимизирует возможность рассекречивания;
Научным направлением, лежащим в основе моделирования и параметризации процесса тестирования, являются две теории: так называемая «классическая теория тестирования» и «современная теория тестирования»
получившая название в иностранной литературе название Item Response Theory (IRT). В основе теории IRT лежит множество математических методов, основные из которых: теория вероятности, математическая статистика, дисперсионный и регрессионный анализ. При построении тестирующих систем с открытой формой ответа в виде текста на естественном языке (ЕЯ) используются: методы искусственного интеллекта, методы лингвистической обработки текстов на ЕЯ.
Можно сделать вывод об актуальности работ, направленных на построение, исследование и поддержку математических моделей тестирующей системы основанной на интеллектуальной обработке ответов испытуемого на ЕЯ, для исследования всего комплекса проблем автоматизации оценки знаний.
Целью диссертационной работы является разработка математических моделей, методов и средств автоматизации процессов оценки знаний методом тестирования с интеллектуальной обработкой ответов испытуемого на естественном языке.
Задачи исследования. В диссертационной работе решаются следующие задачи:
Анализ существующих подходов к оценке знаний методом тестирования и средств их автоматизации.
Разработка обобщенного алгоритма и информационной модели системы оценки знаний методом тестирования на основе интеллектуальной обработки ответов испытуемого на ЕЯ.
Разработка и исследование методов расширения современной теории моделирования и параметризации тестирования на основе использования тестовых заданий открытой формы.
Построение модели лингвистического ресурса тезауруса предметной области для целей семантического расширения деревьев поверхностно-синтаксического анализа.
Разработка принципов компьютерной системы оценки знаний методом тестирования, основанной на использовании заданий открытой формы с интеллектуальной обработкой ответов испытуемого на ЕЯ, и разработка модулей программного комплекса.
Создание методики применения тестирующей системы для проведения аттестации и сертификации высококвалифицированных специалистов и оценки знаний в системах дистанционного образования.
Методы исследования основаны на использовании научных положений системного анализа, теории моделирования и параметризации тестирования, методов математической статистики, теории вероятности, комбинаторики, методов искусственного интеллекта, лингвистического анализа. При разработке программных модулей использовалась технология объектно-ориентированного проектирования, СОМ-технологии, реляционная СУБД, стандарт RDF моделирования и обмена семантических моделей.
Научная новизна работы состоит в следующем:
Предложена модель тестирующей системы на основе использования тестовых заданий открытой формы с ответом на ЕЯ.
Разработано расширение методов современной теории моделирования и параметризации тестирования на основе использования тестовых заданий открытой формы.
Предложена модель лингвистического ресурса тезауруса предметной области для целей семантического расширения деревьев поверхностно-синтаксического анализа.
Разработаны методы автоматизации процесса проверки гипотезы тестирования на основе интеллектуальной обработки ответов испытуемого на ЕЯ.
Предложена методика применения тестирующей системы для проведения аттестации и сертификации высококвалифицированных специалистов и оценки знаний в системах дистанционного образования.
Практическую ценность работы составляют:
Созданный тестирующий программный комплекс оценки знаний методом тестирования, применение которого позволяет получать объективные оценки знаний испытуемых, отражающиеся на единой нормированной шкале и сопровождающиеся качественной характеристикой точности.
Разработанный тезаурус предметной области информационных технологий, используемый в работе тестирующей системы для тестов данной тематики.
Цель и поставленные задачи определили структуру работы: В первой главе рассмотрены типичные задачи оценки знаний методом тестирования, дано их формализованное описание и классификация. На основании работ Дж. Раша, А. Бирнбаума, B.C. Аванесова, Т.С. Анисимова, В.П. Беспалько, А.Н. Майорова, А.А. Маслак, Е.А. Михайлычева, Ю.М. Неймана, А.И. Самыловского, А.О. Татур, М.Б. Челышковой, В.А. Хлебникова и других ученых рассмотрены методы и модели теории тестирования, сделан вывод, о том, что научно обоснованное компьютерное тестирование имеет ряд весомых преимуществ перед традиционными формами оценки знаний. Работы А.А. Андреева, ЯЛ. Ваграменко, М.П. Карпенко, Е.С. Полат, В.И. Солдаткина, А.А. Полякова, А.В. Хуторского и других ученых, посвященны вопросам развития дистанционного образования. Опыт проведения сертификационных экзаменов компаниями Microsoft, Novell, Cisco, Intel, IBM, HP, Siemens и других показал эффективность использования тестового контроля знаний. Проанализированы недостатки классической теории тестирования, описаны достоинства и рассмотрены модели современной теории тестирования (IRT), в частности однопараметрическая модель Раша, двух и трехпараметрические модели Бирнбаума. Рассмотрены пути повышения точности и надежности тестового измерения за счет использования заданий открытого типа, использования адаптивных алгоритмов управления гипотезой тестирования. Предложена классификация и проведен анализ современных систем тестирования знаний. Выявлен ряд функциональных требований к
разработываемой в рамках диссертационной работы автоматизированной тестирующей системы, а также определено ее место среди рассмотренных.
Сделаны выводы: задания открытой формы, основанные на использовании свободно конструируемых ответов на ЕЯ представляют большой интерес с точки зрения повышения детальности оценивания отдельных заданий с выражением тестового балла в политомической шкале. Большую актуальность имеет задача создания тестирующей системы с ответами испытуемого на естественном языке, с применением моделей современной теории тестирования для анализа и интерпретации результатов тестирования.
Во второй главе производится постановка задачи автоматизации процесса тестирования знаний с использованием ответов испытуемых на ЕЯ -как объекта исследования. Приводится обоснование выбора и анализ свойств объекта исследования. На основе применения системного подхода, с учетом свойств объекта исследования, разработан обобщенный алгоритм анализа и решения задачи, выбранной в качестве объекта исследования и разработана общая структура автоматизированной системы объекта исследования. Описано назначение, принципы построения и работы основных модулей системы, определены принципы взаимодействия описанных модулей, лежащие в основе функционирования данной автоматизированной тестирующей системы. По результатам построения обобщенного алгоритма и информационных моделей определен набор математических моделей, разработка и исследование которых необходимы для обеспечения автоматизированной поддержки тестирования с ответами испытуемого на ЕЯ.
В третьей главе производится исследование математических моделей средств автоматизации процессов оценки знаний методом тестирования с интеллектуальной обработкой ответов испытуемого на ЕЯ. Построена математическая модель системы-объекта исследования, основанная на использовании теории лингвистического анализа, современной теории
моделирования и параметризации тестирования, методов представления знаний в виде семантических сетей, математической статистики. Разработаны и исследованы методы расширения современной теории моделирования и параметризации тестирования на основе использования тестовых заданий открытой формы. Разработана математическая модель задачи сравнения деревьев поверхностно-синтаксического анализа, основанная на использовании синтаксического шаблона эталонного и анализируемого ответов. Описаны разработанные модели интерпретации результатов тестирования с получением интегральной оценки испытуемого, информации о слабых и сильных местах в знаниях испытуемого, а также методы определения надежности и валидности, калибровки тестовых заданий, определения погрешности тестовых измерений.
В четвертой главе рассматриваются вопросы разработки программного комплекса (ПК) автоматизированной тестирующей системы. Требования к ПК формируются с учетом разработанных моделей и принципов визуального проектирования. Определены структурные и функциональные требования к ПК. Приводятся архитектура и функциональная схема разработанного ПК FlexTest, реализующего автоматизированную проверку знаний методом тестирования с поддержкой ответов испытуемого на ЕЯ. Описана структура и принципы функционирования ПК и входящих в него подсистем и модулей. Приводится пользовательский интерфейс системы с примерами использования данной системы. В завершении главы приводится функциональная схема аппаратных средств, необходимых для функционирования разработанной системы. Анализируются возможные направления развития и пути применения ПК FlexTest.
В пятой главе освещаются вопросы, связанные с применением разработанного ПК автоматизированной тестирующей системы. Рассматривается практическое применение разработанной системы при проведении итогового контроля знаний у студентов технического ВУЗа по специальным дисциплинам специализации «Программное обеспечение
вычислительной техники и автоматизированных систем». Описана методология применения разработанного ПК в задачах аттестации и сертификации высококвалифицированных специалистов и в системах дистанционного образования.
Положения, выносимые на защиту. На защиту выносятся:
Обобщенный алгоритм и информационная модель системы оценки знаний методом тестирования на основе интеллектуальной обработки ответов испытуемого на естественном языке.
Расширение методов современной теории моделирования и параметризации тестирования (Item Response Theory).
Модель лингвистического ресурса тезауруса предметной области для целей семантического расширения деревьев поверхностно-синтаксического анализа.
Методы сравнения и сопоставления деревьев поверхностно-синтаксического анализа.
Архитектура тестирующего программного комплекса основанного на заданиях открытой формы с генерацией ответа испытуемого на естественном языке и порядок взаимодействия его компонентов.
Методики применения тестирующей системы для проведения аттестации и сертификации высококвалифицированных специалистов и оценки знаний в системах дистанционного образования.
Математические модели интерпретации результатов тестирования
Исторически выделяют два подхода к созданию теста и интерпретации результатов его выполнения. В первом подходе, получившем развитие в рамках классической теории тестов [1, 4, 3, 6, 2, 62, 109, 108], уровень знаний испытуемых оценивается с помощью их индивидуальных балов. Балл вычисляется как алгебраическая сумма оценок выполнения каждого задания теста. С целью повышения качества теста в целом и отдельных тестовых заданий в классической теории тестирования применяются методы математической статистики [29, 31, 102].
Классическая теория тестирования.
Матрица тестовых заданий. Чаще всего оценка результатов тестирования рассчитывается с помощью матрицы тестовых заданий [92]. Матрица размерности пХт представляет истинность ответов п учащихся на т вопросов.
ViJMy = 1 (правильный ответ) v мц = 0 (неправильный ответ) (1.1)
На практике, зачастую, тестируемый выполняет не все задания из банка, а только их некоторую выборку, в этом случае соответствующие элементы матрицы остаются пустыми (null).
Общий вид матрицы тестовых заданий представлен в табл. 1.1.
Из матрицы тестовых заданий, проследив связи с соответствующими разделами учебных курсов, можно получить информацию о пробелах в знаниях тестируемого.
Кроме того, уже непосредственно из матрицы можно получить некоторую информацию и о тестовых заданиях. Так, столбцы, состоящие исключительно из 1 (или из 1 и пустых ячеек) после значительного числа испытаний соответствуют слишком легким заданиям, а столбцы, состоящие исключительно из 0, соответствуют наоборот слишком трудным заданиям.
Если строки матрицы упорядочить по сумме элементов (сумме балов), то тестируемые будут отсортированы по уровню знаний от самых сильных к самым слабым. В этом случае возможны и более глубокие выводы. Так, почти единичные столбцы, имеющие, тем не менее, верхние нулевые элементы, с большой долей вероятности соответствуют неудачно сформулированным легким заданиям (не справились сильные ученики), тогда как почти нулевые столбцы с нулевыми нижними элементами показывают на высокую вероятность угадывания ответа, которая может быть связана как с малым числом альтернатив, так и с их качественными характеристиками. Если же одиночные элементы содержаться, в основном, в середине таблицы это указывает па низкую информативность тестового задания.
На основе матрицы легко рассчитать ряд параметров теста. Сложность или трудность тестового задания j [92] рассчитывается как доля тестируемых справившихся с данным тестовым заданием. Л=- (1.2) где rij — число правильных ответов на j-e задание, п - общее число испытуемых, отвечавших на j-e задание. Очевидно, что 0 Pj 1.
Аналогично можно рассчитать и сложность теста как отношение суммарного количества правильно выполненных тестовых заданий к суммарному числу тестовых заданий, выполняемых тестируемыми. Очевидно, что на тест и на отдельные тестовые задания следует наложить ограничения на допустимые диапазоны сложности (например, 0,4 - 0,7). Однако, поскольку сложность на самом деле является случайной величиной, то корректнее говорить о доверительном интервале сложности {PJMn, ..., PJ%mM).
где Pj — оценка доверительной вероятности из формулы (1.2); ftj - общее число испытуемых, ответивших нау -е задание; Sj - оценка стандартного отклоненияу -го задания; / в/ - квантиль распределения Стыодента;
а = \ P.mjn- уровень значимости.Различительная способность и коэффициент дискриминации.
Выделим в группе тестируемых долю лиц с высоким уровнем знаний, и такую же долю лиц с низким уровнем знаний (например, 25% или 27%). Тогда различительная способность или коэффициент дискриминации тестового задания вычисляются по формуле
EJ=PJB-PJH, (1.5) где р" и р" - доли правильных ответов на j - е задание соответственно для «сильных» и «слабых» групп. Очевидно, что эта характеристика лежит в интервале значений 0 Ej 1. Тестовое задание считается удовлетворительным, если коэффициент дискриминации не менее 0,3, а если он достигает значений 0,4 и 0,5, то задание считается соответственно эффективным и высокоэффективным.
Одна из важнейших характеристик теста - его надежность, отражающая точность, т.е. степень постоянства тестирования. Один из методов измерения надежности основан на разбиении теста на 2 равные части и вычисления коэффициента корреляции между ними. Однако, в этом случае результат получится зависимым от одного разбиения, поэтому на практике применяют усредненное значение коэффициента по всем разбиениям, называемое альфа Кронбаха [39]. В случае дихотомической оценки «верно-неверно» для расчета этого коэффициента можно применять формулу Кудера-Ричардсона
Разработка общих принципов математического моделирования автоматизированной тестирующей системы
Персоналом, обслуживающим систему, и пользователями являются эксперт по тестам, администратор, тестируемые.
Эксперт по тестам - это специалист предметной области, способный систематизировать материал подлежащий включению в тест и умеющий составлять тестовые задания, соответствующие различным уровням сложности, требованиям полноты, и надежности. Эксперт создает тесты и проводит их доработку по результатам тестирования типичных групп испытуемых. Общий алгоритм разработки тестовых заданий представлен на рис. 2.8.
Администратор - человек, осуществляющий проведение основных, функций: управление пользователями и группами пользователей, определение планов тестирования, проведение тестирования, обработка и выдача результатов тестирования. Фактически функции Администратора соответствуют роли экзаменатора.
В результате построения обобщенного алгоритма решения задачи-объекта исследования были выделены основные характеристики объекта исследования и зависимости между ними. Для обеспечения решения задачи объекта исследования необходимо исследование и разработка математических моделей АТС. Общая структура математической модели задачи включает в себя: модель предметной области и модель процессов автоматизации тестирования и обработки результатов.
Модель предметной области включает в себя следующие математические модели: - модель теста, описывающая конкретный тест из определенной области знаний, множество тестовых заданий, соответствующих им эталонных ответов, множество предметных областей; - модель испытуемого, описывающая способности испытуемого, его результаты прохождения тестов;
- модель тезауруса, описывающего множества понятий предметной области тестирования и семантических отношений между ними.
Модель процесса автоматизации тестирования включает в себя:
- модель среды тестирующей системы, включающая параметры-состояния времени выполнения: модель теста, модель обучаемого, модель тезауруса, а также информацию о прохождении заданий теста, критериях завершения тестирования;
- модель управления процессом тестирования, описывающая адаптивный алгоритм предъявления тестовых заданий, правила определения «наилучшего» очередного тестового задания;
- модель лингвистического анализатора, описывающая правила формализации ответа испытуемого на ограниченном ЕЯ;
- модель сравнения ответа с эталоном, описывающая правила определения релевантности двух формализованных представлений анализируемого и эталонного ответов на ЕЯ;
Модель интерпретации результатов включает в себя:
- модель определения итоговой оценки, предназначена для перехода от сырого балла результатов тестирования к оценке в метрической шкале.
- модель выявления сильных и слабых мест в знаниях позволяет выявить структура знаний испытуемого.
- модель анализа тестового материала, предназначена для определения параметров трудности, дифференцирующей способности тестовых заданий. Позволяет принимать решение о доработке, исключении тестовых заданий из теста.
Перечисленные модели составляют обобщенную математическую модель решения задачи объекта исследования, подлежащую более детальной формализации в следующих главах. 2.4. ВЫВОДЫ ПО ГЛАВЕ
1. В качестве объекта исследования выбрана задача автоматизации процесса тестирования знаний с использованием ответов испытуемых на ЕЯ.
2. Разработан обобщенный алгоритм анализа и решения задачи, выбранной в качестве объекта исследования и разработана общая структура автоматизированной системы объекта исследования.
3. Описано назначение, принципы построения и работы основных модулей системы, определены принципы взаимодействия описанных модулей, лежащие в основе функционирования данной автоматизированной тестирующей системы.
4. Определен набор математических моделей, разработка и исследование которых необходимы для обеспечения автоматизированной поддержки тестирования с ответами испытуемого на ЕЯ.
Разработка и исследование методов расширения современной теории моделирования и параметризации тестирования на основе использования тестовых заданий открытой формы
Любое дихотомическое задание может быть рассмотрено как одношаговое задание, в результате правильного выполнения которого испытуемый получает 1 балл [65], Пусть вп- способность испытуемого п (которая трактуется как уровень его знаний), Д,- трудность одного шага в задании / (которая в дихотомическом случае совпадает с трудностью задания /), Тогда вероятность рпП того, что испытуемый п выполнит первый шаг (и таким образом, получит 1 балл, а не 0 баллов за задание і) согласно основной дихотомической модели Раша [137] вычисляется по формуле (1.2), или с учетом новых обозначений по формуле _ ехр(0„-Д„) 1 + ехр -Д,) Анализ характеристик заданий позволил определить в качестве основной логистической функции двухпараметрическую модель Бирнбаума (1.23) [116] ехр( Щ-Д)) р» =71 7777 —J (ЗЛЗ) 1 + ехр( /,(0,-Д,)) где dt - дифференцирующая способность задания /, В отличие от однопараметрической модели Раша, двухпараметрическая модель Бирнабаума учитывает дифференцирующую способность задания dj, что улучшает показатель адекватности модели, С другой стороны, не используется трехпараметрическая модель Бирнабаума в связи с тем, что для заданий открытого типа отсутствует фактор случайного выбора (угадывания), параметризованный в этой модели (1.24), Для дальнейших рассуждений полезно ввести вероятности лт и лпЛ как вероятности получить испытуемым п соответственно 0 баллов и 1 балл за выполнение задания /. Очевидно, что в рассматриваемом случае л„п - это просто вероятность рпП выполнения первого и единственного шага в задании /, а лт0=\-лпІІ=1- р„п. Эти вероятности будут полезны при рассмотрении более сложных моделей. Таким образом, в простейшем дихотомическом случае рпП- это вероятность того, что испытуемый п получит 1 балл за выполнение задания / . При ЭТОМ 7tmQ + ппЛ = 1 и Рм1 = ппЛ. Нарис. 3.2 представлены типичные графики вероятностей лт0 и лтХ. Точке пересечения этих кривых соответствует значение Д., - трудность выполнения первого шага в задании /. Характер оценивания ответа в разрабатываемой системе допускает более двух категорий результатов ответа (верно\неверно). Политомическое задание позволяет определять степень истинности (полноты) ответа, с количественной характеристикой лежащей в интервале 0..1. Представим данный интервал, как результат выполнения множества шагов ш,- задания /. Чтобы достичь высшей категории ті, испытуемый должен последовательно преодолеть /и,- шагов, за правильное выполнение каждого из которых он получает 1/т{ балла. Сначала необходимо достичь первой категории (шаг №1), затем выполнить требования для достижения второй категории (шаг №2) и т.д. Для заданий с произвольным количеством промежуточных категорий, получается выражение, аналогичное формуле (3.14):
Будем предполагать, что трудность шагов в задании не варьируется, а рассматривается как определяемая фиксированным множеством значений гк, к- 1,...,т.
Таким образом, трудность достижения к-ой категории в задании / может быть представлена формулой
где Д,- трудность і-го задания (то есть положение і-го задания на общей оси переменных О и р), тк - трудность выбора к-ой категории (то есть трудность к-го шага) в любом задании.
Следует заметить, что независимо от того, сколько категорий включены в шкалу ответов, сам ответ всегда лежит между двумя соседними категориями. Точка, в которой вероятность выбора следующей категории становится больше вероятности выбора предыдущей, называется порогом. Вероятность прохождения к-го порога (или, что то же самое, вероятность выполнения к-го шага) в задании может быть описана формулой вида (3.13) двухпараметрической модели Бирнабаума. Величина сможет также трактоваться как трудность к-го шага. В общем случае условная вероятность рпік верного выполнения испытуемым п (со способностью вп) k-го шага в задании / определяется как
На рис. 3.3 представлены графики функций лпЛ, ппП,пП1к_х,лП1к, которые представляют собой характеристические кривые соответсвующих шагов в задании /, при выполнении задания испытуемым п.
Описание структуры и принципов функционирования программного комплекса и входящих в него подсистем и модулей
В основе функционирования ПК лежит набор приложений, работающих с БД, На рис, 4.3 представлена модель БД тестирующей системы. Все таблицы БД можно разделить на 2 типа:
основные - описывают какие-либо сущности;
вспомогательные - описывают связи между сущностями. Рассмотрим основные сущности:
Tusers - пользователь,
Tgroups - гуппа пользователей, В группе может состоять несколько пользователей, и для каждой группы указываются наборы тестов,
Tset - набор тестов. Включает в себя несколько тестов и может быть задан нескольким группам на прохождение.
Ttest - тест. Принадлежит какому-нибудь набору тестов. Состоит из нескольких наборов вопросов. Тест может быть задан пользователю только следующим образом: тест занесен в набор, набор сопоставлен группе, в которую включен нужный пользователь. Зависит от сущности «набор тестов».
Tthemes_q - набор вопросов. Включает вопросы, объединенные одной тематикой. Каждый набор может быть использован в любом количестве тестов.
Tquestions - вопрос. По тематике вопросы объединяются в наборы. Каждый вопрос имеет один или несколько вариантов ответа.
Tanswers ответ. Представляет собой варианты ответов на предоставленные вопросы и оценку их правильности (от 0 до 100). Вопросу любого типа можно сопоставить любое количество ответов. Зависит от сущности «вопрос».
Tsessions - сессия. Ответ конкретного пользователя на конкретный тест. Каждый пользователь может несколько раз отвечать на один и тот же тест. Зависит от сущностей «тест» и «пользователь».
Tstat - ответ пользователя. Ответ на конкретный вопросы в течение конкретной сессии. На каждый вопрос в течение одной сессии можно отвечать только один раз. Зависит от сущностей «сессия» и «вопрос».
Tmessages - Сообщения. Сообщения от пользователя к администратору и обратно. Зависит от сущности «пользователь».
Tuserresult и tcheck - результаты. Сохраняются результаты обработки тестовых данных конкретным математическим методом.
Администратор тестирующей системы в целом реализует интерфейс к БД, и обработку данных тестирования, содержащихся в БД, поэтому опишем ключевые моменты, связанные с работой этой подсистемы. Работа с базой данных основана на использовании оригинальной библиотеки MySql без использование ODBC, OLEDB и т.д. Для более простого взаимодействия с этой библиотекой создан класс CMySqlServ, содержащий следующие методы:
void Connect(char Host, char User, char Pass, char ЮВ); - позволяет осуществить соединение с базой данных DB, на компьютере Host, для пользователя User, с паролем Pass. int FillTreeFirstLevel(TTreeNodes Items, AnsiString TableName, AnsiString ColName, DWord Type); - заполняет первый уровень дерева в визуальной компаненте TTreeView, элементами из таблицы TableName и колонки ColName.
int FillTreelLevelNodes(TTreeNode Item, AnsiString TableName, AnsiString ColName, DWord Type, AnsiString Expr); или
int FillTreelLevelNodes(TTreeNode Item, AnsiString TableName, AnsiString IndexName, AnsiString ColName, DWord Type, AnsiString Expr); - заполняет следующий уровень дерева в визуальной компаненте TTreeView, элементами из таблицы TableName и колонки ColName, с условием Expr.
int GetItemDesc(int NumbOjVars, AnsiString TableName, int ID, ...); или
int GetItemDesc(int NumbOjVars, AnsiString TableName, AnsiString Expr); -заполняет визуальные компаненты, такие как TLable, TButton, TEdit, текстом из таблицы TableName.
int SetItemDesc(int NumbOjVars, AnsiString TableName, int islnsert, AnsiString Expr, ...); - сохраняет текст из визуальных компанент в таблицу TableName.
int IsItemExists(AnsiString TableName, AnsiString Expr); - позволяет узнать, существует элемент таблицы TableName или нет.
int DeleteRow(AnsiString TableName, AnsiString Expr); - удаляет строку таблицы TableName.
int PreFillListfAnsiString TableName, AnsiString ColName, AnsiString Expr); - используется перед заполнением визуального компанента TStringList.
int FillList(TStrings Bujjfer); - заполняет визуальный компанент TStringList элементами из ранее заполненого буфера.
AnsiString GetltemfAnsiString TableName, AnsiString ColName, AnsiString Expr); - возвращает конкретный элемент таблицы TableName.
Все эти функции позволяют управлять тестовыми данными.
Класс AdmTesterForm используется для управления отображаемыми данными.
Так как в деревьях и списках возможно отобразить только текст, для того чтобы можно было понять к какому элементу таблицы относится выбранный элемент, необходимо помимо строки сохранять и некоторый индекс ID. В каждом визуальном компоненте VCL есть поле pObject, в нем и сохраняется вместо указателя - ID.
«Тестирующий клиент» также основан на взаимодействии с БД и реализует основные функции системы, среди которых: авторизация пользователей, адаптивный алгоритм, обработка ответов пользователя, поддержка механизма обмена сообщениями и т.д. Опишем основные программные элементы тестирующего клиента. Для подключения к БД используются параметры: IP-адрес сервера СУБД, порт, логин, пароль и пр. Все это прописывается в так называемой «строке подключения» (Connection String). Ее можно прописать прямо в коде программы и тогда если сервер базы данных переноситься в другое место, придется перекомпилировать программу. Поэтому было выбрано хранить Connection String в файле Web.config, который расположен в папке с ASPX-фашом и позволяет менять параметры подключения без перекомпиляции.
Похожие диссертации на Разработка метода и алгоритмов тестирования знаний на основе интеллектуальной обработки ответов испытуемого на естественном языке
