Содержание к диссертации
Введение
1 Проблемы оценки потребительского качества компьютерных систем тестирования в образовании 12
1.1 Тестирование как результат образовательной деятельности вуза 12
1.2 Анализ применяемых моделей и методов тестирования для оценки знаний студента 26
1.3 Проблемы построения информационной системы тестирования 35
1.4 Использование адаптивного тестирования для оценки знаний студента 45
2 Экономико-математические модели процесса адаптации в тестовых системах
2.1 Модели и алгоритмы адаптивного тестирования и их реализация 55
2.2 Динамическая оценка знаний при тестировании: байесовский подход 69
2.3 Использование бинарной логистической регрессии для вычисления количества угаданных ответов и случайных ошибок испытуемого 72
2.4 Модели и методики оценки потребительского качества банка заданий тестовых систем 77
3 Оценка знаний студента при адаптивном тестировании на базе теории нечетких множеств 91
3.1 Обоснование возможности использования нечетких моделей для расчета количественных показателей качества подготовки студента 91
3.2 Моделирование лингвистической оценки обученности студента при адаптивном тестировании 93
3.3 Нечеткая модель оценки успешности освоения дисциплины студентом 103
4 Моделирование информационной системы адаптивного тестирования 118
4.1 Функциональная полнота адаптивных образовательных тестовых систем 118
4.2 Визуальное моделирование информационных процессов адаптивного тестирования 124
4.3 Разработка модели web-ориентированной информационной системы адаптивного тестирования 138
Заключение 151
Библиографріческий список
- Проблемы построения информационной системы тестирования
- Использование бинарной логистической регрессии для вычисления количества угаданных ответов и случайных ошибок испытуемого
- Моделирование лингвистической оценки обученности студента при адаптивном тестировании
- Визуальное моделирование информационных процессов адаптивного тестирования
Введение к работе
Актуальность темы исследования. Отказ от устоявшихся и введение новых технологий (тестирование при приеме в вузы вместо традиционных экзаменов, балльно-рейтинговая система оценивания, обучение в виртуальной среде и т.д.) выводит проблему качества образования в ряд приоритетных государственных и общественных проблем.
В настоящее время в российской системе высшего образования большинство вузов в своей деятельности обращается к автоматизированным системам тестирования не только в процессе текущего и итогового контроля знаний студентов, но и в качестве механизма оценки уровня образования выпускников.
Тестовые системы в образовании обеспечивают: накопление информации о процессе тестирования каждого испытуемого (учет времени тестирования, статистику результатов, рейтинг и др.); большой объем банка заданий, распределенных по уровням сложности; расчет статистических характеристик и показателей надежности функционирования тестовых заданий; динамическую оценку знаний испытуемого при любой системе оценивания; уменьшение доли субъективизма при оценке результатов освоения дисциплины испытуемым и др.
Важным является тот факт, что с точки зрения пользователя системы тестирования, аналогичные по своему назначению и выполняемым функциям, имеют разную стоимость, обладают разными возможностями. В сложившейся ситуации необходимо адекватно оценивать потребительское качество тестовых систем, степень ее соответствия требованиям пользователя.
Это обусловило необходимость проведения анализа информационных процессов, разработки моделей и методов, обеспечивающих потребительское качество систем тестирования в образовании.
Степень разработанности проблемы. Проблемы оценки качества информационных систем (ИС) рассматриваются в трудах ученых Т.П.Барановской, В.В.Дика, А.И.Долженко, Е.Н.Ефимова, В.В.Липаева, Г.А.Титоренко, Е.Н.Тищенко, Г.Н.Хубаева, И.Ю.Шполянской и др.
Общетеоретические, методологические и практические вопросы по проблемам качества образовательной системы Российской Федерации исследуются в трудах С.В.Арженовского, Г.В.Гореловой, В.А.Долятовского, Л.В.Зайцевой, А.Н.Ткачева и др.
Вопросам проведения тестирования, контроля и оценки знаний посвящены работы В.С.Аванесова, В.И.Васильева, Д.Вейса, К.Х.Калугян, П.И.Канивца, Дж.Раша, Т.Н.Тягуновой, М.Б.Челышковой и др.
Вопросы моделирования информационных процессов с использованием языка UML освещены в работах Д. Рамбо, А. Боггса, Г. Буча, А.М.Вендрова, Т.Кватрани, А.В.Леоненкова, Г.Н.Хубаева, И.Ю.Шполянской, С.М.Щербакова, А.Якобсона и др.
Однако до настоящего времени не существует комплексных теоретических и практических разработок, посвященных проблемам оценки потребительского качества образовательных систем. Не упоминается о разработках и использовании моделей, методов и инструментальных средств адаптивного тестирования, а приводится лишь теоретическое обоснование необходимости его использования в образовании. Большинство применяемых в учебных заведениях квалификационных тестов таковыми не являются. Не выполняется обязательная проверка качества теста, не проводится определение их трудности. Данные обстоятельства обусловили выбор темы диссертационного исследования, определили его цели, задачи и структуру.
Объект и предмет исследования. Объектом исследования являются образовательные учреждения всех организационно-правовых форм. Предметом исследования выступают социально-экономические процессы и явления сферы образования.
Цель диссертационного исследования. Целью диссертационного исследования является разработка методического и инструментального обеспечения для оценки потребительского качества систем тестирования в образовании.
Для достижения поставленной цели потребовалось решить следующие задачи:
разработать экономико-математические модели, позволяющие оценить потребительское качество тестовых заданий (вопросов);
разработать модели формирования индивидуальных итоговых оценок знаний испытуемых, алгоритмы, уменьшающие время проведения адаптивного тестирования, и инструментарий их реализации;
выполнить оценку функциональной полноты существующих образовательных систем тестирования;
разработать комплекс моделей информационной системы адаптивного тестирования (в нотации унифицированного языка моделирования - UML), который позволит отразить рациональную структуру и функции информационной системы, снизить затраты на ее разработку, модернизацию и модификацию.
Теоретическую и методологическую основу исследования составили труды российских и зарубежных ученых, посвященные исследованию проблем потребительского качества информационных систем и технологий, вопросам системного анализа, методам математической статистики, теории вероятностей и теории нечетких множеств. Диссертационное исследование базируется на современных работах, посвященных методам структурного и объектно-ориентированного анализа и моделирования информационных систем, материалах конференций, статьях в сборниках научных трудов и в периодической печати, информационных материалах, опубликованных в Интернете.
Эмпирическую базу исследования составили результаты исследований автора, собранные в ходе активных и пассивных экспериментов.
Инструментально-методический аппарат исследования составили методы системного анализа, математической статистики, теории вероятности, теории нечетких множеств, унифицированный язык моделирования UML, современное программное обеспечение общего и специального назначения: AllFusion Process Modeler r7, AllFusion Erwin Data Modeler r7, IBM Rational Rose (в том числе инструменты Data Modeler, Web Modeler), STATISTICA 6.0, Fuzzy Logic Toolbox средства MATLAB 7.11.0, программа «Анализ функциональной полноты ИС», разработанная в ФГБОУ ВПО «РГЭУ (РИНХ)», программа «ModExTest», разработанная автором в среде Visual Basic 6.0.
Работа выполнена в рамках паспорта специальности 08.00.13 -«Математические и инструментальные методы экономики» п.2.6 «Развитие теоретических основ, методологии и инструментария проектирования, разработки и сопровождения информационных систем субъектов экономической деятельности: методы формализованного представления предметной области, программные средства, базы данных, корпоративные хранилища данных, базы знаний, коммуникационные технологии».
Нормативно-правовая база исследования основана на законодательных и нормативных актах, постановлениях, федеральных государственных стандартах Минобрнауки России.
Рабочая гипотеза заключается в следующем: для эффективной организации деятельности образовательного учреждения при контроле знаний обучаемых необходимы компьютерные системы тестирования, удовлетворяющие требованиям пользователей. Создание и использование моделей, методов и инструментальных средств позволит оценить потребительское качество систем тестирования и минимизировать издержки при их реализации.
Положения, выносимые на защиту:
1. Инструментальное средство для оценки применимости моделей
тестирования, учитывающее время прохождения теста, количество вопросов в тесте,
уровень сложности тестовых заданий, количество правильных ответов и ошибок
испытуемого, вероятность соответствия оценки на каждом уровне знания.
Методика оценки вероятности получения качественного тестового задания, определяющая влияние положительных (отрицательных) ответов испытуемых, распределенных по соответствующим уровням знаний, на тестовые задания.
Методика оценки уровня обученности и успешности освоения дисциплины студентом при тестировании в рамках накопительной балльно-рейтинговой системы для представления шкалы оценок в естественно-языковых категориях.
Результаты сравнительной оценки потребительского качества тестовых систем по критерию функциональной полноты.
Построенные визуальные модели информационной системы адаптивного тестирования, функционирующей в Интернет-среде, в нотации UML.
Научная новизна диссертационного исследования заключается в разработке методических и практических основ обеспечения потребительского качества систем тестирования, применяемых в образовательной деятельности вуза.
Основные результаты, содержащие элементы научной новизны, состоят в следующем:
1. Разработано инструментальное средство для оценки применимости
комплекса моделей тестирования, отличающееся возможностью выдачи тестовых
заданий как случайным образом, так и с учетом адаптации, когда последующее
задание отличается от предыдущего коэффициентом «трудности», учитывающее
время прохождения теста, количество вопросов в тесте, уровень сложности
тестовых заданий, контрольные точки тестирования, количество правильных
ответов, случайных ответов и ошибок испытуемого (на основе модели бинарной
логистической регрессии), вероятность соответствия оценки (на основе
байесовского подхода) на каждом уровне знания, что позволяет существенно
снизить затраты на оценку характеристик потребительского качества тестовых
систем.
Разработана методика оценки вероятности получения требуемого тестового задания на основе модели бинарной логистической регрессии, отличающаяся возможностью использования результатов тестирования группы испытуемых, и позволяющая определить влияние положительных (отрицательных) ответов испытуемых, распределенных по соответствующим уровням знаний, на тестовые задания, выявить динамику изменения их категории («качественное», «некачественное») и повысить потребительское качество тестовых систем.
Разработана методика оценки уровня обученности и успешности освоения дисциплины студентом при тестировании в рамках накопительной балльно-рейтинговой системы на основе теории нечетких множеств, позволяющая динамически оценивать знания студента, отличающаяся возможностью представления шкалы оценок в естественно-языковых категориях.
4. Выполнена сравнительная оценка потребительского качества
существующих классов тестовых систем (дистрибутивные тестовые системы, веб-
системы тестирования и модули тестирования в образовательных системах) с
использованием метода анализа функциональной полноты систем , позволившая
количественно оценить степень подобия рассматриваемых системам, степень
соответствия той или иной структуры «эталонной» модели информационной
системы, учитывающей требования пользователя к информационно-
образовательной среде. Результаты анализа помогли выделить группы однородных
информационных систем со сходным набором функций, что позволяет сравнивать
их между собой, сопоставляя другие характеристики (цена, производительность,
надежность и др.), предоставляя пользователям возможность сделать обоснованный
выбор.
5. Разработаны визуальные модели в нотации UML информационной
системы, отличающиеся описанием процессов адаптивного тестирования. Модели
описывают функциональное назначение системы, содержат информационные и
образовательные процессы тестирования, отображают структуру объектов и связей
в системе в виде модели базы данных и программных компонентов,
функционирующих в Интернет-среде, что позволяет существенно снизить затраты
на разработку, модернизацию, модификацию и настройку программной системы.
Теоретическая и практическая значимость исследования. Теоретическая значимость результатов диссертационной работы состоит в создании методического обеспечения для оценки потребительского качества систем тестирования.
Практическая значимость диссертационной работы заключается в разработке инструментального средства для реализации комплекса экономико-математических моделей, позволяющего снизить затраты на оценку характеристик потребительского качества тестовых систем. Разработанные UML-модели дают представление о структуре и динамике ИС, что позволяет разработчикам программного обеспечения реализовать решения по созданию системы тестирования для любого образовательного учреждения, а использование объектно-ориентированных технологий на всех стадиях разработки ИС позволяет осуществить ее программную реализацию и адаптацию с минимальными затратами.
Предложенные автором методы, модели и программный инструментарий позволят образовательным учреждениям повысить потребительское качество разрабатываемых систем тестирования, в том числе использующих веб-технологии, сократить временные и финансовые затраты на проектирование.
Апробация работы Теоретические положения и практические рекомендации, сформулированные в диссертационном исследовании, нашли отражение в научно-исследовательских работах кафедры «Информационные технологии и защита информации» РГЭУ (РИНХ), докладывались автором на научно-практических конференциях: «Экономико-организационные проблемы проектирования и применения информационных систем: материалы X междунар. науч.-практич. конф.» (г.Кисловодск, декабрь, 2008 г.); «Экономические информационные системы и их безопасность: разработка, применение и сопровождение: материалы регион, науч.-практич. конф.» (п.Архыз, октябрь, 2009 г.); «Современные достижения в науке и образовании: математика и информатика: материалы междунар. науч.-практич. конф.» (г.Архангельск, февраль, 2010 г.), «Тенденции развития научных
1 Хубаев, Г.Н. Сравнение сложных программных систем по критерию функциональной полноты //Программные продукты и системы (Soft&System). - 1989. - №2. - С.6-9.
исследований (Тенденції розвитку наукових досліджень)» (г.Киев, февраль, 2011 г.), «Zpravy vedecke ideje - 2011: materialy VII mezinarodni vedecko - prakticka konference» (г.Прага, октябрь, 2011 г.) и другие.
Отдельные результаты диссертационной работы были использованы в исследованиях по внутривузовскому гранту: "Интерактивный инструментарий анализа качества и эффективности применения тестов в учебном процессе РГЭУ «РИНХ»" (№ 2/07-вн, 2007 г.).
На основании результатов исследования создан программный продукт «Моделирование экспериментов тестирования "ModExTest"», зарегистрированный в РОСПАТЕНТе, № 2012612347.
Результаты диссертационной работы нашли применение в учебно-методическом отделе ФГБОУ ВПО «Ростовский государственный экономический университет (РИНХ)» в рамках накопительной балльно-рейтинговой системы и внедрены в учебный процесс; приняты к использованию в НОУ ВПО «Ростовский международный институт экономики и управления» и др.
Публикации. Основные результаты диссертации отражены в 17 опубликованных научных работах, в том числе 4 - в изданиях, рекомендованных ВАК России. Общий объем публикаций по теме 8,25 п.л, из них авторских 6,65 п.л.
Структура и объем диссертации
Диссертационная работа состоит из введения, четырех глав, заключения, библиографического списка, содержащего 159 литературных источника, и 14 приложений.
Проблемы построения информационной системы тестирования
Система управления качеством вуза в соответствии с ГОСТ Р ИСО 9000 -2001 [58], должна включать четыре взаимосвязанных процесса (этапа) создания и функционирования: - планирование качества - определение видов деятельности, которые должны подвергаться контролю на том или ином уровне и выделение средств (ресурсов) для осуществления контроля; -управление качеством - разработка квалиметрических шкал для измерения заданных видов деятельности (задание области контроля), измерение качества деятельности отдельных объектов управления; - обеспечение качества - сбор, анализ, статистическая обработка информации, полученной в ходе контроля качества, приведение ее к виду удобному для восприятия и доведение результатов контроля до объектов контроля; - улучшение качества - принятие решений, направленных на выполнение заданных требований; формирование новых требований; организация мероприятий по повышению эффективности и результативности заданных видов деятельности.
Все составляющие качества высшего образования достаточно важны и должны рассматриваться совместно. Но, как правило, говоря о качестве высшего образования, чаще имеют в виду качество результатов образовательной деятельности вуза, а все остальное рассматривается как необходимые условия получения этих результатов. При этом в зависимости от конечного потребителя результатом образовательной деятельности вуза можно считать предоставляемые образовательные услуги, если потребителем является личность (студент, слушатель системы повышения квалификации и т.д.), или выпускаемых специалистов, если потребителем является работодатель (предприятие, организация, в т. ч. и сам вуз), государство или общество. Если говорить о внутренних потребителях вуза, то они могут быть одновременно и участниками процессов, и потребителями результатов (преподаватель получает студентов, подготовленных по предыдущим дисциплинам учебного плана).
В теории и практике образования идут активные поиски путей реализации новых форм контроля качества подготовки специалистов. Изучение вопроса показало, что специальных теоретических работ, посвященных этой проблеме, пока нет. Развитие идет, главным образом, через процесс освоения в инновационной практике новых форм контроля. Кроме того, на итоговых экзаменах вопросы практически дублируют те, которые задавались на предварительных экзаменах и зачетах. Учитывая эти обстоятельства в качестве формы контроля качества необходимо использовать адаптивные тестовые системы, включающие банки знаний большого объема.
В настоящее время в российской системе высшего образования тестирование применяется не только в процессе текущего и рубежного контроля знаний студентов, но и в качестве механизма оценки уровня образования выпускников. В рамках данного направления тестирование зачастую используется в трех случаях: при регулярных проверках остаточных знаний у студентов, проводимых вузами самостоятельно; при проведении комплексных междисциплинарных экзаменов; а также в ходе государственной аттестации вузов. Практика применения тестирования при государственной аттестации вузов имеет длительную историю и доказало свою эффективность. Но некоторые проблемы пока сохранились, они остались актуальными и для внутривузовского тестирования [25].
Основные формы и виды тестов. В соответствии с ГОСТ 17369 — 85 «Единая система классификации и кодирования технико-экономической информации. Термины и определения», классификация представляет собой разделение множества объектов на подмножества по их сходству или различию на основании принятых методов и правил.
Под тестом1 понимаем «(от англ. test - проба, испытание, исследование) ... стандартизированные задания, результат выполнения которых позволяет измерить ... личностные характеристики, а также знания, умения и навыки испытуемого».
В практической деятельности классификацию тестов учебных достижений часто подменяют перечислением некоторых видов тестов, не указывая основания классификации. Юіассификация тестов состоит в том, что она, с одной стороны, служит ориентиром для конструирования, выбора и оценки качества тестов, а с другой - облегчает их комплектование, сертификацию, применение, каталогизацию и хранение. Основанием для классификации форм тестов служит наличие у них внешних и внутренних признаков, таких как
Поскольку каждый тест является носителем не одного, а нескольких признаков, то в зависимости от выбранного основания он может принадлежать к различным классам. Отсюда следует, что основная сложность в разработке корректного разделения тестов состоит в выявлении признаков, адекватных конкретной классификации.
На основании анализа литературы [4, 116, 96] была получена классификация тестов, представленная на рис. 1.2.
Общие атрибуты качества тестов. Тест, как система, обладает составом, целостностью и структурой, состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов [116].
Система означает, что в тесте собраны такие задания, которые обладают системообразующим свойствами. Хотя любой тест состоит из тестовых заданий, последние представляют не совокупность произвольно объединенных заданий, а именно систему. Проявлению системного качества теста способствует и единая дисциплинарная общность заданий, реализующая идею измерения подготовленности студентов по определенной учебной дисциплине.
Использование бинарной логистической регрессии для вычисления количества угаданных ответов и случайных ошибок испытуемого
Общий подход к оценке потребительского качества компьютерных тестовых систем (КТС) базируется на представлении о том, что тестовая система рассматривается нами как информационная система (ИС), а эффективность как основная характеристика функционирования информационной образовательной системы (ИОС), которая выявляет степень реализации цели и достижения намеченных результатов.
Основными требованиями к критериям качества ИС являются: - критерий должен численно характеризовать основную целевую функцию технологии; - критерий должен обеспечивать возможность определения затрат, необходимых для достижения требуемого уровня качества, а также степени влияния на показатель качества различных внешних факторов; - критерий должен быть по возможности простым, хорошо измеримым.
Котлярова Н.А. Экономико-математические методы и модели оценки потребительского качества информационных систем и технологий в образовательном процессе: дисс. на соиск. уч. степ. канд. наук. -Ростов-на-Дону: РГЭУ (РИНХ), 2009. системы аспектов разработки ИОС, не зависящих от целевого назначения); организационные (позволяющие рассматривать ИОС как составляющее образовательной организации).
Системное использование указанных критериев позволяет глубоко исследовать и объективно оценить образовательную деятельность. Для уменьшения факторного пространства и выделения наиболее значимых критериев качества ИОС выполнялось их ранжирование методом экспертных оценок [55]. В качестве экспертов выступали преподаватели кафедры «Информационные технологии» РГЭУ (РИНХ) и специалисты фирмы ООО «ДонТек». Группой экспертов было выделено 7 значимых критериев качества ИОС: безопасность, функциональность, неограниченность базы тестовых заданий, надежность, простота интерфейса, возможность архитектуры клиент-сервер, стоимость. Анализ данных экспертизы позволяет сделать вывод о том, что первое место отдано такому показателю как безопасность. Что касается такого критерия как стоимость, то его результат обоснован тем, что пользователь той или иной ИОС уделяет больше внимания функциональности и безопасности системы, и принимает в расчет тот факт, что качественная система требует соответствующих затрат.
В рамках проведенного исследования были проанализированы более 90 КТС, в том числе «Эксперт», «АСТ-Тест», «СИнТеЗ», «AUGUST4», «SunRav TestOfficePro», «Offline-2009-10-24.TestExam» (Йошкар-Ола), «WebTester V1.00», «WebTutor (модуль "Тестирование")», IBM Lotus LearningSpace, eLearning Server 3000 (модуль "Тестирование") и др. Полный список систем тестирования приведен в табл. А. 1, Приложение А.
Анализ КТС и литературных источников позволил выделить более 100 функций, верхний уровень иерархической структуры которых приведен на рис. 1.3. Полный список функций представлен на рис. А. 1 и в табл.А.2, Приложение А.
Вопрос создания тестовых систем является не однозначным, и авторы существующих разработок иногда отходят от целей тестирования. Для проведения анализа информационных процессов1 автоматизации тестовых систем предназначено CASE-средство AllFusion Process Modeler 7.0 (BPwin), поддерживающее методологии: IDEF0 (функциональная модель), DFD (DataFlow Diagram - диаграмма потоков данных) и IDEF3 (Workflow Diagram -диаграмма логики взаимодействия информационных потоков) [21].
С помощью BPwin была создана функциональная модель ИС. Для разработки информационной модели на базе функциональной модели использовалось инструментальное средство Erwin Data Modeler 7.0.
Совместное использование ERwin и BPwin позволяет связывать отдельные элементы схемы базы данных с элементами IDEFO, IDEF3 и DFD диаграмм.
Технология связывания элементов данных с элементами диаграмм информационных процессов состоит в следующем: на диаграмме процесса каждому потоку входньгх/выходных данных, для которых предполагается использование данных из БД, определяется таблица и атрибуты таблицы,
Информационный процесс (в экономике) — процессы накопления, обработки и распространения экономической информации в целях принятия решений в экономике, разделенных на три вида по назначению информации: 1) обеспечивающие выбор и формирование целей управляемого объекта; 2) предназначенные для разработки программы действий, т.е. методов, и определения средств достижения целей; 3) обеспечивающие нормальное протекание управляемого процесса по заданной программе [Лопатников ЛИ. Экономико-математический словарь: словарь современной экономической науки / Под ред. Г.Б.Клейнера. - М.: Дело, 2003]. необходимые для выполнения бизнес процесса, затем эту информацию можно экспортировать в ERwin. При этом в ERwin нужные таблицы данных будут созданы, и между ними нужно будет только установить связи.
Для описания выполняемых функций и анализа информационных процессов тестовых систем, была разработана структурно — функциональная модель тестирования «КАК ЕСТЬ» (модель AS-IS). Методология IDEF0 предписывает построение иерархической системы диаграмм - единичных описаний фрагментов системы.
Построение модели начиналось с описания функционирования моделируемой системы в целом в виде контекстной диаграммы. На рис. 1.6 представлена контекстная диаграмма деятельности информационной системы тестирования.
Моделирование лингвистической оценки обученности студента при адаптивном тестировании
Текущий и промежуточный контроль освоения студентом каждой дисциплины осуществляется в рамках накопительной балльно-рейтинговой системы. Оценка работы студента проводится в 100-балльной шкале по каждому контролируемому виду учебной работы, а также по конкретному модулю, дисциплине. Оценка проставляется в ходе текущего контроля знаний в течение семестра, а также при промежуточном контроле - сдаче зачетов и экзаменов. Оценка отражает качество освоения учебного материала и уровень приобретенных знаний и умений [3].
Во время адаптивного тестирования студент накапливает баллы, а потом суммарный итог переводится в привычную для всех оценку. Методики перевода суммарного итога в оценку, как правило, не рассматриваются в работах, посвященных тестологии. Подход, рассмотренный в [П8]1, применим для совокупности суммарных величин одной группы тестирующихся, оценку которым можно выставить, только когда известны результаты всех студентов.
При интегральной оценке знаний студента с использованием лингвистических переменных необходимо вести учет количественных и качественных факторов . Оценки таких показателей имеют неопределенность, связанную со случайными процессами, происходящими в системе, и с ограниченностью статистических последовательностей экспериментальных данных. В результате проведения пассивных экспериментов проводится оценка исследуемых характеристик, для которых задаются ограничения в виде пороговых значений. Для оценки обученности более целесообразно задавать не пороговое ограничение, а интервал, на котором показатель качества плавно изменяется от минимального значения к среднему и от среднего значения к максимальному.
Нами предложена методика лингвистической оценки обученности студента и исследован возможность ее использования на каждом этапе тестирования: качества информационных систем: монография. - Ростов-на-Дону: РГЭУ (РИНХ), 2008. В такой интерпретации, если оценка меньше или равна Хщщ (х х„цП) и оценка больше или равна хтах (х хтах), то значение параметра недопустимо низкое (ц(х)=0). Если значение оценки уровня обученности находится в диапазоне от xmjn до xmid (xmin х xmid), то качество параметра от недопустимо низкого до высокого (0 ц(х) 1), если значение попадает в диапазон от xmid до xmax (Xmid х хтах), то качество параметра от высокого до недопустимо низкого (1 ц(х) 0).
Такой подход позволяет задавать диапазон, в котором изменение значения параметра плавно влияет на оценку уровня обученности.
В процессе оценивания необходимо использовать лингвистическую интерпретацию в виде тетрарной шкалы «N-Y-X-О», где уровень N (неудовлетворительно), уровень Y (удовлетворительно), уровень X (хорошо) и уровень О (отлично).
Лингвистическая переменная «Оценка уровня обученности» (F) с терм-множеством Т1={Неудовлетворительно (N), Удовлетворительно (Y), Хорошо (X), Отлично (О)} имеет соответствующие функции принадлежности (MF MF F MF) треугольного вида [31]: где ХЩІП, xmid, Хщах - некоторые числовые параметры, принимающие произвольные действительные значения и упорядоченные отношением: чпіп Х#яи/ шах 3. Сформировать значения числовых параметров функций принадлежности исследуемого параметра «Оценка уровня обученности» путем планирования эксперимента. Значения числовых параметров функций принадлежности получены экспериментальным путем, приведены в табл. 3.1.
Классификатор терм-множеств значений лингвистической переменной «Оценка уровня обученности» 5. Сформулировать правила нахождения значений числовых параметров (х,, , ) результирующей функции Y. Показатели x j (j={min, mid, max}) определяются на первом (предыдущем) этапе тестирования, показатели x j (j={min, mid, max}) - на втором (текущем) этапе тестирования. Значения показателей x j x"j зависят от правильности ответа студента на вопрос соответствующего уровня сложности (табл. 3.2).
В табл. 3.3 приведены правила нахождения значений числовых параметров (Xj) результирующей функции Y в зависимости от значений x j и x"j (j={min, mid, max}). Функция Yl соответствует функции принадлежности p,F0s, первого (предыдущего) этапа тестирования, функция Y2 - функции принадлежности \ip0s второго (текущего) этапа тестирования. Значение коэффициента sgl (сглаживание) определяется экспериментальным путем (в нашем случае sgl=2).
При исследовании качества уровня обученности студента функцию принадлежности Щ х х уХ ) необходимо интерпретировать для получения значения о лингвистическом уровне показателя качества переменой «Оценка уровня обученности», определенного функциями принадлежности (3.2), (3.3) и (3.4). Если для оценки уровня фактора используется нечеткий классификатор, то на основании минимума расстояния ры между нечетким множеством, заданным функцией принадлежности Хх ), и каждым из нечетких множеств показателя качества, соответствующих функциям принадлежности Согласно правилам нахождения значений числовых параметров (таблица 3.3) находим аргументы функции принадлежности (х уХ ) результирующей функции Y. Результаты сформированы в таблицу М.2 (Приложение М) и показывают, что минимальные значения показателей близости: расстояние между нечеткими множествами (pkl), абсолютное расстояния Хемминга (рщ) и абсолютное расстояния Евклида (еМ1) (3.6-3.7) определяют одинаковую принадлежность показателя «Оценка уровня обученности» к одному из четырех лингвистических уровней тетрарной шкалы классификатора.
В рассматриваемом примере адаптивного тестирования с большей уверенностью можно считать, что «Оценка уровня обученности» принадлежит к терму {Хорошо (X)}. Значение xraid результирующей функции Y равно 67.93, следовательно, тестируемый должен получить 68 баллов (оценка: «хорошо»).
Результаты моделирования для разных условий приведены в табл. М.З - 6 (Приложение М). В таблицах отражены для / = 10..30 вопроса тестирования изменения показателей близости между и каждым из нечетких множеств показателя качества, соответствующих функциям принадлежности MJF(x xmn xm,d xm ) G=N, Y, X, О). Минимальные значения показателей близости: расстояние между нечеткими множествами (ph), абсолютное расстояния Хемминга (рщ) и абсолютное расстояния Евклида (е ,) (3.5-3.7) определяют одинаковую принадлежность показателя «Оценка уровня обученности» к одному из четырех лингвистических уровней тетрарной шкалы классификатора в 95%.
Данный подход доказывает несостоятельность классического оценивания тестируемого, исходя из процента правильно выполненных заданий. Результаты адаптивного тестирования с использованием динамического оценивания нечеткого показателя «Оценка уровня обученности» позволяют уже на 20 вопросе завершить тест и представить результаты испытуемых в естественно-языковых категориях.
Визуальное моделирование информационных процессов адаптивного тестирования
Сайт будет создаваться на языке РНР, так как в настоящее время он поддерживается подавляющим большинством хостинг-провайдеров и является одним из лидеров среди языков программирования, применяющихся для создания динамических веб-сайтов. К пакету сайт ( .php) относятся все страницы и формы, представленные на рис. 4.14.
Основой взаимодействия всех современных информационных систем является интерфейс. Это «граница», на которой происходит взаимодействие различных элементов.
Денвер (Denwer)— набор дистрибутивов и программная оболочка, предназначенные для создания и отладки сайтов (веб-приложений, прочего динамического содержимого интернет-страниц) на локальном ПК (без необходимости подключения к сети Интернет) под управлением ОС Windows.
В Денвер входит сам язык РНР версии 5.3.2, Apache HTTP Server - это один из самых популярных веб-серверов (позволяет подключать внешние модули для предоставления данных, использовать СУБД для аутентификации пользователей, модифицировать сообщения об ошибках и т. д.) и СУБД MySQL Community Server 5.5.8. Для работы с сайтом понадобится браузер, например Opera 12.
Диаграмма топологии (размещения) предназначена для анализа аппаратной части системы. Для каждой модели создается только одна такая диаграмма, отображающая процессоры (Processor), устройства (Device) и их соединения. Обычно этот тип диаграмм используется в самом начале проектирования системы для анализа аппаратных средств, на которых она будет эксплуатироваться. Диаграмма топологии представлена на рис. Р.5 (Приложение Р).
1. В настоящее время на рынке программных продуктов существует большое количество контролирующих, обучающих, тестовых систем. Выбрать среди них ИС, удовлетворяющую всем требованиям пользователя, достаточно трудно. Предлагаемый содержательный анализ образовательных тестовых систем по критерию функциональной полноте позволяет внести некоторую ясность в данном вопросе.
2. С использованием демонстрационных и рабочих версий систем тестирования, документации и литературных источников был составлен предварительный перечень функций (103) ИС тестирования. Этот перечень представляется достаточно полным на сегодняшней день, но в дальнейшем возможно его расширение за счет добавления функций, выявленных путем проведения экспертных опросов.
3. Для проведения анализа функциональной полноты предложено ИС тестирования разбить на 2 группы: дистрибутивные тестовые системы (ДТС) -системы, которые требуют установки на каждом ПК; веб-системы тестирования (ВСТ) и модули тестирования в обучающих образовательных системах (МТОС). Предложенная группировка позволяет выделить общие функции, присущие каждой группе ИС, и индивидуальные, а также сформировать перечень функций (53) для проведения анализа функциональной полноты ИС адаптивного тестирования.
4. Конструктивные особенности создания, применения и выбора дистрибутивных систем и веб-разработок не позволяют провести совместный анализ их функциональной полноты, поэтому данную методику применяли отдельно для каждой из двух групп. Матрицы поглощения # и подобия G ok позволяют определить принадлежность анализируемых тестовых систем к «эталонной» адаптивной тестовой системе. Такими являются дистрибутивные системы: АСТ-Тест, «МастерТест», «СИнТеЗ», КТС Net 2, Quizzz, FastTEST Professional Testing System, 2.0, Test4DL , РЭА, MSCat Demo, Test 2002. 2.2.0.356. Professoinal Edition, CT М-Тест и веб-системы: WebTutor (модуль "Тестирование"), eLearning Server 3000 (модуль "Тестирование"), LAMS (модуль "Тестирование"), Sakai (модуль "Тестирование"), Прометей (модуль "Тест"), Learn eXact (модуль "Тестирование"), Microsoft E-Learning (модуль "Тестирование"), IBM Lotus LearningSpace (модуль "Тестирование").
5. Современные CASE-средства позволяют создавать сложные программные системы от описания информационных процессов предметной области до создания программного кода. В настоящее время наибольшее распространение получил объектный подход к созданию ИС, в частности основанный на унифицированном языке моделирования UML (Unified Modeling Language). В работе рассмотрены достоинства и недостатки CASE - средства IBM Rational Rose - программного продукта визуального моделирования объектно-ориентированных ИС.
6. Была разработана модель ИС адаптивного тестирования в нотации UML в виде диаграмм прецедентов, описывающих основные цели системы и ее пользователей, диаграмм деятельности для анализа содержания необходимых управляющих и образовательных процессов процесса тестирования, диаграмм классов для отображения объектов и связей в системе.
7. С помощью инструмента Data Modeler переход от логической модели ИС к физической в Rational Rose обеспечивался автоматически. Для построения диаграммы компонентов пакет Сущности ИС адаптивного тестирования был преобразован с помощью встроенного средства Data Modeler в модель базы данных, ориентированную на MySQL 5.5.8
8. Диаграмма классов пакета Границы ИС адаптивного тестирования была преобразована с помощью инструмента Web Modeler в сайт, т.е. набор станиц и форм. Каждый компонент инициирует отдельную Web-страницу или форму ИС адаптивного тестирования. Атрибуты и методы каждой страницы были дополнены, разделены между формами и страницами системы в зависимости от функциональных характеристик. В результате была построена диаграмма компонентов веб-ориентированной ИС адаптивного тестирования.
9. Созданная в нотации UML модель ИС адаптивного тестирования позволяет существенно снизить затраты на разработку, модернизацию, модификацию и настройку программной системы, а также повысить потребительское качество программного продукта и поставку ИС в запланированные сроки.
