Содержание к диссертации
Введение
1 Исследование и разработка интеллектуальной компьютерной обучающей системы .. 15
1.1 Анализ видов компьютерных обучающих систем 15
1.2 Исследование структуры разрабатываемой ИКОС 20
1.3 Исследование методического обеспечения ИКОС. 24
1.4 Определение требований к математическому обеспечению ИКОС 32
1.5 Анализ основных моделей семантических сетей 40
Выводы по первой главе 53
2 Разработка математической модели семантической сети для представления знаний, аксиоматики и системы операций .. 55
2.1 Определение решаемых классов задач 55
2.2 Разработка математической модели семантической сети 56
2.3 Разработка системы операций 66
2.4 Визуальное представление семантических моделей 84
Выводы по второй главе 93
3 Реализация подсистем ИКОС 95
3.1 Подсистема формирования начальных условий 95
3.2 Подсистема формирования управляющего воздействия 97
3.3 Подсистема контроля ЗУН, обработки и представления результатов контроля. 114 Выводы по третьей главе 116
4 Экспериментальное исследование результатов работы 117
4.1 Общие сведения ...117
4.2 Модификация методики коррекции угадывания при проведении тестирования с закрытой формой задания 122
4.3 Сравнительный анализ носителей знаний 126
Выводы по четвертой главе. 130
Заключение 131
Основные результаты работы 131
Литература
- Исследование структуры разрабатываемой ИКОС
- Разработка математической модели семантической сети
- Подсистема формирования управляющего воздействия
- Модификация методики коррекции угадывания при проведении тестирования с закрытой формой задания
Введение к работе
Актуальность темы исследования. Вступление человечества в XXI век требует перехода к новой стратегии развития общества на основе знаний и высокоэффективных технологий. Широкое применение передовых информационно-коммуникационных технологий (ИКТ) становится одним из приоритетных направлений развития общества. Однако для полномасштабного использования предоставляемых ИКТ возможностей необходимо наличие квалифицированных кадров. Применение различных компьютерных систем, особенно интеллектуальных, позволяет эффективно реализовать профессиональную подготовку и переподготовку кадров, повышение их квалификации, аттестацию и обучение. В настоящее время активно развиваются средства представления, контроля и управления передачей знаний в компьютерных системах (например, Tactic Editor, Menager's Edge, Designer's Edge, IBM Learning space, SABA learning, Прометей, eLearning Server, ТестСтудио и др.). Об этом свидетельствует опыт ведущих зарубежных (IMS, ADL, LTSC, AICC, IBM Mindspan Solutions, Click21earn, Pathlore, Macromedia, Microsoft, Docent, Allen Communications и др.) и отечественных (ИСА РАН, ГНИЙ «Информика», НИИВО, РМЦ, Гиперметод, НОУ «Институт виртуальных технологий в образовании», Websoft, Новый Диск, Cognitive Technologies, RedLab, ЦКО «Специалист» и др.) организаций, занимающихся исследованиями и разработками в области ИКТ, а также ведущих ВУЗов РФ (МГУ, МФТИ, МГТУ, МАИ, МЭИ, МИСиС, МЭСИ, МГИУ, МГИЭМидр.).
Востребованность новых современных форм и методов обучения является практическим доказательством необходимости создания и внедрения интеллектуальных компьютерных обучающих систем. Следовательно, вопросы разработки и совершенствования их методического, математического, алгоритмического, программного обеспечения для реализации требуемых функциональных возможностей,
адаптации к индивидуальным особенностям обучаемых приобретают первостепенную важность. Проблемами использования и развития технологий представления и управления передачей знаний, а также информационных образовательных технологий занимались отечественные и зарубежные ученые, в частности: Д.А.Поспелов, Г.С.Осипов, А.П.Афанасьев, А.Н.Тихонов, И.Н.Кузнецов, Н.А.Селезнева, А.И. Суббетто, Б.А. Сазонов, Г.А. Атанов, В.В. Попов, И.А. Башмаков, И.В. Макарова, В.П. Тихомиров, Б.В. Кириличев, И.Л. Надточий, М. Минский, Д.Гилфорд, Дж. Блум, Р. Аткинсон, В. Чапман и другие. Интерес к этим исследованиям в настоящее время только увеличивается, что определяет актуальность представленной работы.
Тематика исследования охватывает модели управления процессом обучения, алгоритмы построения целостного учебного процесса и реализацию полученных в диссертационной работе результатов с использованием соответствующего программного обеспечения. Таким образом, тема исследования является актуальной и определяет следующие цель и задачи настоящей работы.
Цель и задачи диссертационной работы. Целью настоящей диссертационной работы является исследование и разработка моделей, алгоритмов и программного обеспечения для представления и передачи знаний в интеллектуальной компьютерной обучающей системе (ИКОС), реализующей произвольный учебный процесс и ориентированной на учет индивидуальных особенностей обучаемого. Для достижения поставленной цели необходимо решить следующие задачи.
1. Разработать обобщенную модель ИКОС, позволяющую
реализовывать произвольный учебный процесс с учетом индивидуальных
особенностей обучаемого.
2. Разработать математическую модель для представления и
передачи знаний в ИКОС.
Разработать алгоритмы функционирования подсистем ИКОС, в том числе алгоритм анализа семантического покрытия.
Разработать на основе предложенной математической модели и алгоритмов программное обеспечение для формирования базы знаний предметной области (ПО) и работы с ней, а также контроля знаний, умений и навыков (ЗУН).
Объект и предмет исследования. Объектом исследования настоящей диссертационной работы является ИКОС, а предметом исследования - методическое, математическое, алгоритмическое и программное обеспечения ИКОС.
Методы исследования. В проведенных исследованиях использованы: семантические сети, теория графов, исследование операций, математическая статистика, теория автоматического управления.
Научная новизна диссертационной работы состоит в следующем.
Предложена авторская обобщенная модель ИКОС, позволяющая реализовывать произвольный учебный процесс с учетом индивидуальных особенностей обучаемого. В модели комплексно представлены основные аспекты организации учебного процесса, а именно: информационный, методический, психолого-педагогический, организационный, технический. Из смежных областей знаний отобраны, адаптированы и формализованы механизмы учета индивидуальных особенностей обучаемого, а также методы и виды передачи знаний.
Разработана математическая модель семантической сети (СС) для представления знаний в ИКОС, решающая задачи произвольного учебного процесса. Разработаны аксиоматика модели СС и система операций с ней. Предложенная модель позволяет описать произвольные требования к результатам обучения, программы учебных курсов, индивидуальные программы обучения; обеспечивает возможность представления индивидуальных особенностей обучаемых и аспектов учебного процесса (изложение и закрепление материала, повторение пройденного, контроль и
самоконтроль знаний и т.д.); предоставляет возможность многоуровневой организации операций с моделью, работы с локально неполной, локально избыточной и локально противоречивой информацией; обеспечивает высокую наглядность, что крайне важно для информатизации учебного процесса.
3. Разработаны алгоритмы функционирования ИКОС и ее отдельных
компонентов, в частности, алгоритм семантического покрытия для анализа
качества формируемых программ и содержания (контента) обучения.
4. Разработана программа «СемМастер», предназначенная для
формирования базы знаний предметной области и работы с ней.
«СемМастер» отличает интуитивно понятный интерфейс, наличие
наиболее востребованных функций, а именно: формирование моделей
знаний, проведение анализа семантического покрытия различных моделей,
а также оптимизация моделей по заданным критериям.
Практическая ценность работы. Разработанная обобщенная модель ИКОС, реализация ее отдельных подсистем, применение предложенных математической модели СС, алгоритмов и программного средства способствует повышению уровня информатизации, качества, адаптивности и эффективности учебного процесса. Разработанная модель, алгоритмы и программа имеют универсальный характер и могут использоваться в различных сферах деятельности человека, в том числе и на производстве.
Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на международной научно-технической конференции «Теория и практика имитационного моделирования и создания тренажеров» (Пенза, 1999г.), семинаре «Особенности дидактики дистанционного образования» Центра обеспечения качества обучения государственных и муниципальных служащих РАГС при Президенте РФ (Москва, 2003г.), Международной научно-технической конференции и российской научной школе молодых
ученых и специалистов «Системные проблемы качества, математического моделирования, информационных, электронных и лазерных технологий» (Сочи, 2004г.), V Международной конференции «Молодые ученые -промышленности, науке, технологиям и профессиональному образованию: проблемы и новые решения» (Москва, 2005), второй научной конференции «СИМ'2005» (Москва, МФТИ, 2005), семинарах ИСА РАН.
Публикации. По теме диссертационной работы опубликовано десять печатных работ [6, 7, 8, 9, 27, 28, 30, 31, 74, 89].
Внедрение результатов исследования. С помощью предложенных методик, алгоритмов и программных средств разрабатывались новые обучающие курсы, в том числе «Основы информационных технологий и вычислительной техники» (набор из шести специализированных курсов) [70], «Основы автоматизации делопроизводства» [71], «Введение в управление проектами на основе стандарта ANSI PMI РМВОК 2004». В соответствии с изложенными рекомендациями разработаны авторские учебно-методические пособия по основам компьютерной грамотности [73] и основам делопроизводства [72]. Обучение по разработанным курсам привело к повышению успешности обучения в среднем на 24% (обучение прошли 540 человек). Отдельные результаты работы внедрены в МГИУ (1996-2000г.г.), РУДН (2001-2002), РАТИ (1997г.), школах ЮАО Москвы №932 (1998-2000г.г.) и 861 (2005г.), ФТС (ГТК) РФ (2003г.), РАГС при Президенте РФ (2004г.), ФСГС (Госкомстат) РФ (2005г.), НОУ «ИПК «Постгрэдюэйт-РАУ» (2005г.).
На защиту выносятся следующие результаты:
разработанная обобщенная модель ИКОС;
разработанная математическая модель СС;
методология реализации ИКОС, алгоритмы функционирования блоков подсистем, в частности, алгоритм семантического покрытия, а также его программная реализация.
Личный вклад автора. Следующие результаты получены автором самостоятельно: разработана обобщенная модель ИКОС, адаптированы и формализованы методическая платформа ИКОС, методика представления индивидуальных особенностей обучаемого, методы и виды обучения, разработаны методика реализации обобщенной модели ИКОС, алгоритмы функционирования подсистем ИКОС, экспериментально исследованы разработанные модели, алгоритмы и программы.
Разработка модели СС, ее аксиоматики, системы операций велась
совместно с И.А. Башмаковым
Исследование структуры разрабатываемой ИКОС
Подсистема формирования начальных условий обеспечивает выполнение требований 2, 3 и 4, представленных в разделе 1.1. Подсистема формирования начальных условий содержит, в частности, банк объектов ПО, блок исследования индивидуальных особенностей обучаемого.
Функционально подсистема предназначена для анализа требований к результатам обучения, которые могут быть представлены в виде ГОС, отраслевых стандартов, нормативных документов, задач переподготовки кадров и т.п. Формализованные результаты проведенного анализа служат источником для постановки конкретных задач обучения.
Кроме того, подсистема предназначена для синтеза структуры содержания обучения. Для реализации учебного процесса с помощью ИКОС предусмотрено формирование банка обучающих технологий. Для достижения максимальной эффективности такого процесса (реализация требования 1), в основном за счет индивидуализации обучения, предварительно проводится исследование индивидуальных особенностей слушателей.
Подсистема формирования управляющего воздействия реализует требования 5-8, представленные в разделе 1.1. Для разработки индивидуальной программы обучения определяется начальный уровень ЗУН слушателя. На основе определенных задач обучения и структуры соответствующего курса, а также известных индивидуальных особенностей слушателя из сформированного банка обучающих технологий синтезируется стиль обучения, представляющий собой набор методов и видов обучения, наиболее эффективных при заданных і начальных условиях. Затем с учетом начального уровня ЗУН слушателя, выбранного стиля обучения и всех вышеперечисленных параметров разрабатывается индивидуальная программа обучения.
Подсистема контроля ЗУН предназначена для реализации требования 6, описанного в разделе 1.1. Функциональность позволяет проводить контроль уровня ЗУН слушателя по различным методикам: текущий, рубежный и итоговый виды контроля; тестирование по всем формам представления заданий (закрытая, открытая, на соответствие, на установление правильной последовательности) и т.д. Частично возможности подсистемы используются на этапах установления начального уровня ЗУН слушателя. Функционал подсистемы реализован в программном комплексе «ТестСтудио», разработанном при активном участии автора. Дополнительно предусмотрена обработка и представление результатов контроля ЗУН (требование 7 раздела 1.1). При обработке результатов контроля ЗУН используется специальный математический аппарат (статистическая обработка, коррекция угадывания результатов, регрессионный анализ, а при необходимости и латентно-структурный анализ). Выходная информация предоставляется другим блокам ИКОС, ответственному за процесс обучения или непосредственно слушателю в зависимости от выбранного режима обучения. Важно, что предусматриваются различные формы представления результатов для каждого конкретного слушателя. На основе полученных данных системой формируется предложение (решение) о завершении, корректировке или продолжения учебного процесса.
Таким образом, уточнена структура разрабатываемой ИКОС.
Математическая модель, а также алгоритмы и программные реализации подсистем и отдельных блоков ИКОС (в частности, формирование банка объектов ПО, требований к итоговому уровню ЗУН, формирование банка технологий обучения, исследование индивидуальных особенностей слушателей, разработка ИПО) будут рассмотрены в следующих главах.
Разработка математической модели семантической сети
Анализ различных стратегий организации учебного процесса, а также задач Zl, Z2, Z3, Z4 и Z5 позволяет выделить следующие основные уровни (слои) разрабатываемой модели S. S = (SAR, SA U, SAF, SO), (2.1) где SAR = ({Щ}, CLR, H(SAR)) (2.2) SAR - слой иерархии CC, отражающий представление знаний на уровне разделов. Это наиболее укрупненное представление процесса обучения. AR - агрегат-раздел, т.е. часть СС, соответствующая разделу ПО; {AR} - множество агрегатов-разделов. CLR - отношение следования разделов, (отношение квазипорядка на множестве {AR}). H(SAR) - множество обобщенных характеристик модели материала уровня разделов (главным образом, оценки требуемого времени для изучения раздела, а также оценки относительной сложности материала раздела для восприятия обучаемым). Аналогично 2.2 раскрывается SAU = (\AUjlCLU,H(SAU)), (2.3) где SAU - слой иерархии СС, отражающий представление знаний на уровне отдельных занятий; AU - агрегат-занятие, т.е. часть СС, соответствующая отдельному логически законченному занятию. {ли} - множество агрегатов-занятий. CLU - отношение следования занятий (отношение квазипорядка на множестве {Аи}). H(SAU) - множество обобщенных характеристик модели знаний уровня занятий. SAF = ([iFjlCLF,H{SAF)), (2.4) где AF - агрегат-фрагмент, т.е. часть СС, соответствующая отдельному логически законченному фрагменту. {AF} - множество агрегатов-фрагментов. CLF - отношение следования фрагментов (отношение квазипорядка на множестве {AF}). H(SAF) - множество обобщенных характеристик модели знаний уровня фрагментов. К SAF относятся: IM- модель иллюстративного содержания обучения; VM- модель вспомогательного содержания обучения; SZ - модель содержания обучения, используемого для закрепления знаний, умений и навыков, полученных на занятии; SP - модель содержания обучения, используемого для повторения знаний, полученных на предыдущих занятиях; (SK, RK, KR) - блок, представляющий базу знаний для контроля результатов процесса обучения: SK - модель материала для самоконтроля; RK - модель материала для рубежных контролей; KR - модель материала для контрольных работ. SAF (IM,VM),(SZ,SP),(SK,RK,KR) (2.5) SO - модель основного содержания обучения - она образует четвертый основной слой СС.
Каждый слой модели S обеспечивает решение конкретных задач учебного процесса. Так, слой SAR. позволяет построить общий план обучения (задача Z3) и рассчитать его показатели. На этом уровне удобно анализировать соответствие конкретных учебных программ требованиям к уровню ЗУН. На уровне SAU решаются задачи Z3.1 и Z4. Уровень SAF позволяет решить задачи Z2 и Z5. Уровень SO обеспечивает решение задачи Z1, детализируя каждый фрагмент из SAF.
Выражение (2.9) задается, как правило, экспертным путем. Г, - множество отношений объекта 0{ с другими объектами предметной области. Г,=0- 0 (2.10) Г, является отображением множества объектов в самого себя. Так как множество отображений неоднородно, вводится кортеж типов отношений: T = (tx,t2,...,tr), (2.11) где г - число типов отношений в модели SO. Каждый тип отношений (f,e7 i = \,r) имеет индивидуальные свойства V(tt), таким образом, кортеж свойств отношений принимает следующий вид: V = (V(t]),V(t2),...,V(tr)). (2.12)
Тогда множество отношений, заданное на множестве объектов в-SO: Г = (Щ),Г(и),...,Г{іг)) (2.13) где r(tr) - множество отношений типа /, (i = \,г) на О: Г(/;) = О - О. Как уже упоминалось, на сегодняшний день известно около 200 типов отношений, однако в модели SO используется ограниченное число из этого множества: //, /2 - родо-видовые, t3, t4 - часть-целое, t5, t6.- причинно-следственные, t7, t8 - процесс-подпроцесс, /p - отношение квазипорядка, tio - отношение строгого порядка, /;; - отношение эквивалентности, ti2 - отношение ассоциации.
Наиболее активно в модели отношений между понятиями используются следующие элементарные свойства бинарных отношений: рефлексивность, нерефлексивность, антирефлексивность, симметричность, антисимметричность, асимметричность, транзитивность, нетранзитивность. Типы семантических связей классифицируются в зависимости от комбинации указанных свойств.
Для множества отношений Г традиционным образом введем прямые и обратные отображения старшего порядка Ґ, Г к: ГкО{=Г(Гк 0{) и Г кОі = Г (Г (к 1)0;), а также прямые и обратные транзитивные замыкания: v [ (2.14) - В этих обозначениях Г, из выражения (2.13) примет следующий вид: rt =(Г«ХП(21,-.-,Щ) --,ПШ (2-15)
Множество \pvt с0 і = ljr)= (rifrl,...,rk) (216) определяет область «влияния» объекта 0{. При этом Г,., Г] и т. д. понимаются с учетом ранее введенных типов отношений Т. (Г, с О) - множество объектов, на которые объект О, влияет непосредственно («за один шаг»), (Г\ с О) - множество объектов, на которые воздействие объекта Ot передается через /шагов, Гк - множество объектов, на которые потенциально воздействует объект О;. Аналогично, множество (ощсо і=ЦЇ) = (г-,г;\...,г;к) (2.17) определяет область «воздействия» на объект Oi: Г - объекты, непосредственно влияющие на О,, Г 2- объекты, влияющие на Оі «за два шага», Г к - объекты, потенциально влияющие на Ot.
Определенные выражениями (2.16) и (2.17) подразбиения множества О на подобласти (подмножества) pv\ I = \,N\ И \)W\ I = l,Nj задают механизм наследования (как свойств, так и методов) на множестве О. Часть объектов О может объединяться в агрегат А: l.VC .cO AJ = \Oj 2.7 = 1,/ (2.18) Механизм агрегатов определяет возможность введения операций композиции (декомпозиции), а также представление таких понятий, как «фрагмент», «занятие» и «раздел».
Подсистема формирования управляющего воздействия
Банк объектов ПО (ОМО) предназначен для выполнения этапов (1) и (4) представленной методики. ОМО конкретной ПО является отображением требований к уровню ЗУН в ней. ОМО строится на основе разработанной во второй главе модели СС.
Рассмотрим упрощенную структуру ОМО. Нижеследующие таблицы (5, 6 и 7) описывают ядро ОМО на примере фрагмента курса «Основы информатики и вычислительной техники». Построение СС содержания обучения производится экспертным советом.
Для организации работы с банком объектов ПО на основе описанной математической модели СС, аксиоматики и системы операций разработано программа «СемМастер» (рисунок 23). «СемМастер» обеспечивает создание и редактирование моделей СС, их экспорт в файл MS Excel с сохранением структуры для проведения дополнительной математической обработки.
Результатом работы данного блока является набор БЗ содержания обучения и выбранных носителей знаний.
Как отмечалось в первой главе, для формализации индивидуальных особенностей обучаемого используется модель ППС, которая определяется совокупностью психолого-педагогических характеристик стандартного или расширенного состава (рисунки 9-Ю). Для изучения ППС обучаемых применяются известные психодиагностические процедуры, а обработанные результаты участвуют в формировании ИПО.
Подсистема формирования управляющего воздействия
Важным звеном ИКОС является подсистема формирования управляющего воздействия (ПФУВ). Ниже описываются ее архитектура, функциональность, алгоритмическое обеспечение и программная реализация модуля анализа семантического покрытия.
ПФУВ предназначен для выполнения следующих задач: определение текущего уровня ЗУН слушателя; подбор индивидуального стиля обучения; формирование ИПО с учетом предъявленных требований к результатам обучения и индивидуальных особенностей слушателей.
Для выполнения указанных задач подсистема состоит из отдельных блоков и модулей.
Основная задача блока состоит, в выборе оптимального сочетания методов и видов обучения для изложения того или иного материала с учетом индивидуальных особенностей обучаемого, поставленных целей и задач, а также существующих временных ограничений. Автором предложена соответствующая методика.
Процесс обучения, согласно описанной в первой главе методике, реализуется на основе индивидуальных программ, разработанных для каждой категории обучаемых.
Исходная информация для построения индивидуальной программы обучения (НПО) содержится в индивидуальной модели обучения (ИМО), описывающей ЗУН, формирование которых является целью процесса обучения. В свою очередь, ИМО составляется на основе обобщенной модели обучения (ОМО) определенной категории обучаемых, строящейся экспертным путем.
ОМО - обобщенная модель обучения - полная информация по всем ЗУН, которых необходимо достичь на конкретных этапах изучения выбранной ПО всеми категориями обучаемых.
ИМО - индивидуальная модель обучения - полная информация по всем ЗУН, которых необходимо достичь на конкретных этапах обучения конкретной категорией слушателей.
ИПО - индивидуальная программа обучения - полная информация по всем ЗУН, носителям знаний, а также временным ограничениям, которые необходимы для реализации конкретных этапов обучения конкретной категории слушателей.
Формирование ИПО производится по следующему алгоритму (рисунок 25). С точки зрения реализации предлагаемой методики в ПФУВ перечисленные выше этапы группируются в два класса: - этапы, связанные с наполнением информационных баз системы (этапы 1-3); - этапы, непосредственно связанные с построением ИПО (этапы 4-10).
В соответствии с приведенным алгоритмом работы ПФУВ формируются программно-методические модули системы. В настоящий момент одни модули имеют законченную программную реализацию, другие лишь описание и алгоритм функционирования. Доработка системы и придание ей законченного вида является предметом дальнейших исследований автора.
Модификация методики коррекции угадывания при проведении тестирования с закрытой формой задания
Для контроля знаний обучаемых наиболее удобным в технологическом плане является тестирование с закрытой формой задания. При данном виде контроля слушатели могут вьшолнять тесты как на бумаге, так и с помощью автоматизированных тестовых программ. Таким образом, трудоемкость контроля резко уменьшается, что позволяет сделать его более частым.
У такого метода контроля наряду с его достоинствами есть и определенные недостатки (с точки зрения математической обработки результатов): - одинаковая оценка двух неправильных вариантов ответа на вопрос (в корне неправильно; скорее неправильно, чем правильно; не совсем правильно и т. д.); - одинаковая оценка правильных ответов на разные вопросы (вопросы по своей сложности могут быть разными); - угадывание ответов (когда слушатель, не зная правильного ответа, начинает угадывать). Меры по учету и устранению данных недостатков были предложены в [29].
Традиционно для устранения влияния фактора угадывания применяются следующие меры: увеличение числа вариантов ответов (оптимально 5-7 вариантов) и ввод поправки на угадывание. При этом используется классическая формула коррекции угадывания: где X - балл тестируемого; W - кол-во неправильно выполненных заданий в тесте; N - число заданий в тесте (N = X + W); К - число вариантов ответов к заданию (равно среднему по всему тесту); X - скорректированный балл.
Из графика видно, что коррекция балла не искажает принципиального положения дел, т.е. если обучаемый хорошо знает материал и большую часть ответил правильно, его итоговый балл будет не намного отличаться от «сырого». Однако если слушатель делает большое количество неправильных ответов, считается, что он гадает и тогда итоговый балл может отличаться от «сырого», причем сильно (до 60%). В этой ситуации остается открытым вопрос о правомерности уменьшения полученного результата без особых доказательств наличия угадывания.
Среди решений указанной проблемы угадывания, изложенных в [29], предлагается добавить вариант ответа «не знаю» или ему подобный. Если слушатель действительно не знает ответа на поставленный вопрос, ему нет необходимости гадать, он может выбрать ответ «не знаю». В некоторых случаях требуется получить разрешение от руководителя образовательного учреждения или высших инстанций, чтобы результаты модифицированных тестов были признаны.
При обработке результатов тестирования все ответы типа «не знаю» можно не учитывать в параметре W в формуле коррекции угадывания. При этом полученный итоговый балл максимально соответствует числу правильных ответов, что, по мнению автора, позволяет оценить реальный уровень знаний обучаемого.
Для проверки выдвинутых утверждений была проведена серия экспериментов. Обучаемым двух учебных групп был прочитан авторский курс «Основы автоматизации делопроизводства» [71]. Далее каждая группа бьша разделена на две равные по успеваемости подгруппы. Всем четырем подгруппам был предложен тест с закрытой формой задания. Подгруппы 10-1 и 11-1 выполняли традиционный тест, а группы 10-2 и 11-2 - с включенным вариантом ответа «не знаю». При этом обучаемым подгрупп 10-2 и 11-2 было объяснено, что никаких последствий выбор ответа «не знаю» иметь не будет. Для всех подгрупп были созданы одинаковые условия: продолжительность тестирования - 40 минут, помещение - одна аудитория, преподаватель - автор, время начала тестирования 11.00 (все писали одновременно, у разных подгрупп были разные листы задания).
Результаты эксперимента представлены в таблице 14. Сырые и итоговые баллы представлены в нормализованном виде - (0-1). Для большей наглядности результаты округлены до второго знака после запятой. Внешняя схожесть сырых баллов объясняется ранжированием результатов и примерно одинаковым уровнем подготовки обучаемых. В таблице сырые и итоговые баллы нормированы исходя из следующих положений. За каждое правильное задание присуждался 1 балл, за неправильное - 0 баллов. Всего заданий - 31, таким образом, максимально возможное количество баллов - 31. Все показатели «сырых» и итоговых баллов были разделены на 31. В результате все показатели «сырых» и итоговых баллов находятся в диапазоне [0, 1], что удобно для анализа и обработки.
На рисунке 35 графически представлены результаты эксперимента: левый столбец - результаты групп без варианта ответа «не знаю», правый - с вариантом ответа «не знаю». Из рисунка видно, что количество правильных ответов совпадает (20,96 и 20,96), неправильных ответов при наличии ответа «не знаю» заметно меньше (10 и 1,43), минимальное и максимальное расхождения между итоговым и «сырым» баллами заметно меньше у группы с вариантом «не знаю» (1,72 и 0) и (52,5 и 3,26), соответственно.
