Содержание к диссертации
Введение
Глава 1. Управление программированным обучением и контролем знаний стр. 11
1.1.Основные концепции и понятия обучения как процесса автоматизации стр. 11
1.2. Классификация систем автоматизированного обучения и контроля знаний стр. 16
1.3. Механизмы реализации адаптивного программированного обучения и контроля знаний стр. 20
1.4. Использование интеллектуальных технологий для автоматизации и управления качеством программированного обучения и контроля базы знаний стр. 24
Выводы по Главе 1 стр. 43
Глава 2. Математическое обеспечение систем управления обучением и контролем знаний стр. 45
2.1. Разработка оценочных критериев и весовых коэффициентов для определения уровней сложности и адекватности контрольных вопросов стр. 45
2.2. Разработка методов формирования оценок по контрольным программам в зависимости от числа правильных ответов стр. 63
2.3. Методы формализации решения задач распознавания знаний стр. 71
Выводы по Главе 2 стр. 81
Глава 3. Алгоритмизация адаптивной системы управления обучением и контролем базы знаний стр.82
3.1. Построение общей функциональной схемы системы стр.82
3.2. Разработка алгоритмов, реализующих механизм адаптивного обучения на основе стереотипной оверлейной модели пользователя стр. 87
3.3. Разработка естественно-языкового интерфейса для обеспечения задач контроля базы знаний на естественном языке и интеллектуального поиска стр. 104
3.4. Разработка алгоритмов, обеспечивающих возможность моделирования поведения специалиста при решении задач предметных областей стр. 130
Выводы по Главе 3 стр. 135
Глава 4. Разработка прикладного программного обеспечения для систем управления обучением и контролем знаний в транспортных комплексах стр. 137
4.1. Архитектура программной системы адаптивного управления обучением с обеспечением обратной связи стр. 137
4.2. Проектирование интерфейса инструментальной среды разработки адаптивных обучающих курсов, их настройки и конфигурирования стр. 157
4.3. Проектирование интерфейса программной оболочки, обеспечивающей возможности проведения дистанционного обучения и контроля знаний в транспортных комплексах стр.174 Выводы по Главе 4 стр. 185
Заключение стр. 186
Литература стр. 188
- Использование интеллектуальных технологий для автоматизации и управления качеством программированного обучения и контроля базы знаний
- Разработка методов формирования оценок по контрольным программам в зависимости от числа правильных ответов
- Разработка алгоритмов, реализующих механизм адаптивного обучения на основе стереотипной оверлейной модели пользователя
- Архитектура программной системы адаптивного управления обучением с обеспечением обратной связи
Использование интеллектуальных технологий для автоматизации и управления качеством программированного обучения и контроля базы знаний
В области разработки интеллектуальных технологий наиболее известными являются работы следующих ученых: Нильсон Н.Д., Ньюэлл А., Саймон Н.А., Минский М, Мак-Карти Д., Слейгл С, Рафаэль Б., Симоне Д., Бобров Д., Виноград Т., Хомский Н.О., Мур Р.С., Крипке С.А., Барвайс Д., Тьюринг А., Бучанан Б.Г., Фейгенбаум Е.А., Перл Д., Шенон К., Уинстон П., Заде Л. А. и др.
Для автоматизации процесса передачи данных и управления качеством программированного обучения и контроля знаний используются различные механизмы, основанные на использовании технологий построения экспертных систем и систем малого искусственного интеллекта (МИИ). Можно выделить следующие основные направления, где используются технологии интеллектуализации:
Разработка режимов "Работа со специалистом". В ряде предметных областей теоретических знаний, передаваемых ЭОМ, недостаточно для овладения основными навыками (так, например, теоретический курс по аппаратному обеспечению ПК не сможет передать структурированной информации по диагностике неисправностей). Поэтому в рамках электронного курса необходимо создание модуля с элементами экспертной системы (далее - ЭС), помогающего принять то или иное заключение, а также продемонстрировать ход принятия решения [31, 37];
Реализация механизмов интеллектуального поиска по обучающим материалам. Проблематика интеллектуального поиска по электронному пространству документов затрагивает не только обучающие системы, но и все программные средства, манипулирующие пространством документов. Основной проблемой поиска является то, что чаще всего пользователь, создающий запрос, обладает либо неполной информацией по предмету запроса, либо его запрос представляется в плохо формализованном виде [68];
Организация естественно-языкового интерфейса (далее - ЕЯ-интерфейс) для обеспечения контроля базы знаний на естественном языке. Очевидно, что при оценке знаний обучаемого недостаточно структурированных вопросов. Так, например, если необходимо уточнить, знает обучаемый определение термина или нет, то используется следующий механизм: в качестве вопроса дается полное определение, а пользователю предлагается набор терминов, из которых он должен выбрать правильный. Помимо того, что пользователь может случайным образом угадать термин, он может догадаться по семантике определения, какой термин ему соответствует. Поэтому для корректной оценки знаний обучаемого необходимо в ряде случаев использовать ЕЯ-интерфейс [6,17, 25]. Рассмотрим подробнее основные технологии, позволяющие реализовать указанные выше механизмы. Разработка режимов "Работа со специалистом" Как мы уже отмечали, в основе данного режима должны лежать технологии, сходные с технологиями построения ЭС. Рассмотрим самые распространенные принципы построения ЭС [13, 38] с учетом требований использования в АОС. Системы на основе таблиц операторов [77] В данной системе текущее состояние окружающей среды представляется набором выражений предикат-аргумент, которые в совокупности образуют модель мира. Рассмотрим простейший пример организации экспертной системы на базе предложенного принципа. Так, набор формул (1) означает, что робот находится в комнате А и имеются два ящика, один из которых находится в комнате Б, а второй — в комнате В. W = \аі(робот,комнатаА\аі(ящик\,комнатаБ\аі{ящик2,комнатаВ)\ (1) Действия, которые может выполнить робот, имеют форму операторов. Эти операторы позволяют добавить в модель некоторые факты или изъять их из модели (2). W = {аі(робот,комнатаБ),а{{ящик\,комнатаБ),аі(ящик2,комнатаВ)} (2) Допустимые операции, такие как перемещение робота из одной комнаты в другую или проталкивание объектов, кодируются в таблице операторов. Ниже показан элемент этой таблицы, соответствующий операции push (толкать): push (X, Y, Z) Предварительные условия at (робот, X), at (X,Y) Список удалений at (робот, Y), at (X, Y) Список добавлений at (робот, Z), at (X, Z) С точки зрения логики элемент push таблицы операторов может быть прочитан в виде формулы, которая утверждает: "При любых X,Y и Z объект X перемещается из Y в Z, если робот и объект X находятся в Y, а затем состояние изменится заменой Y на Z". Для передвижения в пространстве состояний используется метод "средство-анализ завершения". В основе метода лежит целевая функция, состоящая в том, чтобы с каждой новой операцией отличие между текущим состоянием и целевым уменьшалось, т.е. каждая новая операция должна приближать к заключительному состоянию.
Пусть цель сформирована в виде аі(ящик1, комнатаА), а состояние мира представлено формулой (2). Тогда система формулирует полное заключительное состояние модели мира: аЦящикї, комнатаА), а ящик2, комнатаБ), а затем сопоставляет эти цели и список добавления в описании каждого оператора. Так, цель аі(ящик1, комнатаА) будет соответствовать элементу at(X, Z) в списке добавления оператора push (X, Y, Z). Программа следующим образом формирует подцели, выбирая в качестве таковых предварительные условия оператора:
(1) Подстановкой {Х/ящикІ, Z/комнатаА} означить предварительное условие, которое является производным от соответствия at (ящик 1, комнатаА), at (X, Z) и получить таким образом at(po6om, Y), а ящикі, Y). (2) Найти в модели мира формулу, которая представляла бы текущее положение ящика at (ящик 1, комнатаБ), сравнить ее с at (ящик 1, Y) и в результате этого сравнения сформулировать подстановку {Y/комнатаБ}, котоую затем применить к уже частично означенному предварительному условию. В результате этого формулируется очередная подцель (3). at (робот, комнатаБ), at (ящикі, комнатаБ) (3)
Разработка методов формирования оценок по контрольным программам в зависимости от числа правильных ответов
Комплектование контрольной программы [44, 58] осуществляется программной системой непосредственно перед проверкой знаний. Вопросы контрольной программы отбираются случайным образом из множества вопросов соответствующей темы, изучаемой дисциплины. Количество вопросов в контрольной программе задаёт проверяющий до начала проверки знаний на этапе настройки программного обеспечения.
Основная цель, к которой стремятся, при проверке знаний с помощью классического способа состоит в том, чтобы свести вероятность случайног угадывания вопросов Рп к минимуму. Достигается это увеличением числа задаваемых вопросов S и количества ответов в каждом вопросе N. В [44] проведены исследования зависимости функции Pn(S, N), для следующих ограничений. Рассматриваются только вопросы типа идентификация. В каждом вопросе контрольной программы содержится одинаковое число ответов (Nn= const). Количество вопросов в контрольной программе не превышает 10 (S 10). Вероятность р случайного угадывания ответа на один вопрос будет (49) p = J- = N"1. N Пусть число вопросов, на которые даны правильные ответы, равно к, где к = 0,1,2,...,S. Тогда оценку за контрольную программу следует определять по алгоритму представленному на структурограмме, приведённой ниже. Здесь котл , кхор , кудв - минимальное число правильных ответов, при выполняется отношение котл кхор кудв котором выставляется соответственно отличная, хорошая и удовлетворительная оценка. Эти величины упорядочены, то есть Напомним, что в операторе выбора, который изображён на структурограмме, анализ вариантов идёт слева на право. Обозначим за Ротл , Рхор , Рудв - вероятности получения соответственно отличной, хорошей и удовлетворительной оценки, при отсутствии достаточных знаний у проверяемых. Эти величины можно найти по формулам: Из этой формулы можно сделать вывод о том, что вероятность получения удовлетворительной оценки является функцией от трёх параметров: Рп =P(S,p,kyflB) = P(S, N, кудв) . В табл. 1 Приложения 3 сведены результаты расчётов величин р, и В для S = 10. Именно такое число вопросов в контрольной программе рекомендовано в [58] для использования с целью итоговой проверки знаний на предприятиях Минморфлота.
На основании значений вероятностей B(I, S, р) в приведённой выше программе рассчитывается вероятность получения положительной оценки при случайном угадывании правильных ответов Рп,% по формуле:
Рп = B(I,S,p) = j _ ]ГB(I,S,p), [%]; (55)
I=k 1=0 где к - нижняя граница оценки "Удовлетворительно". Результаты расчётов величины Рп приведены в табл. 2 Приложения 3. Существуют рекомендации о возможности использования контрольной программы, по критерию вероятности угадывания правильных ответов Рп. Критерий работает следующим образом. Если величина Рп не превосходит одного процента (Рп 1%), то эту контрольную программу можно использовать для итоговой проверки знаний, то есть для экзамена (Э). Если выполняется условие 1% РП ,5%, то такую контрольную программу можно использовать для самопроверки, то есть текущего контроля (ТК) знаний. Программы, для которых Рп 5% использовать для проверки знаний не рекомендуется. На основании численных значений можно сделать вывод о том, что вероятность Рп является монотонно убывающей функцией от I -нормы правильно угаданных вопросов. Поэтому по формулам (56 и 57) можно найти значения нормы кудв для каждой контрольной программы {S,
N} текущего или итогового контроля знаний.
k =min{I/Pn(I,S,N) l} (56)
k=min{I/l Pn(I,S,N) 5} (57)
Поясним эти формулы. В формуле (56) для заданных S и N в табл. 2 Приложения 3 находятся варианты (подмножество значений I) при которых выполняется условие Pn(I,S,N) 1. Например, для S=10 и N=5 находим Іє {6, 7, 8, 9, 10}. В силу строгой монотонности функции Pn(I,S,N) наибольшую вероятность имеет элемент с наименьшим индексом, и, следовательно, кэ =6
Кудв -
Итак, подводя итог вышесказанному можно классифицировать варианты контрольных программ, определяя вид контроля путём варьирования нормы кудв (табл. 3 Приложения 3).
Первый вариант соответствует случаю, когда в каждом из 10 вопросов контрольной программы с малой обучающей функцией содержится только два ответа (да / нет). Из табл. 3 Приложения 3 видно, что формально условие P„(I,S,N) 1 выполнено. Но дифференцировать знания обучающихся невозможно потому, что нет свободных индексов - пространства для дополнительных вопросов, уточняющих оценку за ответ. Следовательно, этот вариант можно использовать только как тест - знает I не знает. Всё вышесказанное для первого варианта относится и ко второму варианту, соответствующему текущей проверке знаний. Начиная с третьего варианта и по 14 (это варианты, в которых вопросы содержат три и более ответов), для каждой рабочей программы есть 2 и более свободных индексов, что делает возможным вводить в рассмотрение нормы котл,кхор для текущего и итогового контроля знаний. Сравнивая между собой варианты 7 и 9, а так же 8 и 10 легко заметить, что их характеристики полностью совпадают по рассматриваемым критериям. То есть программы (S=10, N=5) и (S=10, N=6) тождественны, S (число билетов в контрольной программе), N (число ответов в билете). То же самое можно сказать о программах (S=10, N=7) и (S=10, N=8). Если характеристики программ совпадают, так зачем же придумывать дополнительные ответы, и тем самым затягивать время подготовки тестов и время проверки знаний. В табл. 3 программы дублёры помечены фиолетовым цветом.
Разработка алгоритмов, реализующих механизм адаптивного обучения на основе стереотипной оверлейной модели пользователя
Для построения адаптивной обучающей системы необходимо создание модели пользователя, на основе которой программная система будет формировать свою реакцию на поведение пользователя. Рассмотрим подробнее механизм формирования модели пользователя и его взаимодействие с пользователем (рис. 23). пользователей
Рис. 23. Механизм адаптации на основе шаблонов пользователей За основу шаблонов пользователей примем наиболее важную характеристику - уровень знаний пользователя. Он является переменной для каждого конкретного обучаемого. Это означает, что механизм построения моделей пользователей должен фиксировать изменения уровней этих знаний и соответствующим образом модифицировать модель пользователя.
При построении данной системы авторы пришли к выводу об использовании стереотипной оверлейной структуры для представления знаний обучаемого. Стереотипная модель пользователя имеет набор возможных стереотипных моделей обучаемого (наїіример, троечник. хорошист, отличник).
Рассмотрим пример построения адаптивного обучающего курса на основе стереотипной оверлейной структуры (три пользователя) пользователя (рис. 24)
Идеология построения обучающих материалов достаточно проста: первоначально обучаемые все получают вводные материалы по курсу (рис. 24, лекция 1). После этого все они проходят тестирование. В зависимости от результатов тестирования их следующая лекция будет либо повышенной сложности (рис. 24, Лекция 2(a)), либо максимально упрощенная (рис. 24, Лекция (в)). Далее, опять проводится общее тестирование, определяется уровень усвоения материала, и проводится выбор следующего учебного материала.
Однако нельзя не заметить один существенный недостаток предлагаемой модели: пользователь, получивший лекцию 2 (а) мог усвоить только материалы, адекватные лекции 2 (в), но при этом тестирование не смогло бы адекватно определить его уровень знаний за счет унификации тестов для всех групп обучаемых. Данного недостатка лишена модель, представленная на рис. 25.
Пользователь после каждой лекции проходит индивидуальное тестирование в зависимости от полученного материла и в соответствии с его усвояемостью он либо остается на определенном уровне, либо переходит на более высокий уровень, либо на более низкий.
Лекция 3 (а) Электронные учебные материалы (далее - концепты, данное понятие подразумевает под собой электронный текст лекции, раздела, темы, в зависимости от конкретных настроек учебного курса). Наиболее эффективные методы для реализации адаптивности на этапе представления концептов - метод дополнительных объяснений, метод вариантов объяснения;
Дополнительные учебные материалы - материалы, сопровождающие обучаемого весь учебный курс и включающие в себя дополнительные статьи, мультимедиа файлы, внешние программы. Наиболее эффективные технологии реализации адаптивности на данном уровне -адаптивное сокрытие переходов.
Материалы для контроля знаний. Разработанные материалы для тестирования (как линейного, так и адаптивного), позволяющие корректировать модель пользователя и в соответствии с этим модифицировать учебные концепты.
Рассмотрим подробнее механизмы построения и действия указанных элементов, в сумме обеспечивающих механизм адаптивности.
Архитектура программной системы адаптивного управления обучением с обеспечением обратной связи
Рассмотрим программную реализацию основных элементов обучающей системы с точки зрения трех плоскостей:
С позиции физической реализации задачи хранения данных (рассмотрение структур таблиц и полей, а также указание типов);
С позиции логической реализации хранения структур данных (в ряде случаев физическая реализация в виде одного поля может хранить набор различных данных с точки зрения логической структуры);
С позиции программных средств и алгоритмов обработки данных.
Для адекватного представления каждого компонента программной системы, нам необходимо рассмотреть следующие элементы, имеющие конкретную программную реализацию:
Структура базы данных, обеспечивающая хранение и ввод электронных учебных материалов и материалов контроля знаний и программные средства, обеспечивающие возможность изменения параметров адаптивного обучающего курса;
Средства отбора материалов электронного обучающего курса, механизмы формирования модели пользователя и ее взаимодействие с материалами контроля знаний на программном уровне;
Разработка базы знаний сценария "Работа со специалистом" и средства программной реализации, обеспечивающие возможность формирования заключения специалиста;
Программная реализация средств анализа естественного языка для обеспечения задач интеллектуального поиска и контроля знаний на естественном языке.
Примечание: Интерфейсы преподавателя и обучаемого будут рассмотрены как отдельные структурные компоненты в пп. 4.3 и 4.4 соответственно.
Структура базы данных, обеспечивающая хранение и ввод электронных учебных материалов и материалов контроля знаний и программные
средства, обеспечивающие возможность изменения параметров адаптивного обучающего курса
Рассмотрим основную таблицу базы данных, позволяющую выполнять иерархическое построение электронного учебного курса (Табл. 5).
Таблица 5. Structure создать уникальное числовой значение, позволяющее идентифицировать электронный учебный материал в системе. Это позволяет создавать дополнительные механизмы навигации в виде закладок пользователя, ссылаться на из любого другого электронного материала и решает задачу нахождения двух различных электронных материалов с одним названием.
Поле Name - название учебного материала. Поле Туре — тип электронного учебного материала (01 - папка, 02 - лекция, 03 - опрос, 04 -сценарий "Работа со специалистом"), позволяющий программной системе однозначно идентифицировать тип материала, в соответствии с которым запустить сценарий обработки.
Поле UpLevel указывает уникальный код родителя материала, в котором содержится текущий учебный материал (самый верхний уровень имеет в Uplevel=0). Очевидно, что ссылка может идти либо на 0, либо на объект-контейнер Туре=01. Листинг процедуры, позволяющий выполнять переход на более высокий уровень иерархии представлен ниже (переход на уровень ниже тривиален, поскольку необходимо выполнить отбор вида Kod текущего уровня = Uplevel оставшихся).
Function ShowUpLevel(strLevel As String) Dim founded As Boolean Dim itmX As Listltem
Me.ViewCourse.ListIterns. Clear
Me.ViewCourse. Refresh
If Not rs.EOF Or Not rs.BOF Then
Проверка, не пустая ли таблица
rs.MoveFirst
Ищем предка более высокого уровня
founded = False
While Not rs.EOF And Not founded
If CStr(rs!kod) = strLevel Then founded = True strLevel = CStr(rs!uplevel) End If rs.MoveNext Wend
If Not founded Then strLevel = "0" Загрузка в программу отобранных значений rs.MoveFirst While Not rs.EOF
If CStr(rs!uplevel) = Trim(strLevel) Then pUPLevel = CStr(rsluplevel)
If rslType = 1 Then Папка
Set itmX = Me.ViewCourse.Listltems.Add(, , rslName, 2, 2) End If If rslType = 2 Then Лекция
Set itmX = Me.ViewCourse.Listltems.Add(, , rslName, 3, 3) End If If rslType = 3 Then Опрос
Set itmX = Me.ViewCourse.Listltems.Add(, , rslName, 4, 4) End If If rslType = 4 Then Эксперт-система
Set itmX = Me.ViewCourse.Listltems.Add(, , rslName, 5, 5) End If If rslType = 5 Then Самостоятельная работа
Set itmX = Me.ViewCourse.Listltems.Add(, , rslName, 6, 6) End If
itmX.Sublterns(1) = rslType itmX.Subltems(2) = rsluplevel іtmX.Sublterns(3) = rs1kod
End If rs.MoveNext Wend
Me.ViewCourse. Refresh End If End Function
Поле Text содержит текст учебного материала в формате RTF либо HTML. Ограничения поля Memo в размере числа символов: не более 64000 действует только в пределах Microsoft Access, использование же технологии доступа к данным ADO 2.5 снимает указанное ограничение, что позволяет хранить нам документы, основанные на тегах, практически неограниченной длины (размер поля ограничен только пространством на диске). Подобная реализация позволяет также выполнять процесс загрузки файла в базу данных в тривиальное присваивание:
Dim і As Integer, founded As Boolean If FileExists(way_to_file) Then
Me.rtb.LoadFile way_to_file, rtfRTF RTB - объект RichTextBox rsl.Source = "Structure" rsl - объект RecordSet rsi.Open founded = False
If Not rsl.EOF And Not rsl.BOF Then rsl.MoveFirst While Not rsl.EOF Or Not founded
If rsllkod = kodID Then Уникальный код об. материала rsl Text = Me.rtb.TextRTF rsl.Update founded = True End If rsl.MoveNext Wend rsl.Close Else
і = MsgBox("He найден файл лекции!") End If
