Содержание к диссертации
Введение
Глава 1. Основные задачи управления в системах автоматизированного обучения 23
1.1. Цель управления знаниями - обеспечение качества образования 23
1.1.1. Роль знаний в современном обществе 23
1.1.2. Дерево целей управления, качество и мера качества знаний 24
1.1.3. Детализация (постановка) задач управления знаниями в АИОС...40
1.2. Объектно-ориентированное описание знаний 44
1.2.1. Шкалы измерений знаний 44
1.2.2. Знание как нечеткое множество 59
1.2.3. Выводы 65
1.3. Модели представления и управления знаниями в АИОС 66
1.4. Управление диагностикой знаний. 75
1.4.1. Методы контроля знаний 76
1.4.2. Модели оценки знаний 87
1.4.3. Выводы 92
1.5. Управление человеко-машинным общением в АИОС 92
1.5.1. Роль человеко-машинного интерфейса в АИОС 94
1.5.2. Графический интерфейс пользователя (GUI) в АИОС 97
1.6. Взаимодействие различных групп пользователей с АИОС 106
1.7. Выводы 117
Глава 2. Математические модели управления знаниями 121
2.1. Эффективность и управление обучением 121
2.2. Модель бинарного информационного потока при управлении представлением знаний 124
2.2.1. Формализация модели представления знаний 124
2.2.2. Краевые задачи и дифференциальные уравнения П-го порядка... 129
2.2.3. Постановка и решение краевых задач при управлении обучением 130
2.2.4. Количество информации в процессе представления знаний 137
2.2.5. Определение числа шагов обучения 141
2.2.6. Математическая модель коллективного обучения 145
2.3. Модель многопоточного процесса представления знании 163
2.4. Выводы 192
Глава 3. Алгоритмы эффективного управления диагностикой знаний 194
3.1. Алгоритмы диагностики знаний близкие к адаптивному тестированию 194
3.1.1. Контроль знаний по методике уточняющих вопросов 194
3.1.2. Алгоритм анализа результатов при оценке «зачет-незачет» 196
3.1.3. Алгоритм анализа результатов при оценке «неудовлетворительно— удовлетворительно—хорошо—отлично» 200
3.2. Классическая модель адаптивного тестирования 202
3.2.1. Расчет трудности заданий 204
3.3. Оптимизированная модель адаптивного тестирования 217
3.4. Экспериментальная проверка оптимизированной модели адаптивного тестирования 222
3.5. Выводы 233
Глава 4. Роль человеко-машинного интерфейса при управлении обучением 236
4.1. Создание графического интерфейса пользователем 236
4.2. Создание графического интерфейса с учетом характеристик пользователя 239
4.3 Адаптация графического интерфейса 248
4.4. Выводы 258
Глава 5. Управление информационными процессами в АИОС 261
5.1. Модель данных и структура баз данных обучающих систем 262
5.2. Выбор СУБД для автоматизированной обучающей системы 270
5.3. Передача и обработка информации в обучающих системах 275
5.4. Экспериментальная проверка эффективности обработки информации в АИОС 279
Глава 6. Программная реализация АИОС и проверка разработанных моделей управления 285
6.1. Архитектура автоматизированных обучающих систем 285
6.2. Подготовка материалов курса для использования в АИОС 290
6.3. Реализация процесса обучения 294
6.4. Программная реализация разработанных АИОС. 296
6.5. Экспериментальная проверка эффективности разработанных обучающих систем 299
6.6. Выводы 305
Основные результаты диссертационной работы
- Дерево целей управления, качество и мера качества знаний
- Модель бинарного информационного потока при управлении представлением знаний
- Контроль знаний по методике уточняющих вопросов
- Создание графического интерфейса с учетом характеристик пользователя
Введение к работе
Актуальность разработки математических и информационных моделей управления знаниями обусловлена как научными целями расширения теоретических представлений о процессах передачи знаний и обучения, так и практическими целями создания более эффективных обучающих систем, внедрение которых должно способствовать обеспечению необходимого качества образования, что напрямую связано с поддержкой Российской национальной образовательной доктрины.
В работе [1] авторами А.И. Субетто, Н.А. Селезневой, Л.А. Майборода, Ю.А. Кудрявцевым было четко обозначено, что «образование — один из ключевых моментов в стратегии выживания России в начале XXI века, реализации концепции ее устойчивого развития, обеспечения всей системы национальной безопасности. Россия сможет выжить только как «образованная, просвещенная Россия», в которой государство вместе с обществом постоянно несет ответственность за темпы повышения среднего образовательного ценза населения. Образовательная политика является ядром всей системы внутренней политики российского государства».
Одним из элементов доктрины образования [1] является его доступность вне зависимости от внешних обстоятельств и различных факторов.
Значительная протяженность территории и сосредоточенность ведущих педагогических кадров в крупных городах делает ограниченным доступ широкой аудитории пользователей к традиционным образовательным ресурсам, что вызывает необходимость разработки и использование автоматизированных информационно-обучающих систем (АИОС) и их размещение в сети Интернет. Построение и проектирование АИОС в значительной степени должно ориентироваться на Internet-технологии. В настоящее время число Internet-пользователей в России около 11 млн. человек и составляет от 7% до 15% в зависимости от региона, и по
6 прогнозам специалистов может увеличиться в течение ближайших 5 лет до 25%, что связано с наметившимся экономическим ростом и уменьшением стоимости подключения (за счет увеличения числа пользователей).
Разработка АИОС для сети Интернет должна учитывать необходимость интеграции сетевых ресурсов, которая способна вывести управление развитием образования и его качество на новый уровень. В работе П.И. Дзегелёнок, [2], являющегося учеником Н.А.Селезневой, была осуществлена разработка принципов управления развитием образовательной среды и создания инструментальных средств динамической интеграции сетевых информационных ресурсов. К основным достижениям данного исследования можно отнести разработку апостериорной схемы построения базы данных учебных ресурсов, позволяющую поддерживать растущее информационное поле в актуальном состоянии, что особенно важно для слабоструктурированных ресурсов, извлекаемых из сети Интернет.
Стоит выделить три основных направления использования информационных технологий в образовании:
обеспечение качества управления образованием;
общая компьютеризация вузов и развитие информационно-вычислительных сетей;
обеспечение качества обучения.
К сожалению, направленность данной работы не позволяет подробно обсудить все аспекты использования информационных технологий в образовании и обеспечении его необходимого качества. Компьютеризация вузов и развитие информационно-вычислительных сетей являются очень важным фактором обеспечения качества образования, но выходят за рамки обсуждения в данной работе.
Задачи управления и обеспечения качества образования по своей природе и в силу сложности систем, для которых они должны быть решены очень близки к задачам нечеткой оптимизации и принятия решений при нечетких состояниях среды и условиях некоторой неопределенности.
Решение подобных задач хорошо описано в работах профессора А.С.Рыкова [3,4].
Использование информационных технологий в обеспечении качества управления является хорошо проработанной сферой научной и технической деятельности и в этой связи можно упомянуть ряд работ профессоров А.Г. Дьячко и И.И. Дзегелёнок [например, 5 и 6], которые много сделали для использования информационных технологий в планировании и управлении учебным процессом, и обеспечении качества образования.
Нельзя не отметить, что одним из первых, кто начал развитие в России использования АИОС в обучении является директор научно-исследовательского института высшего образования, профессор Савельев А.Я.
Проблема обеспечения и управления качеством обучения в значительной степени может быть решена путем использования компьютерных обучающих программ и АИОС, что нашло свое отражение в работе профессора Елисова Л.Н. [7], работе [8] проводимой под руководством сотрудника Исследовательского центра проблем качества подготовки специалистов Ж.Н.Зайцевой и многих других работах.
Одним из мощных стимулов дальнейшего развития АИОС является рост рынка информатизации, составляющий 20% в год, и смещение приоритетов развития в постиндустриальном обществе в сторону информационных технологий.
Поскольку обучение и передача знаний затрагивают различные социальные группы, то процесс управления знаниями необходимо рассматривать, используя методы и модели теории управления и принятия решений в социальных системах. При решении задач управления обучением необходимо учесть, что в данном случае объектом управления является не физический объект, а система человек-компьютер, что является гораздо более трудной для формализации задачей. Представление знаний в данном случае имеет более широкий смысл, чем просто формализация предметной
области, т.е. совокупность декларативных методов, семантических сетей, формальных грамматик и т.д. Его необходимо рассматривать как совокупность процессов, включающих формализацию знаний, передачу их пользователю (обучение), усвоение и диагностику (для организации обратных связей).
Прежде чем приступить к формулировке задач управления знаниями и описанию их математических моделей необходимо дать определения следующим понятиям и категориям: что такое знание, как можно измерить знание, что такое представление знаний, зачем нужно управлять знаниями и каковы основные задачи управления этим процессом. Определение смыслового значения категории «знание» позволяет ввести измерение знания и, соответственно, после этого определить, в какой форме должно осуществляться представление знаний. Однако управление знаниями является более сложным вопросом, чем просто представление знаний, поскольку природа и математические модели процессов трансформации представления знаний в образ знаний (или знания) у объекта, которому они были представлены, остаются малоизученными. Любой процесс обучения и управления обучением должен быть направлен не на представление знаний, а на то, чтобы эти знания были усвоены, что невозможно без исследования и разработки математических моделей обучения, чему и посвящена настоящая работа. Естественно, математические модели должны опираться на ту или иную форму представления знаний и их измерения, поэтому построение моделей обучения невозможно без их обсуждения.
Знание как философская категория имеет очень глубокий и многогранный смысл, подробное описание которого просто не представляется возможным. Для этой философской категории можно дать следующее весьма упрощенное определение: знание - это форма существования и систематизации результатов познавательной деятельности человека. Выделяют различные виды знания: обыденное («здравый смысл»), личностное, неявное и т.д. Научному знанию присущи
логическая обоснованность, доказательность, воспроизводимость познавательных результатов. Всякая интеллектуальная деятельность, в том числе и обучение, опирается на знания, в которые следует включать характеристику текущей ситуации, оценку возможности выполнения тех или иных действий, законы того мира, в котором выполняются действия и т.д. Даже такой краткий обзор показывает необъятность и многогранность феномена «знание». Формулировка задачи управления знаниями должна начинаться с формализации описания модели, а условия управления и характеристики управляющих воздействий должны быть основаны на диагностике знаний и ее объективных критериях. Целенаправленная система управления должна обеспечивать достижение поставленных задач, относящихся к некоторым классам состояний обучаемых (связанных с оценкой уровня их знаний и возможностью достижения других состояний). Для каждого класса состояний в системе должна быть реализована последовательность управляющих воздействий, приводящих к желаемому результату. Причем именно это является первоочередной задачей при разработке управления автоматизированных информационно-обучающих систем, поскольку задачи управления базами данных, базами знаний и потоками учебной информации в значительной степени определяются именно моделями, на основе которых работает система, а не существующими аппаратными средствами и сетевыми технологиями. При построении математических моделей управления знаниями возникает необходимость большей детализации и сужения понятия знания. Пусть имеется некоторая предметная область знаний, например, определенная учебная дисциплина (философия, астрономия, биология, математика, химия, физика и т.д.). Каждая предметная область имеет свой набор взаимосвязанных по определенным законам элементов, которые составляют содержание учебной дисциплины. В множество этих элементов могут входить тезаурус, определения, законы, правила, теоремы, аксиомы, леммы, формулы, основные понятия и т.д. Сами эти элементы могут быть
представлены в различных формах: декларативной, процедурной или какой-либо иной.
Процедурные знания описывают последовательность действий, которые могут использоваться при решении каких-либо задач, декларативные знания, как правило, носят характер некоторых утверждений. Однако в любом случае необходимо каким-либо образом представлять эти знания, и, кроме того, контролировать, насколько хорошо были усвоены представленные знания.
Управление знаниями должно опираться на их диагностику, которая способна: во-первых, оптимизировать процесс индивидуального обучения, во-вторых, обеспечить правильное определение результатов обучения и, руководствуясь выработанными критериями, свести к минимуму ошибки при выборе стратегии действий обучающей системы. Диагностика должна быть направлена на решение двух основных задач:
управление обучением; -повышение эффективности обучения; и ориентироваться на следующие цели:
внутренняя и внешняя коррекция в случае неверной оценки результатов;
определение пробелов и подтверждение успешных результатов обучения;
планирование последующих этапов (итераций) учебного процесса.
Для того чтобы формировать управляющее воздействие при обучении и работать со знаниями, необходим, измеритель (инструмент) с помощью которого можно определять уровень знаний (их величину) или их соответствие некоторой экспертной оценке.
В настоящее время существует множество различных измерительных шкал и подходов к описанию измерений. В классическом понимании [9] измерение - это алгоритмическая операция, которая данному наблюдаемому состоянию объекта, процесса и т.д. ставит в соответствие определенное обозначение: число, номер, символ, определение и т.д. Данное соответствие обеспечивает то, что результаты измерений содержат информацию об
II объекте или его состоянии, а количество информации зависит от степени полноты этого соответствия.
Среди применяющихся шкал можно выделить:
Шкалы наименований (номинальные шкалы);
Порядковую шкала;
Шкалы интервалов;
Шкалы отношений и другие.
С точки зрения управления знаниями использование для измерений шкал наименований и порядковых шкал более подходит для качественных характеристик обучения, т.к. они имеют описательный характер и часто не позволяют корректно определять количественную величину управляющего воздействия. Использование абсолютной шкалы невозможно, поскольку в шкале знаний нельзя указать абсолютный нуль и единицу. Однако возможно использование шкалы интервалов с условными нулем и единицей и, при определенных условиях, шкалы отношений.
Представление знаний можно определить как представление элементов, составляющих предметную область, и их взаимосвязей друг с другом. Все более возрастающие информационные потоки, с которыми сталкивается человек, привели к необходимости использования компьютерных автоматизированных обучающих систем и, как следствие, к необходимости формализации представления знаний.
Можно выделить три типа формальных моделей представления знаний: логическую, сетевую и продукционную. Логическая модель представляет собой, как правило, некоторую формальную систему исчислений, обычно это бывает исчисление предикатов первого порядка. Все знания о предметной области описываются в виде формул этого исчисления или так называемых правил вывода.
Более наглядной оказывается сетевая модель представления знаний, согласно которой любые знания можно представить в виде совокупности конечного числа объектов (понятий) и связей (отношений) между ними.
Простейшие отношения между объектами называются базовыми, а все остальные могут быть выражены через них, как некоторые комбинации. Данный подход лежит в основе так называемых семантических сетей. Все понятия, входящие в сеть, описываются в виде фреймов — минимально возможного описания сущности какого-либо явления, события, ситуации и т.д. Каждый фрейм состоит из элементарных единиц — слотов (причем в качестве слотов могут выступать новые фреймы и т.д.). Для того чтобы представить семантическую сеть в виде совокупности фреймов необходимо представлять отношения между вершинами сети.
Основу продукционной модели составляют системы продукций. Каждая продукция в наиболее общем виде записывается как стандартное выражение следующего вида:
Имя продукции
Имя сферы
Предусловие
Условие для ядра
Если «А» то «В» (А и В имеют разные значения)
Постусловие
Каждая из форм представления знаний послужила в свое время основой для создания языка программирования, ориентированного на работу со знаниями (например, язык Frame Representation Language, основанный на фреймовых представлениях, и язык Пролог, опирающийся на модель представления в виде продукции).
Машинные формы обучения подразумевают создание баз знаний большого размера, что является очень сложным. Поскольку необходимо не только накапливать знания и представлять их выбранным способом, но и проверять их полноту и непротиворечивость.
Измерение и представление знаний является в настоящее время достаточно хорошо изученным вопросом [10]. Однако в управление знаниями необходимо включить и процессы преобразования
представления знаний в знания, которые формируются у объекта обучения, что является еще мало изученной научной областью. При работе со знаниями, в силу их специфических свойств, возникают существенные трудности. Несмотря на то, что любые знания являются моделью объективной реальности, сами знания также можно рассматривать как реально существующий объект. Однако любое представление знаний всегда основывается на определенной модели, и уже в силу этого является ограниченным и неполным по сравнению с самим знанием. Объект (например, учащийся), получает представление знаний, которые он трансформирует в собственное представление знаний. Априори неизвестно, какие процессы происходят при такой трансформации, т.е. объект представляет собой «черный ящик», на вход в который передаются некоторые входные данные и оказывается управляющие воздействие, основанное на информации, полученной на выходе. В результате представления знаний объекту и их усвоения, у объекта формируется свой образ представления знаний. При контроле усвоения знаний, строго говоря, объект возвращает не знания, как таковые, не представление знаний, и даже не образ представления знаний, а свое представление образа представления знаний (см. рис.1). Задачей контроля является сопоставление образа представления знаний сформировавшегося у объекта с экспертной оценкой знаний (например, знаниями преподавателя в данной предметной области), которую мы принимаем за основу измерений.
предст явление
ШПИНЯ
обьект, для которого пропсходігг представление знании
представление образа представления знаний
/фОрШЦїОВ АН 1С
V. представления
Рис.1. Упрощенная схема превращения знаний в образ знаний у объекта
обучения
На основании отличия отклика объекта от эталона необходимо сформировать управляющее воздействие и таким образом управлять представлением знаний, чтобы после цикла обучающих воздействий величина отличия соответствовала бы заранее установленному значению.
С научной и теоретической точки зрения разработка математических и информационных моделей управления знаниями в автоматизированных информационно-обучающих системах представляет существенный интерес:
Человеко-машинное общение и обучение является одним из наиболее сложных и малоизученных информационных процессов (в существующих автоматизированных информационных обучающих системах АИОС нет адекватных математических моделей описывающих процесс обучения человека компьютерной системой).
Наличие человеческого фактора делает процесс взаимодействия человек-компьютер в некоторой степени непредсказуемым (вероятностным). Кроме того, необходимо учитывать психофизиологические особенности конкретного пользователя и особенности его индивидуальной работы с обучающей системой. Автоматизированные информационно-обучающие системы (АИОС), в силу присутствия человеческого фактора, действие которого имеет психофизическую природу, можно отнести к классу стохастических систем управления [11-15]. Процессы в которых (при определенных условиях), можно рассматривать как полумарковские процессы (вероятность перехода при которых из одного состояния в другое зависит как от этого состояния, так и от состояния, в которое будет осуществлен следующий переход [11-13,16]). Подобный подход получил фундаментальное обоснование и развитие в работах профессора А.П.Свиридова [11-13]. В любых стохастических системах, в том числе и в АИОС стратегией управления, обеспечивающей необходимые уровень и точность управления (мера возможности достижения системой управления заданной цели) является прогнозирование событий. В данном случае прогнозирование это вероятностная оценка достижения
будущего состояния системы на основе минимальной и достаточной информации о прошлых и настоящих входных сигналах, прошлом управлении и его результатах) и упреждающая реализация управления на объект управления,
Имеющиеся возможности информационных технологий по обработке и
передаче данных уже существенно превосходят возможности человека по
их усвоению, что определяет необходимость адаптации человеко-
машинного взаимодействия и разработки новых подходов к созданию
человеко-машинных интерфейсов.
Цель исследования. Разработка математических моделей эффективного управления знаниями, позволяющих достигнуть заданного уровня обученности индивидуальных и коллективных пользователей за наименьшее время и число шагов обучения.
Задачи исследования
разработка методов формализации задач управления процессами усвоения знаний в обучающих системах;
разработка математических и информационных моделей управления процессами усвоения знаний с учетом диагностики знаний;
разработка методов и алгоритмов управления процессами восприятия знаний и процессами машинного обучения с учетом информационных потребностей коллективных и индивидуальных пользователей;
разработка эффективных алгоритмов, позволяющих при сохранении надежности полученных результатов уменьшить затраты труда и времени на диагностику знаний, которая необходима для установления обратных связей при управлении процессами усвоения знаний;
разработка методов и правил построения наиболее эргономичных для данного пользователя графических человеко-машинных интерфейсов, повышающих эффективность управления за счет того, что использование системы становится более удобным;
разработка программного обеспечения АИОС, и экспериментальная
проверка на их базе предлагаемых в данной работе математических и
информационных моделей процессов управления восприятием знаний,
методов работы со знаниями, методов машинного обучения, методов
построения наиболее эргономичных для данного пользователя
графических интерфейсов и эффективных алгоритмов диагностики
знаний.
Объект и предмет исследования. Объектом исследования являются процессы управления восприятием знаний, а предметом исследований разработка эффективных математических и информационных моделей управления процессами восприятия знаний на дисциплинарном уровне для отдельных пользователей и их групп, с целью повышения качества образования.
Методы исследования. Для реализации намеченных целей и решения задач были использованы следующие методы и технологии:
математическая статистика;
операционное исчисление;
теория принятия решений;
методы системного анализа;
методы оптимизации. Научная новизна
Разработаны методы формализации задач управления процессами восприятия знаний, при которых процессы обучения, рассматриваются как совокупность случайных переходов между соседними состояниями, описывающими изучаемую информационную систему.
Разработаны математические модели управления знаниями, в которых для процессов обучения были получены как гиперболические, так и параболические дифференциальные уравнения П-го порядка, на основе которых были сформулированы и решены краевые задачи (с различными граничными условиями), учитывающие как личностные характеристики
пользователей, так и особенности информационных процессов обучения в группе.
Определено количество учебной информации, передаваемой на одном шаге обучения пользователю или группе (в зависимости от индивидуальных характеристик), для того чтобы работа системы была наиболее эффективной.
На основе созданных моделей разработаны новые алгоритмы и методы машинного обучения и диагностики знаний, позволяющие при сохранении надежности полученных результатов уменьшить затраты труда и времени на диагностику знаний, которая необходима для установления обратных связей при управлении процессами усвоения знаний и обучение.
Исследованы некоторые модели человеко-машинного общения. На основе полученных результатов разработаны новые теоретические и практические принципы построения наиболее эргономичных, для данного пользователя графических интерфейсов (созданных с учетом его психофизиологических особенностей), что должно способствовать более эффективному управлению процессом предоставления знаний.
Практическая значимость. Практическая значимость диссертации состоит в том, что использование в учебном процессе АИОС, созданных на основании результатов полученных в работе, приводит к увеличению среднего балл на экзамене по сравнению с контрольными группами примерно на 0,4-0,2 балла и уменьшению количества необходимого для обучения времени примерно в 1,5-2,0 раза. Автоматизированные компьютерные системы диагностики знаний, работающие по адаптивным алгоритмам, разработанным в диссертации позволяют при сохранении надежности полученных результатов уменьшить затраты труда и времени на диагностику знаний.
Достоверность полученных в диссертации результатов, выводов и рекомендаций подтверждается результатами практического использования.
На основании математических и информационных моделей, полученных в диссертационной работе было создано несколько прикладных компьютерных программ, внедренных в ряде вузов. В частности было внедрено:
сетевая система тестирования знаний, с элементами искусственного интеллекта;
сетевой мультимедийный лабораторный практикум по курсу общей физики;
сетевой мультимедийный лабораторный практикум по аналитической химии «Основы количественного химического анализа»;
Интернет система обучения, диагностики знаний и психологического тестирования.
В Российском университете дружбы народов (РУДН) на ФПК внедрены компьютерные обучающие программы и системы тестирования знаний.
На разработки, выполненные по результатам диссертации, получено 11 свидетельств о регистрации программ для ЭВМ и 2 свидетельства о регистрации баз данных (выданные РОСПАТЕНТом), 8 свидетельств выданных отраслевым фондом алгоритмов и программ Министерства образования РФ (ОФАП).
Практическая значимость полученных в диссертации результатов подтверждается дипломами и наградами, полученными за разработки, выполненные на основе диссертационной работы. Среди наград можно упомянуть дипломы Московского инженерно-технического института (технический университет), золотые и серебреные медали международных выставок.
Начиная с 2002 года, и на протяжении ряда лет, полученные в данной диссертации результаты используются для разработки программного обеспечения, создаваемого в рамках Межвузовской комплексной работы
«Инновационные технологии образования», проводимой Федеральным Агентством по образованию РФ.
Основные положения выносимые на защиту
1. Методы формализации задач управления процессами усвоения знаний, в
которых процесс обучения рассматривается как переход между
соседними состояниями (величина знаний в которых выражается в
оценочных единицах-баллах). При величине знаний Т , предоставляемой объекту обучения на шаге обучения h, его балл из состояния (k-I) может переходить в состояние к, кроме того, изменение состояния к может осуществляться и за счет перехода к+1—>к, а процесс обучения можно рассматривать, или как бинарный (двухпоточный) или как многопоточный (четырехпоточный) информационный случайный процесс.
2. Процесс управления знаниями при обучении можно описать как краевую
задачу с помощью неоднородных дифференциальных уравнений второго
порядка (как гиперболического (для двухпоточного процесса), так и
параболического (для четырехпоточного процесса) типа), учитывающих
не только процесс «механического» накопления учебной информации
объектом обучения в зависимости от числа шагов обучения, но и
структуризацию знаний. Суть сформулированных краевых задач
заключается в следующем:
При индивидуальном обучении: На границе отрезка распределения
баллов л должно выполняться граничное условие "отражения" (т.е. баллы не могут уменьшаться и выходить в область отрицательных
значений). На границе * отрезка распределения баллов
необходимо, чтобы выполнялось граничное условие "поглощения" (т.к. пользователь, достигший заданный уровень в L баллов заканчивает обучение). Каждый пользователь, имея начальный балл равный
некоторому Л должен после общения с системой, через некоторое
число шагов обучения достигнуть уровня обученности в L баллов, или в противном случае процесс обучения должен продолжаться. Для модели коллективного обучения (группы) необходимо учитывать, что знания группы в целом характеризуются функцией распределения
r . Поэтому, плотность вероятности получить при
тестировании балл равный нулю должна быть равна нулю, а знания некоторых субъектов обучения могут превосходить уровень L, но процесс обучения продолжается, а достижение бесконечно большой величины баллов не возможно (равно нулю). Полученные решения описывают, как индивидуальную
восприимчивость пользователей к обучению, так и особенности
процессов обучения группы.
Решения сформулированных краевых задач, которые позволяют определить необходимое количество учебной информации, передаваемой на одном шаге обучения объекту обучения (в зависимости от его характеристик), для того чтобы процесс был наиболее эффективным (заданное состояние обученности было бы достигнуто за наименьшее число шагов).
Алгоритмы и методы машинного обучения и диагностики знаний, полученные на основе представленных в диссертации математических и информационных моделей управления процессами усвоения знаний.
Адаптивная модель диагностики знаний, позволяющая уменьшить число вопросов и затраты времени при тестировании. В представленной модели максимальное число вопросов, которые необходимо задать пользователю для точной оценке его уровня подготовленности не превосходит
(где N-число уровней трудности вопросов).
6. Новые методы и правила создания более эргономичных графических
пользовательских интерфейсов (GUI), (созданных с учетом
психофизиологических особенностей пользователя и тем самым
повышающих эффективность управления знаниями, за счет адаптации человеко-машинного взаимодействия).
Апробация работы
Основные результаты диссертационной работы докладывались на:
Международной конференции «Научная сессия МИФИ-2006», 23-27 января 2005 г., Москва, Россия.
Международной конференции "Научная сессия МИФИ-2005", 24-28 января 2005 г., Москва, Россия.
VII Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права», 1-5 октября 2004 г., Сочи, Россия.
X Международной конференции «Современные технологии обучения СТО-2004», 21-22 апреля 2004 г., С.-Петербург, Россия.
Международной конференции «Интернет-образование» (Web-Based Education - 2004), 16 - 18 февраля 2004 г., Инсбрук, Австрия.
Международной конференции «Научная сессия МИФИ-2004», 26-30 января 2004 г., Москва, Россия.
VI Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права», 6-9 октября 2003 г., Сочи, Россия.
XI Международной школе - семинаре «Новые информационные технологии», 20-23 мая 2003 г., Судак, Украина.
IX Международной конференции «Современные технологии обучения СТО-2003», 23 апреля 2003 г., С.-Петербург, Россия.
Международной конференции «Научная сессия МИФИ-2003», 20-24 января 2003 г., Москва, Россия.
II Всероссийской научно-технической конференции «Проблемы информатики в образовании, управлении, экономике и технике», 26-27 ноября 2002 г., Пенза, Россия.
Международной конференции «Научная сессия МИФИ-2002», 21-25 января 2002 г., Москва, Россия.
Научно-технических семинарах кафедр «Автоматизированные системы обработки информации и управления» и «Вычислительные машины, комплексы, системы и сети» Московской государственной академии приборостроения и информатики.
Публикации. По теме диссертационной работы было опубликовано более 80 научных работ (13 из которых в указанных ВАК ведущих рецензируемых научных журналах и изданиях, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора наук). Монография: Жуков Д.О. Программное обеспечение мультимедийных систем обучения и диагностики знаний, М.: «Радио и связь», 2003. - 432с. Получено 11 авторских свидетельств, выданных РОСПАТЕНТ на программы для ЭВМ и 2 авторских свидетельства на базы данных. Кроме того, получено 8 авторских свидетельств, выданных ОФАП на компьютерные программы, 8 дипломов и 3 медали различных выставок.
Структура и объем диссертационной работы. Диссертация состоит из введения, 6 глав с 12 таблицами и 62 иллюстраций (рисунки, графики, схемы, экранные формы и т.д.), заключения, приложения и библиографического списка, состоящего из 201 названия. Общий объем работы составляет 342 страницы.
Дерево целей управления, качество и мера качества знаний
Качество образования должно определяться, исходя из Российской национальной образовательной доктрины. «Качество» как категория является одним из основных понятий управления различными социальными процессами, в том числе и образованием. Сегодня категория «качество» прочно вошла в область образования, как совокупность определенных свойств, характеризующих сущность объекта и отличие его от других [17-28].
Категория «качество» в педагогической теории и практике активно применяется для анализа и интерпретации различных явлений педагогической действительности. Одним из направлений такого анализа является системное рассмотрение качества знаний обучаемых и путей его совершенствования.
Анализ работ [29], посвященных рассмотрению состава и качества знаний, свидетельствует о наличии системного подхода к их раскрытию. В работах И.Я. Лернера содержание образования рассматривается как система, в которую, помимо знаний, умений и навыков, включается совокупный опыт творческой деятельности и эмоционально-чувственного отношения к действительности. Благодаря наличию определенных связей между этими элементами сами знания меняются по своим содержательным характеристикам, т.е. приобретают всё новые свойства по мере того, как обучаемые усваивают другие элементы. Знания нельзя считать полноценными, если они не усвоены в отношениях с другими элементами конкретного знания и не получен опыт их применения в различных ситуациях.
Именно АИОС способны наилучшим образом связать воедино различные элементы знания и обучить пользователя их применению, например, за счет постоянной диагностики знаний и многократного повторения рутинных операций, что отличает их «традиционных» методов преподавания.
Главной идеей современного развития теории и практики управления качеством образования является отказ от традиционного подхода, при котором управление образовательным процессом осуществляется по оценкам конечного результата. Современный подход ориентирован на создание системы управления качеством образования, предусматривающей регулирование процесса на основании оценки его состояния по специально выделенным критериям качества для всех компонентов самого процесса, а также факторов, оказывающих влияние на конечный результат [26-28,30].
Анализ подходов к определению «качество образования» позволяет выявить различные акценты в трактовке «качества образования», как в узком, так и широком смыслах (по Субетто А.И.) [27]. Особое место здесь занимает квалиметрический подход, активно развиваемый в работах Исследовательского центра проблем качества подготовки специалистов [26].
В узком смысле качество образования рассматривается как категория, характеризующая результат образовательного процесса, отражающего: уровень сформированное общетеоретических знаний, практических умений и навыков выпускников; уровень интеллектуального развития, нравственных качеств личности; особенности ценностных ориентации, определяющих мировоззрение; активность и ответственное творческое отношение к действительности, проявляющееся в деятельности.
Качество образования в широком смысле предполагает подход к образованию как социально-педагогическому процессу и рассматривается как совокупность характеристик этого процесса: реализации его целей, современных технологий, а также условий, необходимых для достижения динамики положительных результатов.
Управление знаниями является одним из факторов, позволяющих обеспечить необходимую динамику положительных результатов обучения и их необходимое качество.
Из анализа характеристик и определений качества образования, существующих в педагогической теории и практике [31-36], можно сделать некоторые выводы, которые следует учитывать при разработке критериев и показателей качества образования, особенно для информационно-образовательной среды (ИОС) открытого образования [37]. В современном подходе к содержанию качества образования основным критерием выступает степень удовлетворения потребностей личности и общества [26,28,29].
Множественность запросов к получению образования представителями разных социальных, профессиональных групп, отдельных личностей порождает многообразие целей, а результаты образования могут быть оценены разными субъектами (обучаемыми, родителями, преподавателями и др.) по разным критериям, в разных измерениях, на разных уровнях. Это обстоятельство актуализирует изменение (улучшение) подходов к технологиям мониторинга качества образования и к его квалиметрическому обеспечению.
Модель бинарного информационного потока при управлении представлением знаний
Расплывчатость границ знания и множественность взаимосвязей между элементами предметной области говорят о том, что нельзя выделить элементарный объем знаний. Кроме того, в силу специфики мышления человека, ему свойственно при определенных условиях, имея некоторый набор связей между элементами знания находить новые или неизвестные связи, которые также являются знанием (процесс самообучения). Величина тестового балла за одно задание при измерении знаний, определяемая на основании экспертной оценки, является случайной, поскольку на самом деле принадлежит некоторому нечеткому интервалу. В силу перекрытия интервалов можно говорить о квазинепрерывном распределении баллов на всем отрезке допустимых значений. Знания являются непрерывной величиной» которую можно выражать в условных числовых единицах (баллах).
Обучение и управление знаниями в силу присутствия человеческого фактора, действие которого имеет психофизическую природу, можно отнести к классу стохастических процессов [11-15], которые (при определенных условиях), можно рассматривать как полумарковские процессы (вероятность перехода при которых из одного состояния в другое зависит как от этого состояния, так и от состояния, в которое будет осуществлен следующий переход [11-13,16]). Подобный подход получил фундаментальное обоснование и развитие в работах профессора А.П.Свиридова [11-13] в которых разработана статистическая динамика знаний. Согласно исследованиям профессора А.П.Свиридова [11-13], процесс обучения может быть представляется в виде графа переходов (см. схему) из одного состояния знаний в другое в интервале времени [t5 t+dt) (процессы гибели и размножения динамики знаний характеризуются тем, что практически возможными являются лишь переходы в соседние состояния). p (/)- зависящие от времени вероятности состояний знаний с условием п нормировки р (/) = 1.
«О Интенсивности переходов между состояниями (интенсивности усвоения и забывания) могут зависеть от времени, и это позволяет получить линейные системы дифференциальных уравнений с коэффициентами зависящими от времени, для которых не всегда могут быть получены аналитические решения.
Сущность предлагаемого в данной работе подхода заключается в следующем. Рассмотрим случайный процесс передачи знаний, при котором величина знаний пользователей, характеризуется баллами, принимающими некоторые значения от 0 до N. Будем считать, что при величине знаний , предоставляемой пользователю на шаге обучения h, его балл из дискретного состояния к-1 переходит в состояние к, кроме того, изменение состояния к может осуществляться за счет перехода к+1-»к (рис.7) [156].
Схема бинарного информационного потока при представлении знаний Обозначим через р — вероятность нахождения в состоянии к-1, после h шагов обучения, через р — вероятность нахождения в состоянии к+1. Рассмотрим процесс обучения, как совокупность процессов происходящих в состояниях k-1, к и к+1. Вероятность р перехода из состояния к-1 в состояние к на (h+1) шаге будет равна rj =Q D »где п — вероятность перехода к-1— к. І к \ h 1\ х 4-1А л\
Вероятность р перехода из состояния к+1 в состояние к на (h+1) шаге будет равна n ., = (7.-0, ,» где q— вероятность перехода к+1- к. Процесс передачи знаний на (h+І) шаге опишем как сумму процессов: (pt . +р ). Вероятности q н q положим равными 1/2, т.е. любой из переходов (вправо или влево) из любого соседнего состояния можно считать равновероятным. Тогда (і) РкмГЯ k+\th Рк-и,+Р
Для описания процесса передачи знаний от интеллектуальной мультимедийной обучающей системы к пользователю введем следующие переменные где — изменение тестового балла пользователя в результате предоставляемой обучающей системой величины знаний г на одном шаге, Т (в идеальном случае надо стремится, чтобы g было равно , т.к. нет смысла выдавать на одном шаге информации больше, чем может быть усвоено пользователем).
Контроль знаний по методике уточняющих вопросов
Контроль знаний по методике уточняющих вопросов широко используется для выявления глубины знаний. При данном подходе несколько вопросов объединяются в фиксированную последовательность (цепочку) по некоторому смысловому признаку, определяемому преподавателем. Относительная важность задаваемых вопросов определяется их весовыми коэффициентами, учитываемыми при подведении результатов тестирования. Этот коэффициент изменяется от 0 до 1, и сумма коэффициентов вопросов в цепочке принимается равной 1. При подготовке к тестированию преподаватель имеет возможность определять или корректировать относительную важность каждого вопроса, устанавливать объем теста N, задавать время, отводимое экзаменуемому на демонстрацию своих знаний, и настраивать оценочную шкалу, по которой суммарный балл, набранный в ходе тестирования, переводится в итоговую оценку.
В ходе тестирования экзаменуемому предъявляется конечное множество так называемых «цепочек вопросов». Каждая цепочка представляет собой последовательность близких по тематике вопросов, формулируемых для уточнения знаний экзаменуемого. Очередной вопрос в цепочке задается только после получения ответа на предыдущий вопрос. В зависимости от стратегии тестирования, избираемой организатором контроля знаний, очередной вопрос в цепочке может предъявляться до первой ошибки ("строгий" преподаватель), либо экзаменуемому предоставляется возможность демонстрировать максимум знаний, отвечая на все вопросы данной тематической последовательности.
Каждому у-му вопросу в /-и цепочке присваивается весовой коэффициент Ку, характеризующий его относительную важность в рамках этой цепочки. Значения всех коэффициентов автоматически нормируются так, чтобы их сумма внутри каждой цепочки была равна 1. В цепочку может объединяться неограниченное количество тематически близких вопросов. Если цепочка состоит из единственного вопроса, коэффициент важности этого вопроса устанавливается равным 1.
Процедура количественного оценивания знаний, выявленных в ходе тестирования, состоит из трех этапов [99,155]. На первом — рассчитываются баллы, набранные за правильные ответы в рамках каждой отдельной тематической последовательности: где S, — балл, выставляемый за ответы на і-ю тематическую последовательность; Ку — весовой коэффициенту-го вопроса в /-й цепочке; Z,j =1, если нау-й вопрос в /-й цепочке получен правильный ответ и Zy=0 — в противном случае; L, — количество вопросов в і-й цепочке.
На втором этапе рассчитывается суммарный балл Si за ответы на все вопросы теста с учетом количества цепочек вопросов, на которые экзаменуемый успел ответить за отведенное время: 1=1 где N — объем теста; Kt — количество цепочек вопросов, на которые экзаменуемый успел ответить за отведенное время /.
На третьем этапе определяется итоговая оценка знаний экзаменуемого. Для этого набранный им суммарный балл Ss проецируется на оценочную шкалу, имеющую вид [0; 1 12; Ь; I] , где 0 Ii Ь Ь 1 — границы интервальных диапазонов оценок, задаваемые преподавателем при организации тестирования.
Итоговая оценка за тест ОТ выводится по следующим правилам: 3St е [0;/,] - От неудовлетворительно" 3St є (/,;/2] - 0Т -"удовлетворительно" 3St є (J2;/3] -» 0Т ="хорошо" 3St є (73;1]- От ="отлично"
Данный вид тестирования относится к адаптивному контролю основанному на модели испытуемого и модели учебного материала.
Алгоритм анализа результатов при оценке «зачет-незачет» Последовательное тестирование, как правило, использует тестовые задания приблизительно одинакового уровня трудности. Однако эту процедуру можно проводить с любым дихотомически (0 или I, да — нет) оцениваемым набором тестовых заданий, случайно выбираемых из банка неограниченной емкости [158].
Создание графического интерфейса с учетом характеристик пользователя
Второй особенностью разработанного в данной работе подхода к созданию графических пользовательских интерфейсов является возможность (с помощью встроенных в обучающую систему средств) изменения и оптимизации под конкретного пользователя элементов управления в графическом интерфейсе системы обучения [165]. Для этого необходимо перед запуском программы изучить психофизиологические особенности восприятия данным пользователем графической информации и отнести его к определенному подмножеству fir (об этом упоминалось в начале главы 2). Идентификация пользователей по подмножествам позволяет выбрать для данного подмножества пользователей наиболее удобный в работе графический интерфейс, что должно способствовать лучшему усвоению учебной информации. В диссертации для этого был разработан следующий подход.
Для того чтобы определить, как должны быть расположены элементы управления (кнопки, линейки прокрутки, панели инструментов и т.д.) для данного пользователя, он должен пройти специальный психофизиологический тест, созданный в игровой форме и встроенный в оболочку обучающей системы. Игровая форма необходима для того, чтобы пользователь не догадывался, что проводится психофизиологический эксперимент, и мог проявить на подсознательном уровне свои индивидуальные особенности визуального восприятия информации и работы с графическим интерфейсом.
После запуска теста в полноэкранном режиме появляется рисунок, содержание которого заставляет внимание пользователя рассеиваться, причем он не подозревает, что поле экрана разделено на квадраты размером 100 на 100 пикселей (стандартный размер кнопки составляет 25 на 75 пикселей). В каждом из квадратов случайным образом, поочередно появляется игровой персонаж (например, зверек, "колобок", птичка и т.п.), имеющий элементы мультипликации (на рис.42 и 43 представлены экранные формы с специально созданной для психофизиологического исследования сетевой компьютерной программы). Графическое изображение игрового персонажа по цветовым и яркостным характеристикам схоже с игровым полем (рисунком на экране). Спустя некоторое, время персонаж исчезает с экрана.
Игровое поле психофизиологического теста на втором уровне
Задачей пользователя является поймать игровой персонаж в данном поле и переместить его, с помощью манипулятора «мышь» в корзину, находящуюся в центре экрана, после чего в другом квадрате появляется новый персонаж. На рис.42 игровым персонажем является «таракан», а на рис.43 «колобок». Далее пользователь повторяет свои действия по поимке персонажа и т.д. Следует специально отметить, что указатель манипулятора "мышь" при появлении нового персонажа находится в центре экрана, куда он был позиционирован пользователем при перемещении предыдущего игрового персонажа в корзину. Для создания полной иллюзии игры за каждый удачный ход начисляются очки, а сама игра идет на время и позволяет в качестве поощрения переходить на другие уровни.
Сущность самого психофизиологического теста заключается в следующем: 1. Все квадраты, расположенные по краям экрана имеют номера j от 1 до N=76; 2. Система фиксирует время (} появления игрового персонажа в квадрате с номером j ; 3. Система фиксирует время /2 поимки пользователем игрового персонажа в квадрате с номером / ; 4. Для каждого из квадратов с номером j вычисляется время д t =f2 -f и для нескольких появлений игрового персонажа (к - раз) . 4 в данном квадрате определяется величина A/ =J±T— к 5. Для квадратов расположенных в центре экрана время отклика пользователей на игровой персонаж, не учитывается.
6. В случае если пользователь не успевает поймать персонаж в соответствующем квадрате или происходит его потеря, то в базу данных записывается штрафное время, которое увеличивает ДГ .
Величина Af характеризует время отклика пользователя на появление игрового персонажа и может, в качестве комплексного параметра характеризовать какие из находящихся по краям экрана квадратов (справа, слева, сверху, снизу) являются для данного пользователя наиболее удобными для доступа и акцентируют его внимание в первую очередь. Очевидно, что элементы управления должны размещаться в наиболее привлекательных квадратах и секторах экрана
