Содержание к диссертации
Введение
Глава 1. Анализ результатов исследований в области интеллектуализации автоматизированных обучающих систем 11
1.1 Классификация и анализ средств компьютерной поддержки процессов обучения 11
1.2 Педагогические аспекты эффективности применения автоматизированных обучающих систем с элементами искусственного интеллекта 17
1.3 Проблема выбора средств компьютерной поддержки процессов обучения для достижения учебных целей 23
1.4 Интеллектуальные обучающие системы (ИОС). Основные качества ИОС нового поколения 25
1.5 Цель и задачи исследования 33
1.6 Выводы 36
Глава 2. Построение архитектуры интеллектуальной обучающей системы нового поколения 38
2.1 Систематизация учебного материала, решение задач, использование средств мультимедиа 38
2.2 Управление обучением и взаимодействие компонентов ИОС 44
2.3 Диалог с пользователем и тестирование обучаемого 51
2.4 Дополнительные возможности ИОС нового поколения 55
2.4.1 Интеграция с внешними по отношению к ИОС программными и техническими средствами 55
2.4.2 Синтаксическое единство языков представления и переработки знаний 57
2.5 Выводы 58
Глава 3. Разработка моделей оптимального управления процессом обучения и инструментарий для создания ИОС нового поколения 60
3.1 Методика проектирования ИОС нового поколения 63
3.1.1 Наполнение баз знаний 64
3.1.1 .а. Формирование учебного материала 64
3.1.1 .Ь. Описание модели управления обучением 65
3.1.2. Выделение набора операций переработки знаний 67
3.1.3. Инструментальные средства для различных категорий разработчиков ИОС 68
3.2. Представление и переработка знаний подсистемы ознакомления с предметной областью и решения задач 68
3.3. Описание и переработка модели обучаемого 77
3.4. Описание и реализация интерфейса ИОС 87
3.4.1. Адаптивный интерфейс и его отличительные особенности 88
3.5. Описание и реализация подсистемы тестирования 94
3.5.1. Определение дидактических характеристик заданий 94
3.6. Описание и реализация процесса управления обучением. 95
3.6.1. Связь модели обучаемого и целей управления процессом обучения 96
3.6.2. Модели оптимального принятия решений при управлении процессом обучения в ИОС нового поколения 101
3.7. Выводы 110
Глава 4. Оценка качеств ИОС нового поколения для создания КОП 112
4.1. Оценивание дидактической эффективности 112
4.2. Выводы 127
Заключение 129
Использованная литература 132
Приложения 146
- Классификация и анализ средств компьютерной поддержки процессов обучения
- Управление обучением и взаимодействие компонентов ИОС
- Описание и переработка модели обучаемого
- Оценивание дидактической эффективности
Классификация и анализ средств компьютерной поддержки процессов обучения
В настоящее время высоко возросли требования, предъявляемые к квалификации выпускника вуза. Вместе с тем на фоне увеличения объема информационного потока возникают проблемы передачи знаний. Все это обусловило устойчивый интерес к программно-информационным средствам, ориентированным на автоматизированное обучение и подготовку высококвалифицированных специалистов [41, 126, 134, 137, 157, 177, 183].
Для обеспечения необходимого уровня квалификации будущего специалиста, в учебный план включается ряд дисциплин, которые относятся к быстроразвивающимся отраслям науки и техники. Это неизбежно приводит к необходимости использования различных информационных источников, таких, как журналы, статьи, научно-технические отчеты, описания разработанных конструкций, диссертации и другие разрозненные материалы, которые зачастую противоречивы и в которых, как правило, отсутствует единая терминология. Бурный рост количества информации является одной из важнейших характеристик этих отраслей науки и техники, что приводит при подготовке учебного материала к необходимости ее качественного переосмысления. Поэтому возникает потребность в создании компьютерных обучающих программ, имеющих базы знаний и позволяющих представить учебный курс в виде семантических моделей [173, 199]. Возможность корректировки и пополнения баз знаний обеспечивает согласованность, полноту и актуальность информации в этих учебных курсах, а формализация стратегий обучения позволит существенно повысить эффективность учебного процесса за счет улучшения управления процессами усвоения и использования знаний.
Такой подход к выбору форм и средств автоматизации обучения с использованием средств вычислительной техники дает следующие основные преимущества: позволяет проводить обучение любого числа студентов; ведет к сокращению затрат времени на введение новых учебных курсов; позволяет наглядно иллюстрировать новые понятия; развивает навыки работы со средствами вычислительной техники; позволяет восполнить нехватку достаточного количества высококвалифицированных преподавателей [7, 13, 23, 51,59,66].
Согласно [141], под автоматизацией обучения понимается прием технологии обучения, в котором часть рутинных функций, выполнявшихся ранее преподавателем, передается автоматическим устройствам. В настоящее время разработаны различные виды компьютерных средств обучения, такие, как обучающие программы, автоматизированные обучающие системы (АОС), автоматизированные учебные курсы (АУК), программные тренажеры, экспертные обучающие системы [66, 119, 130, 174, 191]. Для анализа возможностей и характерных особенностей компьютерных средств обучения проведем их классификацию по ряду признаков, выделим наиболее перспективные направления и методы их разработки, а также возможность их применения для обучения будущих специалистов.
При классификации компьютерных средств обучения по функциональному признаку, можно выделить такие виды систем (рис. 1.1) как: обучающая; консультирующая; диагностирующая; управляющая; сопровождающая и интегрированная. На базе данной классификации коротко рассмотрим их функциональные характеристики, выделим основные преимущества и недостатки.
Обучающие системы предназначены в основном для обучения понятиям и навыкам на базе информационно-справочных сред [55, 65, 87, 114, 116, 163, 191,]. В основе систем подобного типа лежит интеллектуальный учебный курс, обладающий развитым языком запросов и богатым набором ассоциативных связей в базе данных. В качестве изъянов в подобных системах, можно отметить их недостаточную гибкость и чувствительность к настройке.
Системы консультирующего типа чаще всего предназначены для оказания контекстной помощи или выдачи требуемой информации по запросу пользователя, при этом возможно демонстрационное решение задач с их последующим решением для каждого шага [56, 152]. Чаще всего системы подобного типа включают в себя информационно-справочную подсистему, подсистему контекстной подсказки и модель обучаемого. К недостаткам можно отнести сложность использования подобных систем неквалифицированным пользователем.
Системы диагностирующего типа являются дальнейшим развитием систем консультационного типа. Они дополнены расширенным интерфейсом, фиксацией знаний и умений обучаемого и диагностикой ошибок обучаемого [154]. На практике эти системы часто называют интеллектуально -тренирующими. Одним из слабых мест таких систем является невозможность генерации знаний самой системой. Обычно генерация осуществляется преподавателем при настройке системы, что усложняет индивидуализацию знаний.
Управляющие системы являются наиболее сложными из существующих типов АОС и предназначены в основном для управления процессом обучения с помощью вычислительной техники [155]. Она содержит в себе все компоненты рассмотренных ранее систем, но дополнена, в свою очередь, диагностирующей экспертной системой знаний о целях функционирования системы с учетом стратегии обучения. В качестве недостатков систем подобного типа можно отметить их громоздкость и сложность в эксплуатации.
Системы сопровождающего типа отслеживают деятельность обучаемого при работе в некоторой инструментальной среде, содержащей все компоненты реальной системы, с оказанием помощи при обнаружении ошибочных действий обучаемого [154]; сопровождающая система содержит все компоненты экспертной системы, но, в отличие от нее, не знает конечной цели деятельности пользователя и должна ее программировать.
Интегрированные обучающие системы в основном свободны от указанных выше недостатков и, несмотря на некоторую структурную сложность, позволяют значительно расширить функции АОС по диагностике ошибок и прогнозированию целей деятельности пользователя [155]. В плане генезиса интегрированные системы можно рассматривать как дальнейшее развитие систем управляющего, консультирующего и сопровождающего типов [130]. При этом интегрированной обучающей системой называют программную среду, реализующую ту или иную педагогическую цель на основе знаний в некоторой предметной области, в области диагностики знаний обучаемых и в управлении обучением и демонстрирующую поведение на уровне экспертов.
При классификаци по дидактическому признаку компьютерные средства обучения можно разделить на следующие классы:
системы типа лектор, имитирующие лекции и имеющие жесткий план подачи изучаемого материала. Как правило, они дополняются жестким контролем знаний, определяющим возможность перехода к следующему разделу или лекции [142];
системы типа ассистент, имитирующие семинар, лабораторные занятия или практикум. Создается дружественная среда, в которой учебный материал подается в виде сообщений, подсказок, пояснений. Тестирование осуществляется в основном через самоконтроль. Данный тип программ предназначен для развития практических навыков путем самообразования [24].;
системы типа репетитор, адаптирующиеся к обучаемому выбором темпа изложения материала, проверки начального уровня знания и учета психологических особенностей обучаемого. Допускается выборочное изменение отдельных тем курса. Большое внимание уделяется практической деятельности обучаемого под постоянным контролем системы [87];
системы типа консультант, представляющие собой справочные базы данных по изучаемому и смежным предметам. Такие базы данных имеют удобные средства поиска информации [148];
системы типа контролер, предназначенные для тестирования и оценки уровня знаний [174].
Основываясь на принципиальных возможностях известных дидактических систем [17] и учитывая основные цели обучения, можем определить необходимые ступени абстракции и требуемый уровень усвоения знаний обучаемыми, оценить возможность отдельных дидактических систем по достижению гарантированного результата, а затем выбрать нужный тип системы.
Управление обучением и взаимодействие компонентов ИОС
Главной целью любой обучающей системы является обучение пользователя знаниям и умениям в некоторой ПОб. Однако, эту цель нельзя считать единственной, так как второй немаловажной задачей является оптимизация временных затрат на обучение и повышение его эффективности, т.е. компьютерная система должна уметь организовать свою работу таким образом, чтобы качественно обучить пользователя за минимальное время. Достижение этой цели в ИОС возлагается на подсистему управления обучением (ПсУО), основой которой является модель обучения. На рис. 2.3 указаны основные компоненты ПсУО в составе предлагаемой архитектуры ИОС, а также отмечены направления и цели ее взаимодействия с другими подсистемами. Из рисунка видно, что ПсУО в ИОС занимает центральное место, поскольку она фактически выступает в качестве посредника во взаимодействии всех подсистем в составе ИОС.
Определение 2.6. Модель обучения МОБ формально зададим в виде четверки:
МОБ = МУО, МУ, Хмуо, ХМУ , где
МУО - Модель Управления Обучением;
МУ - Модель обУчаемого (ученика);
ХМУО - меХанизмы переработки информации об управлении обучением;
Хму- меХанизмы адаптации к пользователю.
Для описания и реализации модели обучения в БЗ ПсУО помещается соответствующая совокупность знаний на языке представления и переработки знаний, который входит в состав инструментальных средств проектирования ИОС. Механизмы переработки информации ХМУ0 и Хму реализуются в виде операций указанного языка представления и переработки информации.
Определение 2.7. Модель управления обучением МУО будем рассматривать в виде :
МУО = ВС, ПП, Хдп, Вз, Хвз, УВ , где
ВС - Возможные Состояния системы;
ПП - Правила Перехода из одного состояния в другое;
Хпп - меХанизмы реализации переходов между состояниями;
Вз - правила Взаимодействия подсистем;
ХВз - механизмы взаимодействия подсистем;
УВ - Учебные Воздействия, включающие стратегии и тактики обучения, а также правила и механизмы взаимодействия с пользователем.
Таким образом, в рамках модели управления обучением МУО описывается процесс функционирования (поведения) ИОС, включающий описание возможных состояний системы, правил перехода из одного состояния в другое, механизмов реализации указанных переходов, средств и способов взаимодействия подсистем в составе ИОС. При этом множество механизмов переработки информации об управлении обучением (см. опр. 2.6.)
ХМУО = ХПп ХВз. В данной работе нет привязки к некоторой конкретной модели управления обучением, а разработаны способы описания различных моделей поведения ИОС. Саму же модель поведения выбирает разработчик конкретной системы и реализует ее предоставляемыми ему средствами. Необходимо отметить, что модели управления обучением могут быть самыми разнообразными. Выделим основные из них.
Утверждение 2.3. В зависимости от способа организации взаимодействия с пользователем, модель управления обучением МУО может быть представлена в одном из следующих видов:
МУО = СтМП или МУО = ДинМП, где
СтМП - Статическая (фиксированная, неизменяющаяся) Модель Поведения;
ДинМП - Динамическая (нефиксированная, изменяемая, ситуационная) Модель Поведения.
Определение 2.8. Статическую модель поведения СтМП зададим в виде пары :
СтМП = Ц, От , где
Ц = лцд KJ уп - структура описания сЦенария, включающая линейные цепочки действий лцд и условные переходы уп, в результате обработки которых учитываются ответы пользователя ОТІ = ОТ. При этом будем допускать, чтобы От = 0.
Таким образом, статическая модель СтМП представляет собой жесткое описание последовательности действий КСО для достижения цели обучения. Такого рода модели реализуются в виде сценариев и являются наиболее распространенными в электронных учебниках, АУК, АОС. Наиболее удобным способом представления сценария является граф. Системы, поведение которых реализовано в соответствии с моделью СтМП, являются системами с одним управляющим объектом (в роли которого выступает сама система) и одним объектом управления (которым является пользователь данной системы). Функционирование такой системы практически не зависит от воздействий извне. Однако, такие модели могут быть достаточно гибкими в случае наличия достаточного количества условных переходов в описании поведения системы, т.е. можно различать линейные статические модели поведения и условные статические модели поведения. Определение 2.9. Динамическую модель поведения ДинМП формально зададим в виде тройки:
ДинМП = СМП, ППсмп, ВВ , где
СМП - Состояния Модели Поведения
ППсмп Правила Перехода между состояниями;
ВВ - Внешние Воздействия, определяющие различные ситуации.
Таким образом, в рамках динамической модели ДинМП появляется возможность поддержки более сложных ситуаций с учетом внешних воздействий со стороны пользователя. Наряду с внутренними преобразованиями модели указанные ситуации также оказывают влияние на изменения состояний модели поведения. Системы, реализуемые в соответствии с моделью ДинМП, являются системами с попеременно меняющимися управляющими объектами, а именно, в качестве управляющего объекта в данном случае может выступать как система, так и ее пользователь. Такого рода организация поведения системы является более гибкой и требует помимо учета состояний системы еще и учет состояний пользователя и его внешних воздействий на ИОС.
Среди возможных видов состояний ИОС можно выделить следующие основные состояния:
- решение некоторой задачи из предметной области, по которой ведется обучение;
- объяснение полученного решения;
- поиск ответа на вопрос пользователя;
- постановка вопроса пользователю;
- ожидание ответа пользователя;
- анализ ответа пользователя;
- анализ состояния пользователя с целью перехода в следующее состояние;
- ознакомление с предметной областью в соответствии с планом обучения;
- тестирование обучаемого;
- обобщение и анализ результатов тестирования;
- пополнение и модификация БЗ в диалоге с учителем;
- и др.
Утверждение 2.4. По способу реализации модель управления обучением МУО можно представить двумя способами:
МУО = ПМП или МУО = НпМП, где
ПМП - Процедурная Модель Поведения; НпМП - Непроцедурная Модель Поведения.
Определение 2.10 Процедурную модель поведения ПМП зададим в виде пары:
ПМП = п, д , где
п - набор программ, реализующих модель ПМП; д - набор данных для программ из набора п.
Таким образом, процедурная модель ПМП представляет собой программу (набор программ), реализующую определенный сценарий поведения системы. Внесение изменений в поведение системы, реализованной на базе процедурной модели, требует перекомпилляции соответствующих программ. Обеспечение некоторого внешнего разнообразия в поведении такой системы возможно на этапе подготовки для нее входных данных. При этом ПМП соответствует реализуемой статической модели СтМП. Вместе с тем, в зависимости от способа реализации модели поведения сценарий ЦС (статической модели СтМП, см. опр.2.8) может быть реализован в виде программ п (процедурной модели ПМП), а ответы пользователя От (статической модели СтМП) могут служить данными д (процедурной модели ПМП) для указанных программ.
Описание и переработка модели обучаемого
В данном разделе описывается представление знаний об обучаемом и переработка модели обучаемого МУ (см. опр. 2.13).
Под моделью обучаемого будем понимать системное представление о пользователе, которое может формироваться как на основе заранее собранной информации, так и в ходе наблюдений за интервенциями пользователя. Другими словами, модель не обязательно всегда. полностью задается разработчиком, она может видоизменяться непосредственно в процессе взаимодействия пользователя с системой.
Модель обучаемого можно также представить как совокупность основных характеристик потенциальных пользователей вычислительной системы, которые важно учитывать при подборе индивидуальной диалоговой структуры. Обобщенно в виде математического выражения эта формулировка может быть записана в следующем виде: /=і где МУ - модель обучаемого; А(і) - наименование Ї -ОЙ характеристики пользователя, которая должна быть учтена для корректной адаптации диалога; п - суммарное число характеристик, учтенных в модели.
Каждой характеристике Л(і) соответствует или определенный диапазон, или определенный набор значений. Именно наличие различных вариантов значений одной и той же характеристики помогает моделировать различные системные портреты пользователей. \
Всего портретов столько, сколько возможных комбинаций из реальных значений характеристик, учтенных в этой модели. Чем больше характеристик представлено в модели, тем меньше вероятность того, что разным пользователям будет присвоен один и тот же портрет. \
Совокупность всех возможных портретов в рамках модели пользователя может быть представлена в виде множества:
P = (Pih i = l..m
где {pi} = ( ali,... , aji ,... , ani) - і - тый портрет в рамках заданной модели пользователя; aji - значение характеристики A(i), соответствующее і -тому портрету, п - суммарное число характеристик, учтенных в данной модели пользователя; т - число портретов в рамках данной модели.
Если каждому пользователю вычислительной системы ставится в соответствие свой, отличный от других (за редким исключением), портрет в рамках некоторой модели пользователя, то такой подход идентификации пользователей получил название индивидуального. В качестве отправного момента в данном подходе используется утверждение, что все пользователи гетерогенны, т.е. им свойственны различные характеристики, которые можно предусмотреть заранее, или этих характеристик слишком много, а потому нельзя провести четкую классификацию пользователей.
При стереотипном подходе напротив анализируется принадлежность реального пользователя к определенному портрету (классу), из числа предусмотренных в системе. Число классов жестко фиксировано и устанавливается разработчиком заранее, т.е. в данном подходе за основу принимается утверждение, что пользователи любой вычислительной системы могут быть рассмотрены как гомогенные системы. Каждому пользовательскому классу соответствуют наборы или диапазоны значений каждой из характеристик, учтенной в модели пользователя, причем, если в индивидуальном подходе модель может наращиваться в процессе эксплуатации системы, то здесь она строго фиксирована. Используя стереотипный подход, в частности, довольно сложно организовать полноценную адаптацию к поведению пользователя во время эксплуатации системы. Формирование пользовательского портрета или выявление принадлежности пользователя к определенному классу в рамках заданной модели осуществляется тестирующей подсистемой.
Важнейшее отличие индивидуального и стереотипного подходов в идентификации пользователей заключается в том, что в случае стереотипного подхода, в соответствии с заданной классификацией, разработчик заранее проектирует свой особый интерфейс для каждого класса пользователей, тогда как при индивидуальном подходе это невозможно. По окончании работы тестирующей подсистемы для каждого сгенерированного ею портрета формируется своя диалоговая структура на основании специальных правил, которые так же, как и сама модель пользователя могут быть расширены и модифицированы.
На рис. 3.7 представлена обобщенная модель пользователя, в которую вошли группы характеристик, наиболее часто используемых на сегодняшний день в качестве признаков для определения необходимости внесения изменений в интерфейс.
В общей сложности для внесения в модель пользователя могут быть выделены семь смысловых групп: демографические показатели, индивидуально-психологические особенности, психомоторные качества человека, особенности мыслительного процесса, подготовленность пользователя к работе с системой, мотивация и характер взаимодействия с системой. Демографические показатели подразумевают следующие характеристики: возраст пользователя, пол, антропометрические данные и др. Перечисленные характеристики сами по себе мало влияют на подбор диалоговой структуры, однако, они во многом определяют показатели групп 2 - 4, которые очень важны для организации корректной адаптации диалога.
Группа индивидуально-психологических особенностей пользователя -одна из самых важных: нельзя разработать систему, ориентированную на пользователя без учета психологических аспектов. Сюда относятся такие характеристики, как: отношение пользователя к нововведениям, заинтересованность в помощи, способность самостоятельно принимать решения и др. Учет данного блока характеристик позволяет заинтересовать пользователя системой, увлечь работой с ней, организовать продуктивный процесс обучения, подобрать тип диалога с соответствующей степенью активности или пассивности пользователя в нем, обеспечить его достаточной, но не избыточной помощью, а также наиболее удобными форматами и формами представления информации и т.д.
Следующий блок характеристик носит название психомоторные качества человека. Он связан с восприимчивостью пользователей к разного рода перегрузкам, способностью совершать ошибки и самостоятельно их исправлять. Так, например, к психомоторным качествам можно отнести: способность концентрироваться и переключать внимание, подверженность ошибкам, степень развитости самоконтроля и др. Использование данных характеристик в качестве адаптационных признаков позволяет повысить надежность системы. К примеру, жизненно важные для функционирования системы рабочие процессы могут быть закрыты для некоторых пользователей, может быть организован скрытый контроль, выявляющий ошибки, допущенные пользователем, и исправляющий простейшие опечатки, а для деструктивных операций типа «delete» предусмотрены функции аннулирования или подтверждения и т.д.
Включению в блок особенностей мыслительного процесса подлежат: когнитивные возможности пользователя, тип логического мышления (индуктивный или дедуктивный), асимметричность мышления - способность пользователя неоднозначно воспринимать информацию разную по форме представления и др. Мыслительные особенности должны быть учтены для обеспечения пользователя наиболее удобной по форме представления информацией и помощью, соответствующим образом сруктурированной, а также для организации продуктивной работы с графическим инструментарием и соответствующей сценарной вложенностью процесса обучения.
Оценивание дидактической эффективности
Алгоритмы оценивания качеств ИОС. Для выявления показателей, которыми должны обладать ИС, воспользуемся методами экспертного опроса. Одним из наиболее распространенных методов формирования групповой оценки экспертов является метод, представляющий собой ряд последовательно осуществляемых процедур, направленных на формирование группового мнения по вопросам, по которым ощущается недостаток информации [70]. Характерные черты метода: анонимность, обратная связь, групповое мнение. Анонимность достигается применением специальных вопросников, регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, результаты каждого из которых обрабатываются с помощью статистических методов и сообщаются экспертам. Применение статистических методов [70] позволяет уменьшить разброс индивидуальных оценок и получить обобщенное мнение экспертов. Рассмотрим этапы процедуры выявления показателей качеств, которыми должны обладать ИОС.
Этап 1. Формирование группы экспертов. Существует специальная процедура формирования работоспособной группы экспертов [70]. В нашем эксперименте она будет состоять из специалистов Кубанского Государственного технологического университета, Армавирского Государственного педагогического института и Армавирского финансово-экономического института, работающих в области информатики (всего 10 человек).
Этап 2. Составление анкеты. В классическом варианте работа экспертов начинается с «чистого листа», т.е. каждый эксперт сам предлагает перечень показателей, по которым следует оценивать качества объекта. Ниже приведен перечень свойств, которыми, по мнению экспертов, должны обладать ИОС [66,70,119,130, 155].
Перечень показателей ИОС:
1) открытость системы для дополнений и развития;
2) возможность компоновки системы из отдельных модулей;
3) управление процессом обучения КОП на основе комплекса математических моделей;
4) возможность самообучения системы в ходе работы;
5) возможность интеграции с другими ИС, САПР;
6) обеспечение многофункциональности в работе;
7) адаптация темпа и структуры диалога к характеристикам пользователей;
8) управление длительностью сеанса диалога на основе математической модели;
9) выдача предупреждений со стороны ИОС в случае длительных задержек на введение пользователем сообщения;
10) вывод на печать готового компьютерного курса (текстов обучающих программ, контрольных вопросов для их использования в качестве раздаточного материала);
11) возможность воспроизведения на экране предшествующих фрагментов диалога;
12) обеспечение требуемого времени реакции;
13) сбор, систематизация и выдача по запросу пользователя статистической информации о ходе обучения;
14) возможность вызова из обучающей программы внешних процедур;
15) обеспечение функционирования КОП в сети;
16) возможность создания логической структуры КОП (визуализация графа сценария, формирование текущего урока из библиотеки учебных кадров без перепрограммирования и т.д.);
17) возможность создания КОП в среде ИОС без «прямого» программирования;
18) использование средств естественного языка без видимых ограничений для генерации учебных заданий и анализа сообщений пользователя;
19) наличие средств для анализа ответов различного вида (текстовых, числовых, свободно конструируемых, формул, графиков, и др.);
20) возможность ведения диалога на различных естественных языках согласно предусмотренному обучающей программой сценарию (без перепрограммирования всей КОП);
21) наличие средств для создания учебных кадров (текстовых, графических, анимационных);
22) наличие средств для создания и управления статическими и динамическими графическими изображениями;
23) наличие средств для создания звуковых и видеоэффектов;
24) наличие средств совмещения изображений, полученных с помощью текстового, графического, звукового и других редакторов;
25) наличие средств для создания контекстной помощи;
26) возможность реализации в ИОС активных методов обучения (моделирования, деловых игр и др.);
27) организация процесса обучения с системой;
28) наличие средств автоматизации создания КОП.
Этап 3. Заполнение вопросников, составленных организаторами эксперимента. Важность каждого из показателей оценивается по десятибалльной системе
10 баллов - важное и полезное свойство, которое в настоящий момент может быть и нереализуемым (таких свойств не должно быть много);
8-6 баллов - свойство, которое может и должно быть реализовано в ИС;
4 балла - полезное, но не очень важное свойство (к тому же достаточно легко реализуемое);
2-1 балла - свойство, без которого качество ИС существенно не пострадает;
0 баллов - бесполезное, по мнению эксперта, свойство.
Заполненная анкета одного из экспертов приведена в приложении Е.
Этап 4. Обработка результатов экспертного опроса.
1. Составляется сводная матрица мнений экспертов, в которой указываются баллы для каждого показателя (матрица баллов).
2. От матрицы баллов переходят к матрице рангов. Ранжирование происходит по каждому свойству следующим образом: каждая оценка, данная i-тым экспертом, выражается числом натурального ряда таким образом, что число «1» присваивается наибольшей оценке, а число «п» - минимальной. Если среди оценок і-того эксперта есть одинаковые, то им назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел натурального ряда. В результате строится матрица (табл. 4.1)
