Содержание к диссертации
РАЗДЕЛ 1. РАСПРЕДЕЛЕННБІЕ ОБУЧАЮЩИЕ СИСТЕМЫ: ОБЩИЕ ПРЕДСТАВЛЕНИЯ И ТРЕБОВАНИЯ « «. 16
Глава 1. Современное состояние проблемы. іб
I.L Компьютерные средства обучения... 16
1.2. Системи дисганциоплогообразоиання... ... ... 20
1.3. Инструментальные средства-... ... 22
1.4. Международные образопательї і ые стандарты. .27
В ыводы... ,...„, 34
Глава 2. Проектирование распределенных обучающих систем. 36
2.1. Жизненный цикл ГОС.. ,„...36
2.2. Процессы жизненного цикла РОС... „ ...45
2.3. Постановка задачі і диссертационного исследования ...51
Выводы .,„... ... ...53
РАЗДЕЛ 2. МЕТОДОЛОГИЯ УПРАВЛЕНИЯ КАЧЕСТВОМ РОС НА ОСНОВЕ ОБЪЕКТНО-ОРИЕНТИРОВАННОГО ПОДХОДА 55
Глава 3. Система качества РОС. 55
3.1. Концептуализация. , ...,*. ,55
3.2. Общие факторы оценки качества программных систем... ...59
3.3. Спецнализированные факторы качества распределенных обучающих систем .63
3.4. Сравнительный анализ методик формирования систем качества 70
3.5* Особенности показателен качества для различных видов образовательных ресурсові! компоиенюв РОС... 76
З.й. Согласование построенной иерархии... ..79
3.7. Управление качествам РОС на этапах жизненного никла. ...86
Вы воды ... . ,, 88
Глава 4. Объектно-ориентированная среда оценки РОС w
4.1. Концептуализация ... 90
4.2. Семейство классов требований качества... .93
4.3. Уро вни ощущаемо™ качества .., „„... 97
4.4. Семейство классов гарантий 100
Выводы .—.. — 112
РАЗДЕЛ 3. ПРАКТИЧЕСКИЕ РЕШЕНИЯ їм
Глава 5. Система оценки качества РОС їй
5.1. Функция полезности электронных ресурсов 114
5.2. Бюджетные ограничения и синтез функционал мі ой спецификации .„,..,... 115
5.3. Программная реализация ... 119
Выводы ..,„.,... 120
Глава б. Предметно-ориентированная среда «Архитектура связи вЛВС» 122
6.1, Концептуализация 122
6.2, Язык ЯСМОД 125
6.3, Прсдметно-орнснтнроваипая среда синтеза протоколов связи 128
бАЭкснлуатация и оценка качества системы 141
Выводы 144
Глава 7.Электронные учебники ыв
7.1. Концептуализация 146
7.2.Компьютсрные учебники 148
7.3. Эксплуатация и оценка качества компьютерных учебников 160
Выводы 163
Глава & Контролирующие программы ies
8.1* Концептуализация 165
8.2.Формирование тестов из тестовых задании 169
8,3- Адаптивные методики тестирования 176
8.4. Механизмы выставления оценок 177
8.5. Анализ результатов тестирования 186
8.6» Построение сценариев стратификационных тестов 190
8.7- Программные реализации и эксплуатация 200
8.8, Оценка качества тестовых систем 204
Выводы « 207
Глава 9. Доставка данных: защита информации в процессе миграции 209
9.1. Концептуализация 209
9.2.Унивсрсалыюс пространство конфигураций защиты 211
9.3. Вазовая модель» метрика переходов 215
9.4. Анализатор защиты 221
Выводы 223
ГлаваЮ. Корпоративный ядерный университет: информационно-образовательный портал 225
ЮЛ* Концептуализация 225
10.2,Архитектура портала 228
10.3. Программная реализация н эксплуатация 231
Выводы 235
ЗАКЛЮЧЕНИЕ 237
СПИСОК ЛИТЕРАТУРЫ..- - 241
ПРИЛОЖЕНИЯ 254
Введение к работе
Актуальность. В настоящее время одной из важнейших задач, стоящих перед образованием во всем мире, является развитие новых образовательных форм и технологий и повышение качества образования»
Наиболее перспективным и быстроразвиваюншмея направлением в последние годы является обучение с использованием компьютерных технологий и сетевых коммуникаций, одна из форм которого получила название дистанционное обучение. В этом случае используются принципиально новые формы представления учебной информации в виде компьютерных учебников, виртуальных лабораторных практикумов, тренажеров, предметно-ориентированных сред, контролирующих программ, справочников и баз данных учебных материалов. Доставка учебной информации осуществляется с помощью локальных и корпоративных сете», так и телекоммуникаций, например сети Интернет, Формы обратной связи между учащимися и преподавателями и учащимися между собой также изменяются: все большей популярностью пользуются теле-, видео- и почтовые конференции, чаты и форумы, доски объявлений и системы электронного голосования, электронная почта и заполнение активных электронных форм. Контроль знаний осуществляется с помощью специальных тестирующих компьютерных программ. Таким образом, появляются новые образовательные технологии, опирающиеся на телекоммуникации и компьютерные средства представления информации.
Используя в качестве критерия возможность доставки информации, т. е. способ коммуникации преподавателей и обучаемых, новые образовательные технологии можно классифицировать следующим образом.
Методы обучения посредством взаимодействия обучаемого с образовательными ресурсами при минимальном участии преподавателя и других обучаемых (самообучение).
• Методы индивидуализированного преподавания и обучения, для которых характерны взаимоотношения одного студента с одним преподавателем или одного студента с другим студентом (обучение «один к одному»).
• Методы, в основе которых лежит представление студентам учебного материала преподавателем или экспертом, (обучение «один ко многим»).
• Методы, для которых характерно активное взаимодействие между всеми участниками учебного процесса (обучение «многие ко многим»).
В конце 90-х годов возникает новая отрасль знаний - телематика, находящаяся на стыке информатики и исследований в области телекоммуникаций. Область применения новой науки чрезвычайно широка, и создание на ее основе новых образовательных технологий привело к необходимости международной стандартизации. К новейшим разработкам в области стандартизации, в частности относятся [1-7]:
• проект японской ассоциации образования Advanced Learning Infrastructure Consortium (ALIC),
• Европейский проект стандарта Alliance of Remote Instructional Authoring and Distribution Networks of Europe (ARIADNE),
• материалы образовательного консорциума IMS Global Learning Consortium.
• использование телематических систем для обучения работников авиационной отрасли Aviation Industry СВТ Committee (ЛІСС),
• стандарт LTSA 1484 в области архитектуры обучающих систем Institute of Electrical and Electronic Engineers (IEEE) Learning Technology Standards Committee,
• объединенный проект AICC, IMS и IEEE под названием SCORM (Shareable Content Object Reference Model) - модель объектов с разделяемым контентом,
• проект стандарта в области дистанционного образования Российской Федерации.
Этими стандартами вводится понятие современных обучающих систем, как систем для приобретения знаний и умений посредством доступа к информации и обучения, включающих в себя все информационные технологии и другие формы обучения на расстоянии. Проведенный сравнительный анализ вышеназванных источников показывает, что
• полностью отсутствуют какие-либо данные о том, насколько важен тот или иной элемент архитектуры, как изменится поведение системы в отсутствие какого-либо класса или компонента, можно ли расширять набор предлагаемых компонентов и как это повлияет на работоспособность систем; • не учитываются педагогические аспекты использования системы, например, ступени системы познания, содержательность учебного материала, усвояемость и т.д.
Развитие дистанционного образования в России привело к необходимости использования телематических систем. Принимается Концепции создания и развития единой системы дистанционного образования (ДО) в России, и количество вовлеченных в нее образовательных учреждений стремительно растет. В настоящее время их насчитывается более сотни. Для дальнейшего развития и координации усилий в области ДО созданы соответствующие органы в Министерстве образования РФ, Евразийская Ассоциация ДО, Ассоциация Международного образования, принята Концепция создания и развития Системы ДО Российской Федерации и проведен ряд других мероприятий.
В Концепции создания и развития ДО в РФ приводится следующее определение. Дистанционное образование - комплекс образовательных услуг, предоставляемых широким слоям населения в стране и за рубежом с помощью специализированной информационной образовательной среды, базирующейся на средствах обмена учебной информацией на расстоянии (спутниковое телевидение, радио, компьютерная связь и т.п.). Иными словами, дистанционное обучение представляет собой совокупность информационных технологий, обеспечивающих доставку обучаемым основного объема изучаемого материала, интерактивное взаимодействие обучаемых и преподавателей в процессе обучения, предоставление студентам возможности самостоятельной работы по освоению изучаемого учебного материала, а также оценку их знаний и навыков, полученных в процессе обучения.
В пропаганду, организацию научных исследований и внедрение в педагоги чес кую практику идей ДО внесли вклад А.А. Андреев, С.Г. Григорьев, В.П. Тихомиров, В.Г. Кинслев, А.Д. Иваппиков, Я.А. Ваграменко, Ю.А. Чернышев, Л.Д. Забродин, [В.В.Семенов], А.И. Галкина, А.Г. Шмелев, В.А. Самойлов, В.П. Невсжин, И.А. Липский, А.А. Золотарёв, В.В. Рождественский, И.П. Норенков, Е.С.Полат, В.А. Каймин, Ю.Б. Рубин [9-17, 55].
Несмотря на большое количество разработок и проектов в области ДО, вопрос об оценке его качества и эффективности до сих пор остается открытым. Открытая дискуссия, проводимая в 2001 году на сайте informika.ru Министерства образования РФ, показала это очень ярко. Большое количество предложений, несмотря на ссылки на ISO 9003, указывало на отдельные показатели качества систем ДО, без каких-либо значительных попыток систематизации. Результатом этой дискуссии является проект ГОСТа по ДО [7], в котором также недостаточно присутствует систематизация. Так, в нем вообще не упоминаются такие важнейшие показатели, как эффективность средств обучения (методическая и дидактическая), безопасность их использования, достоверность полученных знаний учащимися и т.д.
Отсюда, среди проблем, связанных с качеством современного образования в целом, особую значимость приобретает проблема управления качеством распределенных обучающих систем (РОС).
В данной работе вводится понятие РОС как системно организованной совокупности средств передачи данных, информационных ресурсов, протоколов взаимодействия, аппаратно-программного, учебно-методического и организационного обеспечения, которая ориентируется на удовлетворение образовательных потребностей пользователей.
Архитектура современных распределенных обучающих систем должна включать в себя географически разнесенные, но тесно интегрированные между собой компоненты в виде процессов (обучаемая сущность, оценка, доставка, инструктор) и хранилищ (информация по учащемуся, образовательные ресурсы) [5]. Поскольку назначением РОС является предоставление доступа к образовательным ресурсам, обучение и контроль знаний на основании контекста взаимодействия учащегося с системой, то они охватывают целый класс программных систем учебного назначения, от сетевого компьютерного учебника или сервера с базой данных методических материалов до сложных и многофункциональных систем дистанционного обучения.
Любая распределенная обучающая система представляет собой продукт, качество которого может быть определено согласно соответствующим стандартам. Международные стандарты ISO 9000, 9001, 9002 и 9003 (редакция 2000 года)
содержат универсальные требования к системе качества и определяют различные модели его обеспечения на разных этапах жизненного цикла [19-21].
Для получения качественного продукта необходимо внедрение так называемой системы качества. Следуя международному стандарту ISO 8402, можно определить систему качества как совокупность организационной структуры, методик, процессов и ресурсов, необходимых для осуществления общего руководства качеством продукции, производимой организацией-Целью требований стандартов серии ISO 9000 является удовлетворение требований с позиции четырех аспектов, являющихся ключевыми для качества продукции (технических средств, программного обеспечения, отработанных материалов и услуг):
• качество благодаря определению потребностей пользователей, т.е. благодаря определению и модернизации продукции с целью ее соответствия требованиям и возможностям рынка;
• качество благодаря конструкции, т.е. благодаря встраиванию в продукцию характеристик, способствующих тому, чтобы она отвечала требованиям и возможностям рынка;
• качество благодаря соответствию конструкции, т.е, благодаря поддержанию постоянного соответствия конструкции, реализации характеристик, заложенных в проект,
• качество благодаря техническому обслуживанию в процессе ее эксплуатации по мере необходимости, чтобы сохранить желаемые характеристики.
Таким образом, обеспечение качества представляется как интегрированный процесс на протяжении всего жизненного цикла системы, который обеспечивает создание качества по мере продвижения разработки, а не фиксирует его на выходе процесса. Качество определяется как набор характеристик системы, относящихся к ее способности удовлетворить установленные и предполагаемые потребности клиентов [14]- Список требований и критериев оценки показателей качества программных систем общего назначения был разработан в 1994-2002 гг. И. Соммервилем, В. Липасвым, Дж. Воасом , Д. Гарвииым [23-26], Стандарт ISO 9126 (1998 г.) определяет шесть базовых характеристик для оценки качества программных систем [21]. Сравнительный анализ, проведенный автором диссертации между моделями Соммсрвиля, Гарвина, Редмана [199] и ISO 9126, устанавливает, что эти модели отражают требования к РОС лишь частично. Это связано с тем, что распределенные обучающие системы обладают очень специфической областью использования, и их потенциальными пользователями выступают преподаватели, учащиеся, методисты, инструкторы и т.д. Такую предметную область указанные модели не рассматривают, С другой стороны, речь идет о программных системах, и критерии их оценки должны учитывать основные направления развития.
В данной работе предлагается объединить и систематизировать два направления, связанных и с оценкой качества РОС как программных систем, и с оценкой их возможностей использования в учебном процессе. В результате была разработана иерархическая система требований качества представленная в виде показателей качества, их значений, критериев и методов оценки (качество благодаря определению потребностей пользователей).
На основе анализа требований, предъявляемых Российским центром информатизации образования (РОСЦИО), Министерством образования Российской Федерации, с учетом опыта большого количества ВУЗов, а также с учетом современных тенденций в образовании и уровня развития компьютерных технологий [18-31, 34, 45-57, 68, 77-79, 83-86], в данной работе были сформулированы требования, которым должна удовлетворять распределенная обучающая система. Соответствие этим требованиям позволило автору диссертации предложить ряд характеристик, отражающих свойства указанных обучающих систем, К ним относятся:
• добротность, характеризующая внутренние достоинства реализации системы с технической стороны;
• надежность, т.е, способность системы сохранять готовность функционирования при установленных условиях за установленный период;
• безопасность, т.е. свобода от неприемлемого риска в виде угроз, классифицируемых в зависимости от возможности злоупотреблений, возникающих в результате действий человека, как преднамеренных, так и непреднамеренных;
• корректность, т.е. соответствие реализации системы се спецификации ( в данном случае оценивается функциональная полпота и непротиворечивость);
• интерфейс, т.е. средства общения с пользователями системы;
• стоимость т.е. затраты на закупку» эксплуатацию и модернизацию;
• открытость характеризует модифицируемость системы, т.е. се способность подвергаться изменениям;
• приемлемость т.е. соответствие сформулированным заказчиком требованиям;
• ощущаемое качество, которое определяется исходя из назначения системы, включает в себя соответствие дидактическим, педагогическим и прочим требованиям, представленным большим объемом соответствующих материалов. Ощущаемое качество распределенных обучающих систем складывается из нескольких факторов.
Далее, для решения проблемы управления качеством РОС, в частности, была создана система оценки качества, т. с. иерархия показателей качества, установлены соответствующие шкалы измерений для каждого показателя, получены экспертные оценки для определения значимости и удельного веса каждого показателя в общей согласованной иерархии. Система оценки качества обеспечивает качество благодаря конструкции и соответствия конструкции. Затем, в соответствии с разработанной системой оценки качества, автором диссертации была разработана методология управления качеством РОС, которая предоставляет определенные гарантии того, что как в процессе разработки РОС, так и при эксплуатации и сопровождении будут обеспечены требуемые значения показателей качества (качество благодаря обслуживанию). Методология позволяет:
• до начала разработки на основании суждений заказчика (эксперта) о важности тех или иных свойств определить цели качества т.е. взаимоувязанную систему требований как общих, так и специализированных, к системе РОС, отраженную в спецификации, устанавливать их значимость; определить контрольные точки внутри жизненного цикла системы для проверки достижимости целей; • определить необходимые метрики (показатели качества, шкалы и способы измерения), которые измеряют результаты действий проекта в контрольных точках жизненного цикла проекта и оценивают, были ли цели качества достигнуты; • гарантировать требуемые заказчиком значения показателей качества па основе использования соответствующих базовых классов и элементов среды оценки как идентифицирующих и корректирующих действий качества.
Возможности предлагаемой методологии управления качеством РОС подтверждены на реальных примерах.
Особую аюуальность проблема измерения и стандартизации качества РОС имеет для Московского инженерно-физического института (МИФИ), готовящего специалистов в области всех видов ядерных технологий. По этим специальностям запрещено заочное обучение, поэтому широкое внедрение РОС в МИФИ возможно только при полной гарантии качества обучения. Этим объясняется то обстоятельство, что практическая работа автора проводилась па базе Экономико-аналитического института (ЭЛИ) МИФИ, Она задумана и выполнена как полномасштабный эксперимент, предваряющий перспективные работы но созданию РОС корпоративного ядерного университета.
Цели и задачи. Целью данной диссертационной работы является решение крупной научной проблемы повышения качества обучающих систем, имеющей важное хозяйственное значение.
Для достижения указанной цели были решены следующие задачи.
• Предложена система требований качества в виде согласованной иерархии показателей, объединяющая и систематизирующая характеристики РОС как программных систем и их возможностей использования в учебном процессе,
• Создана система оценки качества РОС, разработаны критерии и шкалы измерений для каждого показателя, получены экспертные оценки для определения значимости и удельного веса каждого показателя,
• Для управления качеством РОС разработаны положения по обеспечению качества на каждом этапе жизненного цикла, представленные, в частности, в виде объектно-ориентированной среды с соответствующим набором базовых классов требований качества и классов гарантий.
• Проведены проектирование распределенных обучающих систем различного назначения на основе предлагаемой методологии и оценка качества указанных разработок. Областью исследования являются критерии и методы оценки показателей качества сетевых программных приложении, основанных на новых информационных технологиях (паспорт специальности 05.13 11 - п.п. 2Л, 2.6 и 2.17). Научная новизна работы заключается в следующем.
1. Предложена система оценки качества распределенных обучающих систем в виде согласованной иерархии показателей качества, причем для каждого показателя определена шкала и способ измерений, значимость и удельный вес.
2. Предложена методология управления качеством РОС на всем жизненном цикле системы, представленная в виде объектно-ориентированной среды,
3. Для одного из видов электронных ресурсов - предметно-ориентированной среды учебного назначения - разработан язык формальных описаний сетевых протоколов и cepsISOB ЯСМОД. Его использование при проектировании распределенных приложений позволяет управлять такими характеристиками качества, как надежность и корректность.
4. Для таких компонентов РОС, как контролирующие программы, предложены математические модели и алгоритмы формирования адаптивных и стратификационных тестов, адекватной оценки и диагностики результатов контроля знаний учащихся. Их применение повышает эффективность РОС.
5. Для обеспечения безопасности при доставке информации, в том числе учебного назначения, предложена математическая модель универсального доступа к файловым объектам, позволяющая обеспечить целостность, конфиденциальность и доступность данных при миграции между различными файловыми системами.
6. Предложена архитектура информационно-образовательного портала как прототипа корпоративного виртуального университета, обеспечивающего функции организации учебного процесса.
Практическая значимость. Па основе предлагаемой методологии управления качеством систем учебного назначения осуществлена разработка следующих компонентов РОС:
• программной реализации системы оценки качества распределенных обучающих систем и их отдельных компонентов «ОЦЕНКА_РОС»;
• предметно-ориентированной среды «Архитектура связи ЛВС»;
• семи сетевых компьютерпых учебчиков;
• распределенных систем адаптивного тестирования и тренинга ВИОТ и ВИОТ-2;
• рабочего места администратора гетерогенной сети для обеспечения инвариантного санкционированного доступа к мигрирующим образовательным ресурсам;
• информационно-образовательного портала ЭАИ МИФИ. Эксплуатация указанных систем показала, что все они обладают высокими значениями показателей качества, а значения функции полезности указанных программных продуктов лежат в допустимых диапазонах. На защиту выносятся следующие положения:
1) предложенная система оценки качества распределенных обучающих систем, включающая в себя согласованную иерархию показателей качества, установленные шкалы измерений, вычисленные значения и удельный вес каждого показателя па основании полученных экспертных оценок;
2) разработанные подсистемы оценки качества всех видов электронных ресурсов, для которых предложены показатели качества, для которых сформирована иерархия показателей, определена значимость и удельный вес каждого показателя, проведено согласование иерархий; для различных видов электронных ресурсов получены экспертные оценки допустимых значений различных факторов качества и определены значения функции полезности для каждого вида электронных ресурсов;
3) предложенная методология управления качеством РОС» представленная в виде объектно-ориетпроваппон среды как набор базовых классов и связей между ними, использование которой гарантирует требуемое качество;
4) программная реализация системы управления качеством РОС «ОЦЕНКА_РОС»,
5) разработанный язык синтеза формальных описаний сетевых протоколов и CCPBISOB ЯСМОД,
6) созданные на основе предлагаемой методологии следующие компоненты РОС:
• предметно-ориентированная среда обучения «Архитектура связи локальных сетей»;
• семь компьютерных учебников, функционирующих в локальных и корпоративных сетях и Интернет;
• распределенная адаптивная система тренинга и тестирования «ВИОТ-2»;
• рабочее место администратора сети, обеспечивающее инвариантный санкционированный доступ к данным при миграции в гетерогенных корпоративных сетях;
• информационно-образовательный портал для доступа к распределенным образовательным ресурсам как прототип корпоративного ядерного университета.
Авторский вклад. Все выносимые на защиту результаты и положения диссертационной работы получены и разработаны лично автором, или при его непосредственном участии.
Апробации работы. Основные научные результаты, полученные в ходе диссертациоппого исследования, докладывались и обсуждались на следующих конференциях, симпозиумах, совещаниях и семинарах:
IX Всесоюзном семинаре по вычислительным сетям (Рига, 1986); X Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Ижевск, 1987); XI Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Орджоникидзе, 1988); ХШ Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Симеиз, 1990); ХУ Всесоюзной школе-семинаре по вычислительным сетям» (Ленинград, 1990); XIV Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Феодосия , 1991); Международном симпозиуме «Логическое управление. Интеллектуальные информационные технологии и стратегии» (Москва, 1992); Всемирном конгрессе ITS-93 «Информационные коммуникации, сети, системы и технологии» (Москва, 1993); XVII Международном симпозиуме «Логическое управление.
Интеллектуальные информационные технологии и стратегии» (Москва, 1994); конференции «Информатика и новые информационные технологии в системе ЛИЦЕЙ-ВУЗ» (Москва» 1995); Конференции «Телекоммуникации и новые информационные технологии в системе ЛИЦЕЙ-ВУЗ» (Москва, 1997); Научном семинаре «Электронный бизнес. Выпуск 4».(Москва, МЭСИ, 2001); IX - XI Международных научно-технического семинарах «Сопремснные технологии в задачах управления, автоматики и обработки информации» (Алушта, 2000-2002); Научных сессиях МИФИ 1998-2003 годов.
По теме диссертации опубликована 81 работа, общим объемом 108 печатных листов, в том числе монография, статьи в реферируемых журналах и два, выполненных в рамках Программы сотрудничества Министерства образования Российской Федерации и Министерства Российской Федерации по атомной энергии по направлению «Научно-инновационное сотрудничество», препринта.
Достоверность разработанной методологии управления качеством, математических моделей и методов, алгоритмов и программных средств подтверждается соответствующими актами о внедрении, документами о присвоении номеров государственной регистрации программным продуктам в Российском фонде компьютерных учебных программ, серебряной медалью ВДНХ СССР, почетными дипломами выставки-конференции «Телекоммуникации и новые информационные технологии в образовании».
Структура и объем работы. Диссертационная работа состоит из введения, трех разделов, десяти глав, заключения, 19 приложений, списка использованной литературы из 200 наименований. В работе содержится 39 таблиц и 37рисунков.
