Содержание к диссертации
Введение
Глава 1. Оценка качества информационных технологий в образовании и анализ современных методов экспертной оценки 10
1.1. Информационные технологии в образовании 10
1.2. Системы автоматизированного проектирования и применения ЭУП 15
1.3. Международные стандарты оценки качества 21
1.4. Экспертная оценка и ЛПР 25
1.5. Анализ существующих экспертных систем 41
Глава 2. Разработка аттестационной модели и методик согласования экспертных оценок программных продуктов учебного назначения 45
2.1. Разработка аттестационной модели жизненного цикла программного продукта учебного назначения 45
2.2. Категории процессов, связанные с учебной деятельностью 53
2.3. Методика подготовки рекомендаций по повышению зрелости процессов 57
2.4. Методика определения согласованности экспертных оценок каждого эксперта при использовании метода анализа иерархий 62
2.5. Методика определения согласованности экспертных оценок нескольких экспертов при использовании метода анализа иерархий 64
2.6. Разработка методики проведения попарной оценки с помощью анкет... 68
2.7. Итеративная процедура согласования экспертных оценок 72
Глава 3. Создание системы оценки качества программных продуктов учебного назначения с использованием разработанных методик 74
3.1. Обоснование выбора среды разработки 74
3.2. Алгоритм функционирования системы поддержки принятия решений 77
3.3. Исследование вычислительной сложности алгоритмов умножения матриц попарных сравнений 81
3.4. Функциональные возможности разработанной системы 84
Глава 4. Применение разработанной системы и методик для решения практических задач 96
4.1. Оценка качества программного продукта ТОР 96
4.2. Возможные применения результатов диссертации 110
Заключение 112
Библиографический список использованной литературы 114
Приложения 123
- Системы автоматизированного проектирования и применения ЭУП
- Категории процессов, связанные с учебной деятельностью
- Исследование вычислительной сложности алгоритмов умножения матриц попарных сравнений
- Возможные применения результатов диссертации
Введение к работе
Актуальность работы. В настоящее время наблюдается скачкообразный рост количества программных продуктов, выпускаемых как государственными высшими учебными заведениями (ВУЗами), так и коммерческими организациями, работающими в области дистанционного обучения. В связи с этим все более актуальной становятся проблемы оценки качества программных продуктов, используемых в учебном процессе и изучение совместимости программных продуктов различных ВУЗов.
Цель и задачи. Целью настоящей работы является решение следующей научной проблемы: разработка и реализация системы аттестации качества программных продуктов учебного назначения на основе теории принятия решений и международных стандартов оценки качества программных продуктов. В соответствии с поставленной целью требуется решить следующие задачи:
провести анализ современных образовательных технологий и стандартов оценки качества;
разработать аттестационную модель для проведения аттестации качества программных продуктов учебного назначения;
создать методику определения согласованности оценок разных экспертов при использовании метода анализа иерархий (МАИ) на основе теории математической статистики;
создать методику использования лингвистических переменных при проведении экспертной оценки по МАИ;
разработать итеративную процедуру согласования экспертных оценок для распределенных систем поддержки принятия решений;
построить распределенную систему поддержки принятия решений, работающую с применением разработанных методик на основе теории принятия решений;
- решить практические задачи по аттестации качества программных
продуктов учебного назначения с помощью построенной системы.
Объект исследования представляет собой порождающий проблемную
ситуацию и избранный для изучения процесс аттестации качества
программных продуктов учебного назначения.
Предметом исследования являются аттестационные модели, стандарты
качества и методы теории принятия решений.
Методы исследования. Для достижения поставленной в работе цели были
выбраны методы математической статистики и теории принятия решений. Для
создания системы поддержки принятия решений была выбрана технология
Active Server Pages и Microsoft SQL Server. Программный код разрабатывался в
среде InterDev.
Методологическая основа. Работа выполнена на основе методологии теории принятия решений и методологии объектно-ориентированного (00) построения программных систем.
Достоверность полученных результатов подтверждается теоретической проработкой созданных методик, их практическим применением и апробацией работающей на их основе системы поддержки принятия решений. Научная новизна. Автор видит новизну полученных в работе результатов в следующем:
- разработана аттестационная модель для аттестации качества программных
продуктов учебного назначения, учитывающая рекомендации ИСО 15504 и
процессы, связанные с образовательной деятельностью;
впервые разработана методика оценки согласованности экспертных оценок, полученных при использовании МАИ, с использованием распределения Стьюдента;
разработана методика использования лингвистических переменных в МАИ для составления анкет;
- разработана итеративная процедура согласования экспертных оценок в
распределенных системах поддержки принятия решений;
- создана и апробирована оригинальная система оценки качества
программных продуктов учебного назначения, позволяющая не только оценить
зрелость процессов, составляющих жизненный цикл программных продуктов,
но и дать рекомендации по их улучшению.
Оценка теоретической значимости результатов работы. Полученные в работе результаты являются теоретической основой создания распределенных систем для аттестации качества программных продуктов. Методики оценки согласованности экспертных оценок в МАИ и использования лингвистических переменных могут быть использованы в различных задачах, связанных с разработкой распределенных систем поддержки принятия решений.
Практическая ценность результатов работы. Практическая ценность полученных результатов состоит в создании методик использования теории математической статистики, теории принятия решений и работающей на,их основе системы поддержки принятия решений для аттестации качества программных продуктов учебного назначения и получения рекомендаций по повышению качества.
На защиту выносятся следующие положения.
Аттестационная модель жизненного цикла программного продукта учебного назначения;
Методика определения согласованности оценок разных экспертов при использовании метода анализа иерархий (МАИ) на основе теории математической статистики;
Методика использования лингвистических переменных в МАИ для составления анкет;
Итеративная процедура согласования экспертных оценок в распределенных системах поддержки принятия решений;
- Система поддержки принятия решений, работающая на основе разработанных методик и результаты ее апробации.
Внедрение результатов. Программная реализация в виде системы поддержки принятия решений по качеству программных продуктов учебного назначения используется в НИИ Образовательных технологий МЭСИ для самоаттестации разрабатываемых программных продуктов и повышения зрелости процессов, составляющих жизненный цикл программных продуктов. Апробация результатов работы. По основным результатам работы были сделаны научные доклады, которые обсуждались и получили в целом одобрение на Всероссийской конференции "Проблемы научно-методического и организационного обеспечения единого образовательного пространства" Москва, 2001 г., Первой Всероссийской молодежной конференции IT-Youth 2002, г. Москва, 2002 г., Всероссийской конференции "Роль информационных технологий при обучение по программе MB А", Москва, 2003 г.; Личный вклад. Личный вклад автора заключается в разработке аттестационной модели для аттестации качества программных продуктов учебного назначения, методик на основе теории математической статистики и теории принятия решений и их реализации в системе поддержки принятия решений. Публикации. Основные результаты диссертации изложены в 4 научных статьях (3 с соавтором) и 3 тезисах научных докладов (1с соавтором). Структура и объем диссертации. Диссертационная работа состоит из списка основных сокращений, введения, 4 глав, выводов по каждой главе, заключения, списка использованной литературы и приложения.
- В первой главе рассматривается необходимость аттестации качества
программных продуктов учебного назначения, проводится обзор
информационных технологий, применяемых в образовании, стандартов оценки
качества программных продуктов и степени внедрения этих технологий.
- Вторая глава посвящена разработке аттестационной модели для оценки
качества программных продуктов учебного назначения и методик
согласования экспертных оценок. При разработке аттестационной модели были учтены рекомендации ИСО 15504, а также созданы категории процессов, связанных с образовательной деятельностью.
В третьей главе дается обоснование выбора платформы для разработки системы поддержки принятия решений, описывается алгоритм функционирования и возможности разрабатываемой системы. В главе также проведено исследование алгоритмов умножения матриц для выбора оптимального алгоритма с точки зрения отношения точность/вычислительная сложность.
Четвертая глава посвящена применению разработанных методик для решения практических задач по аттестации качества программных продуктов учебного назначения, разработанных в НИИ Образовательных технологий МЭСИ.
Диссертация изложена на 122 страницах, содержит 19 рисунков, 20 таблиц. Список использованной литературы включает 109 наименований, в том числе 44 на английском языке. Приложения на 38 страницах содержат 10 таблиц и 1 акт о внедрении.
Системы автоматизированного проектирования и применения ЭУП
Системы автоматизированного проектирования и применения ЭУП являются приоритетным направлением развития информационных технологий в образовании. Росту популярности САПРиП ЭУП способствовала интеграция систем данного класса с глобальной сетью Интернет, что позволяет предоставлять образовательные услуги практически в любой точке мира ив любое время. Среди наиболее распространенных зарубежных и отечественных САПРиП можно выделить Рассмотрим некоторые из них более подробно. WebCT - один из наиболее эффективных инструментов, представленных сегодня на рынке. Этот инструмент разработан Университетом Британской Колумбии.
Система позволяет создавать ЭУП со следующим набором элементов: пособие по изучению курса, материал курса, доска объявлений, личная почта, часто задаваемые вопросы, календарь курса, тесты, чат, информация деятельности студента, домашние страницы студентов, зачетная книжка студента, доска для рисования, глоссарий, алфавитный указатель, поиск по материалам курс, работа с CD-ROM и дополнительными материалами. WebCT поддерживает четыре типа пользователей: 1. Администратор - пользователь, обслуживающий сервер с WebCT, занимающийся учетными записями пользователей, резервным сохранением информации и общим администрированием. 2. Дизайнер - пользователь, создающий электронные учебные курсы и использующий их в учебном процессе. 3. Помощник преподавателя, пользователь имеющий доступ к части функций дизайнера для проведения занятий с использованием электронного учебного курса. 4. Студент. В WebCT реализованы практически все процессы, связанные с организацией удаленной работы студента и преподавателя, а также имеется большее количество готовых курсов (к сожалению, в основном с материалами на английском языке).
Blackboard мощный инструмент для создания компьютерных обучающих курсов. Эта оболочка разработана компанией Blackboarb, Вашингтон. Система работает на платформе UNIX и NT с использованием Microsoft SQL Server 7. Основные элементы ЭУП создаваемые с помощью Blackboard: - Объявления. Публикуются на главной странице, т.е. доступны всем пользователям системы. - Информация о курсе. Публикуется план курса, условия обучения, информация о зачетных мероприятиях, а также другая информация, необходимая студенту. - Информация о сотрудниках. Фиксируется информация о персонале и преподавательском составе. - Документы курса. Содержание курса и его организационная структура. - Задания. В этом разделе находятся задания связанные с курсом, а так же тесты и экзамены, которые будут использоваться в этом курсе. - Ссылки на другие страницы. - Контроль студентов. Содержатся инструменты, для создания тестов, экзаменов и опросов. - Зачетная книжка. В зачетной книжке записаны и представлены все оценки конкретного студента, полученные за разные зачетные мероприятия. - Статистика курса. Информация о курсе: как часто студенты посещают курс в целом и отдельные его разделы, какие страницы и ссылки используются наиболее часто. - Помощь. - Почта. - Календарь курса. - Задачи курса. Программа Blackboard обладает возможностями сопоставимыми с WebCT и отличается реализацией хранилищ данных и интерфейса.
Категории процессов, связанные с учебной деятельностью
На первом уровне выделяются два элемента - объект обучения и среда обучения (рис. 3). Здесь рассматриваются вопросы влияния среды обучения на обучаемого с позиций передачи знаний, обмена информацией при взаимодействии с обучающей средой, представленной в виде Интернета, лаборатории, компьютеров, библиотеки, книг, мультимедиа, газет, телевидения, родителей, педагогов и других обучаемых. Совместная работа обучаемых представляется в виде внутреннего взаимодействия, аналогичного взаимодействию распределенных баз данных в процессе создания единой базы данных. Среда обучения представляет собой фактор влияния на обучаемого в процессе взаимодействия. На втором уровне формулируются задачи, связанные с особенностями интерфейса образовательной технологической системы в процессе взаимодействия с обучаемым. При этом акцентируется внимание на природе человека, отличающей его от компьютера. Уровень 3 анализирует образовательную технологическую систему с позиций информационных технологий. Здесь рассматриваются процессы (объект обучения, оценивание, педагог, поставка), хранилища данных (успеваемость, учебные ресурсы) и основные информационные потоки (наблюдение за поведением, информация об оценках, информация о предпочтениях и результатах выполнения работ, запрос, информация каталога, указатели, учебный контент, мультимедиа, контекст взаимодействия и предпочтения в обучении). Алгоритм процессов взаимодействия внутри образовательной технологической системы может быть представлен в виде восьми этапов: - выбор стиля, стратегии, методов обучения участниками учебного процесса с определением предпочтений обучаемого; - наблюдение и оценка обучаемого в процессе взаимодействия с мультимедиа; - формирование информации о результатах выполнения заданий и оценивания в процессе оценки знаний; - накопление информации в базе данных по успеваемости обучаемого с учетом предыстории его обучения; - просмотр педагогом информации об оценках обучаемого и его предпочтениях, предысторию и цели обучения; - подбор педагогом учебных ресурсов в каталоге через запрос; - выделение педагогом адресов учебных ресурсов, найденных в каталоге, установление режима их поставки обучаемому; - реализация поставки учебных ресурсов обучаемому посредством интерактивных методов мультимедиа.
На уровне 4 устанавливается информационная нагрузка взаимосвязи между системными компонентами образовательной технологической системы в процессе обучения в зависимости от моделей и технологий обучения. Уровень 5 обеспечивает интероперабельность образовательной технологической системы, описываются основные элементы, ответственные за ее интероперабельность. В качестве таких элементов рассматриваются коды, интерфейсы прикладного программирования (API), протоколы. Представленные уровни позволяют моделировать практически любую образовательную технологическую систему, которая предусмотрена в системе непрерывного образования. Основные процессы, реализующие взаимодействия обучаемого и педагога представлены на третьем уровне (рис. 4). Для оценки качества программных продуктов учебного назначения из представленных на рис. 4 процессов были составлены следующие категории аттестационной модели [23]: - поддержка на уровне учебного заведения; - разработка курса; - организация учебного процесса; - поддержка обучаемых; - успеваемость и контроль знаний. Процессы, относящиеся к категории "Поддержка на уровне учебного заведения", отражают политику всего учебного заведения по внедрению в учебный процесс программных продуктов учебного назначения.
Сюда относятся поощрение преподавателей, защита авторских прав и техническая поддержка внедрения в учебный процесс программных продуктов. Категория "Разработка курса" содержит процессы, отражающие функциональную полноту и пригодность электронного учебного курса для использования в учебном процессе. В категории "Организация учебного процесса" рассматриваются процессы, реализующие интерфейс обучаемого и педагога, а также взаимодействия между ними. Категория "Поддержка обучаемых", отражает доступность обучаемому технической помощи и дополнительных информационных ресурсов. Процессы, связанные с оценкой знаний обучаемых, собраны в категории "Успеваемость и контроль знаний". Здесь представлены методики проведения оценки знаний, образовательные и технологические стандарты изучения результатов обучения и методы их использования для модификации учебных программ. Таким образом, разработана аттестационная модель, используя которую в системе поддержки принятия решений, можно проводить оценку качества программных продуктов учебного назначения. Система должна не только проводить оценку качества, но и давать рекомендации по улучшению зрелости процессов, связанных с жизненным циклом программного продукта учебного назначения. Для получения таких рекомендаций в работе предложена следующая методика.
Исследование вычислительной сложности алгоритмов умножения матриц попарных сравнений
Исследование показало, что возведение матрицы в квадрат дает результаты точные до двух знаков после запятой, т.е. результат будет иметь погрешность в 1%. Возведение матрицы в шестнадцатую степень позволяет получать результаты с погрешностью 0,1%, что является вполне приемлемым для решения задачи выбора лучшего варианта. Дальнейшее увеличение степени, в которую возводится матрица, дает увеличение точности получаемых результатов до 4-5 знаков после запятой, но при этом временные затраты на проведение вычислений увеличиваются в кубической степени и возможен выход за пределы диапазона доступных значений для выбранного варианта представления данных.
На основе приведенных результатов было принято решение использовать для вычисления векторов приоритетов стандартный алгоритм умножения матриц, с помощью которого производить возведение матриц в шестнадцатую степень и делить суммы элементов каждой строки матрицы на общую сумму элементов матрицы.
Рассмотрим функциональные возможности системы поддержки принятия решений, реализующей представленные алгоритмы.
Представленные в главе 2 методики программно реализованы в системе оценки качества программных продуктов учебного назначения, которая входит в состав информационно-аналитической системы послевузовского Интернет-образования "Дистанционная аспирантура МЭСИ". Информационно-аналитическая система разработана коллективом: д.т.н. Титарев Л.Г., инженеры Гриценко А.В., Королев И.В., Титарев Д.Л. и Поповский А.В. [17, 23, 24, 25, 26]. Личный вклад автора состоит в программной реализации методик проведения попарной оценки с помощью анкет и определения согласованности групповых экспертных оценок. На их основе реализован механизм выработки рекомендации по улучшению процессов аттестационной модели, исследуемых программных продуктов. Система аттестации программных продуктов учебного назначения может использоваться независимо от информационно-аналитической системы послевузовского Интернет-образования.
Система осуществляет компьютерную поддержку процесса оценки качества программных продуктов учебного назначения, позволяя экспертам подключаться к серверу системы поддержки принятия решений через сеть Интернет (рис. 10). Система оценки качества поддерживает три типа пользователей: - Администратор. Встроенная учетная запись, с помощью которой осуществляется управление учетными записями и объектами системы. - Руководитель проекта. Пользователи этой группы разрабатывают аттестационную модель, организуют работу экспертов и подготавливают рекомендации по улучшению процессов. - Эксперты. Эксперты оценивают процессы на основе предложенной руководителем проекта аттестационной модели и участвуют в выработке рекомендаций по улучшению процессов.
Порядок работы. Для доступа к системе все пользователи использует Интернет браузер с поддержкой Java Script. По умолчанию, в системе заведена только одна учетная запись администратора. С помощью этой записи осуществляется общее администрирование системы. Общий вид интерфейса администратора представлен на рис. 11.
Как видно из рис. 11 администратор имеет возможность создавать, изменять и удалять учетные записи пользователей системы, аттестационные модели, иерархии, анкеты и проекты.
Для проведения аттестации администратор должен создать учетную запись руководителя проекта. Каждый руководитель проекта может одновременно проводить несколько аттестаций (т.е. одна учетная запись типа "руководитель проекта" может использоваться в разных проектах). Администратор сообщает пользователю типа "руководитель проекта" логин и пароль для доступа к системе.
Подготовка аттестации. После входа в систему, для руководителя формируется список его проектов, а также предоставляется возможность создать новый проект. Каждый проект соответствует одной аттестации программного продукта.
При создании нового проекта ему автоматически присваивается статус "Подготовка аттестации". В проекте с таким статусом доступ к системе разрешен только для руководителя. Руководитель имеет возможность работать с панелями "Эксперты" и "Модель". Панели "Иерархии", "Анкеты" и "Результаты аттестации" заблокированы.
Возможные применения результатов диссертации
Разработанная в Главе 2 аттестационная модель оценки качества программных продуктов учебного назначения может быть использована в СГШР для проведения оценки зрелости процессов жизненного цикла программных продуктов учебного назначения. Полученные в ходе оценки результаты позволят составить представление о конкурентоспособности программного продукта и возможности переноса учебного контента. Аттестационная модель позволяет также оценить степень реализации в программном продукте основных образовательных процессов и эффективность их использования.
Созданная методика определения согласованности оценок разных экспертов при использовании метода анализа иерархий на основе теории математической статистики может применяться в системах поддержки принятия решений различного назначения. Применение данной методики позволяет реализовать компьютерную процедуру согласования экспертных оценок, что значительно расширяет возможности по привлечению компетентных в решаемой задаче специалистов.
Предложенная методика использования лингвистических переменных в методе анализа иерархий для составления анкет значительно облегчает работу экспертов с помощью замены попарных сравнений элементов иерархии на обработку анкеты с лингвистическими переменными. Внедрение данной методики позволяет привлекать в качестве экспертов специалистов не знакомых с методом анализа иерархий, что значительно расширяет сферу применения разрабатываемых систем. Методика может быть использована для организации Интернет опросов с помощью размещения на вебсайтах вопросов анкеты и последующей обработки полученных результатов.
Разработанная система поддержки принятия решений по качеству программных продуктов учебного назначения была успешно внедрена в МЭСИ и может использоваться для аттестации качества программных продуктов других ВУЗов и организаций. Представленный в работе алгоритм функционирования системы может использоваться в качестве базиса для разработки аналогичных СППР. Выводы по главе: 1. Проведена оценка качества программного продукта НИИ Образовательные технологий МЭСИ ТОР, которая показала достаточно высокий (управляемый) уровень процессов, связанных с разработкой и последующим применением программного продукта; 2. Выявлен ряд недостатков, связанных с недостаточной полной документацией по выполнению процессов в НИИ Образовательных технологий, для устранения которых предложено разработать систему качества; 3. Применение методик согласование экспертных оценок обеспечило высокую достоверность полученных результатов аттестации; 4. Проведен анализ различных процедур согласования экспертных оценок, который показал преимущества методов с личными контактами между экспертами.
В диссертации представлено решение научной проблемы оценки качества программных продуктов учебного назначения и были получены новые, по отношению к имевшимся ранее результатам научных исследований. По приводимым далее полученным результатам делаются соответствующие выводы, отмечается их теоретическая значимость и практическая ценность. 1. Разработана и внедрена для аттестации качества программных продуктов учебного назначения аттестационная модель на основе стандарта ИСО 15504. Она позволяет получить оценку зрелости процессов жизненного цикла программных продуктов учебного назначения, на основании которой может быть вынесено суждение о конкурентоспособности программного продукта учебного назначения. 2. Создана методика определения согласованности оценок разных экспертов при использовании метода анализа иерархий на основе теории математической статистики, решающая проблему согласования экспертных оценок МАИ в распределенных системах поддержки принятия решений. 3. Предложена и апробирована методика использования лингвистических переменных в методе анализа иерархий для составления анкет. Данная методика значительно облегчает работу экспертов с помощью замены попарных сравнений элементов иерархий на обработку анкеты с лингвистическими переменными. Внедрение данной методики позволяет привлекать в качестве экспертов специалистов не знакомых с методом анализа иерархий, что значительно расширяет сферу применения разрабатываемых систем. 4. Разработана итеративная процедура согласования экспертных оценок в распределенных системах поддержки принятия решений с личными контактами между экспертами и обменом оценками на условиях анонимности. Проведено сравнение различных процедур согласования экспертных оценок, позволившее оценить продолжительность процедуры согласования.
