Содержание к диссертации
Введение
Глава 1. Анализ подходов к оценке качества программных комплексов для дистанционного обучения 14
1.1. Исследование состояния современных программных комплексов для дистанционного обучения 14
1.2. Обзор государственных и международных стандартов в области качества программных средств 35
1.3. Анализ современных подходов к оценке качества программных средств учебного назначения 45
1.4. Постановка задачи построения системы оценки качества пкдо... 51
1.5. Выводы по главе 1 55
Глава 2. Методика построения системы оценки качества ПКДО 57
2.1. Основные принципы построения системы оценки качества ПКДО... 57
2.2. Построение базовой функциональной модели ПКДО 62
2.2.1. Выбор и обоснование метода моделирования 62
2.2.2. Методика построения базовой функциональной модели 65
2.2.3. Построение базовой функциональной модели ПКДО 66
2.3. Формирование системы характеристик качества ПКДО 76
2.3.1. Процедура формирования системы характеристик качества ПКДО 76
2.3.2. Формирование системы функциональных характеристик качества 84
2.3.3. Формирование системы конструктивных характеристик качества93
2.4. Выводы по главе 2 98
Глава 3. Разработка математического и программного обеспечения системы оценки качества ПКДО 99
3.1. Структура процесса оценки качества пкдо 99
3.2. Основные этапы экспертного опроса 101
3.3. Математическая модель учета пользовательских предпочтений 105
3.3.1. Формализация задачи учета пользовательских предпочтений 106
3.3.2. Процедура учета пользовательских предпочтений
3.4. Оценка значений единичных показателей качества пкдо 116
3.5. Анализ оценочной информации: построение обобщенного критерия качества 120
3.6. Разработка программного обеспечения системы оценки качества пкдо 123
3.7. Выводы по главе 3 128
Глава 4. Практическое использование результатов исследования 129
4.1. Рекомендации по практическому использованию методики оценки качества ПКДО 129
4.1.1. Использование обобщенного критерия качества при проектировании и разработке ПКДО 129
4.1.2. Использование обобщенного критерия качества при выборе пкдо 133
4.2. Использование функциональной модели пкдо при проектировании документооборота до 135
4.3. Применение методики построения системы функциональных характеристик к оценке качества образовательных порталов 141
4.4. Использование программного комплекса оценки качества пкдо при проектировании 148
4.5. Выводы по главе 4 155
Заключение 157
Литература 159
- Обзор государственных и международных стандартов в области качества программных средств
- Построение базовой функциональной модели ПКДО
- Анализ оценочной информации: построение обобщенного критерия качества
- Использование обобщенного критерия качества при проектировании и разработке ПКДО
Введение к работе
Значимость информатизации современного общества такова, что зачастую ее сравнивают по исторической роли с книгопечатанием [74]. Образование отражает объективные социальные процессы в обществе, формируется его объективными потребностями и должно развиваться в русле этих тенденций. Поэтому вполне закономерно, что под влиянием развития информационного общества повсеместное внедрение информационно-телекоммуникационных технологий не обошло стороной и сферу образования [77]. Возникшее в этой связи и развивающееся в нашей стране изначально стихийно по инициативе отдельных образовательных учреждений, дистанционное обучение (ДО) достигло сейчас государственного уровня [61, 93].
Об этом свидетельствует и ряд государственных проектов в рамках отраслевых научно-технических и федеральных целевых программ, таких, например, как проект создания и развития Российского государственного открытого университета, который ведется Министерством образования Российской Федерации в течение последних трех лет (), научно-техническая программа «Создание системы открытого образования» [80], федеральная целевая программа «Развитие единой образовательной информационной среды» и многие другие.
Вместе с тем, развитие рыночных отношений затронуло и сферу образования, и с каждым годом процент негосударственных образовательных учреждений лишь увеличивается. Расширение рынка образовательных услуг в сочетании с перспективными тенденциями выхода России на международный уровень в области открытого образования выводят на передний план вопросы качества дистанционного обучения [69, 51].
В настоящей работе решается одна из основных задач в области обеспечения качества в сфере ДО - задача построения системы оценки
5 качества программных комплексов для дистанционного обучения (ПКДО) как совокупности взаимосвязанных процедур, методик, моделей, математического и программного обеспечения для получения оценки качества ПКДО.
Актуальность настоящего исследования обусловлена, во-первых, весомой ролью технологической подсистемы в системе ДО: современные сетевые информационные технологии являются основным средством доставки учебной информации в процессе ДО, средством взаимодействия всех участников образовательного процесса и инструментом формирования информационно-образовательной среды ДО. Как следствие, технологическая подсистема, которая реализуется ПКДО, являясь интегратором для всех остальных подсистем ДО, оказывает сильное влияние на качество системы ДО в целом. Поэтому одной из основных задач обеспечения качества ДО является повышение качества ПКДО. При этом важно отметить, что характеристики качества ПКДО важны для пользователя не сами по себе, а только как элементы решения общих задач ДО.
Во-вторых, в настоящее время в нашей стране происходит становление нормативной базы в сфере ДО [7, 20]. По заказу Министерства образования РФ проводится ряд научно-исследовательских работ (НИР) в этой области. В частности, несколько ПИР посвящены разработке приложений к «Методике применения дистанционных образовательных технологий (дистанционного обучения) в образовательных учреждениях высшего, среднего и дополнительного профессионального образования Российской Федерации» [61], в числе прочего, направленных на разработку рекомендаций и требований к качеству ДО, стандартизацию процессов проектирования программных средств учебного назначения и разработку методического и программного обеспечения системы оценки качества программных комплексов для Системы открытого образования РФ.
В-третьих, актуальность этого исследования обусловлена тем, что в последние годы наблюдается интенсивное развитие ДО в сочетании с ростом количества разработок ПКДО во всем мире. Это ставит перед
образовательными учреждениями задачу научно обоснованного выбора таких программных средств с позиций качества, т.е. с позиций степени соответствия отличительных свойств ПКДО потребностям или ожиданиям, которые установлены, обычно предполагаются или являются обязательными для данного образовательного учреждения. При этом обострилась конкурентная борьба на рынке производителей ПКДО, что привело к необходимости повышения качества проектирования и разработки ПКДО, их сертификации, а также к необходимости разработки инструментальных средств, автоматизирующих эти процессы.
В-четвертых, как показал обзор отечественных и зарубежных публикаций, многие известные подходы к оценке качества программных средств в настоящее время неприменимы к сложным современным информационным системам. Например, модели «черного ящика» или подход, связанный с анализом структуры текста программы, уже не в состоянии полностью отразить всю структурную сложность их функций и данных, а также учесть специфику ДО. При этом большинство подходов направлены на оценку конструктивных показателей качества, в то время как функциональности программных средств уделяется недостаточно внимания.
Таким образом, существующие на сегодняшний день наработки в этой области в чистом виде для решения задачи оценки качества ПКДО неприменимы, однако их фрагменты необходимо учитывать в числе отдельных составляющих комплексной процедуры оценки качества ПКДО.
При этом важно отметить необходимость решения задачи оценки качества ПКДО с позиций пользователей, определяющей составляющей качества для которых является функциональность.
Поэтому, проблема научно обоснованной оценки качества ПКДО при их проектировании, выборе и сертификации сегодня особенно актуальна. Таким образом, можно сделать вывод о необходимости проведения настоящего исследования с целью преодоления разрыва между потребностями практики в современной, сравнительно молодой отрасли дистанционного обучения и
7 отсутствием комплексной методики и программного обеспечения для оценки качества ПКДО с учетом специфики ДО.
Целью данного диссертационного исследования является обеспечение качества ПКДО при их проектировании и разработке, повышение объективности решений при выборе и сертификации ПКДО за счет разработки системы оценки качества ПКДО как совокупности взаимосвязанных процедур, методик, моделей, математического и программного обеспечения для получения оценки степени соответствия отличительных свойств ПКДО потребностям или ожиданиям, которые установлены, обычно предполагаются или являются обязательным.
Для достижения поставленной цели были сформулированы следующие задачи исследования:
Построить функциональную модель ПКДО для идентификации объекта исследования с точки зрения функциональности.
Разработать систему характеристик качества ПКДО и методику ее формирования.
Построить математическую модель учета пользовательских предпочтений для полученной системы характеристик качества.
Разработать математическое и программное обеспечение для системы оценки качества ПКДО.
Разработать методико-практические рекомендации по применению полученной системы оценки качества ПКДО при проектировании и разработке, при выборе ПКДО и при их сертификации.
Один из аспектов трудоемкости этой задачи связан с тем, что предмет исследования - качество ПКДО - находится на стыке целого ряда научно-практических областей, таких как информационные технологии, управление качеством, методы экспертных оценок, методы оптимизации и принятия решений, педагогика. И лишь синтезом передовых подходов во всех этих областях можно получить адекватное решение поставленной задачи.
Методологическую и теоретическую основу исследования составили труды ведущих отечественных и зарубежных авторов в области проектирования программных средств, дистанционного обучения, экспертных оценок и прикладной статистики, теории принятия решений, методов оптимизации, а также квалиметрии, метрологии, теории управления качеством, репрезентативной теории измерений, функционального моделирования, в числе которых В.Н. Спицнадель, Д.Т. Росс, В.В. Липаев, Т. Саати, Б.Г. Литвак, В.Н. Азаров, В.Г. Домрачев, И.П. Норенков, И.В. Ретинская, М.И. Нежурина, А.И. Орлов, И.Г. Игнатова, И.В. Роберт и др.
В работе использованы следующие методы исследования: методы системного подхода к решению поставленных задач, методология структурного анализа и проектирования, методы квалиметрии, методология структурирования функции качества, методы многокритериальной оптимизации и теории принятия решений, метод анализа иерархий, общенаучные методы сравнительного анализа и аналогий.
Научная новизна диссертационного исследования связана со следующими новыми результатами, полученными в данной работе:
Автором построена базовая функциональная модель ПКДО на основе методологии структурного анализа и проектирования с учетом специфики предметной области ДО.
Предложена и реализована новая методика формирования системы функциональных характеристик качества сложных сетевых программных комплексов на основе функционального моделирования по стандарту IDEF0.
Разработана методика построения системы характеристик качества (СХК) ПКДО с учетом специфики данного класса программных средств, совместимая с методологией структурирования функции качества (QFD).
9 4. Построена математическая модель учета пользовательских предпочтений для системы характеристик качества ПКДО на основе метода анализа иерархий, позволяющая формализовать принцип ориентации на потребителя. Практическая значимость результатов работы заключается в следующем:
Предложенная система оценки качества ПКДО может использоваться проектными организациями для повышения эффективности проектирования ПКДО, образовательными учреждениями для научно-обоснованного выбора ПКДО в зависимости от целей и предпочтений с учетом соотношения «цена/качество», органами сертификации для формирования сертификационных требований и оценки качества ПКДО.
Получена базовая функциональная модель ПКДО для применения на стадии проектирования ПКДО в качестве основы для формирования технического задания, что позволяет повысить эффективность проектирования.
Разработанная система характеристик качества и алгоритм ее построения могут быть использованы при формировании нормативной базы ДО в рамках отраслевой стандартизации, что, в частности, позволит создать профиль отраслевого стандарта ПКДО.
Разработан сетевой программный комплекс автоматизации оценки качества ПКДО для использования в рамках системы образовательных порталов для автоматизации процедуры экспертных оценок, который снижает трудоемкость экспертного опроса и повышает эффективность оценки качества за счет использования накопленной информации.
Благодаря универсальности методологии функционального моделирования, разработанная методика формирования функциональных характеристик качества может быть перенесена на другие предметные области.
Разработанные методики и программное обеспечение системы оценки
качества ПКДО внедрены на базе Центра дистанционного обучения МИЭМ и
используются для развития, совершенствования и постоянного мониторинга
качества программно-методического комплекса информационно-
образовательной среды ДО «ДО-он-лайн».
Результаты диссертационной работы использованы при выполнении ряда научно-исследовательских работ в рамках межвузовской научно-технической программы Минобразования РФ «Создание системы открытого образования» 2003-2004 гг.:
для разработки методического и программного обеспечения системы оценки качества программных комплексов для системы открытого образования РФ;
при формировании требований к специальной корпоративной информационной системе электронного документооборота дистанционного обучения в образовательных учреждениях высшего, среднего и дополнительного профессионального образования; Разработанные методики использованы в рамках Федеральной целевой
программы «Развитие единой образовательной информационной среды» (2001-2005гг.) для разработки методико-практических рекомендаций по применению современных методов и инструментов управления качеством в системе мониторинга и оценки качества образовательных порталов.
Внедрение результатов настоящего диссертационного исследования подтверждено соответствующими актами (Приложение 4).
Результаты исследований докладывались на 10 международных и всероссийских научных конференциях и семинарах, в числе которых VI Международная студенческая школа-семинар «Новые информационные технологии» (Москва, 1998 г.), ежегодная Всероссийская научно-методическая конференция «Телематика» (С.Петербург, 1999 - 2003 гг.), Международная научно-техническая конференция Российской школы молодых ученых и специалистов «Системные проблемы качества, математического
моделирования и информационных технологий» (Сочи, 2000 г.), IV Международная научно-методическая конференция «Качество образования. Достижения. Проблемы.» (Новосибирск, 2001 г.), Всероссийская конференция «Современная образовательная среда» (Москва, 2001, 2002 г.), XIII Международная конференция «Применение новых технологий в образовании» (Троицк, 2002 г.), 3-я Всероссийская конференция «Электронные учебники и электронные библиотеки» (Москва, 2002 г.), ежегодная научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ (1998 — 2003 гг.).
Результаты исследований и практических разработок, полученные в рамках настоящего диссертационного исследования, отмечены:
дипломом «за лучшую работу, представленную на научно-технической конференции студентов, аспирантов и молодых специалистов МИЭМ» в 2003 г.;
дипломом Всероссийского выставочного центра «за разработку организационного и программно-методического " комплекса информационно-образовательной среды вуза» в 2002 г. (в составе авторского коллектива).
По результатам открытого конкурса «на поддержку инновационного потенциала научных разработок аспирантов МИЭМ» получен грант Фонда содействия развитию образовательной и инновационной деятельности в высшей школе.
По теме диссертации опубликовано более 28 печатных работ в сборниках трудов, материалах конференций и специализированных периодических изданиях. Основные положения диссертации опубликованы в 9 печатных работах.
Диссертация состоит из введения, 4-х глав, заключения, списка литературы из 103 наименований, 4-х приложений. Объем основной части работы составляет 138 страниц, 19 рисунков и 20 таблиц. Объем приложений 37 страниц.
В первой главе проведены исследование и анализ функциональных особенностей ПКДО с целью идентификации рассматриваемого класса программных средств. Сделан обзор существующих стандартов в области качества программных средств и анализ необходимости их использования для оценки качества ПКДО. Исследованы существующие подходы к оценке качества программных средств учебного назначения на основании обзора и анализа отечественных и зарубежных литературных источников. Обоснована необходимость комплексного решения задачи оценки качества ПКДО и намечены пути ее решения. Сформулирована постановка задачи исследования и ее декомпозиция на основные подзадачи.
Во второй главе сформулированы и научно обоснованы цели оценки качества ПКДО, на основании которых формулируются основные принципы построения системы оценки качества ПКДО. Предложен комплексный подход к разработке системы оценки качества ПКДО. Разработана методика построения базовой функциональной модели ПКДО на основе стандарта IDEF0. Предложена методика формирования системы функциональных характеристик качества на основе методологии функционального моделирования. Построена базовая функциональная модель ПКДО. Сформирована структура системы характеристик качества ПКДО на основании методологии структурирования функции качества QFD (Quality Function Deployment) и определены принципы выбора мер и шкал для их оценивания.
В третьей главе сформулированы основные этапы экспертного опроса при проведении оценки качества ПКДО в зависимости от целей оценивания. Разработан алгоритм оценивания единичных показателей качества. Построена математическая модель учета пользовательских предпочтений на основании метода анализа иерархий. Предложен способ формирования обобщенного критерия качества ПКДО. Разработана структура и программная реализация сетевого программного комплекса для автоматизации оценки качества ПКДО с элементами экспертной системы.
В четвертой главе приведены методико-практические рекомендации по использованию результатов диссертационного исследования проектными организациями при разработке ПКДО, образовательными учреждениями при выборе ПКДО, сертификационными лабораториями при проведении сертификации. Приведены примеры формальных постановок задач, использующих оценки качества при проектировании и выборе ПКДО. Намечены пути использования результатов при разработке нормативной базы ДО. Приведены примеры внедрения отдельных результатов данной работы в трех НИР. Приведены результаты апробации разработанного методического и программного обеспечения.
В Заключении приводятся основные выводы, теоретические и практические результаты диссертационного исследования.
В приложениях приведены результаты сравнительного анализа функциональности более 50 зарубежных сетевых программных комплексов для дистанционного обучения, IDEFO-диаграммы функциональной модели ПКДО, базовая иерархия функциональных характеристик ПКДО и акты внедрения результатов диссертационной работы.
Обзор государственных и международных стандартов в области качества программных средств
Во-вторых, широкая функциональность неизбежно приводит к структурной и технической сложности ПКДО. Именно по этой причине, как показал проведенный анализ, все ПКДО имеют отчетливо выраженную модульную структуру, т.е. относятся к классу сложных сетевых программных комплексов [54].
В-третьих, сложность ПКДО связана с их универсальностью, вызванной необходимостью реализации обучения в любых предметных областях, от гуманитарных до технических. Это накладывает повышенные требования на открытость архитектуры ПКДО для реализации педагогических приемов, свойственных разным предметным областям. Необходимо отметить, что подобным свойством обладают только инструментальные системы, а не готовые программные средства учебного назначения, имеющие узкие педагогические цели в фиксированной предметной области.
В-четвертых, свою специфику накладывает и предметная область, в частности, функциональность ПКДО не должна вступать в противоречие с международными и государственными образовательными стандартами.
В-пятых, специфика ПКДО, связана со сложной иерархической структурой различных категорий пользователей.
Говоря о качестве программных средств, нельзя не принимать во внимание требования действующих государственных и международных стандартов в этой области. Сам термин качество определялся раньше в стандарте ISO 8402:1986 как «совокупность признаков и характеристик объекта (продукта или услуги), относящиеся к его способности удовлетворить установленные и предполагаемые потребности» [52]. Однако современное понятие качества в стандартах серии ISO уточнено следующим образом: «качество - это степень соответствия отличительных свойств объекта потребностям или ожиданиям, которые установлены, обычно предполагаются или являются обязательными».
На данный момент в сфере информационных технологий разработан ряд стандартов управления качеством, которые могут быть использованы как база для построения системы оценки качества ПКДО. Полный перечень действующих стандартов в области обеспечения жизненного цикла и качества программных средств включает около 40 наименований и подробно рассмотрен в ряде публикаций [53, 54, 87, 98]. Дальнейшее рассмотрение будет посвящено нескольким основополагающим стандартам оценки качества программных средств.
Среди государственных стандартов следует отметить, прежде всего, ГОСТ 28195 «Оценка качества программных средств. Общие положения.» [41]. Этот стандарт устанавливает четырехуровневую модель оценки качества ПС и ориентирован в первую очередь на представление разработчика.
Методология обеспечения качества ПО регламентирована группой международных стандартов ISO 12207:1995 (Процессы жизненного цикла программных средств), ISO 15271:1998 (Руководство по применению ISO 12207), ISO 16326:1999 (Руководство по применению ISO 12207 при административном управлении проектами) и др. [54], широкое применение находят методологии СММ (Capability Maturity Model - система и модель для оценки зрелости технологических процессов жизненного цикла, ISO 15504:1-9:1998), MSF (Microsoft Solutions Framework - технология эффективных решений при проектировании крупных информационных систем), методы функциональной стандартизации [46] и ряд других, нацеленных на обеспечение качества ПО на всех стадиях жизненного цикла. Основой же регламентирования характеристик качества ПО является международный стандарт ISO 9126: 1991 «Оценка программного продукта. Характеристики качества и руководство по их применению», детализированный проектом ISO 9126:1-4 «Качество программных средств» и уже утвержденным ISO 14598:1-6:1998-2000 «Оценивание программного продукта», который посвящен планированию, документированию и управлению оценкой качества с позиций разработчиков, пользователей и контролеров.
Проект ISO 9126:1-4 (Информационная технология. Качество программных средств) состоит из четырех частей. В отличие от ГОСТ 28195 этот стандарт в большей степени ориентирован на потребителя.
Модели качества посвящена первая часть ISO 9126:1, являющаяся пересмотренной и дополненной редакцией ISO 9126:1991. Эта модель представляет собой иерархическую структуру из шести базовых характеристик, детализируемых набором субхарактеристик (таб. 1.4).
При этом в проекте ISO 9126:1 субхарактеристика «Соответствие стандартам», отражающая согласованность с другими стандартами и нормативными документами, распространена на все характеристики.
В данной модели характеристик качества предполагается, что реализация требований к внутреннему качеству (технологический процесс и средства разработки) обеспечит внешнее качество (качество самого ПО), а оно в свою очередь выльется в качество для пользователей. Внешние характеристики качества являются показателями ПО, интересующими пользователей, а характеристики качества в использовании отражают эффект от применения ПО. К числу последних относят [54]: системную эффективность применения ПО по назначению; продуктивность - производительность при использовании ПО по назначению с учетом ограниченных ресурсов в конкретной внешней среде; соответствие требованиям пользователей и их затратам согласно целям при применении ПО по основному назначению; защищенность - безопасность функционирования с учетом возможного риска от применения для людей, бизнеса и внешней среды. После получения базовой совокупности характеристик качества определяют требования качества, которые выражают запрос среды на данное ПО [98].
Построение базовой функциональной модели ПКДО
Для формирования иерархии функциональных показателей качества ПКДО предлагается методика построения функциональной модели ПКДО как сложного программного комплекса, базирующийся на методологии стандарта IDEF0 и состоящий из следующих этапов [16]:
Проводится информационное обследование [26], т.е. сбор данных по результатам обзора ПКДО, направленный на получение информации, необходимой для построения функциональной модели. В нашем случае источником такой информации служит обзор, проведенный в п. 1.1.
Осуществляется выбор цели и точки зрения модели. Цель - это, по сути, назначение модели. Точка зрения - позиция, с которой наблюдается система. Целью модели в нашем случае будет являться определение характерных функций каждой подсистемы ПКДО с учетом их взаимосвязей, для того чтобы выявить функциональные характеристики качества в виде иерархии. Точка зрения определяется с учетом структуры различных категорий пользователей ПКДО.
Составляется список данных. Под списком данных понимается набор объектов, используемых и генерируемых рассматриваемой системой. В число таких объектов можно включить различные документы и структуры данных, сгруппированные по видам. 4. С помощью списка данных составляется укрупненный список функций, агрегированный по целям и операциям. 5. Формируется IDEFO-диаграмма верхнего уровня для описания процесса функционирования ПКДО, состоящая из 3-6 важнейших функций, взаимосвязанных через информацию управления и данные. Для этого следует определить порядок доминирования функций в зависимости от следования или важности. В данном случае целесообразно воспользоваться порядком, диктуемым классической петлей качества [88], спроецированной на предметную область ДО. 6. Производится обобщение IDEFO-диаграммы верхнего уровня. 7. Осуществляется декомпозиция функциональных блоков повторением этапов 1-6 настоящей методики. Причем количество декомпозиций будет сравнительно небольшим (3-4), поскольку вместо последней декомпозиции можно непосредственно составлять набор оцениваемых показателей качества для каждой функции. При этом на определенном шаге декомпозиции цель модели может быть детализирована, согласно целям оценки качества ПКДО, сформулированным в п. 2.1: управление качеством при проектировании, выбор и сертификация. Условием остановки моделирования служит возможность непосредственного оценивания характеристик следующего шага декомпозиции, т.е. получение единичных показателей качества. Далее предложенная методика будет конкретизирована на примере ее реализации для построения базовой функциональной модели ПКДО. Рассмотрим применение предложенной методики построения базовой функциональной модели ПКДО на примере ее конкретной реализации. 1. Как отмечалось выше, обзор, проведенный в п. 1.1, реализует первый этап построения базовой функциональной модели ПКДО -информационное обследование. Выявленная при этом специфика рассматриваемого класса ПО будет использоваться нами на следующих этапах реализации методики построения базовой функциональной модели ПКДО. 2. Цель модели определяется постановкой задачи: требуется выделить базовый набор функциональных характеристик качества ПКДО. Поэтому функциональная модель ПКДО должна отвечать на следующие вопросы: Из каких функциональных подсистем состоит типичный ПКДО? Какие из этих подсистем являются обязательными для любого ПКДО и тем самым образуют минимальный набор функций, необходимых для организации учебного процесса ДО? Каковы функции каждой подсистемы ПКДО? В какой момент на функционирование системы оказывают влияние нормативно-правовые документы (образовательные стандарты, стандарты качества и т.д.)? Какие ограничения накладывает система на организацию учебного процесса? Дополнительно при построении модели следует определить: Каков типовой набор процедур в ПКДО? Какие типы пользователей существуют в системе ДО? Каковы данные входа и выхода в ПКДО? Таким образом, цель модели — определить характерные функции каждой подсистемы с учетом их взаимосвязей, для того чтобы выявить функциональные характеристики качества в виде иерархии в зависимости от целей оценивания: проектирование и разработка, выбор или сертификация ПКДО. Иерархичность будет проявляться по мере декомпозиции функциональной модели.
Выбор точки зрения на функциональность должен ориентироваться на комплексный подход. Только комплексная точка зрения обеспечит полноту результирующей модели с учетом взаимосвязей всех функциональных элементов [60]. Однако это противоречит методологии IDEF0: точка зрения должна быть единой. Рассмотрим перспективу принятия точки зрения каждого их перечисленных ниже кандидатов с учетом поставленной цели моделирования1.
Руководитель: сосредоточен на организации работы сотрудников, а не на инструменте этой работы, каковым является ПКДО. С другой стороны, образовательный процесс в сочетании с административными функциями существенно зависят от функциональности ПКДО. Поэтому точка зрения руководителя представляется подходящей на верхнем уровне детализации.
Предметные специалисты - авторы курса: не могут не учитывать ограничения, накладываемые ПКДО на методическую сторону учебного процесса, обеспечиваемого этим ПКДО. Хотя они могут и вовсе не являться пользователями ПКДО, а участие автора курса в работе с ПКДО, как правило, опосредовано программистом. Точка зрения методиста и автора курса, тем самым, будет затрагивать лишь методическую сторону функционирования ПКДО и не будет полностью удовлетворять заявленной цели.
Программисты: сосредоточены на частных задачах разработки учебных курсов, не вовлечены в сам учебный процесс, поэтому их точка зрения заведомо не соответствует цели моделирования.
Анализ оценочной информации: построение обобщенного критерия качества
Как отмечалось выше, для целей сертификации обычно не требуется построения обобщенного критерия качества, поэтому дальнейшее рассмотрение коснется прежде всего аспектов оценки качества, связанных с задачами проектирования и выбора ПКДО.
При анализе оценок единичных показателей качества, полученных в п. 3.4, очевидной сложностью является большое количество характеристик качества, требующее выбора стратегии агрегирования показателей и применения методов многомерной оптимизации.
Благодаря разработанной в п. 3.3 модели учета пользовательских предпочтений дальнейший анализ результатов оценки качества предлагается реализовывать путем формирования обобщенного критерия качества в виде свертки.
Обозначим всю совокупность N = dxn единичных показателей качества (в терминах задачи многомерной оптимизации — частных критериев) ПКДО через Р = {Pi; і = 1,.. .,N}. Pi образуют векторный критерий качества.
Для обеспечения согласованности обобщенного критерия с векторным в смысле оптимальности по Парето будем использовать в качестве агрегирующей функции средневзвешенное по Колмогорову вида где/- строго монотонная непрерывная функция,/"1 - обратная к ней, а весовые коэффициенты /.связаны условием нормировки Более того, выбирая конкретный вид свертки (т.е. функцию /), необходимо учитывать утверждение, доказанное в монографии [72], коротко суть которого сводится к тому, что в шкале отношений из всех средних по Колмогорову допустимыми являются только среднее геометрическое и степенные средние с функцией/вида/(х)=хс, СФО. С учетом структуры системы характеристик качества, полученной во второй главе настоящего исследования, свертка в обобщенный показатель качества должна осуществляться в два этапа. На первом этапе свертка осуществляется по конструктивным показателям качества. Как отмечалось выше, конструктивные показатели качества служат поддержке и улучшению функциональных характеристик. В этой связи предлагается обобщить подход мультипликативного учета надежности, упомянутый в работе [1], на учет конструктивных характеристик качества в целом. А именно, в указанной работе с позиций квалиметрии обосновывается необходимость учета надежности в виде «коэффициента сохранения эффективности», фактически являющегося множителем при характеристиках функциональных свойств. Неформально это означает, что надежность - «это не цель, а средство обеспечения проявления (реализации, существования) тех свойств, ради которых продукция (или услуга) и создавалась». По сути, это утверждение можно распространить на все конструктивные характеристики качества, и, следовательно, составляющая этих характеристик должна учитываться в обобщенном критерии мультипликативно. Таким образом, свертка конструктивных характеристик на первом этапе должна быть мультипликативной, т.е. полагаем в формуле (3.14) f(x) = \nx (средневзвешенное геометрическое): где Kt — обозначение для обобщенной оценки /-ой функциональной характеристики, d — количество единичных конструктивных показателей, ру — оценка j-ro единичного конструктивного показателя качества для /-ой функциональной характеристики, р} — соответствующие весовые коэффициенты, полученные ранее в п. 3.3.2. На втором этапе свертка осуществляется по функциональным характеристикам. Поскольку отсутствие той или иной функции ПКДО, вообще говоря, не влечет равенства нулю обобщенного критерия качества, в роли агрегирующей функции предлагается использовать средневзвешенное арифметическое. Полагая в формуле (3.14) f(x)=x, получим обобщенный критерий качества в виде: где п - количество функциональных характеристик, а} — весовые коэффициенты функциональных характеристик, полученные ранее в п. 3.3.2.
Важно отметить, что значение обобщенного показателя качества в данном случае зависит от порядка этапов агрегирования, однако это не является признаком некорректности построения обобщенного критерия качества, а лишь отражает фундаментальное свойство систем: система не тождественна простому набору своих компонент за счет системообразующих связей между ними. Применительно к качеству программных средств это подтверждает известный факт проектирования сложных сетевых программных комплексов: модульное проектирование повышает качество программного продукта.
При формировании обобщенного критерия качества использована свертка в обобщенный критерий на основании весовых коэффициентов, характеризующих степень влияния единичных показателей на качество в целом. Между тем предложенная автором диссертационной работы методика учета пользовательских предпочтений позволяет проводить агрегирование не только до первого уровня иерархии, но и до любого наперед заданного. Это обеспечивает получение согласованных оценок качества ПКДО с заданной степенью детализации.
Использование обобщенного критерия качества при проектировании и разработке ПКДО
В данной главе в рамках методико-практических рекомендаций по использованию полученных результатов диссертационной работы рассмотрены варианты анализа и использования оценочной информации качества ПКДО при проектировании и выборе на примерах конкретных задач. Намечены пути использования результатов при разработке нормативной базы ДО. Приведены примеры внедрения отдельных результатов настоящей диссертации в ряде научно-исследовательских работ, подтвержденные актами внедрения.
В главе приведены результаты апробации разработанного сетевого программного комплекса на базе Центра дистанционного обучения МИЭМ для выявления приоритетных направлений дальнейшего развития и усовершенствования ПКДО «ДО-он-лайн».
При проектировании и разработке ПКДО проблема оценки качества связана, прежде всего, с необходимостью управления качеством в процессе проектирования и разработки. В этой связи возникает задача распределения ограниченных ресурсов для реализации требуемого качества ПКДО, которая является стратегической в жизненном цикле крупномасштабных программных средств.
На практике разработка таких сложных сетевых программных комплексов, как ПКДО, осуществляется обычно в рамках спиральной модели жизненного цикла т.е. итерационно. С другой стороны, даже в рамках одной итерации из-за структурной и функциональной сложности ПКДО реализация проектирования и разработки осуществляется поэтапно, по мере детализации и уточнения архитектуры, функций, их характеристик и показателей качества. Это приводит к принципиальной особенности проектирования и разработки ПКДО, связанной с необходимостью итерационного уточнения проекта. В результате на каждом этапе разработки производится решение задач распределения таких ресурсов как трудоемкость, стоимость, время, материальные ресурсы. Решение задачи распределения ресурсов при разработке ПКДО может быть формализовано оптимизационной задачей максимизации функционала качества, выраженного в единицах, сопоставимых с ограничениями на ресурсы. Такими единицами обычно выступают экономические единицы: финансы, трудоемкость и т.п. Не ограничивая общности, дальнейшие рассмотрения проведем на примере финансовых ресурсов, т.к. остальные виды ресурсов чаще всего могут быть выражены в стоимостной форме.
При проектировании ПКДО установленные в Главе 2 значения диапазонов шкал для каждого единичного показателя качества используются как первичные ограничения их значений. При дальнейшей разработке требования к атрибутам качества каждой характеристики должны учитывать реальные ограничения ресурсов, необходимых для достижения требуемых значений характеристик.
На этапе проектирования важна также согласованность последовательности требований технического задания и их реализации в цепочке «цели - назначение - функции — исходная информация от объектов внешней среды - результаты для пользователей» [54]. Степень этой согласованности можно также оценивать с помощью экспертов, однако на практике обычно ограничиваются эмпирическим отслеживанием качества результатов реализации технического задания при его углублении и детализации.
Рассмотрим типичную формальную постановку задачи распределения ресурсов при проектировании и разработке ПКДО. При этом переход к обобщенному критерию качества осуществляется при следующих предположениях [89]: 1. Существенность каждого / -го компонента векторного критерия: для некоторых фиксированных значений остальных N-\ компонент существуют х] и х) из множества значений К{ такие, что ( /, ...,х),...,хн) предпочтительнее (Xj, ...,х, ,...,Хн). 2. Сопоставимость частных критериев: соизмеримость по степени предпочтения и однородность. В нашем случае это предположение выполняется благодаря предложенной выше модели учета пользовательских предпочтений. 3. Независимость частных критериев. 4. Аддитивность частных критериев по функциям. Выполнение этого требования обеспечивается тем, что на практике, особенно на стадии проектирования программных средств, характеристики качества стараются выражать в экономических единицах. Это связано с необходимостью планирования ресурсов на разработку, а ресурсы, в свою очередь, обычно выражены трудоемкостью, финансовыми показателями и т.п. При выборе конкретных мер и шкал для оценки качества ПКДО на стадии проектирования следует учитывать возможные затраты ресурсов на их достижение, желательно в сопоставимых единицах. Для экономических единиц аддитивность является естественным свойством (т.н. принцип аддитивности стоимости), нарушение которого приводит либо к некорректности, либо к сложной процедуре пересчета показателей качества в экономические единицы для установления соответствия между экономическими показателями и качеством.
