Содержание к диссертации
Введение
ГЛАВА 1. Анализ существующей методологии управления качеством программных систем 9
1.1 Анализ основных подходов управления качеством 9
1.2 Анализ современных технологий разработки программных систем 14
1.3 Технология оценки качества программных систем на основе математических моделей 22
1.4 Математическая модель обеспечения и оценки качества программных систем 25
1.5 Основные выводы по главе 31
ГЛАВА 2. Оптимизация численного решения модели 33
2.1 Анализ методики построения экспертных систем 33
2.2 Анализа экспертной базы на согласованность 37
2.3 Численное решение модели 42
2.4 Построение эмпирических формул зависимости между показателями 47
2.5 Математическая модель управления базой отзывов пользователей 49
2.6 Построение прогнозов изменений показателей модели 51
2.7 Основные выводы по главе 56
ГЛАВА 3. Сервисно-ориентированная среда поддержки управления качеством программных систем 57
3.1 Основные составляющие и сценарии использования среды 57
3.2 Модуль сбора данных и формирования значений показателей качества...61
3.3 Модули поддержки построения связей внутри математической модели обеспечения и оценки качества и построения прогнозов изменения показателей качества 67
3.4 Модуль оценки согласованности экспертных оценок 70
3.5 Центральный модуль оценки качества и построения оптимальной стратегии обеспечения требуемого уровня качества 73
3.6 Тестирование программного комплекса 74
3.7 Основные выводы по главе 82
ГЛАВА 4. Внедрение и апробация 84
4.1 Математическая модель оценки качества ЭУП 84
4.2 Варианты совершенствования модели оценки качества 90
4.3 Снижение размерности задачи 96
4.4 Результаты экспериментального внедрения 97
4.5 Основные выводы по главе ПО
Заключение 112
Литература
- Анализ современных технологий разработки программных систем
- Технология оценки качества программных систем на основе математических моделей
- Построение эмпирических формул зависимости между показателями
- Модули поддержки построения связей внутри математической модели обеспечения и оценки качества и построения прогнозов изменения показателей качества
Введение к работе
Актуальность проблемы исследования. В настоящее время компьютерные технологии используются практически во всех областях человеческой деятельности. Сфера применения специализированных программных систем (ПС) постоянно расширяется, проникая в области с низкой формализацией требований. В связи с этим необходимо привлечение новых методов разработки и оценки качества ПС, ориентированных на анализ неформальных требований пользователей. В условиях постоянно растущей конкуренции между разработчиками ПС необходимо не просто предоставить заказчику программный продукт, корректно отрабатывающий заложенный в техническом задании алгоритм, а систему, полностью удовлетворяющую разумным требованиям с меньшими, по сравнению с конкурентами, затратами, или систему, обеспечивающую максимальный уровень качества в рамках фиксированного бюджета. Для этого необходима разработка комплексной процедуры менеджмента качества, основанной на использовании современных информационных технологий.
Стандарт ISO 9001:2000 содержит основные требования к системам менеджмента качества, в основе которых лежит ориентация на пользователя. Дополнительно требуется не только следить за текущим уровнем качества, но и использовать количественные методы с целью прогнозирования его изменения. Требуется собирать отзывы потребителей, хранить их, анализировать и, по возможности, прогнозировать.
Поскольку в настоящее время комплексные программные решения поддержки управления качеством ПС, основанные на сборе и анализе количественных данных, не достаточно развиты, то их создание представляется актуальной задачей в области разработки ПС.
Степень научной разработанности проблемы исследования. Существенный вклад в создание современной методологии разработки ПС внесли Г. Буч, А. Якобсон, Д. Рамбо, К. Бек, М. Полк и др. Ведущими российскими специалистами в области обеспечения, контроля и оценки качества ПС являются В.В. Липаев, А.И. Костогрызов, М.Г Круглое, О.П. Глудкин, Г.Н. Калянов и другие.
Современные формальные методы оценки качества ПС основаны на автоматизированном тестировании и анализе формальной спецификации. Неформальные методы предполагают автоматизированный сбор отзывов пользователей с целью их дальнейшего структурирования и анализа с применением Case-средств.
Формальные методы поддержки обеспечения качества ПС на основе математических моделей ориентированы на анализ некоторой сбалансированной системы показателей качества, значения которых формируются на основании точных измерений или экспертной оценки. В частности, П.А. Ивойлов предложил общую математическую модель комплексной оценки качества продукции, показатели которой поддаются точному измерению. В.Н. Бабешко и И.В. Королев в своих работах предложили технологии создания автоматизированных средств оценки качества ПС учебного назначения, ориентированные на сбор некоторой статистики, на основании которой пользователю предлагалось самостоятельно принять решения о возможных улучшениях. А.И. Гусевой была предложена иерархическая взвешенная модель оценки качества программного обеспечения обучающих систем. Однако не предложены математические модели и программные решения, ориентированные не только на оценку текущего уровня качества ПС, но и на управление качеством на основе отзывов потребителей (пользователей), в соответствии с требованиями стандарта ISO 9001:2000.
Цель исследования. Целью диссертационной работы являются разработка технологии оценки качества ПС, ориентированной на формальный анализ отзывов пользователей, и создание сервисно-ориентированной среды поддержки управления качеством ПС на основе математических оценочных моделей.
Достижение поставленных целей осуществлялось путем решения следующих задач:
создание технологии оценки качества ПС, основанной на анализе и прогнозировании отзывов пользователей;
создание математической модели обеспечения качества ПС, ориентированной на использование математических методов оценки качества;
разработка вычислительных процедур оценки качества ПС;
разработка сервисно-ориентированной среды поддержки управления качеством ПС, частично автоматизирующей построение математических моделей обеспечения и оценки качества;
внедрение и апробация созданной сервисно-ориентированной среды.
Объект исследования — программная система и математические модели
обеспечения и оценки качества программных систем на основе отзывов пользователей.
Предмет исследования — методы построения математических моделей программных решений поддержки обеспечения и оценки качества программных систем на основе отзывов пользователей.
Теоретическая и методологическая основа исследования. В основе комплексной процедуры управления качеством ПС, предложенной в диссертационной работе, лежат рекомендации методологии MSF и требования стандарта ISO 9001:2000, регламентирующие итерационный процесс разработки ПС, ориентированный на анализ требований потребителей.
7 Диссертационное исследование базируется на применении методики объектно-ориентированного анализа для построения иерархических моделей показателей качества ПС. На построенную иерархическую модель накладывается авторская математическая модель обеспечения и оценки качества ПС.
При решении поставленных задач использовались специальные методы прикладного социологического исследования: экспертные оценки и анкетирование.
В работе использована методология структурного анализа и проектирования, методы решения задач математического программирования, методы многокритериальной оптимизации и теории принятия решений, методы математической статистики, метод анализа иерархий, общенаучные методы сравнительного анализа и аналогий.
Научная новизна. Научная новизна диссертационной работы заключается в следующем:
Создана технология оценки и управления качеством программных систем на основе формального анализа отзывов пользователей.
Разработаны методика и алгоритм прогнозирования значений показателей качества программных систем.
Разработана методика оптимизации вычислительной стратегии оценки качества программных систем на временном интервале.
Разработана методика построения сервисно-ориентированной среды поддержки управления качеством программных систем.
Практическая значимость исследования. Результаты могут быть использованы для построения автоматизированных систем поддержки управления качеством ПС.
На базе созданной технологии, методик и алгоритмов разработана сервисно-ориентированная среда поддержки построения, оптимизации и
8 численного решения математических оптимизационных моделей управления качеством ПС, позволяющая не только оценивать текущий уровень качества, но и управлять качеством создаваемых ПС на основе математических моделей.
Апробация работы. Теоретические положения, методологические подходы и практические результаты, изложенные в диссертационной работе, докладывались и обсуждались на 1-ой международной научно-практической конференции "Современные информационные технологии в ИТ-образовании" (МГУ), Международном научном симпозиуме, посвященном 140-летию МГТУ "МАМИ" (МАМИ), Международной научно-практической конференции "Качество дистанционного образования" (МГИУ, ЛИНК), Международной научно-практической конференции "Проблемы и перспективы сотрудничества государств-участников СНГ в формировании единого (общего) образовательного пространства" (РУДН).
Публикации. Основные результаты, полученные при выполнении диссертационной работы, опубликованы в 10 печатных работах.
Структура диссертационной работы. Диссертационная работа состоит из введения, четырех глав, заключения, библиографии и приложений. Диссертационная работа содержит: 125 страниц, 36 рисунков, 18 таблиц. Библиографический список — 83 наименования.
Анализ современных технологий разработки программных систем
Принято выделять следующие основные технологии разработки ПС [67,83]: структурные методы разработки ПС; технология RUP; технология ХР; технология MSF.
Структурные методы разработки ПС. Структурными методами разработки ПС принято называть группу технологий, разработанных еще до широкого распространения объектно-ориентированных языков. Все они предполагают каскадную разработку [15]. Основу этих методологий составляет последовательный переход от работы к работе и передача результатов (документов) очередного этапа участникам следующего как основа процесса. Основные характеристики методологии: итеративная разработка; автоматическое регрессионное тестирование; активному участию пользователей; свободная форма документации; наличие средств контроля версий кода.
Crystal - семейство технологий, определяющих необходимую степень формализации процесса разработки в зависимости от количества участников и критичности задач.
Считается, что технология Crystal Clear описывают естественный порядок разработки ПС, который устанавливается в достаточно квалифицированных коллективах, если в них не занимаются целенаправленным внедрением другой технологии.
Помимо Crystal Clear в семейство Crystal входит еще несколько технологий, предназначенных для выполнения более крупных или более критических проектов. Они отличаются несколько более жесткими требованиями к объему документации и вспомогательным процедурам, таким как управление, изменениями и версиями.
Функционально-ориентированная разработка (Feature Driven Development, FDD) включает пять процессов, последние два из которых повторяются для каждой функции: разработка общей модели; . составление списка необходимых функций системы; . планирование работы над каждой функцией; . проектирование функции; конструирование функции.
Работа над проектом предполагает частые сборки и делится на итерации, каждая из которых предполагает реализацию определенного набора функций.
Принято считать, что для больших проектов структурные методы разработки устарели. Технология RUP. Процесс унифицированной разработки (Rational Unified Process, RUP) был создан в 1996 г. корпорацией Rational при участии Гради Буча, Айвара Якобсона и Джима Румбаха [55, 75].
RUP является итеративным, то есть создание продукта происходит за несколько итераций, что соответствует современной концепции менеджмента, рассмотренной выше. В конце каждой итерации получается работающая версия продукта, но с неполным функционалом. В последующих итерациях функционал дорабатывается и в конце последней получается полностью готовый продукт. Итеративный процесс разработки ПС, основанный на цикле PDCA, показан нарис. 1.5.
Как было показано выше, итеративная разработка имеет много плюсов. Большое количество релизов сильно влияет на качество конечного продукта, который тестируется в каждой итерации. Также уже на ранних стадиях можно проверить ожидания пользователей и внести изменения в продукт, если требуется. Кроме того, планировать проект гораздо проще, потому что уже после первой итерации все становится более предсказуемым, и управляющий проектом сможет с большей достоверностью прогнозировать реальные сроки окончания следующих итераций.
Итерации в процессе разработки позволяют: . контролировать и корректировать ход выполнения проекта; эффективнее работать с изменяющимися требованиями; эффективнее работать с рисками, корректируя планы очередной итерации в соответствие с текущим состоянием списка наиболее приоритетных рисков; . на ранних этапах оценивать потенциальные характеристики системы; не тратить время на разработку детальных планов на далекую перспективу. По аналогии с PDCA процесс имеет четыре фазы: 1. исследование (inception); 2. уточнение плана (elaboration); 3. построение (construction); 4. развертывание (transition).
На каждой из фаз основное внимание уделяется разным процессам. На фазе исследования идет сбор и анализ требований, на фазе уточнения плана - анализ требований и проектирование системы, на фазе построения - разработка и кодирование, на фазе развертывания - тестирование и распространение. Методология RUP основана на 9 основных потоках: 1. бизнес-анализ; 2. сбор требований и управление требованиями; 3. анализ и моделирование; 4. кодирование; 5. тестирование; 6. управление конфигурацией и изменениями; 7. управление проектом; 8. создание и поддержка среды разработки; 9. развертывание.
RUP ориентирован на достижение приемлемого уровня качества за счет оперативного отслеживания изменений. RUP позволяет оперативно реагировать на изменение требований заказчика либо на изменяющиеся условия внешней среды. Инструментальная поддержка обеспечивается целым рядом программ: Rational Purify, Rational PureCoverage, Rational Quantify, Rational Robot, Rational ClearCase и Rational ClearQuest.
Технология оценки качества программных систем на основе математических моделей
В рамках диссертационного исследования предполагается наиболее общая трактовка качества ПС, как соответствия некоторой иерархической объектной системе показателей качества. Согласно Г. Бучу объектная модель имеет четыре главных компонента [16,32,53,75]: Абстракция выделяет существенные характеристики некоторого объекта, отличая его от всех остальных видов объектов, тем самым четко определяя его концептуальные границы. Инкапсуляция представляет собой процесс отделения друг от друга элементов объекта, определяющих его устройство и поведение. Модульность отражает свойство системы, которая была разложена на внутренне слабосвязанные модули. Под иерархией принято считать упорядочивание абстракций, расположение их по уровням.
В соответствии с концепцией объектно-ориентированного подхода можно рассматривать понятие "качество ПС" как совокупность составляющих, постепенно детализируя его до тех пор, пока не будет достигнуто уровень абстракции, приемлемый для формирования количественных характеристик а\, ..., ап (п — количество показателей). Заметим, что применение Парето-оптимизации для решения задач данного класса недопустимо, так как большинство показателей являются равнозначимыми для пользователя, что существенно влияет на размерность модели.
Далее строится формальная модель преобразований, основанная на сведении значений отдельных показателей качеств в единую количественную характеристику Q(a\,...,a,) - свертка. Получение количественной характеристики является важным для выбора лучшего решения при наличии нескольких альтернатив изменения различных показателей качества. Присутствие нескольких вариантов внутри свертки определяет альтернативу для некоторой составляющей (несколько вариантов реализации) или, наоборот, требует реализации всех перечисленных составляющих.
Для описания модели оценки качества удобнее всего использовать нотацию семантической сети, так как строится иерархическая система. Семантическая сеть отображает совокупность объектов предметной области и отношений между ними, при этом объектам соответствуют вершины (или узлы) сети, а отношениям- соединяющие их дуги [18,49,65]. В качестве объектов могут выступать события, действия, обобщенные понятия или свойства объектов. Вершины сети соединяются дугой, если соответствующие объекты предметной области находятся в каком-либо отношении.
В качестве объектов (вершин) будут выступать показатели различных уровней трактовки понятия качества. Присутствие нескольких моделей внутри множества определяет альтернативу для некоторой составляющей (несколько вариантов реализации) или, наоборот, требует реализации всех перечисленных составляющих (рис. 1.8).
Графическое представление иерархии составных критериев Предложенная модель представляется через переменные, константы, алгебраические операции и операторы минимума и максимума в виде формальной грамматики: exp: CONST VAR exp + exp I exp - exp I exp exp I exp / exp I exp m exp exp Mexp \(exp) Константами выступают веса показателей или иные экспертные оценки, переменными являются сами показатели качества. Таким образом, один раз описав и загрузив модель (представив в виде польской записи) можно итерационно подставлять значения показателей качества, получая значения функции оценки качества.
Также вводится функция трудоемкости обеспечения заданного уровня качества (затраты для обеспечения заданного уровня качества, сроки выполнения и тому подобное), позволяющая свести вычисления к решению задачи оптимального управления. В рамках диссертационной работы функция оценки трудозатрат в общем виде не рассматривается, так как ее вид сильно зависит от специфики предметной области ПС. В качестве функции оценки трудоемкости могут выступать: сумма превращений функции Гаусса по каждому показателю в отдельности [35], выбор из множества решений с фиксированной трудоемкостью, обеспечивающих заданный уровень качества [48], оценка на основании нескольких взвешенных критериев и другие. Проведенное исследование показано, что в общем виде, функция трудоемкости зависит от текущих значений показателей качества и изменения каждого из них H(ai,...,an,Aaj,...,Aan) и является кусочно-непрерывной по переменным изменения показателей качества.
Таким образом, на основании проведенного анализа, в рамках диссертационного исследования предлагается следующая формальная постановка задачи обеспечения качества ПС:
Пусть п — количество показателей качества, к — значение, ограничивающее количество показателей, по которым одновременно ведется поиск, t - номер итерации оценки качества, щ = a,{t) - значение /-ого показателя качества для итерации t, Ад,- - изменения значение /-ого показателя качества, Q - требуемый уровень качества, Q(a],.,.,an) - функция оценки качества; Щаі,...,а№ Ааі,...,Аа„) - функция оценки трудоемкости и выполнены соотношения, Sn є, у, А, А1 - вспомогательные переменные:
Построение эмпирических формул зависимости между показателями
В рамках экспериментального внедрения было показано, что для задачи обеспечения и оценки качества достаточно рассматривать т=1, bi=0.
Данную зависимость можно интерпретировать следующим образом: со временем само понятие качество утрачивается, то есть те решения, которые раньше считались "хорошими", постепенно "устаревают". Используя описанный механизм, нам не требуется проводить экспертный опрос для каждой итерации, экспертная база будет обновляться самостоятельно по заданному функциональному правилу.
Имея базу динамически изменяемых показателей качества, можно найти начальные значения модели. Задавая количество промежутков между итерациями аудита можно получить прогноз о времени использования продукта, удовлетворяющего заданному требованию к качеству. Одним из вариантов постановки задачи управления качеством ПС является следующий: требуется найти значения параметров, на которых достигается минимальное значение функции трудоемкости для заданного цикла аудита и уровня качества. Таким образом, можно проектировать ПС "с запасом прочности". Анализ предметной области показал, что функции изменения показателей качества являются монотонно возрастающими, со временем требования к качеству ПС только повышаются. Используя данное предположение можно гарантировать то, что если мы обеспечим требуемый уровень качества на период времени Г, то для любого t Г требуемый уровень качества будет обеспечен.
Точный вид функции изменения экспертных оценок можно получить на основании экспертных оценок или используя механизм математического прогнозирования.
Так как в рамках рассматриваемой модели связь переменных различных групп показателей строится на основе количественной экспертной оценки, можно строить прогнозы изменения показателей качества. Экспертная оценка считается приемлемой, если экспертное и реальное значения не сильно отличаются (отклоняются не более чем на заданную величину).
В рамках данной работы в качестве методов количественного прогнозирования рассматриваются регрессивные методы временного ряда. Эти методы осуществляют прогноз путем экстраполяции значений отдельной переменной на основе статистических данных за прошлый временной период. Регрессивная модель временного ряда, т.е. экстраполяционная функция, экстраполирует (продолжает) "прошлые" значения переменной в "будущее". Данные временного ряда - это статистические данные за прошлый временной период, упорядоченные в хронологическом порядке, причем каждому отслеживаемому моменту времени соответствует только одно значение наблюдаемой переменной [14]. Подбор кривой организован методом наименьших квадратов.
Применение регрессивной модели временных рядов. Для модели временных рядов независимой переменной является время. Статистические данные, то есть значения зависимой переменной, наносятся на график в соответствии со временем, а затем по этим данным подбирается кривая с помощью метода наименьших квадратов, рассмотренного выше. Для получения прогноза кривая продолжается дальше в «будущее» (рис. 2.5).
Известно, что увеличение порядка кривой не увеличивает точность [14,36]. Экспериментальное внедрение показало, что необходимую точность обеспечивают линейное и квадратичное приближения, которые были реализованы в рамках модуля построения прогнозов изменения показателей качества сервисно-ориентированной среды поддержки управления качеством ПС.
Анализ регрессионных методов скользящего среднего. Одним из предположений, лежащих в основе методов скользящего среднего, является то, что более точный прогноз на будущее можно получить, если использовались недавние наблюдения, причем чем "новее" данные, тем их вес для пропюза должен быть больше.
Модули поддержки построения связей внутри математической модели обеспечения и оценки качества и построения прогнозов изменения показателей качества
Как было показано выше, одним из возможных способов снижения размерности оптимизационной задачи является устранение зависимых переменных.
Основываясь на рассмотренном во второй главе математическом аппарате, можно предложить следующую методику снижения размерности задачи: 1. Построение явного вида зависимостей. 2. Устранение зависимых переменных подстановкой их математического выражения через независимые. 3. Решение задачи методом прямого перебора с меньшим количеством переменных.
Алгоритм нахождения пространства минимальной размерности на множестве зависимых переменных описан во второй главе и дополнительного пояснения не требует. Реализация алгоритма была выполнена на РНР.
Программная реализация модуля построения явного вида зависимостей. Алгоритм построения явного вида зависимостей между двумя переменными, основанный на использовании метода наименьших квадратов, состоит из 3-х этапов: 1. Выбор количества точек, в которых известны значений обеих переменных. 2. Ввод значений в известных точках. 3. Анализ и выдача полученной эмпирической зависимости.
Экранные формы представлены на рис. 3.7, 3.8 и 3.9.
Результат вычислений Заметим, что при одинаковых результатах оценки методом наименьших квадратов предпочтение отдается линейной зависимости. Другие особенности алгоритма подробно рассмотрены во второй главе и дополнительных комментариев не требуют.
Программная реализация модуля построения прогнозов. Алгоритм построения прогнозов представляет модификацию алгоритма нахождения зависимостей между переменными с той лишь разницей, что одной из исследуемых переменных является время. Алгоритм состоит из этапов: 1. Ввод количества временных точек, на которых известно значение показателя. 2. Ввод значений временных точек и значений показателей в этих точках. 3. Построение эвристической зависимости (приближения). 4. Нахождение значения функции приближения в любой точке временного интервала (как "в будущем" так и "в прошлом").
Интерфейс ввода значений в известных точках приведен на рис. 3.10.
Выше было показано, что при получении формальной постановки задачи обеспечения и оценки качества ЭУП были задействованы экспертные оценки для вычисления весов и значений показателей. В рамках программной реализации в программный комплекс поддержки обеспечения и оценки качества ЭУП был включен модель проверки экспертных оценок на согласованность.
При оценке объектов эксперты иногда расходятся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности позволяет более обоснованно интерпретировать причины расхождения мнений.
При использовании количественных шкал измерения и оценке одного параметра объекта все мнения экспертов можно представить как точки на числовой оси. Эти точки можно рассматривать как случайные величины; поэтому для оценки центра группировки и разброса точек целесообразно использовать методы математической статистики, описанные во второй главе. Возможна оценка согласованности группы экспертов.
В качестве реализации был предложен алгоритм, состоящий из этапов: 1. Ввод количества задействованных экспертов и количества рассматриваемых объектов. 2. Ввод ранжировок экспертов по каждому объекту. 3. Анализ и выдача результатов. На рис. 3.11 и 3.12 приведены интерфейсы ввода экспертных ранжировок и анализа экспертных данных на согласованность.
