Содержание к диссертации
Введение
1. Качество программных средств: понятие, характеристики, подходы к оценке 11
1.1. Экономическое содержание категории качества программных средств и его характеристики 11
1.2 Анализ существующих методик оценки качества программных средств 28
1.3 Подходы к оценке качества функционирования информационных систем, использующих технологию «клиент- сервер» 36
2. Автоматизация оценки потребительского качества программных средств 44
2.1 Выбор базовых методик для построения автоматизированной системы оценки потребительского качества программных средств 44
2.2. Моделирование программной системы для оценки характеристик потребительского качества информационных продуктов для экономических приложений 55
2.3. Особенности проведения оценки характеристик качества программных систем, ориентированных на использование баз данных 66
2.4. Проблемы автоматизации процесса оценки потребительского качества программных средств 71
2.5. Описание программных систем различного назначения, оцениваемых в данном исследовании 74
3. Экспертная оценка характеристик качества программных продуктов 82
3.1 Особенности экспертной оценки характеристик качества программных продуктов, ориентированных на использование баз данных 82
3.2 Автоматизация проведения экспертных исследований 86
3.3 Экспертная оценка важности характеристик качества программных продуктов для автоматизации исследуемых предметных областей 89
3.3 Экспертная оценка характеристик качества экономических информационных систем 108
4. Оценка потребительского качества программных средств с помощью активных экспериментов 121
4.1 Теория оптимального планирования эксперимента и ее использование для оценки качества программных средств 121
4.2 Автоматизация оценки качества программных продуктов для экономических приложений по критерию «быстродействие» 132
4.3 Способы сохранения целостности исследуемой базы данных при проведении активных экспериментов с программными продуктами 139
4.4 Планирование и реализация активных экспериментов с программными системами различного назначения 142
Заключение 163
Библиографический список использованной литературы 166
Приложения 176
- Анализ существующих методик оценки качества программных средств
- Моделирование программной системы для оценки характеристик потребительского качества информационных продуктов для экономических приложений
- Экспертная оценка важности характеристик качества программных продуктов для автоматизации исследуемых предметных областей
- Автоматизация оценки качества программных продуктов для экономических приложений по критерию «быстродействие»
Введение к работе
За последнее десятилетие область применения компьютерной техники значительно расширилась, и рынок программного обеспечения также существенно вырос. Особенностью рынка программного обеспечения является быстрая смена его наполнения, появление новых программных продуктов, выход новых версий уже существующего программного обеспечения. Отметим, что до 95 % всех затрат на создание программно-аппаратного комплекса приходится на долю программного обеспечения, поэтому рост конкурентоспособности программного обеспечения основывается на снижении его стоимости и повышении качества.
Говоря о качестве программного обеспечения, мы подразумеваем такую совокупность свойств, которая обусловливает его пригодность удовлетворять потребности пользователя, то есть, мы говорим о качестве в общепринятом, нормативном понимании этого термина. Так, согласно [82] «качество продукции - социально-экономическая категория, характеризующая степень удовлетворения конкретной потребности единицей данной потребительной стоимости», а «потребительское качество -совокупность свойств продукции, проявляющихся в процессе ее потребления. Выбор свойств, составляющих содержание понятия потребительское качество, достаточно широк и разнообразен и зависит от вида продукции».
Потребительское качество программного продукта определяется как множество свойств, обусловливающих пригодность программного средства обеспечивать надежное и своевременное представление информации потребителю для ее дальнейшего использования по назначению. Современное программное обеспечение позволяет проводить оценку качества программных продуктов, в том числе и построенных с помощью различных систем управления базами данных (СУБД), вне зависимости от их функционального назначения.
Наиболее заинтересованным в качестве программного комплекса является потребитель — пользователь программного продукта. Для того чтобы выбрать программную систему, автоматизирующую решение интересующих его задач, потенциальный покупатель пытается оценить качество систем, представленных на рынке. При этом необходимо учитывать, что убытки от ошибок при проектировании и выборе информационной системы могут быть весьма существенными. В то же время, в технической документации большинства программных средств, предлагаемых в настоящее время на рынке, отсутствует информация, позволяющая оценить выходные характеристики программы и их динамику при изменении объема входной информации. Без такой информации невозможно оценить качество информационной системы, ее экономическую эффективность. Таким образом, в условиях постоянно растущего рынка программного обеспечения оценка качества программных систем является важной задачей. В диссертационной работе предпринята попытка решения части задач, связанных с проблемой оценки качества программных средств.
Степень разработанности проблемы. Потребности субъектов рынка программного обеспечения способствовали возникновению и развитию подходов и методик оценки качества программных продуктов, описанных в работах Безкоровайного М.М., Богуславского Л.Б., Гантера Р., Гличева А.В., Глудкина О.П., Денисова А.А., Дика В.В., Изосимова А.В., Когана Б.И., Костогрызова А.И., Липаева В.В., Марковой Н., Ногинского М.В., Погодаева А. К., Саркисяна А.А., Тамре Л., Трахтенгерца Э.А., Хубаева Г.Н.
Из иностранных исследователей отметим: Каргил К. (Cargill С), Эрдогмус X. (Erdogmus Н.), Кит И. (Kit Е.), Хааген У. (Hashagen U.), Лоренц П. (Lorenz Р.), Мартин Дж. (Martin J.), О'Реган Г. (CRegan G.), Кармайкл Э. (Carmichel Е.), Реверц П. (Revesz Р.), Самервил И. (Sommerwill L), Чен П. (Chen Р.), Майерс Г. (Mayers G.), Смит К. (Smith К.)
Хорошо разработанными являются лишь отдельные вопросы оценки потребительского качества программных продуктов, в частности, имеющих
7 отраслевую специфику. Определен набор величин, характеризующих качество информационных систем. Исследованы отдельные зависимости между качеством и параметрами информационных систем.
Однако недостаточно внимания уделяется применению математического моделирования, методов планирования эксперимента для исследования качества программных продуктов.
Также недостаточно разработанными являются инструментальные средства для оценки качества программного обеспечения, в частности, построенного с использованием СУБД.
Цель и задачи исследования. Целью диссертационного исследования является разработка информационной системы оценки потребительского качества программных продуктов для экономических приложений, построенных с помощью СУБД MS Access, 1С Предприятие, Oracle, и ее апробация на реальных автоматизированных информационных системах экономического назначения.
Для достижения цели в диссертационном исследовании ставились и решались следующие задачи:
выбор базовых методик для построения информационной системы оценки потребительского качества программных продуктов для экономических приложений;
анализ существующих инструментальных средств оценки качества программных продуктов;
определение условий применения различных методов оценки потребительского качества программных продуктов;
проектирование и реализация информационной системы оценки потребительского качества программных продуктов для экономических приложений, построенных с использованием современных СУБД;
автоматизация проведения экспертных исследований в сети Интернет;
8 проведение экспертной оценки важности основных характеристик потребительского качества программных продуктов для нескольких предметных областей;
оценка, по ряду критериев, качества функционирования нескольких автоматизированных систем, различных по своему назначению.
Объектом исследования являются предприятия всех организационно-правовых форм, использующие в своей деятельности автоматизированные информационные системы. Предмет исследования - информационные системы для оценки качества программных продуктов для экономических приложений.
Теоретическую и методологическую основу диссертационного исследования составили труды ведущих отечественных и зарубежных ученых по рассматриваемой проблеме, материалы научных конференций, публикации в периодической печати и в сборниках научных трудов.
Инструментарий исследования составили общая теория систем и системный анализ, методы исследования операций, методы прикладной статистики и планирования эксперимента, методы оценки потребительского качества программных систем, методы группового экспертного оценивания, современное программной обеспечение: системы управления базами данных Microsoft Access, 1С и Oracle 8i; средства разработки программного обеспечения Borland C++ Builder и Borland Delphi 5, PHP 4.
Информационно-эмпирическую базу исследования составили данные, характеризующие функционирование программных продуктов, созданных с помощью систем управления базами данных Microsoft Access, 1С, Oracle, полученные в результате планирования и реализации активных экспериментов с программными системами, а также данные, полученные в результате проведения экспертных опросов.
Работа выполнена в рамках Паспорта специальности 08.00.13 -
математические и инструментальные методы экономики, в соответствии с
пунктами 2.6. «Развитие теоретических основ методологии и
инструментария проектирования, разработки и сопровождения информационных систем субъектов экономической деятельности: методы формализованного представления предметной области, программные средства, базы данных, корпоративные хранилища данных, базы знаний, коммуникационные технологии» и 2.7 «Проблемы стандартизации и сертификации информационных услуг и продуктов для экономических приложений».
Основные положения и результаты, выносимые на защиту:
- программная система для определения характеристик
потребительского качества информационных систем субъектов
экономической деятельности, позволяющая а) снизить трудовые и
финансовые затраты на планирование, реализацию и обработку результатов
активных экстремальных экспериментов, осуществляемых в целях получения
характеристик быстродействия сертифицируемого информационного
продукта в зависимости от объемов таблиц, составляющих его базу данных;
б) проводить в условиях сети Интернет экспертные опросы для
ранжирования характеристик качества анализируемых экономических
информационных систем.
статистически значимые регрессионные модели, построенные по данным активных экспериментов и позволяющие оценить влияние анализируемых факторов на время выполнения функциональных операций конкретными программными системами различного назначения.
программные модули, автоматизирующие алгоритм управления факторами, включаемыми в регрессионную модель при оценке времени выполнения функциональных операций программными продуктами, что позволяет значительно сократить время проведения активных экспериментов и увеличить число анализируемых факторов.
- экспертные оценки важности основных показателей качества
программного обеспечения при автоматизации деятельности в конкретных
предметных областях, что позволило определить требования пользователей экономических информационных систем.
Научная новизна диссертационного исследования. Новыми являются:
- разработанная программная система, реализующая оригинальную
методологию определения характеристик потребительского качества
информационных систем субъектов экономической деятельности и
предназначенная для повышения объективности сертификации
информационных продуктов для экономических приложений, построенных
на СУБД MS Access, 1С Предприятие, ORACLE;
- регрессионные модели, построенные по результатам спланированных
в автоматизированном режиме экстремальных экспериментов, позволяющие
оценить влияние анализируемых факторов на время выполнения
функциональных операций;
- ранжированный перечень основных характеристик качества
программных продуктов, полученный в результате проведения экспертизы и
позволяющий оценить требования пользователей информационных систем
для конкретных предметных областей;
- программная реализация управления факторами (в
автоматизированном режиме), включаемыми в регрессионную модель при
оценке времени выполнения функциональных операций программными
продуктами, что позволяет увеличить число анализируемых факторов при
значительном сокращении времени проведения активных экспериментов.
Теоретическая и практическая значимость исследования. Теоретическая значимость заключается в формулировке и доказательстве того, что потребительское качество программных систем, построенных с помощью СУБД, зависит от объемных характеристик таблиц, составляющих базы данных этих систем.
Практическая ценность результатов исследования заключается в том, что разработанная автоматизированная система для определения характеристик потребительского качества информационных систем субъектов экономической деятельности позволяет:
проводить оценку потребительского качества программных продуктов, построенных с помощью современных СУБД, в том числе функционирующих в условиях сети и использующих архитектуру «клиент-сервер»;
минимизировать время проведения активного эксперимента с программным продуктом (при значительном числе анализируемых факторов);
оценивать влияние числа записей в таблицах базы данных программного продукта на время выполнения функциональных операций;
осуществлять в сети Интернет экспертные опросы по методике, ориентированной на дельфийскую процедуру, для ранжирования характеристик качества анализируемых экономических информационных систем;
давать сравнительную экспертную оценку ЭИС одного функционального назначения по таким характеристикам, как качество интерфейса, трудоемкость освоения, удобство сопровождения, качество документации и др.
Апробация результатов исследования. Основные положения диссертационного исследования представлялись, обсуждались и получили положительную оценку на V и VII межгосударственных научно-практических конференциях «Экономико-организационные проблемы проектирования и применения информационных систем» (г. Ростов-на-Дону, 2000,2002 гг.).
Результаты диссертационного исследования внедрены в ОАО «Ростовская государственная телефонная сеть» и ИВЦ ЖКХ г. Ростова-на-Дону, ЗАО «Фирма «СТОИК» (МА СканМаркет ) г. Москва.
Основные результаты диссертационного исследования опубликованы
в 6 печатных работах, в которых автору принадлежит 1,01 п.л.
Структура и объем диссертации. Диссертация состоит из введения,
четырех глав, заключения, списка использованной литературы и 9
приложений. Основной текст занимает 161 страницу и содержит 50 таблиц и
29 рисунков. Список использованной литературы состоит из 114 источников.
Анализ существующих методик оценки качества программных средств
В настоящее время рынок программных продуктов весьма обширен и наполнен огромным количеством программ, сходных по своему назначению и заявленным продавцами функциям, но не по качеству реализации этих функций. Покупателю программного продукта очень сложно сделать выбор, ведь он может основываться только на заявленном в документации перечне функций программы и требованиях к техническим средствам, необходимым для ее функционирования, а никак не на коли чественной оценке качества программного продукта и сравнении эконо мической эффективности имеющихся на рынке программных средств. Если бы подобная оценка была возможной, то совершалось бы значительно меньше ошибок при покупке программных средств. В то же время неудачный выбор программы может принести фирме-покупателю убытки, которые обусловлены: - затратами денежных средств и времени на приобретение про граммного продукта, оказавшегося неэффективным, на его освоение и внедрение, включая наполнение баз данных, справочников и т. д.; - потерями ожидаемого эффекта от купленного программного средства; - дополнительными текущими расходами на эксплуатацию программного средства; - потерями темпа в конкурентной борьбе при отказе от уже купленного программного средства и повторными расходами времени и средств на приобретение, освоение и внедрение нового программного средства того же назначения.
В настоящее время существует несколько методик оценки качества программных средств, позволяющих избежать подобной ситуации. Эти методики можно разделить следующим образом. 1. Оценка качества ПС по критерию функциональной полноты. 2. Экспертная оценка качества ПС. 3. Взаимоувязанная оценка показателей надежности и своевременности представления, полноты, достоверности и конфиденциальности используемой информации. 4. Реляционный подход к измерению и оценке качества программных средств. 5. Оценка факторов, влияющих на время выполнения программным средством отдельных функциональных операций, и работы программы в целом. Рассмотрим подробнее данные методики. Оценка качества программных средств по критерию функциональной полноты проводится следующим образом. Для осуществления оптимального выбора программного продукта необходимо располагать количественной оценкой того, в какой степени программы соответствуют требованиям пользователя. Кроме того, нужно определить, какие из необходимых пользователю функций не реализованы в ПП. Также важно выявить системы, лучшие по критерию функциональной полноты, и определить перечень функций, реализуемых всеми представленными на рынке программными продуктами. Ситуация осложняется тем, что в современных программных продуктах количество выполняемых ими функций может достигать нескольких сотен и более.
Очевидно, что при таких условиях вручную оценить степень соответствия программного продукта требованиям пользователя не представляется возможным. Поэтому для решения поставленных задач был предложен формализованный подход, описанный в [87,89]. Эта методика позволяет с наименьшими затратами финансовых ресурсов и интеллектуальных усилий осуществить следующее: - составить полный перечень функций, реализуемых всеми представленными на рынке ИС; - систематизировать сведения о составе и функциональной полноте существующих ИС; - количественно оценить степень соответствия той или иной ИС требованиям пользователя к функциональной полноте; - проранжировать ИС по критерию функциональной полноты; - на стадии предварительного анализа исключить из дальнейшего рассмотрения информационные и программные продукты, в которых не реализуются нужные пользователю функции; - сформировать группу ИС, имеющих одинаковую функциональную полноту, сопоставить их цены и другие характеристики; - расширить для потребителя-пользователя возможности оптимального выбора на рынке программных средств, предоставив перечень выполняемых каждым ПП функций, а разработчику ПП показать место его продукта среди существующих программных систем и одновременно дать первоначальную оценку конкурентным рыночным позициям фирм-разработчиков 1111. Другой метод оценки качества программных средств изложен в [90] - это метод экспертных оценок. В основе метода групповой экспертизы лежат, как известно, следующие постулаты: - экспертная оценка носит вероятностный характер; - считается, что истинное значение исследуемой характеристики находится внутри диапазона оценок отдельных экспертов, т.е. обобщенное коллективное мнение более достоверно (исключение составляет случай, когда группа экспертов существенно неоднородна по уровню компетентности); - методика отбора экспертов, процедура общения с ними, методы обработки полученных экспертных оценок, зачастую, оказывают решающее влияние на результаты экспертизы. При этом нельзя допускать попыток упростить установленный порядок проведения экспертизы, сократить число туров опросов, изменить содержание анкет, разработанных в соответствии с принятой методикой экспертного опроса. Применение этого метода на практике вызывает определенные трудности. Если выполняется условие транзитивности, то для упорядочения ПС и оценки согласованности результатов экспертизы можно использовать методы ранговой корреляции. Однако трудно рассчитывать на то, что найдется даже один эксперт, обладающий достаточной компетентностью, чтобы сделать заключение обо всех представленных на рынке ПП. Поэтому в лучшем случае речь может идти о сопоставлении в процессе экспертизы лишь нескольких сложных программных систем. Кроме того, достаточно очевидно, что найти эксперта, хорошо знающего всего две-три системы, тоже значительно проще. Несомненно и другое: дать обоснованную количественную оценку качеству сложной программной системы можно, только имея определенный опыт работы с ней. При этом следует учитывать, что на достоверность результатов сравнения наиболее существенное влияние оказывают факторы, характеризующие индивидуальные свойства эксперта: компетентность (степень пересечения тезауруса эксперта с содержанием исследуемой предметной области, решаемой задачи), природные, генетические способности (степень развитости ассоциативного мышления, глубина памяти, скорость реакции и др.).
Моделирование программной системы для оценки характеристик потребительского качества информационных продуктов для экономических приложений
Центральным элементом деятельности, ведущей к созданию информационной системы, является моделирование. Модели позволяют наглядно продемонстрировать желаемую структуру и поведение системы.
Они также необходимы для визуализации и управления ее архитектурой. Модели помогают добиться лучшего понимания создаваемой системы, что зачастую приводит к ее упрощению и возможности повторного использования.
Таким образом, моделирование позволяет решить следующие задачи: - визуализировать систему в ее текущем или желательном состоянии; - определить структуру или поведение системы; - получить шаблон, позволяющий затем сконструировать систему; - документировать принимаемые решения, используя полученные модели. В основе построения моделей сложных систем лежат три основных принципа. [19]
Принцип абстрагирования. Модель - это упрощенное представление реальности, которое включает элементы, непосредственно влияющие на выполнение системой своих функций, и не включает малозначимые на данном уровне абстракции элементы. Это позволяет чрезмерно не усложнять процесс анализа и исследования полученной модели.
Принцип многомодельности. Единственная модель не может описывать различные аспекты сложной системы с достаточной степенью адекватности. Поэтому для описания системы с различных точек зрения используют различные модели: структурные - для представления организации системы, и динамические - для отражения ее поведения.
Принцип иерархического построения модели. Модель, строящаяся на начальном этапе проектирования, является наиболее общим представлением системы. Она может не содержать многих деталей и аспектов системы. На последующих этапах модель дополняется множеством деталей для более адекватного отражения реализации системы.
Наиболее современным подходом к построению моделей информационных систем является объектно-ориентированный, в основу которого положена идея представления окружающего нас мира в виде объектов, являющихся экземплярами соответствующих классов. Данный подход является сейчас преобладающим и продемонстрировал свою полезность при построении систем в различных предметных областях. Большинство инструментальных средств, операционных систем и современных языков программирования в той или иной мере являются объектно-ориентированными.
В настоящее время промышленным объектно-ориентированным стандартом языка моделирования бизнес-процессов и систем с ориентацией на их дальнейшую реализацию в виде программного обеспечения является UML (Unified Modeling Language) - унифицированный язык моделирования. Язык разработан в середине 90-х годов как сплав языков Booch, OOSE и ОМТ. В ноябре 1997 г. язык принят в качестве стандарта Группой по управлению объектами (Object Management Group, OMG).
Рынок современных программных продуктов предлагает ряд CASE-средств, поддерживающих UML - Rational Rose, Paradigm Plus, Select Enterprise, Microsoft Visual Modeler for Visual Basic и др. Средства автоматической кодогенерации позволяют на основе разработанной визуальной модели программной системы получить исходный код на таких языках как C++, Visual Basic, Java, Delphi, COBRA/IDL и ORACLE. Использование этих средств позволяет значительно упростить процесс кодирования, а также проверить еще на этапе разработки архитектурные решения, корректность и полноту модели.
Унифицированный язык моделирования является стандартным инструментом для создания «чертежей» программного обеспечения. С помощью UML можно визуализировать, специализировать, конструировать и документировать программные системы [19,56].
UML пригоден для моделирования любых систем: от информационных систем масштаба предприятия до распределенных Web-приложений и даже встроенных систем реального времени. Язык позволяет рассмотреть систему со всех точек зрения, имеющих отношение к ее разработке и последующему развертыванию. UML не является языком визуального программирования, но модели, созданные с его помощью, могут быть непосредственно переведены на различные языки программирования.
Помимо прямого отображения в языки программирования UML в силу своей выразительности и однозначности позволяет непосредственно исполнять модели, имитировать поведение систем и контролировать действующие системы. Кроме этого, UML позволяет решить проблему документирования системной архитектуры и всех ее деталей, предлагает язык для формулирования требований к системе и определения тестов, представляет средства для моделирования работ на этапе планирования проекта и управления версиями.
Таким образом, язык UML может быть применен в течение всего процесса разработки ИС, начиная с разработки проекта и заканчивая непосредственной реализацией. Но наиболее часто язык применяется при построении модели ИС.
Экспертная оценка важности характеристик качества программных продуктов для автоматизации исследуемых предметных областей
В данном исследовании была проведена экспертная оценка важности некоторых показателей качества программных средств для следующих предметных областей: автоматизация деятельности отдела продаж, автоматизация работы бухгалтерии, автоматизация работы паспортного стола, автоматизация оценки качества работы предприятия. Были рассмотрены следующие показатели: устойчивость функционирования; удобство освоения; качество документации программного комплекса; удобство обслуживания; быстродействие; ресурсоемкость; возможность модификации. На рис. 14 приведена разработанная для проведения экспертного опроса анкета.
Были опрошены 10 экспертов. В качестве экспертов были отобраны специалисты в области информационных технологий, пользователи программного обеспечения различного назначения, разработчики программного обеспечения, которые также занимаются его сопровождением, руководители разного уровня, доценты ВУЗа.
Для проведения опроса использовалась разработанная система проведения экспертных исследований в сети Internet, описанная в пункте 3.2. После каждого тура экспертизы экспертов знакомили с результатами опроса. Рассмотрим экспертизу актуальности характеристик качества программных продуктов для предметной области «Автоматизация деятельности отдела продаж». В табл. 3 представлены результаты ранжирования экспертами характеристик качества программных продуктов после третьего тура опросов.
В табл. 4 приведено итоговое ранжирование характеристик качества программных продуктов для предметной области «Автоматизация работы отдела продаж», определенное по средним рангам, полученным после третьего тура опросов десяти экспертов. Из табл. 4 мы видим, что эксперты самым важным критерием для оценки качества программного продукта при автоматизации работы отдела продаж считают устойчивость функционирования, следующим по важности является быстродействие программного продукта, затем следуют удобство обслуживания, ресурсоемкость, модифицируемость, трудоемкость освоения и качество документации. Каждое ранжирование представлялось в виде матрицы упорядочения в канонической форме, а затем рассчитывалась мера близости (расстояния) Кемени между всеми ранжированиями. На основании расчета данного показателя можно сказать, что величина рассогласования существенно снизилась к третьему туру. Элемент cij матрицы упорядочения определялся следующим образом:
Матрицы упорядочения в канонической форме для ранжирования двух экспертов приведены в табл. 5-6. Матрицы упорядочения для остальных экспертов приведены в приложении 2. Расстояние Кемени численно характеризует степень рассогласования между ранжированиями экспертов. Оно рассчитывается по формуле: а и b - квадратные матрицы упорядочения экспертов 1 и 2.
Автоматизация оценки качества программных продуктов для экономических приложений по критерию «быстродействие»
Как уже отмечалось, основой для построения программной системы оценки характеристик потребительского качества информационных продуктов для экономических приложений служат два метода - метод, базирующийся на проведении активных экспериментов с программными системами и метод экспертных оценок. Постановка задачи автоматизации оценки качества информационных систем была описана ранее. Рассмотрим подробнее реализацию автоматизированной оценки качества с помощью активных экспериментов.
Для автоматизации проведения активных экспериментов с программными системами была разработана информационная система оценки качества программных продуктов, реализованная на Delphi 5 с использованием компонентов доступа к различным форматам баз данных (ODBC, BDE, ODAC, ADO).
В соответствии с постановкой задачи первым шагом проведения активного эксперимента с программной системой с помощью автоматизированной системы оценки качества является выбор типа базы данных, используемой программной системой -MS Access, 1С, Oracle. Необходимость такого выбора связана с проблемой получения информации о связях между таблицами базы данных, необходимой для проведения эксперимента в автоматическом режиме.
После этого пользователь должен указать количество запросов и других функциональных операций, время выполнения которых ему необходимо оценить.
Далее пользователь имеет возможность выбрать вид эксперимента -полный факторный эксперимент или дробный факторный эксперимент. Это осуществляется следующим образом: если пользователь на первой закладке страницы выбора факторов выбирает все таблицы базы данных, то будет проводиться полный факторный эксперимент, если же часть таблиц отмечаются пользователем на второй странице в качестве вспомогательных факторов, то будет проводиться дробный факторный эксперимент. В обоих случаях на третьей закладке пользователь может выбрать те таблицы-факторы, число записей в которых не будет меняться в процессе проведения эксперимента. Это связано с тем, что в современных базах данных может быть несколько десятков таблиц. На рис. 23 показана процедура выбора факторов для эксперимента.
После этого автоматически строится матрица планирования эксперимента в зависимости от того, какой вид эксперимента был выбран на втором шаге — полный факторный или дробный факторный. Матрица планирования полного факторного эксперимента с параллельными опытами приведена в таблице 46.
Далее можно приступить непосредственно к проведению эксперимента. Эксперимент проводится столько раз, сколько запросов пользователю необходимо проанализировать. Число опытов эксперимента вычисляется по формуле (4).
После того, как все таблицы, выбранные для варьирования числа записей, содержащимся в них, заполнены в соответствии с матрицей планирования эксперимента для n-го опыта, на экран выдается сообщение о том, что запрос или функциональную операцию можно выполнять. После этого пользователь должен нажать на кнопку, запускающую отсчет времени и перейти в окно оцениваемой программной системы и запустить запрос на выполнение. Когда результат появится на экране или на принтере пользователь должен перейти в окно АСОК и нажать кнопку, завершающую отсчет времени выполнения запроса.
Также для систем, созданных с использованием СУБД MS Access и Oracle реализована следующая процедура проведения экстремального эксперимента: пользователь системы оценки качества может самостоятельно написать запрос на языке SQL и задать его в качестве исполняемой функциональной операции с целью анализа времени его выполнения в зависимости от чиста записей в таблицах базы данных. Эта функция программы предоставляет возможность программистам оценивать время выполнения различных запросов к базе данных в процессе разработки и тестирования нового программного продукта. В случае существенного значения времени отклика разрабатываемой системы на тестируемый запрос программист имеет возможность изменить его структуру еще на стадии разработки программы, что несомненно улучшит ее качество.
Введенный пользователем системы SQL-запрос выполняется в соответствии с построенным планом эксперимента, и схема работыпрограммы такая же, как и в вышеописанной процедуре замера времени с тем отличием, что в данном случае участие пользователя в проведении эксперимента не нужно, поскольку система сама запускает запрос на выполнение и сама замеряет время его выполнения в каждом опыте.
При этом опыт представляет собой серию из трех параллельных опытов, проводящихся при одинаковых значениях варьируемых факторов. Для каждого проведенного эксперимента, соответствующего определенному запросу или функциональной операции, строится массив данных, содержащий информацию о времени выполнения запроса в каждом опыте.
При этом время выполнения запроса в n-ом опыте является средним арифметическим от значений времени выполнения запроса в трех параллельных опытах.
