Содержание к диссертации
Введение
1. Проблемы оценки функционирования экономических информационных систем 11
1.1 Основные положения теории полезности и потребительского поведения 12
1.2 Методы анализа, синтеза и прогнозирования количественных и качественных параметров экономических систем 15
1.3 Исследование и стандартизация качества программного обеспечения... 30
2. Методы и модели оценки функционирования экономических информационных систем 38
2.1 Принятие решений методом анализа иерархий в условиях неопределенности 38
2.2 Концептуальная модель качества программного обеспечения 65
3. Разработка и обоснование динамической модели качества программного обеспечения 80
3.1 Модель динамической полезности 80
3.2 Моделирование качества программного обеспечения 116
4. Моделирование и анализ внешнего качества программного обеспечения 142
4.1 Разработка АИС оценки динамического качества ПО 142
4.2 Анализ внешнего качества контролирующе-обучающего ПО 154
4.3. Оценка экономического эффекта от использования модели динамического качества ПО 177
Заключение 185
Литература
- Методы анализа, синтеза и прогнозирования количественных и качественных параметров экономических систем
- Концептуальная модель качества программного обеспечения
- Моделирование качества программного обеспечения
- Анализ внешнего качества контролирующе-обучающего ПО
Введение к работе
Актуальность работы. В настоящее время предприятия различных отраслей и организационно-правовых форм широко используют информационные системы (ИС) в процессе своего функционирования для производства экономических благ и оказания услуг. Увеличение сложности и размеров современных ИС и программного обеспечения (ПО) в частности, использование устаревших средств и методов разработки, тестирования и диагностики ПО приводят к созданию некачественного продукта. В результате этих, а также ряда других причин значительно возрастают издержки на внедрение, модернизацию и эксплуатацию ПО и ИС.
Перед разработчиками, покупателями, обслуживающим персоналом, конечными пользователями и другими заинтересованными сторонами встает ряд проблем, связанных с качеством ПО и ИС. Во-первых, необходимо обеспечить качество продукта на протяжении всего жизненного цикла, что связано, в частности, с реализацией систем менеджмента качества в организациях и эффективностью внутриорганизационных процессов. Во-вторых, требуется количественная оценка характеристик качества по различным критериям, отражающим потребности заинтересованных сторон. Для решения этих задач необходим специализированный инструментарий, разработанный для конкретной сферы деятельности (менеджмент качества) и адаптированный для решения определенных отраслевых задач.
При создании отраслевых ИС важно учитывать дополнительные ограничения, накладываемые спецификой данной предметной области. Низкая экономическая рентабельность отрасли, особенности менталитета работников и менеджеров, недостаточное количество квалифицированных в области информационных технологий кадров повышают требования к качеству и ПО, и ИС.
Степень разработанности проблемы. В своих исследованиях автор опирался на работы ученых, посвященные теории полезности и
потребительского поведения: Р.Г.Д. Аллена, Д. Бернулли, Дж. Винера, У.С. Джевонса, Ж. Дюпюи, А. Маршалла, К. Менгера, Л. Мизеса, О. Моргенштерна, Дж. фон Неймана, В. Парето, М. Ротбарда, Дж. Сэвиджа, М. Фридмена, Дж. Хикса и других.
В процессе диссертационного исследования изучены работы авторов, рассматривавших вопросы моделирования, анализа, синтеза, планирования и прогнозирования параметров сложных систем, а также проблемы принятия решений: Р. Беллмана, Л. Заде, Т. Саати, А.В. Андрейчикова, Е.П. Бочарова, A.M. Гатаулина, Е.Н. Ефимова, А.Н. Ильченко, М.С. Красса, В.В. Липаева, В.Ф. Минакова, А.И. Половинкина, Н.М. Светлова, Г.Н. Хубаева, Е.И. Царегородцева и других. Использовались отечественные и международные стандарты.
Организация производства качественного продукта (в том числе ПО) является ключевой задачей менеджмента, которой в индустриально развитых странах активно занимаются около 50 лет. К числу достижений теории менеджмента качества относятся современное понятие качества - полнота свойств и характеристик продукта, процесса или услуги, которые способны удовлетворить заявленные или подразумеваемые нужды потребителя (ISO 9000:2000), а также серия международных стандартов качества ISO 9000.
Изучение качества ПО, синтез обобщенных количественных или качественных оценок ПО на основе множества параметров - сложная задача, не имеющая в настоящее время полного решения как в теоретическом, так и в практическом аспекте. Работы, посвященные анализу качества ПО как экономического блага, носят, в-основном, описательный, упрощенный или узкоспециализированный характер. Стандарты качества ПО также не регламентируют методы оценки качества и не описывают состав характеристик качества для различных классов ПО.
Цель и задачи исследования. Целью исследования является моделирование и анализ динамической полезности экономических информационных систем на примере внешнего качества контролирующе-
обучающего программного обеспечения.
Для достижения поставленной цели необходимо решить следующие задачи:
провести анализ проблем оценки параметров функционирования экономических информационных систем (ЭИС) и характеристик качества ПО;
исследовать и обосновать использование определенных математических методов для анализа полезности ЭИС;
разработать математическую модель анализа полезности ЭИС;
разработать алгоритм, программу и базу данных для решения задач анализа динамической полезности ЭИС;
осуществить моделирование и анализ полезности ЭИС на примере отраслевого ПО.
Объект и предмет исследования. Объектом исследования является информационное обеспечение предприятий различных отраслей и организационно-правовых форм. Предметом исследования являются информационные процессы и явления, протекающие в экономических информационных системах.
Методология и методы исследования. В основе настоящего исследования лежат общие принципы научного познания и их приложения в различных отраслях знаний. В диссертационной работе использовались основные положения теории полезности, метод анализа иерархий (МАИ), математическая статистика. При разработке ПО и базы данных использовались языки объектно-ориентированного программирования и основы теории проектирования баз данных.
Работа проведена в рамках пунктов 2.6 «Развитие теоретических основ, методологии и инструментария проектирования, разработки и сопровождения информационных систем субъектов экономической деятельности: методы формализованного представления предметной области, программные средства, базы данных, корпоративные хранилища данных, базы знаний,
коммуникационные технологии» и 2.7 «Проблемы стандартизации и сертификации информационных услуг и продуктов для экономических приложений» Паспорта специальности 08.00.13 - Математические и инструментальные методы экономики.
Основные положения диссертации, выносимые на защиту
Выявленное значительное пересечение объемов понятий «полезность» и «качество» дало возможность использовать основные положения экономической теории полезности для моделирования и оценки качества программного обеспечения.
Предложена методика свертки оценок альтернатив по количественным и качественным критериям для учета влияния критических (находящихся на границах области допустимых значений) оценок альтернатив при большом количестве критериев и альтернатив.
Разработана модель динамической полезности и методика расчета суммарной степени удовлетворенности потребностей - оценки качества экономического блага.
Построена имитационная модель «Конечный пользователь - ПО», представляющая собой систему массового обслуживания заданий пользователя с учетом ошибок и отказов.
С помощью разработанных на основе предложенной методики программы и базы данных решена задача моделирования и анализа динамической полезности ЭИС на примере внешнего качества контролирующе-обучающего ПО.
Обоснован механизм использования предложенного подхода к оценке качества ПО совместно с учетом затрат на внедрение и эксплуатацию ПО для выбора оптимальной альтернативы.
Научная новизна работы
1. Раскрыты и уточнены понятия полезности экономических благ и качества ПО, показано значительное пересечение объемов данных понятий, что
позволяет использовать подходы экономической теории полезности при исследовании качества ПО.
Предложена концептуальная модель качества ПО, основанная на международных стандартах качества ПО и описывающая в иерархическом виде характеристики, субхарактеристики и метрики качества ПО, которая может использоваться для анализа качества ПО методом анализа иерархий.
Разработана методика свертки оценок альтернатив по количественным и качественным критериям на основе расчета и нормирования среднегеометрических произведений оценок альтернатив и нормированных весов критериев, позволяющая учесть большое количество критериев (в соответствии с моделью качества ПО) и нелинейность влияния оценок альтернатив по критериям на веса альтернатив при решении задачи анализа полезности ЭИС.
Разработана математическая модель динамической полезности в виде S-образной экспоненциальной зависимости, реализованная с помощью итерационного алгоритма и позволяющая синтезировать числовой показатель качества экономического блага - суммарную степень удовлетворенности - для определенной группы потребителей на основе экспертной оценки характеристик качества исследуемого блага на заданном временном интервале.
Разработана имитационная модель ПО как системы массового обслуживания, описывающая взаимодействие пользователей с ПО и моделирующая ошибки и отказы, что позволяет проводить анализ качества ПО на основе разработанной модели динамической полезности.
Составлен базовый список потребностей заинтересованных групп лиц и полезных свойств альтернатив в рамках проблематики анализа качества ПО, единый для различных классов ПО и позволяющий осуществлять унифицированную оценку альтернатив в целях стандартизации качества ПО.
Реализован алгоритм анализа динамического качества ПО на основе разработанных модели динамической полезности и имитационной модели ПО, описывающий поведение системы «Конечный пользователь - ПО»,
рассчитывающей значение суммарной степени удовлетворенности и определяющей показатели качества на заданном временном интервале, что позволяет сравнивать качество ПО в рамках исследуемого класса и конкретных групп пользователей в целях стандартизации и сертификации.
Теоретическая значимость исследования.
Предложена методика свертки оценок альтернатив по количественным и качественным критериям, позволяющая учесть большое количество критериев и нелинейность влияния оценок альтернатив по критериям на веса альтернатив при решении задачи анализа полезности ЭИС.
Разработана математическая модель динамической полезности, основанная на теории полезности и многокритериальных методах принятия решений в условиях неопределенности и позволяющая синтезировать количественный показатель качества экономического блага на базе экспертных оценок его характеристик на заданном временном интервале.
Создана имитационная модель ПО как системы массового обслуживания заявок пользователей с возможностью ошибок и отказов. Модель ориентирована на описание потребностей конечных пользователей и эксплуатационных характеристик ПО.
Практическая значимость исследования.
Разработана базовая иерархия характеристик и субхарактеристик качества ПО, позволяющая проводить оценку различных классов ПО на основе единого концептуального подхода.
Разработаны ПО и база данных для решения задач моделирования и анализа качества ПО на основе предложенной модели динамической полезности. Рассчитываемые в программе показатели качества позволяют сравнивать качество программных продуктов в рамках выбранного класса для определенных групп пользователей в целях стандартизации, сертификации, маркетинговых исследований, прогнозирования рыночной стоимости и т.д.
Апробация работы. Предложенная методика моделирования и анализа качества ПО прошла апробацию при разработке распределенной системы управления базами данных для информационно-консультационной службы АПК при администрации Волгоградской области.
Представленные в диссертации анализ и оценка качества контролирующе-обучающего ПО выполнены по заявке информационно-аналитического центра Волгоградской государственной сельскохозяйственной академии.
Основные положения и результаты, представленные в диссертации, докладывались на ежегодных научно-практических конференциях ВГСХА (VIII Конференция молодых исследователей Волгоградской области (2004 г.); Научно-методическая конференция «Система повышения качества подготовки специалистов АПК» (2004 г.); Международная научно-практическая конференция «Актуальные проблемы развития АПК» (2005 г.)) и ВолГУ (IX (2005 г.) и X (2006 г.) Конференция молодых исследователей Волгоградской области).
Публикации. Основные результаты работы изложены в 10 научных работах объемом 2,7 п.л., из них 1,6 п.л. лично авторских.
Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, заключения, библиографического списка (176 источников) и 7 приложений, содержит 227 страниц машинописного текста, 61 таблицу, 85 рисунков, 4 блок-схемы.
Методы анализа, синтеза и прогнозирования количественных и качественных параметров экономических систем
Математические методы применительно к данной предметной области интересуют нас как средство обоснованного и эффективного принятия решений. Задача принятия решений (ЗПР) сводится к выбору одной из альтернатив (или их комбинации) из предложенного набора. Важную роль в выборе играют ожидаемые последствия от принятия того или иного решения. Таким образом, в ЗПР можно выделить 7 подзадач: анализ информации; постановка задачи; генерация альтернатив; выбор критериев; анализ альтернатив; выбор альтернатив; принятие решения.
Анализ информации производится с помощью средств математической статистики, нейронных сетей и других методов. Оперативная обработка данных обычно происходит на компьютере с применением технологий баз данных и графических средств визуализации.
Постановка задачи является творческим трудноформализуемым процессом, для которого пока не разработано действенных математических методов, способных конкурировать с человеческим интеллектом. Для выполнения данной работы в различных отраслях деятельности существуют специалисты-эксперты.
Генерация альтернатив - в достаточной мере эвристический процесс, однако, во-первых, здесь возможно применение прошлых решений, а во-вторых - использование методов упорядочения и классификации решений (например -морфологический синтез). Их применение дает возможность описать все варианты решений в пределах некоторого множества, что тем не менее не исключает существования других решений за его пределами.
Выбор критериев происходит с учетом общей цели управления (которая на практике может разбиваться на подцели заинтересованных групп). Данный этап редко поддается формализации и автоматизации, поскольку критерии должны учитывать особенности как внутренней, так и внешней среды объекта управления (так, по данным исследований, менеджер высшего звена в процессе принятия решения осознанно или подсознательно учитывает до 300 критериев).
В процессе анализа альтернатив происходит их оценка и сравнение по заданным критериям. Причем критерии могут учитывать не только текущее состояние, но и будущие значения параметров системы. Для этого используется прогнозирование результатов решений. Здесь математические методы получили широчайшее применение - от методов формализации экспертной деятельности до разнообразных математических моделей. Но для более успешного и точного прогнозирования результатов тех или иных действий -принятия решений, а вообще говоря, выявления законов и закономерностей развития исследуемой системы, необходим теоретический базис, описывающий качественно, а лучше количественно, поведение класса данных систем.
Выбор альтернатив в той или иной мере опирается на теорию полезности. Причем здесь возникают различные задачи - в зависимости от того, качественные или количественные оценки даются альтернативам, один или несколько критериев сравнения мы используем, учитывается фактор времени или нет.
После выбора наилучшей с точки зрения цели управления альтернативы происходит процесс принятия решения, в результате которого предложенная альтернатива или утверждается, или отклоняется и процесс принятия решений начинается с начала.
Математические методы наиболее часто используются в следующих подзадачах ЗПР: анализ информации; генерация альтернатив; анализ альтернатив.
Далее рассмотрим на концептуальном уровне методы генерации, или синтеза, альтернатив, а затем - методы анализа и прогнозирования альтернатив.
Классификацию методов синтеза (генерации) решений [25, 28, 57, 72, 79, 143, 171] можно провести по наличию или отсутствию алгоритма, организующего мыслительный процесс. По этому признаку можно выделить две группы методов:
1. методы ненаправленного (полуупорядоченного) синтеза, опирающиеся только на простейшие приемы ассоциативного мышления;
2. методы направленного (упорядоченного) синтеза, для которых характерны комплексный подход, системный анализ проблемы и алгоритмизация творческого процесса.
Концептуальная модель качества программного обеспечения
Качество организационных процессов (качество любого из процессов жизненного цикла, определенных в ISO/IEC 12207) совершенствует качество программного продукта, и качество программного продукта вносит вклад в повышение качества в работе. Таким образом, оценка и повышение качества организационных процессов процесса позволяет улучшить качество программного продукта, и оценка и повышение качества программного продукта является одним из средств улучшения качества в работе. Точно так же оценка качества в работе может обеспечить обратную связь для повышения качества программного продукта, и оценка качества программного продукта может обеспечить обратную связь для повышения качества организационных процессов.
Для реализации потребностей разработчиков, службы технического обслуживания, покупателей и конечных пользователей требования по качеству программного обеспечения в общем виде включают критерии внутреннего, внешнего качества и качества в работе.
Качество изменяется в течении жизненного цикла программного обеспечения (например, требуемое качество программного продукта в начале жизни цикл отличается от фактического или поставляемого качества программного продукта). Оценка качества также отражает разнообразные точки зрения. Представим различные взгляды на качество на разных этапах жизненного цикла программного продукта.
Целевое качество - необходимое и достаточное качество, которое отражает реальные пользовательские потребности. Международный стандарт ISO 8402 определяет качество в терминах способности продукта удовлетворить заявленные и подразумеваемые потребности. Однако потребности, заявленные пользователем, не всегда отражают его реальные потребности, так как пользователь часто не представляет своих реальных потребностей, и также потребности могут измениться после того, как они были заявлены. Так что целевое качество не может быть полностью определено в начале проекта, но все же разработчики должны его знать и действовать в соответствии с ним. Целевое качество не означает совершенное качество, а только необходимое и достаточное качество. Целевое качество может быть определено при измерении качества в работе, когда программный продукт будет готов.
Требования к внешнему качеству должны использоваться как исходные данные для первоначальной валидации программного продукта. Требования к внешнему качеству для всех качественных характеристик, определенные в первой части международного стандарта ISO/IEC 9126, должны быть предопределены с использованием метрик внешнего качества. При этом должны быть заявлены не только оптимальные, но также и минимальные требования.
Требования к внутреннему качеству определяют внутреннее качество, представленное в основных частях программного продукта, включая архитектуру программного обеспечения, структуру программы и стратегию построения пользовательского интерфейса.
Внутреннее качество - отражение философии и стратегии проекта. Включает внутренние характеристики программного обеспечения, главным образом связанные со средой программирования. Требования к внутреннему качеству определенны в первой части международного стандарта ISO/IEC 9126. Некоторые характеристики качества программного обеспечения могут быть улучшены в процессе выполнения и тестирования программного кода, но фундаментальные параметры качества программного обеспечения, представленные внутренним качеством, останутся неизменными.
Прогнозируемое внешнее качество - внешнее качество конечного программного продукта, прогнозируемое на каждой стадии разработки, основываясь на знании внутреннего качества. Для прогнозирования необходимо разработать методику, показывающую соотношение между внешним внутренним качеством.
Внешнее качество - качество поставляемого конечному пользователю программного продукта, обычно оцениваемое тестированием в смоделированном окружении с типичными данными, используя метрики внешнего качества.
Качество в работе - качество с точки зрения пользователя в его обычном рабочем окружении, содержащем программное обеспечение. Измеряется по результатам использования программного обеспечения в реальных условиях. При этом к пользователям относятся все типы пользователей, включая и операторов и службу технической поддержки, и их требования могут быть различны.
Моделирование качества программного обеспечения
Для решения задач анализа и прогнозирования качества программного обеспечения необходимо составить списки потребностей акторов и полезных свойств рассматриваемых альтернатив. В соответствии с концепцией метода анализа иерархий данные списки целесообразно представлять иерархически, причем в расчетах будут использоваться только элементы нижнего уровня, а верхние уровня необходимы для наглядного представления, систематизации и структуризации составляющих потребностей и свойств.
Существует несколько конкурирующих классификаций потребностей, отражающих философию их создателей [114, 119, 162, 163]. По крайней мере, можно выделить три основные теории: психоанализ, бихевиоризм, гуманистическая психология, породившие множество дополнений, обобщений и приложений к различным сферам деятельности. В экономической теории широкое применение получила иерархия потребностей А. Маслоу (рис. 3.25).
Представленный список отражает все потребности (или их большую часть), и для решения нашей задачи необходимо выделить только те, которые удовлетворяются предложенными альтернативами4. Поскольку альтернативами являются различные реализации программного обеспечения, нам необходимо определить потребности, которые удовлетворяются при потреблении такого блага, как программный продукт.
Согласно концепции стандартов ISO 9000 важно определить круг заинтересованных в качестве ПО сторон в соответствии с поставленной задачей. В общем виде это разработчики ПО, служба технической поддержки (установка, настройка и обеспечение эффективного функционирования ПО), покупатели ПО (организация, приобретающая ПО для своих сотрудников, или, в частности, менеджер по информационным технологиям), конечные пользователи (использующие данное ПО как орудие труда для производства материальных или нематериальных благ).
Рассмотрим только те разновидности ПО, которые применяются конечными пользователями в коммерческих целях (т.е. программы для работы, а не для развлечения). Тогда основной целью вышеозначенных четырех акторов является получение финансовой выгоды от применения ПО.
Рассмотрим более подробно конечных пользователей. Согласно ISO 9126, качество ПО для них заключается в возможности решать свои профессиональные задачи эффективно (достижение целей), продуктивно (минимизация ресурсозатрат), безопасно (вероятностный аспект достижения высоких эффективности и продуктивности) и с удовлетворением5 с использованием данного программного обеспечения. Для конечного пользователя важна эффективность решения поставленных перед ним задач, эффективность в самом широком смысле, равная результаты/затраты (причем как материальные, так и нематериальные). Более качественное ПО позволит ему быстрее и качественнее решать профессиональные задачи, что при справедливой системе вознаграждений должно положительно сказываться на уровне его заработной платы и количестве других поощрений. Заработная плата тратится конечным пользователем на удовлетворение различных потребностей. Теоретическому описанию законов распределения потребителем своего дохода посвящено множество работ по теории потребительского поведения, и основным достижением здесь является гипотеза А. Маршалла [112,174] о равенстве предельных полезностей последних единиц потребляемых благ. Так или иначе, потребитель будет тратить свой доход на приобретение благ и услуг, а также накапливать его для будущего потребления, и структура его затрат будет меняться и с изменением уровня дохода, и с изменением его состояния и состояния его окружения. Можно представить следующую логическую цепочку (рис. 3.26).
Анализ внешнего качества контролирующе-обучающего ПО
Рассмотрим решение задачи анализа и прогнозирования внешнего качества программного обеспечения на примере обучающего и контролирующего ПО. Альтернативами являются: обучающие программы корпорации «Диполь» (г. Саратов); обучающие программы фирмы «Кирилл и Мефодий»; реализация функций обучающе-контролирующего ПО средствами -программирования с использованием web-браузеров в качестве функциональной основы.
Обучающе-контролирующее ПО обеспечивает осуществление двух основных функций:
1. обучающей, направленной на корректное и оперативное представление на экране компьютера или в другом виде обучающих материалов;
2. контролирующей, обеспечивающей контроль и сбор статистики по использованию обучающих материалов, а также проведение тестирований или прочих мероприятий по оценке знаний обучающихся.
Существует несколько особенностей обучающе-контролирующего ПО, которые необходимо учитывать при анализе и прогнозировании его качества.
Во-первых, обучающее ПО, в-основном, рассчитано на самостоятельное изучение материалов, а деятельность преподавателя сводится к рекомендациям по составу и порядку освоения материалов.
Во-вторых, качество используемых обучающих материалов не имеет никакого отношения к качеству обучающего ПО. Необходимо проводить анализ характеристик качества оболочки, осуществляющей показ и воспроизведение обучающих материалов. Так, значение характеристики usability web-сата является самостоятельной величиной, независящей от используемого weu-браузера (однако использование неподходящего обозревателя может нивелировать высокую usability web-сайта).
Обучающе-контролирующее ПО предназначено для двух разновидностей конечных пользователей - преподавателей и обучающихся. Выделим функциональные требования (потребностей) обучающихся:
1. К обучающему ПО: корректная визуализация и воспроизведение учебных материалов (текст, рисунки, анимированные рисунки, видео, аудиоматериалы); возможность эффективной визуализации учебных материалов на мониторах с различной разрешающей способностью (автоматическое или настраиваемое масштабирование учебных материалов на больших/маленьких мониторах); поиск определенных учебных материалов; навигация по списку просмотренных материалов; распечатка определенной статьи материалов (одной гиперссылки); распечатка определенного раздела материалов (нескольких гиперссылок); настройка внешнего вида обучающей программы. 2. К контролирующему ПО: возможность просмотра учебных материалов во время выполнения тестирующих заданий; і возможность запуска других программ во время выполнения тестирующих заданий; возможность отвечать на задания теста в произвольном порядке; наглядная визуализация количества отвеченных/общего количества тестовых заданий, времени теста; выдача подробных результатов теста (показ правильных ответов на задания теста, ссылки на соответствующие вопросам обучающие материалы). if Функциональные требования (потребностей) преподавателей:
1. К обучающему ПО: корректная визуализация и воспроизведение учебных материалов (текст, рисунки, анимированные рисунки, видео, аудиоматериалы); распечатка определенной статьи материалов (одной гиперссылки); распечатка определенного раздела материалов (нескольких гиперссылок); экспорт учебных материалов в форматы других программ; возможность изменения учебных материалов; возможность показа готовых учебных материалов по самостоятельно подготовленному плану; возможность диалога с обучающимися через локальную сеть средствами данного ПО; возможность диалога с обучающимися через глобальную сеть средствами данного ПО.
