Содержание к диссертации
Введение
1. Анализ методов оценки качества и классификации автоматизированных систем управления предприятиями 13
1.1.Обзор российского рынка систем управления предприятиями 13
1.2. Методы оценки качества программного обеспечения 15
1.2.1. Методы оценки качества ПО по внутренним характеристикам 16
1.2.2.Методы оценки качества ПО по внешним показателям 25
1.2.3.Методы оценки качества ПО по смешанным показателям 33
І.3.Методы оценки качества систем управления предприятиями 35
1 4 Методы оценки качества систем управления предприятиями через оценку качества работы фирмы-разработчика 41
1.5.Классификация методов оценки качества систем управления предприятиями 43
І.б.Анализ методов классификации систем управления предприятиями 49
1.6.1.Классификация систем управления по уровню соответствия их мировым концепциям управления промышленным предприятием в информационных системах 49
1.6.2.Классификация систем управления на основе экспертных оценок... 55
1.6.3.Классификация систем управления на основе математических методов 58
1.7.Содержательная постановка задачи 59
1.8.Выводы по главе 1 61
2. Разработка методики комплексной оценки качества автоматизированных систем управления предприятиями 63
2.1 .Математическая постановка задачи 63
2.2.Методика комплексной оценки качества автоматизированных систем управления предприятиями 66
2.2.1. Выбор и декомпозиция характеристик качества 66
2.2.2.0ценка (определение) масштаба метрики качества 73
2.2.3.0ценка согласованности результатов экспертного опроса 80
2.2.4.0ценка качества систем управления 83
2.3.Разработка метрики качества для оценки систем управления 85
2.4.Выводы по главе 2 96
3.Разработка методики классификации автоматизированных систем управления предприятиями 98
3.1 .Математическая постановка задачи 98
3.2.Методы решения задачи классификации 100
3.2.1.Метод комбинационных группировок 100
3.2.2.Метод кластерного анализа 101
3.2.3 .Метод дискриминантного анализа 108
3.2.4.Нечеткие методы автоматической классификации 111
З.З.Методика решения задачи классификации 115
ЗАВыводы по главе 3 123
4. Разработка комплекса задач «Комплексная оценка качества и классификация многомерных объектов» 124
4.1 . Структурно-функциональная модель комплекса задач 124
4.2.Модель потоков данных комплекса задач 131
4.3.Информационная модель комплекса 136
4.4.Архитектура программного обеспечения комплекса задач 140
4.5.Выводы по главе 4 143
5.Результаты решения задач оценки качества и классификации 144
5.1. Оценка качества автоматизированных систем управления для предприятий пищевой промышленности 144
5.2.0ценка качества автоматизированных систем управления для лизинговых компаний 165
5.3.Оценка качества автоматизированных систем управления технологическими процессами 174
5.4.Выводы по главе 5 177
Заключение 179
Список литературы 181
Приложение 1 194
- Методы оценки качества ПО по внутренним характеристикам
- Выбор и декомпозиция характеристик качества
- Структурно-функциональная модель комплекса задач
- Оценка качества автоматизированных систем управления для предприятий пищевой промышленности
Введение к работе
На сегодняшний день пищевая промышленность в России входит в число лидеров по объемам промышленного производства. Тенденции развития отрасли требуют реорганизации информационных потоков на предприятиях, обеспечивающих достаточность и четкость работы их подразделений, что возможно лишь на основе современной автоматизированной системы управления предприятием (АСУП).
Несколько лет назад на рынке программного обеспечения (ПО) были представлены системы управления, предлагающие автоматизацию отдельных подразделений предприятия (как правило, ведение бухгалтерского или складского учета). Однако на сегодняшний день возможностей этих систем явно недостаточно. Для успешного управления крупным предприятием необходим детальный анализ производственной деятельности, заключающийся в определении доходности выпускаемого ассортимента, структуры затрат и издержек, факторов, влияющих на прибыль, дебиторской и кредиторской задолженности и т.д., выполнить который могут лишь современные информационные системы управления, построенные по принципу единого информационного пространства. Внедрение на предприятии подобных систем управления позволяет руководству и управленческому персоналу не только получать доступ к оперативной информации о деятельности предприятия, но и осуществлять на ее основе непрерывное планирование и управление имеющимися материальными, финансовыми и трудовыми ресурсами.
Таким образом, под системой управления предприятием в данной работе будет подразумеваться некая операционная среда, способная предоставлять актуальную и достоверную информацию о бизнес-процессах предприятия (в том числе территориально распределенного и имеющего сложную структуру), необходимую для планирования операций, их выполнения, регистрации и анализа. В этой среде реализуется полный рыночный цикл - от планирования бизнеса до анализа результатов деятельности предприятия и последующей
корректировки планов. Задача системы заключается в том, чтобы упорядочить информационные потоки, предоставить менеджерам всех уровней эффективный доступ к данным для принятия мотивированных управленческих решений [96].
По ряду причин выбор системы управления представляет собой достаточно сложную и ответственную задачу, решение которой связано с определенными трудностями. Во-первых, любая система управления предприятием - это не обычная программа, которую можно купить, быстро установить и отказаться от нее через год. Обычно система управления приобретается на достаточно долгий срок (средний срок эксплуатации может составлять десять лет), причем только внедрение системы может занять несколько месяцев, и на все это время предприятие будет привязано к компании-разработчику и ее программному продукту.
Во-вторых, чтобы система управления приносила экономический эффект, она должна соответствовать возможностям и уровню развития предприятия. Это означает, что перед приобретением программного комплекса нужно определить, какие его модули действительно необходимы предприятию и могут давать выгоду сразу, а не в отдаленной перспективе, и уже по мере развития предприятия постепенно производить наращивание имеющихся возможностей системы.
В-третьих, стоимость внедрения подобного рода систем может достигать миллионов долларов, и в мировой практике известны случаи, когда ошибка выбора внедряемой системы управления приводила если не к банкротству предприятия, то, как минимум, к существенным финансовым потерям.
В-четвертых, количество систем управления, представленных на рынке программного обеспечения, также затрудняет процесс выбора системы управления. На сегодняшний день количество подобного рода систем превышает несколько десятков, причем увеличение их числа происходит как за счет роста числа отечественных разработок, так и за счет активного
7 продвижения на российский рынок продуктов западных фирм-разработчиков.
Несмотря на все перечисленные сложности, сопровождающие процесс выбора систем управления, на сегодняшний день приходится констатировать довольно парадоксальную ситуацию, заключающуюся в практически полном отсутствии методик, позволяющих проводить комплексную оценку и сравнение систем управления различных фирм-разработчиков. Оценка качества систем управления с помощью существующих методов оценки качества ПО позволяет получать достаточно точные оценки сложности системы управления. Однако эти оценки представляют интерес для разработчиков, а не для конечных пользователей, в большей степени интересующихся тем, как быстро система управления выполняет требуемые функции, а не тем, с помощью каких алгоритмов это достигается. Кроме того, получить такие оценки сторонним экспертам практически невозможно из-за отсутствия доступа к исходным текстам программ.
Экспертные способы оценки качества систем управления также нельзя назвать эффективными по той причине, что результаты подобных оценок невоспроизводимы, поскольку они базируются на человеческом факторе, и каждый эксперт может иметь собственное представление об оцениваемых системах управления. Помимо этого, один эксперт физически не может быть знаком со всеми системами управления, чтобы дать однозначную оценку по каждой из них.
Во встречающихся методах, предназначенных для непосредственной оценки качества систем управления, как правило, прибегают к использованию упрощенных математических методов и наборов характеристик качества, в результате чего получаемые результаты дают лишь поверхностное представление об отдельных особенностях функционирования систем управления, но никак не о комплексной оценке качества всей системы.
Проведенный анализ показал, что разработка для предприятий пищевой промышленности новых, математически обоснованных методов комплексной
8 оценки качества автоматизированных систем управления, позволяющих повысить достоверность их выбора на начальном этапе внедрения, является актуальной задачей.
Целью данной работы является разработка комплекса решений, способствующих повышению достоверности и эффективности оценки качества АСУП для предприятий пищевой промышленности.
В соответствии с поставленной целью были сформулированы и решены следующие основные задачи:
Провести анализ и классификацию известных методов оценки качества АСУП.
Провести анализ известных методов классификации АСУП.
Разработать математически обоснованную методику комплексной оценки качества АСУП.
Разработать структуру и определить весовые коэффициенты метрики для проведения комплексной оценки качества АСУП для предприятий пищевой промышленности.
Разработать методику классификации АСУП.
Разработать комплекс задач, предназначенный для автоматизации расчетов, выполняемых в ходе оценки качества и классификации АСУП.
Провести оценку качества и классификацию АСУП с помощью разработанных методов и средств.
Объектом исследования в данной работе являются автоматизированные системы управления предприятием, представленные на российском рынке программного обеспечения.
Предметом исследований в работе являются известные методы и средства оценки качества автоматизированных систем управления предприятием.
Научные исследования проводились на основе методов оценки качества программного обеспечения, теории множеств, методов одномерной и многомерной классификации объектов, нечетких методов автоматической
классификации, методов экспертных оценок, методов функционального моделирования, моделирования потоков данных и являются продолжением и развитием исследований, выполненных Путинцевым А.В. [60,92] и Мышенковым К.С. [77-79,81-85], дополнив их новыми подходами к решению и автоматизации задач комплексной оценки качества и классификации АСУП, а также новым алгоритмом, позволяющим повысить общую согласованность экспертных оценок, используемых при решении этих задач.
Автор видит научную новизну исследования в достижении следующих результатов:
Предложена новая классификация известных методов оценки качества АСУП.
Сформулирована задача комплексной оценки качества АСУП и предложен метод ее решения.
Разработана структура и определены весовые коэффициенты метрики для проведения комплексной оценки качества АСУП для предприятий пищевой промышленности.
Сформулирована математическая постановка задачи многомерной классификации АСУП.
Обоснован выбор методов решения задачи многомерной классификации АСУП с помощью алгоритмов кластерного анализа и нечетких эвристических кластер-процедур.
Разработан комплекс моделей: структурно-функциональная модель, модель потоков данных и инфологическая модель комплекса задач для автоматизации расчетов по оценке качества и классификации многомерных объектов, в том числе АСУП.
Практическую ценность работы определяют следующие полученные результаты:
1. Разработана математически обоснованная методика комплексной оценки качества АСУП, позволяющая проводить сравнительную оценку качества
10 систем управления различных фирм-разработчиков.
Разработана методика проведения многомерной классификации АСУП, позволяющая упростить процесс выбора системы управления за счет объединения АСУП со схожими характеристиками качества в отдельные классы.
Разработан программный комплекс, предназначенный для автоматизации расчетов, выполняемых в ходе проведения оценки качества и классификации многомерных объектов, в том числе АСУП.
Проведена оценка качества и классификация девятнадцати АСУП для предприятий пищевой промышленности, а также систем управления для лизинговых компаний и SCADA-систем. Даны рекомендации по внедрению АСУП разных классов на предприятиях.
Разработанный комплекс задач, построенный на базе предложенных методик комплексной оценки качества и классификации АСУП, использовался для обоснования выбора систем управления в ОАО «Хлебкомплект-сервис», ОАО «Финансовая Лизинговая Компания» и ООО «Конэкс». Полученные в рамках настоящего исследования научные и практические результаты внедрены в учебном процессе МГУПП для студентов специальности 23.01.02 «Автоматизированные системы обработки информации и управления». Имеются соответствующие акты внедрения.
Основные результаты выполненных исследований были представлены на следующих выставках и научных конференциях: VIII Международной научно-практической конференции «Системный анализ в проектировании и управлении», г. Санкт-Петербург, 2004 г.; II, III и IV Всероссийских научно-технических конференциях-выставках «Высокоэффективные пищевые технологии, методы и средства для их реализации», г. Москва, 2004 г., 2005 г. и 2006 г.; XIII Международной научно-практической конференции «Управление организацией: диагностика, стратегия, эффективность», г. Санкт-Петербург,
2005 г.; Ill Международной конференции «Управление технологическими свойствами зерна», г. Москва, 2005 г.; конференции «Автоматизация предприятий агропромышленного комплекса», г. Москва, 2005 г.; Международной научно-практической конференции «Стратегическое управление организацией: теория, методы, практика», г. Санкт-Петербург, 2006 г.; X Международной научно-практической конференции «Системный анализ в проектировании и управлении», г. Санкт-Петербург, 2006 г. По теме диссертации опубликовано десять печатных работ, в том числе получено свидетельство РОСПАТЕНТА об официальной регистрации программы для ЭВМ.
Диссертационная работа состоит из введения, пяти глав, заключения, списка литературы (150 отечественных и зарубежных источников), 11 приложений (38 страниц) и изложена на 231 странице.
В первой главе дан краткий обзор российского рынка АСУП, приводится описание, классификация и сравнение существующих подходов к решению задач оценки их качества и классификации. Выполнена содержательная постановка задачи исследования.
Во второй главе выполнена математическая постановка задачи комплексной оценки качества АСУП; приведено описание методики решения задачи оценки качества АСУП различных фирм-разработчиков, описание иерархической структуры характеристик качества, используемой в рамках предложенной методики для решения задачи оценки качества АСУП; предложен метод повышения согласованности экспертных данных при помощи алгоритмов кластерного анализа.
В третьей главе выполнена математическая постановка задачи классификации АСУП, рассмотрены возможные методы ее решения, дано описание предложенной методики многомерной классификации систем управления различных фирм-разработчиков.
Четвертая глава посвящена разработке комплекса задач «Комплексная оценка качества и классификация многомерных объектов», построенного на основе предложенных методик и предназначенного для автоматизации расчетов, выполняемых в ходе процедур оценки и классификации АСУП, программных продуктов и прочей продукции, характеристики которой могут быть представлены в виде многомерных объектов. В главе приведено описание функциональной модели комплекса задач, модели потоков данных, описывающей процессы обработки данных от момента их поступления в комплекс до выдачи результата пользователю, и информационной модели, содержащей описание объектов базы данных разработанного комплекса.
В пятой главе приводятся результаты комплексной оценки и многомерной классификации девятнадцати АСУП для пищевой промышленности. Для каждой системы управления приведена ее краткая характеристика и результаты внедрения на российских предприятиях. В главе также приводятся результаты применения разработанных методик для решения задач оценки и классификации систем управления для лизинговых компаний и SCADA-систем.
Методы оценки качества ПО по внутренним характеристикам
Для оценки качества ПО методами первой группы применяются так называемые метрики сложности программ, при этом многие аспекты качества, прежде всего касающиеся функционального соответствия программного продукта запросам клиента, не учитываются. Однако вместе с тем хорошая оценка внутренних характеристик программ, составляющих программный продукт, дает определенную уверенность, что другие важные характеристики качества программного обеспечения тоже будут выглядеть неплохо. Метрики сложности программ принято разделять на три основные группы [51]: метрики размера программ; метрики сложности потока управления программ; метрики сложности потока данных программ. Существуют и другие варианты разделения метрик на группы [139]. Однако разница между ними, как правило, заключается в выделении некоторых метрик в отдельные подгруппы, так что назвать их существенно отличающимися от представленной выше группировки метрик нельзя.
Оценки первой группы наиболее просты и, очевидно, поэтому получили широкое распространение. Традиционной характеристикой размера программ является количество строк исходного текста. При этом само понятие «строки исходного текста» может трактоваться по-разному в зависимости от того, какие операторы учитываются, учитывается ли количество операторов в одной строке и т.д. Обычно под «строкой» понимается любой оператор программы, а не отдельно взятая строка текста, поскольку именно оператор, а не отдельно взятая строка является тем интеллектуальным «квантом» программы, опираясь на который можно строить метрики сложности ее создания, при этом закомментированные или пустые строки не учитываются [51,114,131].
Другой подход к оценке сложности ПО был предложен Альбрехтом А. [49,111,113,134]. Основная идея метрики Альбрехта - максимальный отказ от деталей реализации ПО и перенос оценки в область функциональности, наблюдаемой пользователем или иначе говоря - в область пользовательских требований к функциональности. Для этого ПО оценивалось по четырем информационным характеристикам: по количеству внешних вводов (подсчитываются вводы пользователя, по которым поступают различные прикладные данные); по количеству внешних выводов (подсчитываются все выводы, по которым к пользователю поступают результаты, вычисленные программным приложением); по количеству запросов (под запросом понимается диалоговый ввод, который приводит к немедленному программному ответу в форме диалогового вывода); по количеству основных файлов (подсчитываются все логические файлы ПО).
Итоговое значение оценки вычислялось на основании суммы индивидуальных оценок ПО по каждой информационной характеристике, перемноженных на значения их весовых коэффициентов. Для каждой информационной характеристики задавались следующие значения весовых коэффициентов: количество внешних вводов - 4, количество внешних выводов - 5, количество запросов - 4, количество основных файлов - 10. В зависимости от сложности ПО допускалось изменение значений весовых коэффициентов в пределах 35% от их исходных значений [111].
К группе оценок размера программ также относится и метрика Холстеда [51,105,126]. Основу метрики Холстеда составляют четыре измеряемых характеристики программы: п\ - число уникальных операторов программы, включая символы-разделители, имена процедур и знаки операций (словарь операторов); п2 - число уникальных операндов программы (словарь операндов); JVy - общее число операторов в программе; Л - общее число операндов в программе.
Опираясь на эти характеристики, получаемые непосредственно при анализе исходных текстов программ, Холстед М. вводит следующие характеристики программы: словарь программы: п = пї+п2 (1.1) - общее количество уникальных операторов и операндов, составляющих программу; длину программы: N = Nj+N2 (1.2) - общее количество операторов и операндов в программе; объем программы: V = N Log2(ri). (1.3) Рассматривая эту оценку, некоторые авторы утверждают, что объем программы характеризует «число двоичных разрядов, т. е. бит, необходимых для записи программы» [67,121,122]. При этом речь идет о физической длине программы в битах. С другой стороны, исходя из анализа работ Холстеда М., связанных с определением метрических характеристик понятности и уровня программ, некоторые авторы делают вывод, что под битом подразумевается логическая единица информации - символ, оператор, операнд [51].
К недостаткам метрики Холстеда можно отнести тот факт, что предложенные им оценки не учитывают всех характеристик сложности программы. Так, например, программы со сложной графовой структурой и линейная, имеющие равный объем, по метрике Холстеда будут обладать одинаковой сложностью, что, в общем-то, неверно. В [5] дано развитие метрической теории программ Холстеда. Для расчета длины программы предложено использовать модифицированную формулу Холстеда N = 0,9\-n-\og(n), (1.4) полученную авторами на основании статистической проверки зависимости между п и N. Эту работу следует рассматривать в контексте усовершенствования одного из показателей качества программы. Метрики сложности потока управления программ. Метрики сложности потока управления программ - наиболее представительная группа оценок сложности программ. Как правило, с помощью этих оценок оперируют либо плотностью управляющих переходов внутри программ, либо взаимосвязями этих переходов. И в том, и в другом случае традиционным является представление программ в виде управляющего ориентированного графа G=(V,E), где V - вершины, соответствующие операторам, аЕ- дуги, соответствующие переходам [51].
Метрика Маккейба. Впервые графическое представление программ было предложено Маккейбом Т. [137]. Основой метрики сложности он предлагает считать цикломатическую сложность графа программы или цикломатическое число Маккейба, характеризующее трудоемкость тестирования программы. Для вычисления цикломатического числа Маккейба Z(G) применяется формула Z(G) = e-v + 2p, (1.5) где е - число дуг ориентированного графа G; v - число вершин; р - число компонентов связности графа.
Число компонентов связности графа можно рассматривать как количество дуг, которые необходимо добавить для преобразования графа в сильносвязный, т.е. такой граф, любые две вершины которого взаимно достижимы. По сути Z(G) определяет число линейно независимых контуров в сильносвязном графе. Иначе говоря, цикломатическое число Маккейба показывает требуемое количество проходов для покрытия всех контуров сильносвязного графа или количество тестовых прогонов программы, необходимых для исчерпывающего тестирования по критерию «работает каждая ветвь».
Выбор и декомпозиция характеристик качества
На первом этапе происходит выбор и декомпозиция характеристик, по которым будет производиться оценка качества АСУП. Данный этап может быть выполнен как силами сотрудников предприятия, так и сторонней консалтинговой фирмой. Стоит отметить, что в последнем случае результат будет во многом определяться опытом работы консалтинговой фирмы, а также подробностью проводимого ею исследования, что уже напрямую влияет на конечную стоимость работы.
В случае выполнения первого этапа силами самого предприятия основная проблема будет заключаться в том, что на сегодняшний день не существует общепринятого алгоритма составления иерархических структур характеристик для оценки качества не только АСУП, но и ПО. Данная ситуация также усугубляется тем фактом, что в существующих стандартах оценки качества ПО описываются только верхние уровни наборов характеристик качества. Исходя из этого, в работе предлагается алгоритм построения иерархического набора характеристик качества , включающий в себя следующие этапы.
Изменения в структуре характеристик качества Набор и утверждение рабочей группы лицом, принимающим решение. На данном этапе лицом, ответственным за принятие решения по выбору системы управления, производится формирование рабочей группы, на которую возлагаются задачи проведения процедур оценки качества и сравнения АСУП. При формировании рабочей группы можно воспользоваться теми же методами, которые обычно применяются при формировании экспертных групп, поскольку так или иначе их цели совпадают. Стоит отметить, что эффективность работы группы во многом будет зависеть не от количества вошедших в нее сотрудников предприятия, а от ее качественного состава, поэтому основная задача, связанная с формированием рабочей группы, будет заключаться в том, чтобы выбрать тот или иной способ отбора сотрудников [95]. К наиболее распространенным способам формирования рабочей группы относятся следующие.
Способ назначения. В данном случае члены рабочей группы назначаются ЛПР. При этом удается составить группу из специалистов, заинтересованных в проведении выбора АСУП и склонных к коллективному обсуждению. Кроме того, руководитель может назначить авторитетных лиц, решение которых не вызовет сильных возражений у других сотрудников. При использовании этого способа назначения в рабочую группу во всех случаях попадают руководители подразделений, которые имеют право принимать решения в силу служебного положения. Однако вырабатываемое такой группой решение не обязательно наилучшее, т.к. руководители подразделений часто не имеют времени (а иногда - и желания) решать задачи новыми методами.
Способ взаимных рекомендаций («снежного кома»). При таком подходе ЛПР вначале опрашивает сотрудника предприятия, который должен войти в состав рабочей группы, на предмет кандидатур других лиц, которые, по его мнению, также должны войти в ее состав. Эти сотрудники также называют возможных специалистов из числа сотрудников предприятия, способных принять участие в процедуре выбора АСУП, и т.д. Постепенно круг взаимных рекомендаций замыкается - все потенциальные участники рабочей группы названы. Опыт показывает, что при использовании способа взаимных рекомендаций в группу попадают специалисты, способные провести наиболее глубокий научный анализ проблемы. Однако этот способ иногда приводит к слишком большому численному составу группы - более 200 человек [136, 145].
Документационный способ - способ отбора сотрудников по таким характеристикам, как стаж работы, должность и т.п. Решение рабочей группы, созданной таким способом, обладает определенной авторитетностью. Однако с точки зрения руководства предприятия, авторитетность такой группы ниже, чем у рабочей группы, сформированной способом назначения. Каких-либо особых преимуществ относительно ожидаемого качества результатов документационный способ не представляет. Независимо от способа формирования рабочей группы в ее состав должны входить сотрудники, представляющие все подразделения предприятия, заинтересованные в процессе внедрения и эксплуатации системы управления. Это позволит не только избежать ситуаций, при которых ряд важных функций системы окажется неучтенным, что выяснится только в процессе внедрения системы, но и позволит сотрудникам подразделений подготовиться к процессу внедрения АСУП на предприятии.
Важным требованием, предъявляемым к членам группы, являются их личные качества, компетентность, а также способность приводить аргументы в защиту своей позиции, выделять существенные для рассматриваемого вопроса обстоятельства, находить и использовать дополнительную, относящуюся к делу информацию. Что касается вопроса определения компетентности членов группы, то существует ряд методов оценки компетентности: метод самооценки, метод взаимной оценки, документационный, тестовый метод и др. Однако, как показывает практика, нет оснований считать, что какой-либо метод оценки компетентности характеризует уровень специальных знаний сотрудника или его способность производить оценки, близкие к истине. Проведенный анализ влияния весовых оценок компетентности на параметры распределения экспертных оценок [ПО] показал, что применение весовых оценок компетентности в большинстве случаев увеличивает отклонение среднего значения от истины, увеличивает рассеяние экспертных оценок и искажает действительный вид распределения экспертных оценок. Весовые оценки компетентности присваиваются эксперту без учета того состояния, в котором он находится в момент опроса. Однако точность оценок эксперта может резко колебаться в момент опроса под влиянием настроения, отсутствия стимулов проявлять компетентность и т.п. Таким образом, литературные данные и опыт практической работы свидетельствуют о том, что точность экспертных оценок значительно больше зависит от заинтересованности экспертов в результатах работы, нежели от введения тех или иных поправок к оценкам экспертов в соответствии с их компетентностью. Поэтому вопрос о компетентности эксперта должен подниматься только один раз - при формировании экспертной группы, после чего необходимо считать всех экспертов одинаково компетентными. В тех же случаях, когда по ряду вопросов, связанных с оценкой качества АСУП, рабочая группа не является компетентной, следует рассмотреть вопрос о возможности привлечении в группу сторонних консультантов, знающих тонкости автоматизации бизнес-процессов различных предприятий.
Составление первоначальной структуры характеристик качества. После изучения рабочей группой документации ряда АСУП, а также на основании требований предприятия и существующих стандартов, регламентирующих оценку качества ПО, разрабатывается первоначальная структура характеристик качества.
Структурно-функциональная модель комплекса задач
Методики комплексной оценки качества и классификации систем управления были реализованы в программном комплексе задач «Комплексная оценка качества и классификация многомерных объектов» (свидетельство РОСПАТЕНТА № 2006613936 от 16.11.2006) [30,31,99]. Комплекс предназначен для автоматизации расчетов, выполняемых в ходе процедур оценки качества и классификации многомерных объектов и может применяться для оценки качества АСУП, программных продуктов, а также прочей продукции, характеристики которой могут быть представлены в виде многомерных объектов.
Процесс создания комплекса задач состоял из следующих этапов: анализ требований, предъявляемых к комплексу задач; разработка функциональной модели комплекса задач; разработка модели потоков данных комплекса задач; разработка информационной модели комплекса задач; проектирование архитектуры комплекса задач и интерфейсов пользователя; разработка (кодирование) программных модулей комплекса в соответствии с разработанными функциональной и информационной моделями.
Согласно поставленным задачам (гл. 1), а также с учетом разработанных методик оценки качества и классификации АСУП (гл. 2 и 3) разрабатываемый программный комплекс задач должен удовлетворять следующим требованиям:
1. поддерживать работу с произвольным числом метрик качества многомерных объектов, детализированных до любого уровня иерархии;
2. упростить процедуры обработки экспертных данных за счет автоматизации процесса расчета обобщенных экспертных оценок и подготовки анкет для проведения экспертных опросов на основе встроенных или пользовательских шаблонов;
3. автоматизировать процесс расчета весовых коэффициентов характеристик качества по результатам обработки экспертных данных;
4. выполнять анализ согласованности экспертных оценок, обладать встроенными механизмами выявления экспертов, давших оценки, значительно отличающиеся от оценок основной массы экспертов;
5. содержать встроенные механизмы анализа структуры метрики качества с целью выявления возможных рассогласований значений весовых коэффициентов;
6. автоматизировать расчеты, выполняемые в ходе процедур оценки и классификации многомерных объектов, за счет проведения классификаций при помощи различных алгоритмов и видов мер близости в разрезе любой выбранной характеристики качества с автоматическим или ручным заданием целевого количества классов;
7. обладать возможностью определения оптимальных результатов классификации, представлять результаты расчетов в текстовом или графическом видах.
Разработка функциональной модели комплекса задач велась на основании метода структурного анализа и проектирования SADT (Structured Analysis and Design Technique), представляющего собой совокупность концепций, правил и процедур, предназначенных для построения функциональной модели объекта какой-либо предметной области, т.е. модели, описывающей функциональную структуру объекта на основании иерархии взаимосвязанных диаграмм с требуемой степенью детализации [9,29,73,80]. Функциональная модель объекта состоит из диаграмм, фрагментов текстов и глоссария, имеющих ссылки друг на друга. Диаграммы - главные компоненты модели, все функции программной системы и интерфейсы на них представлены как блоки и дуги. Место соединения дуги с блоком определяет тип интерфейса. Входная информация поступает в блок слева, управляющая информация поступает в блок сверху, выходная информация выходит из блока с правой стороны. Выполняющий функцию механизм представляется входящей в блок снизу дугой (рис. 6). Одной из наиболее важных особенностей метода SADT является введение все большего числа уровней детализации по мере создания диаграмм, отображающих модель. Каждая диаграмма является декомпозицией блока более общей диаграммы.
На основании SADT разработан известный метод IDEFO (Icam DEFinition-0), который является подмножеством SADT и был впервые использован в рамках программы ВВС США 1С AM (Интегрированная компьютеризация производства).
На основании вышеперечисленных требований, предъявляемых к разрабатываемому комплексу, в соответствии с методом IDEF0 была разработана функциональная модель комплекса задач, представленная на рис.7. Основные функции блоков данной модели описаны ниже.
Блок «Ввод структуры метрики качества объектов и расчет значений весовых коэффициентов». В данном блоке реализованы функции, отвечающие за построение иерархической метрики характеристик качества, по которым производится оценка качества и классификация многомерных объектов (в частности, АСУП). Помимо непосредственного ввода перечня характеристик, составляющих структуру метрики качества, для каждой из них указывается ее тип, ранее согласованное значение весового коэффициента, при необходимости задается ее краткое описание.
Кроме функции построения иерархической метрики качества многомерных объектов в блоке реализованы функции автоматического расчета значений весовых коэффициентов характеристик качества. Расчет весовых коэффициентов производится на основании значений квартальных характеристик, определяемых для каждого распределения экспертных оценок (раздел 2.2), и может вестись как с учетом, так и без учета итоговой степени согласованности экспертных данных.
Блок «Ввод экспертных оценок для весовых коэффициентов характеристик качества». В блоке реализованы функции ввода и управления экспертными оценками, используемыми при определении значений весовых коэффициентов характеристик качества. В частности, в блоке реализованы функции: ввод и редактирование анкетных данных об экспертах и их оценках по каждой характеристике качества; управление экспертными оценками (например, полное или частичное исключение из дальнейшего рассмотрения оценок ряда экспертов); расчет квартальных характеристик, определение степени согласованности экспертных оценок путем вычисления значения коэффициента вариации (раздел 2.2); построение графиков распределений экспертных оценок.
Блок «Выявление рассогласования метрики и анализ согласованности экспертных оценок». В данном блоке реализованы функции, отвечающие за проверку непротиворечивости значений весовых коэффициентов характеристик качества, проведение операции согласования весовых коэффициентов, а также функции поиска неиспользуемых характеристик качества, значения весовых коэффициентов которых равны 0. Помимо этого, в блоке реализованы функции анализа согласованности экспертных данных, позволяющие увеличивать общую согласованность экспертных оценок за счет отсева экспертов, давших оценки, значительно отличающиеся от оценок основной группы экспертов (раздел 2.2).
Блок «Ввод значений показателей качества объектов». В блоке реализованы функции ввода и редактирования перечня многомерных объектов, подлежащих в дальнейшем прохождению процедур оценки и классификации, а также функции навигации и ввода значений показателей качества многомерных объектов.
Оценка качества автоматизированных систем управления для предприятий пищевой промышленности
В соответствии с поставленной задачей (разработка программного комплекса задач, позволяющего автоматизировать расчеты по оценке и классификации АСУП), а также с учетом разработанных методик оценки качества и классификации АСУП, был проведен анализ требований, предъявляемых к разрабатываемому комплексу задач, предназначенному для проведения процедур комплексной оценки качества и классификации многомерных объектов.
В результате проведенного функционального анализа разрабатываемого комплекса задач были определены функции и информационные потоки, необходимые для решения поставленных задач оценки и классификации многомерных объектов.
Перед построением информационной модели разрабатываемого комплекса задач был проведен анализ потоков данных, возникающих в процессе выполнения операций по оценке и классификации многомерных объектов, по результатам которого была построена модель потоков данных комплекса задач. В ходе разработки информационной модели были определены все объекты (сущности), важные для разрабатываемого комплекса, свойства этих «сущностей» (атрибуты) и их отношения с другими «сущностями» (связи), необходимые для проектирования реляционной базы данных комплекса задач.
Оценка качества автоматизированных систем управления для предприятий пищевой промышленности
Разработанные методики оценки качества и классификации были использованы для проведения сравнительной оценки систем управления для предприятий пищевой промышленности [78,79,82,83]. В частности, далее приводится решение задач оценки качества и классификации девятнадцати систем управления предприятиями российских и зарубежных фирм-разработчиков, представленных на отечественном рынке ПО.
Система «Ю.Предприятие» предназначена для решения задач автоматизации учета и управления предприятием. «1С:Предприятие» представляет собой систему прикладных решений, построенных по единым принципам и на единой технологической платформе. Система состоит из следующих модулей: «1С:Бухгалтерия» - автоматизация ведения всех разделов бухгалтерского учета; «1С:Торговля и склад» - учет любых видов торговых операций; «1С:Зарплата и кадры» - автоматизация расчета заработной платы и ведения кадрового учета на предприятиях; «ІС. Предприниматель» - решение для ведения учета и составления отчетности индивидуальными предпринимателями; «1С:Платежные документы» - формирование, учет и вывод на печать первичных документов; «1С:Деньги» - учет, анализ и планирование текущих и предстоящих расходов и поступлений, а также других модулей.
В случае необходимости система может быть адаптирована к любым особенностям учета при помощи входящего в состав системы конфигуратора, позволяющего не только изменять элементы типовой конфигурации, но и создать собственную конфигурацию «с нуля». По данным компании «1С» на июнь 2004 года системы на базе 1С усилиями 258 фирм-франчайзи были внедрены на 1800 отечественных предприятиях, причем 37% из них находятся в Москве. Сведения о более чем 400 внедрениях системы в пищевой промышленности можно найти в постоянно пополняемом «Справочнике внедренных решений» по адресу: http://www. 1 c.ru/rus/partners/solutions/.
Корпоративная информационная система «Alfa» предназначена для автоматизации управления компанией, ведения бухгалтерского и оперативного учета. В состав системы входит набор взаимосвязанных модулей, имеющих гибкие настраиваемые связи, что позволяет вести учет и получать своевременную информацию для руководства предприятий различного масштаба. Для компаний, имеющих территориально-распределенную структуру, в системе «Alfa» предусмотрена возможность использования технологии удаленной передачи данных, которая обеспечивает своевременный обмен необходимой информацией между подразделениями.
В состав системы «Alfa» входят 12 модулей: Бухгалтерский, налоговый и управленческий учет; Бюджетирование; Управление персоналом; Управление финансами; Основные средства; Управление договорной деятельностью; Управление производством; Расчет заработной платы; Управление снабжением, складом, сбытом; Управление техобслуживанием и ремонтами; Управление отгрузкой; Розничная торговля. Создаются подсистемы управления производственной деятельностью для пищевой промышленности (фабрики-кухни и предприятия по переработке пищевого сырья), химической и ряда других. Каждое из отраслевых решений, по словам разработчиков, изначально создается с ориентацией на принципы и идеи, заложенные в MRP П.
В настоящее время «Альфа» внедрена на нескольких десятках предприятий (в частности, в объединении «Союз-Пищепром», на ОАО «Челябинский КХП № 1»). Grainlnfo - система управления для автоматизации количественно-качественного учета для предприятий хранения и переработки зерновых и масличных культур. Основные задачи «Grainlnfo» - это централизация управления, оптимизация бизнес-процессов, сквозной документооборот различных служб предприятия.
Система основана на клиент-серверной технологии. В качестве сервера используется СУБД (Система Управления Базами Данных) ORACLE. В качестве клиентских рабочих станций - компьютеры под управлением ОС Windows (9x/Me/Y2K7XP). В программный комплекс «Graininfo» входят следующие модули: Администратор; Справочники; Конфигурация системы; Договоры; Главный диспетчер; Визировочные; Лаборатории; Печать информационного листка; Автовесовые; Железнодорожные весовые; Склад; Приказы; Письма; Амбар; Отчеты пользователя; Рецептура; Силосная доска; Очереди; Очистка очередей; Водный диспетчер; Монитор бункерных весов. В качестве бухгалтерского контура система адаптирована для совместной работы с системами «Concord» (Axapta), «1С», «Инфо-Бухгалтер».
Система внедрена на следующих предприятиях: ОАО «ЦелинХлебопродукт», ОАО «Ростовский КХП», ОАО «Веселовский элеватор», ОАО «Волгодонский элеватор», ОАО «Элеватор «Порошинский», ОАО «Дивенский элеватор», 000 «Ореол». Достаточно известная на российском рынке ERP-система «iRenaissance», имеющая более 3400 инсталляций в мире. Значительная доля внедрений системы «iRenaissance» в мире приходится на пищевую промышленность. В России система «iRenaissance» внедрена, к примеру, на Липецком хладокомбинате.
Основными модулями «iRenaissance» являются: iRenaissance Connect 147 средство быстрой разработки web-инструментария, обеспечивающего связь с ERP-платформой предприятия; iRenaissance Financial - управление финансами компании; iRenaissance Distribution - управление продажами; iRenaissance Manufacturing - управление производством; iRenaissance Maintenance -управление эксплуатацией имущества; iRenaissance Human Resources/Payroll -управление персоналом и расчет заработной платы; iRenaissance CS Materials Management - управление материалами; iRenaissance Transportation Manager -управление перевозками и транспортными расходами; iRenaissance DSSuite -средство поддержки принятия решений; iRenaissance SAM - средство моделирования и описания бизнес-процессов.
