Содержание к диссертации
Введение
1 Сравнительный анализ методик оценки качества экономических информационных систем
1.1 Характеристики потребительского качества экономических информационных систем 11
1.2 Подходы к оценке отдельных показателей потребительского качества экономических информационных систем 30
1.3 Сравнительный анализ существующих методик оценки потребительского качества экономических информационных систем
2 Автоматизация процессов оценки потребительского качества экономических информационных систем 46
2.1 Оценка потребительского качества ЭИС с использованием статистических методов планирования экстремальных экспериментов 46
2.2 Особенности процедуры оценки характеристик потребительского качества ЭИС 59
3 Разработка и анализ инструментальных средств оценки характеристик потребительского качества экономических информационных систем 64
3.1 Постановка задачи проектирования инструментальных средств оценки характеристик потребительского качества ЭИС 64
3.2 Особенности проектирования системы оценки качества ЭИС, ориентированных на использование СУБД 66
3.3 Проектирование инструментальных средств оценки потребительского качества ЭИС 74
3.4 Программная реализация модуля оценки потребительского качества ЭИС «Ep.DB» 76
3.5 Описание модуля оценки потребительского качества ЭИС «Ep.DB»
3.6 Программная реализация модуля оценки потребительского качества ЭИС «Ер.РР» 88
3.7 Сравнение разработанных инструментальных средств оценки потребительского качества ЭИС 92
4 Экстремальные эксперименты и построение регрессионных моделей для оценки потребительского качества рыночных ЭИС 98
4.1 Описание выбранных для проведения экстремальных экспериментов систем 98
4.2 Проведение экстремальных экспериментов с экономической информационной системой «Compier ERP/CRM» 102
4.3 Проведение экстремальных экспериментов с экономической информационной системой «Ананас» 106
4.4 Проведение экстремальных экспериментов с экономической информационной системой «Plazma CRM» 109
4.5 Проведение экстремальных экспериментов с экономической информационной системой «1С Торговля и склад» 111
Заключение
- Подходы к оценке отдельных показателей потребительского качества экономических информационных систем
- Особенности процедуры оценки характеристик потребительского качества ЭИС
- Особенности проектирования системы оценки качества ЭИС, ориентированных на использование СУБД
- Проведение экстремальных экспериментов с экономической информационной системой «Ананас»
Введение к работе
За последние десятилетия информационные технологии сделали большой рывок вперед. Применение компьютеров привело к существенному росту рынка экономических информационных систем (ЭИС), к быстрой смене его наполнения, появлению и внедрению новых технологий сбора и обработки информации. Важным моментом является тот факт, что аналогичные по своему назначению и функциям ЭИС имеют разную стоимость и могут обладать разными возможностями. В сложившейся ситуации важно адекватно оценивать потребительское качество ЭИС - степень ее соответствия требованиям пользователя. [53].
Ряд научных публикаций посвящен рассмотрению и сравнению различных методик оценки качества ЭИС [6, 20, 21, 35]. Эти методики позволяют проанализировать выполнимость требований заказчика, оценить потенциальные угрозы безопасности информации, оценить качество работы ЭИС в процессе испытаний и эксплуатации, выявить условия эффективной эксплуатации, соотнести потребности конечного пользователя с представленными на рынке системами и т.д. Большинство методик требуют значительного количества вычислений, что делает необходимой автоматизацию процесса оценки потребительского качества ЭИС.
Отличительной особенностью оценки качества ЭИС является отсутствие четкого набора показателей качества, состав которого определяется функциональным назначением системы и зависит от целей конечного пользователя. При этом процесс измерения большинства показателей качества неформализован, а количество факторов; участвующих в оценке настолько велико, что в большинстве случаев необходима целая команда специалистов. Все это значительно повышает расходы на оценку качества ЭИС, и приводит к тому, что большинство систем выбираются исходя из личного опыта или рекомендации коллег. Не стоит забывать, что затраты на модернизацию уже действующей ЭИС (изменение структуры хранения данных, базовой платформы реализации функционала и т.д.) зачастую многократно превышают ее первоначальную стоимость. А это значит, что выбор программного продукта без определения степени его соответствия предъявленным пользователем требованиям, может привести к непредвиденным затратам и значительно снизить экономический эффект от внедрения информационной системы.
В данном исследовании предпринята попытка ответить на поставленные выше вопросы и разрешить часть описанных проблем, связанных с процедурой оценки качества информационных систем.
Степень изученности исследуемой проблемы. В настоящее время разработаны стандарты в области оценки качества программных продуктов (DDDD 028195-89, ISO/IEC 9126:1991), формализующие процесс обеспечения качества на всем протяжении жизненного цикла программного продукта, и описывающие основные показатели качества. Проблема оценки качества рассматривается в работах Агафонова В.Н., Безкоровайного М.М., Гличева А.В., Кривошеевой М.А., Коган Б.И:, Костогрызова А.И., Липаева В.В., Львова В.М., Майерса Г., Тамре Л., Хубаева Г.Н., Hashagen Ulf, Kit Е., Erdogmus Н.
Тем не менее, многие проблемы оценки потребительского качества ЭИС изучены недостаточно, и в современных условиях требуют дальнейшего исследования, что и обусловило выбор темы диссертационного исследования, предопределило его цель, задачи и структуру.
Целью диссертационного исследования является разработка и исследование инструментальных средств (ИС) для автоматизированной оценки характеристик потребительского качества экономических информационных систем; исследование функциональных возможностей разработанного инструментария анализе рыночных ЭИС. Для достижения цели в диссертационном исследовании поставлены следующие задачи:
- разработать инструментальные средства для оценки характеристик потребительского качества ЭИС,
- разработать алгоритм измерения времени исполнения функциональных операций ЭИС,
- разработать алгоритмы заполнения СУБД случайными данными который обеспечивал бы высокую скорость заполнения при относительно низком уровне ошибок, и не требовал от пользователя знания технических деталей исследуемого продукта,
- провести активные эксперименты с несколькими рыночными ЭИС, по полученным данным построить регрессионные модели, описывающие влияние внешних факторов на скорость выполнения функциональных операций и выполнить сравнение исследуемых ЭИС между собой.
Объектом исследования являются экономические информационные системы, используемые предприятиями всех форм собственности. Предметом исследования являются социально-экономические отношения, связанные с использованием экономических информационных систем на предприятиях всех форм собственности.
Инструментарий исследования составили методы научного познания, методы математической статистики, системного анализа, теория баз данных, методы планирования экстремальных экспериментов, методики оценки потребительского качества ЭИС по различным критериям, методы формализованного анализа информационных характеристик ЭИС, современное программное обеспечение общего и специального назначения: Microsoft Windows 2000 Professional, Linux, Oracle 9i, MySQL 4.1, Java 5 Software Development Kit, DBMonster 2.3. Теоретическую базу исследования составили труды ведущих российских и зарубежных ученых по проблемам оценки и обеспечения качества экономических информационных систем.
Информационно-эмпирическую базу исследования составили данные, характеризующие процессы функционирования и потребительское качество ЭИС, полученные в результате планирования и реализации активных экспериментов.
Работа выполнена в соответствии с пунктом «2.6. Развитие теоретических основ методологии и инструментария проектирования, разработки и сопровождения информационных систем субъектов экономической деятельности: методы формализованного представления предметной области, программные средства, базы данных, корпоративные хранилища данных, базы знаний, коммуникационные технологии» паспорта специальности 08.00.13 - «Математические и инструментальные методы экономики».
Положения, выносимые на защиту:
1. Разработанные инструментальные средства оценки потребительского качества экономических информационных систем, которые обеспечивают возможность проведения активных экспериментов с различными рыночными ЭИС, строить регрессионные модели по данным экстремальных экспериментов, и позволяющие определять характеристики потребительского качества и сравнивать по этим критериям ЭИС между собой.
2. Алгоритм оценки времени выполнения функциональных операций, позволяющий выполнять автоматический запуск и хронометраж исследуемых операций без применения специальных программно-аппаратных средств или модификации программного кода.
3. Алгоритмы наполнения СУБД данными, в том числе, алгоритм, ориентированный на использование непрерывных областей определения значений данных, анализатор типов данных и настраиваемый параметрический генератор случайных величин с возможностью определения допустимых диапазонов числовых данных.
4. Функции контроля вносимых в ЭИС данных, использующие анализатор шаблонов реакции ЭИС на ввод данных для оценки задержек отклика ЭИС.
5. Построенные по данным активных экспериментов с четырьмя рыночными ЭИС статистически значимые регрессионные модели, позволяющие делать обоснованные выводы о влиянии анализируемых факторов на время выполнения функциональных операций исследуемыми ЭИС.
Научная новизна результатов исследования. Элементы новизны содержат следующие результаты:
1. Разработаны инструментальные средства оценки потребительского качества экономических информационных систем, отличающиеся наличием программных модулей, обеспечивающих возможность проводить активные эксперименты с анализируемыми ЭИС, в том числе с системами, использующими СУБД в качестве источника данных, строить регрессионные модели по данным экстремальных экспериментов, и позволяющие измерять время выполнения базовых операций, пропускную способность (число операций за единицу времени, число операций за единицу времени в расчете на пользователя), процент ошибок и время доступности системы, «отзывчивость» пользовательского интерфейса; проводить хронометраж выполнения базовых операций в автоматизированном режиме; представлять результаты эксперимента по двум и более системам в удобном графическом виде и сравнивать ЭИС по характеристикам потребительского качества.
2. Разработан алгоритм измерения времени выполнения функциональных операций, отличающийся наличием функций автоматического запуска исследуемой операции и контроля процесса её выполнения, позволяющий повысить точность оценки, проводить хронометраж без применения специальных программно-аппаратных средств или модификации программного кода.
3. Разработаны оригинальные алгоритмы наполнения СУБД данными, отличающиеся использованием непрерывных областей определения значений данных, наличием анализатора типов данных и настраиваемых генераторов случайных величин, возможностью определения допустимых диапазонов числовых данных, и позволяющие снизить уровень ошибок во время заполнения СУБД, полностью автоматизировать внесение данных различной сложности в ЭИС.
4. Предложены и реализованы функции контроля вносимых данных, отличающиеся наличием процедуры анализа шаблонов реакции ЭИС на ввод данных, адаптивными задержками между операциями и позволяющие оценить правильность заполнения полей при вводе данных, учесть и измерить задержки отклика ЭИС.
5. Построены (по данным активных экспериментов с четырьмя рыночными ЭИС: 1С «Бухгалтерия», «Ананас», «Compier ERP/CRM», «Plazma») статистически значимые регрессионные модели, отличающиеся структурой (оцениваются линейные эффекты) и составом факторов (включены факторы: «Движение товара по складу», «Отгрузка со склада», «Поступление на склад» «Ввод остатков по складу», «Поступление материальных ресурсов», «Списание материальных ресурсов» и др.) и позволяющие делать обоснованные выводы о влиянии анализируемых факторов на время выполнения функциональных операций исследуемыми ЭИС, оценивать основные параметры потребительского качества ЭИС на различных наборах значений факторов (без повторного проведения активного эксперимента), существенно снизить затраты на оценку характеристик потребительского качества ЭИС в целом.
Практическая ценность результатов исследования.
Разработанные инструментальные средства оценки позволяет в автоматизированном режиме проводить оценку потребительского качества ЭИС; минимизировать время, затрачиваемое на проведение активного эксперимента; получать прогноз времени выполнения функциональных операций, реализованных оцениваемой ЭИС в зависимости от объема обрабатываемой системой информации.
Апробация результатов исследования. Результаты диссертационного исследования внедрены и используются в учебных целях при чтении курсов «Проектирование информационных систем» и «Теория экономических информационных систем» в РГЭУ «РИНХ».
По теме диссертации опубликовано 4 печатных работы общим объемом 1,5 п. л. и получено 4 Свидетельства РОСПАТЕНТ о государственной регистрации программ для ЭВМ.
Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка использованной литературы и 4 приложений. Основной текст занимает 142 страницы, включает в себя 9 таблиц и 20 рисунков. Список использованной литературы состоит из 87 источников.
В диссертации представлены документы, подтверждающие прикладную полезность результатов исследования.
Подходы к оценке отдельных показателей потребительского качества экономических информационных систем
При тестировании белого ящика (англ. white-box testing, также говорят — прозрачного ящика), разработчик теста имеет доступ к исходному коду и может писать код, который связан с библиотеками тестируемого ПО. Это типично для юнит-тестирования (англ. unit testing), при котором тестируются только отдельные части системы.
При тестировании чёрного ящика (англ. black-box testing), тестировщик имеет доступ к ПО только через те же интерфейсы, что и пользователь, либо через внешние интерфейсы, позволяющие другому компьютеру либо другому процессу подключиться к системе. Например, тестирующий модуль может виртуально нажимать клавиши или кнопки мыши в тестируемой программе с помощью механизма взаимодействия процессов, с уверенностью в том, все ли идет правильно, что эти события вызывают тот же отклик, что и реальные нажатия клавиш и кнопок мыши. Как правило, тестирование чёрного ящика ведётся с использованием спецификаций или иных документов, описывающих требования к системе.
Описанные выше техники — тестирование белого ящика и тестирование чёрного ящика — предполагают, что код исполняется, и разница состоит лишь в той информации, которой владеет тестировщик. В обоих случаях это динамическое тестирование.
При статическом тестировании программный код не выполняется — анализ программы происходит на основе исходного кода, который вычитывается вручную, либо анализируется специальными инструментами. В некоторых случаях, анализируется не исходный, а промежуточный код (такой как байт-код или код на MSIL).
Тестирование методом покрытия кода, по своей сути, является тестированием методом белого ящика. Тестируемое ПО собирается со специальными настройками или библиотеками или запускается в особом окружении, в результате чего для каждой используемой (выполняемой) функции программы определяется местонахождение этой функции в исходном коде. Этот процесс позволяет разработчикам и специалистам по обеспечению качества определить части системы, которые, при нормальной работе, используются очень редко или никогда не используются (такие как код обработки ошибок и т.п.). Это позволяет сориентировать тестировщиков на тестирование наиболее важных режимов. Тестировщики могут использовать результаты теста покрытия кода для разработки тестов или тестовых данных, которые расширят покрытие кода на важные функции.
Как правило, инструменты и библиотеки, используемые для получения покрытия кода, требуют значительных затрат производительности и/или памяти, недопустимых при нормальном функционировании ПО. Поэтому они могут использоваться только в лабораторных условиях.
Нужно заметить, что тестирование ЭИС позволяет лишь примерно оценить такие атрибуты качества информационных систем, как корректность, устойчивость к дефектам, доступность, готовность и другие. Кроме того, результаты тестирования не дают возможности сравнить между собой несколько аналогичных систем, т.к. получаемая численная оценка говорит лишь о степени готовности продукта, а не о его потребительском качестве.
Стресс-тестирование является еще одной разновидностью тестирования «черного ящика», и зачастую применяется на заключительных этапах процесса выпуска программного продукта. Оно позволяет определить, как исследуемый продукт будет вести себя при возрастающей нагрузке. Стресс-тестирование, зачастую, реализуется за счет имитации работы с программным продуктом большого числа пользователей, при этом для тестирования могут быть задействованы несколько компьютеров. Имитация работы пользователей, в зависимости от специфики системы, достигается за счет применения таких методик, как: запись действий пользователя в системе, запись и отсылка управляющих пакетов программы, запрос определенных ресурсов, заполнение БД случайными данными и т.д. В большинстве случае для проведения стресс-тестирования, требуется глубокое знание тонкостей реализации самой системы и на подготовку тестового сценария может уходить несколько дней.
Основной целью стресс-тестирования является замер определенных параметров производительности системы при возрастающей нагрузке, поэтому все инструменты стресс-тестирования имеют встроенные средства замера и анализа определенных параметров системы таких как: время отклика, объем используемой памяти, процент использования пропускной способности сети и т.д. Очевидным достоинством стресс-тестирования является то, что это разновидность тестирования «черного ящика», а это означает, что фактически тестируемая система не различает пользователя или тестирующую программы; это позволяет получать объективные данные о работе системы в целом, а не об отдельных компонентах, как, например, при юнит-тестировании. Однако следует отметить, что стресс-тестирование имеет своей целью определить соответствие программного продукта предъявляемым, к нему требованиям, но не позволяет отследить динамику изменения показателей производительности, степень влияния различных факторов и уже тем. более составить прогноз изменения показателей качества при изменении значений внешних факторов. В то же самое время, при сравнении ЭИС важно выявить не только лучшую при данных условиях, но и наиболее «перспективную» систему, т.е. ту, которая сможет обеспечивать возрастающие потребности пользователей. Процесс тестирования не ставит перед собой цели определить степень влияния факторов на критерии качества, а так же выяснить тенденцию изменения значений этих критериев. Это означает, что стресс-тестирование следует рассматривать лишь как инструментарий для проведения замеров различных факторов, а для корректной обработки результатов этих замеров необходимо выбрать или разработать методику, которая, опираясь на полученные данные, могла бы рассчитать показатели потребительского качества, оценить степень влияния на них внешних факторов и определить тенденцию изменения их значений.
Особенности процедуры оценки характеристик потребительского качества ЭИС
В качестве базовых методик для построения инструментальных средств оценки потребительского качества экономических информационных систем был выбран метод проведения экстремальных экспериментов. Рассмотрим особенности применения этого метода.
Первой особенностью является то, что факторы, которые были управляемыми в экспериментах с ЭИС, часто становятся- неуправляемыми в реальных условиях функционирования этой системы. Активный эксперимент позволяет, строить прогнозные модели поведения ЭИС при различных уровнях факторов.
Второй особенностью является очень малый коэффициент вариации результатов отдельных опытов. Воспроизводимость результатов является одним из требований к объекту активного экспериментирования, и среднее квадратическое отклонение результатов дублирующих опытов характеризует ошибку эксперимента по воспроизводимости.
Для получения оптимальных по ряду критериев результатов активного экспериментирования часто требуется по ходу эксперимента изменять в достаточно широких пределах интервалы варьирования управляемых факторов. Используя системы оценки потребительского качества программных продуктов, такое варьирование значений входных переменных в широком диапазоне осуществить достаточно просто.
В первой главе мы определили список показателей потребительского качества и показали, что для получения объективной оценки необходимо проводить взаимоувязанные измерения значений этих показателей. Другими словами, нет смысла оценивать поведение системы при увеличении объема данных и отдельно рассматривать случай с увеличение подключения числа пользователей. Именно эти факторы целесообразно использовать при оценке качества ЭИС с помощью автоматизированных инструментальных средств потому, что: - значения этих факторов не являются константными величинами; - значениями этих факторов можно управлять вне зависимости от архитектуры исследуемой ЭИС.
На современном рынке представлено множесто экономических информационных систем использующих СУБД в качестве источника информации. В таких системах, увеличивая количество данных в таблицах можно создавать необходимую нагрузку на исследуемую систему. Для некоторых систем источником информации могут являться текстовые форматы данных (CSV, XML, XLS и т.д.) или даже веб-службы. Очевидно, что предусмотреть в инструментальном средстве оценки потребительского качества ЭИС все варианты источников данных просто невозможно. Альтернативными вариантами могут являться имитация работы пользователя по вводу данных в систему или запись и повторная отправка пакетов данных системы. Использование второго способа на практике представляется весьма сомнительным: в процессе ввода даже одного документа могут формироваться десятки пакетов, структуру которых знает только разработчик. К тому же, большинство систем используют различные алгоритмы контроля целостности пакетов, что еще больше затрудняет реализацию этого способа. В то же время, запись действий пользователя с системой очень широко применятся и при автоматизации тестирования, и для заполнения различных форм регистрации. Рассмотрим некоторые аспекты рассмотренных способов варьирования объема обрабатываемых ЭИС данных.
Для того чтобы провести активный эксперимент с ЭИС, использующей в своей работе базу данных, необходимо в течение эксперимента изменять число записей в таблицах базы данных в соответствии с планом эксперимента. С помощью проведения активных экспериментов устанавливается степень влияния отдельных факторов (объема таблицы) на время выполнения функциональных операций ЭИС, при этом число записей в каждой отдельной таблице базы данных является фактором. Обычно число записей в таблицах базы данных со временем увеличивается в десятки и сотни раз по сравнению с первоначальными объемами, и целью проведения активных экспериментов в данном случае может являться прогнозирование времени выполнения функциональной операции при определенном количестве записей в таблицах. Процесс заполнения таблиц можно автоматизировать, используя генератор случайных величин. Но, для того, чтобы заполнить таблицы, необходимо знать структуру базы данных, организацию связей между таблицами, свойства этих связей, а такая- информация известна только разработчику систему, и прежде чем приступить к проведению эксперимента, необходимо получить информацию о ключевых полях таблиц и. связях между таблицами. Только лишь обладая информацией о связях между таблицами базы данных можно заполнять таблицы данными, не нарушая ссылочной целостности базы данных.
Второй вариант проведения активного эксперимента с ЭИС заключается в том, чтобы имитировать действия сразу нескольких пользователей по работе с системой. Многократно воспроизводя действия пользователя, например, по созданию документа, можно обеспечить необходимый объем обрабатываемых данных. Однако такой способ имеет свои недостатки. Действия пользователей над системой могут варьироваться: ввод уникальных номеров документов, изменение положения на экране дочерних форм, изменение способа ввода данных и т.д. Кроме того, скорость ввода данных через графическую форму значительно ниже, т.к. между двумя любыми действиями пользователя должна быть включена задержка, необходимая для реакции системы на ввод данных.
Особенности проектирования системы оценки качества ЭИС, ориентированных на использование СУБД
Первый из рассмотренных способов варьирования факторов активного эксперимента предполагает заполнение таблиц БД (факторов) случайными значениями. Для решения подобных задач при тестировании программных продуктов используют такие инструменты как, например, DBMonster, IB Expert.
Первая проблема, с которой сталкивается пользователь подобного инструментария — необходимость вникать в тонкости схемы базы данных исследуемой ЭИС. Даже средства, которые обеспечивают автоматизированное заполнение базы данными, не способны справится с целым рядом проблем. Самая частая из них - нормализация базы. При заполнении базу случайными данными нельзя забывать про связи между таблицами. Таким образом, одна таблица может использовать данные другой. Некорректная обработка таких связей может привести к неработоспособности исследуемой ЭИС. Очевидное решение — предварительный анализ структуры базы, при котором таблицы базы упорядочиваются в порядке возрастанию количества внешних ключей. Таким образом, первыми будут заполнятся справочники, т.е. таблицы, которые не ссылаются на другие таблицы и т.д.
Часто встречаются системы, использующие БД с ненормализованной структурой, и не описанными декларативно (т.е. с использованием DDL-операторов базы) связями между таблицами. В таких приложения целостность данных поддерживается на уровне бизнес-логики системы. Такие случаи являются серьезной проблемой для систем автоматического заполнения БД данными, т.к. в таком случае невозможно определить связи между таблицами. Добавление случайных данных в таблицы базы с неизвестными или неявными связями может привести к нарушению целостности хранимых данных и, как следствие, нарушению работы исследуемой системы. Кроме того, некорректное заполнение таблиц может влиять на объективность оценки производительности ЭИС в целом.
Так, например, при использовании инструмента DBMonster для автоматического заполнения таблиц системы учета денежных средств Sage, были сформированы 10000 строк для 3 таблиц, которые не нарушали работу приложения. Тем не менее, связь между таблицами не была определена на уровне базы, и это привело к неадекватной работе отчетов, использовавших эти таблицы в своей работе: отчет использовал только часть данных только из одной таблицы. Говорить об объективности оценки параметров потребительского качества ЭИС в таком случае невозможно.
Для того чтобы лучше понять недостатки существующих систем стресс-тестирования ЭИС, использующих в своей работе СУБД, необходимо рассмотреть алгоритм их функционирования. Описанный ниже алгоритм применялся при разработке программной системы для «Оценки характеристик потребительского качества информационных продуктов для экономических приложений». Алгоритм получал данные о связях таблиц из системных объектов СУБД Oracle 9і. Для исследуемой базы данных строился граф таблиц, вершинами которого являлись справочники, т.е. таблицы, не имеющие внешних ключей. Таблицы, имеющие один внешний ключ, располагались в дочерних узлах справочников и т.д. Такой способ классификации таблиц помогает определить очередность заполнения таблиц базы данных в зависимости от количества связей. Как только граф построен, программа начинает заполнять таблицы, начиная с вершины графа, случайными данными. Хотя такой способ претендует на универсальность, ряд недостатков делает его неприменимым для использования во многих ЭИС. Среди типичных проблем, можно назвать следующие: - отсутствующие или пропущенные связи между таблицами. В этом случае инструментальное средство не может корректно сформировать граф таблиц, что приведет к нарушению целостности данных, например, рабочие таблицы могут быть заполнены до заполнения справочников; - денормализованная структура БД. Таблицы могут иметь внешние ключи, ссылающиеся на первичный ключ этой же таблицы. В этой ситуации не может быть корректно организована операция заполнения таблицы; - использование в качестве первичных и внешних ключей текстовых типов данных и данных типа дата; - использование в качестве объектов исследования БД, содержащих данные. Многие ЭИС требуют наличия в таблицах начальных данных (например, настройки системы или учетные записи пользователей). Наличие таких данных может повлиять на ход или на результаты эксперимента; - пошаговое заполнение таблиц. Эта специфика подхода к заполнению БД, может стать причиной невозможности заполнить таблицы на необходимое количество строк. Например, справочник может быть заполнен на 100 записей, в то время как связанная с ним таблица, в виду какой-то ошибки, может остаться пустой. Может возникнуть ситуация, когда первичный ключ справочника имеет диапазон значений с 100 по 500, а связанная таблица для внешнего ключа использует лишь один байт (максимальное значение 255); - неявная бизнес-логика, ассоциированная с полем. Например, обычное однобайтовое числовое поле, допускающее значения от 0 до 255, может использоваться для хранения величины налога, которая не может превышать 100. Другой пример — строковое поле таблицы хранит имя файла, который загружается системой при старте из определенной папки. Такие ситуации отследить очень сложно, а зачастую и невозможно; - использование триггеров и хранимых процедур. Некоторые поля или даже таблицы базы могут заполняться значениями, для расчета которых используется логика, описанная в триггере или хранимой процедуре; - данные системы хранятся не только в базе данных, но и в другом хранилище (текстовый файл, XML-файл). В таком случае обеспечить необходимый объем данных одновременно в нескольких источниках просто невозможно. Это далеко не полный список проблем, которые препятствуют использованию инструментальных средств, ориентированных на работу исключительно с СУБД. Необходимо рассмотреть еще ряд недостатков, присущий подобным инструментальным средствам: при проведении активных экспериментов с не учитывается, что ввод данных в систему также является функциональной операцией, и время ее выполнения так же зависит от объема данных. Так как добавление бизнес объектов происходит непосредственно через интерфейс базы, а не через интерфейс приложения, то невозможно оценить увеличения задержки на сохранение объекта, которое было бы заметно при работе из пользовательского интерфейса.
Проведение экстремальных экспериментов с экономической информационной системой «Ананас»
Проведем оценку характеристик потребительского качества экономических информационных систем с использованием разработанных инструментальных средств оценки.
При планировании активных экспериментов в качестве выходного параметра Y принимаем время выполнения функциональных операций различными ЭИС. В данной главе приведены результаты проведения экспериментов с системами «1С Торговля и склад», «Compier EPR», «Ананас», «Plazma CRM».
Программа «1С» с конфигурацией «Торговля и склад» - хорошо известная и зарекомендовавшая себя платформа для ведения бухгалтерского, складского учета, организации деятельности отдела кадров и отдела связи с клиентами. «1 С» представляет собой программную платформу, дающую разработчикам возможность описывать и добавлять новый. функционал на специальном языке программирования; имеет встроенный дизайнер форм и отчетов: До версии 8. «1С» в своей работе использовала старый FoxPro-формат, который вызывал массу нареканий из-за резкого падения производительности на больших объемах данных. Возможность перевода платформы, на Microsoft SQLServer 2000 в корне изменила ситуация для мелких, и средних предприятий, для крупных же проблема осталась актуальной, т.к. максимальный объем обрабатываемых данных оставлял желать лучшего. Второй основной проблемой, помимо производительности, являлась относительно высокая цена внедрения, которая обуславливалась в частности тем, что и сервер и клиенты «1С» работают исключительно под управлением ОС Windows.
В свете описанных недостатков многие пользователи «1С» всерьез стали задумываться о смене платформы - к тому же появилось большое количество платных и бесплатных аналогов. «Ананас» и «Plazma CRM» являются примером подобных систем.
«Ананас» - бесплатный аналог «1С», который по замыслу авторов, должен быть избавлен он основного недостатков своего конкурента — высокой стоимости внедрения. Снизить затраты на внедрение планировалось сделав «Ананас» мульти-платформенным, т.е. работающим под управлением любой операционной системы. Однако же, отсутствие большого числа готовых конфигураций для автоматизации различных областей деятельности, которыми может похвастаться платформа от «1С», и отсутствие квалифицированных специалистов по настройке этой системы привели к тому, что «Ананас» может претендовать лишь на очень узкую нишу, а именно: использование в качестве элементарной системы учета на мелких предприятиях, бюджет которых не предусматривает затрат на автоматизацию учета.
«Plazma CRM» является иностранным аналогом отечественной учетной системы, и, хотя, изначально она проектировалась, как средство автоматизации работы с клиентами (Client Relationship Management), ее широкие возможности позволяют использовать ее- и для любых других задач учета, вплоть до ведения бухгалтерии среднего по величине предприятия. Реализованная на языке Java, «Plazma CRM» является мульти-платформенной, а использование технологии ORM (Object-relational mapping) позволяет системе использовать различные СУБД. Все это делает «Plazma CRM» весьма перспективной разработкой, обладающей значительным запасом производительности, благодаря отличной масштабируемости Java и возможности использовать такие СУБД, как Oracle, IBM DB2, Sybase. Тем не менее, несмотря на неплохие технические характеристики, «Plazma CRM» имеет посредственные инструменты настройки, что значительно усложняет процесс внедрения. «Plazma CRM», как и «Ананас» является нишевой системой, и предназначена, скорее, для среднего и малого бизнеса.
«Compier ERP/CRM», как следует из названия, является системой планирования ресурсов предприятия (Enterprise Resource Planning system) и предназначена для автоматизации учёта и управления. ERP-системы используются для контроля и планирования всех ресурсов, которые применяются на предприятии; осуществления продажи и производства продукции; закупок и учета сырья, а также всех средств участвующих в процессе выполнения сторонних заказов и производства основной продукции. Самое главное предназначение ERP-систем заключается в нахождении взаимосвязей между всеми отделами, а также создания единого информационного хранилища данных, содержащую всю необходимую информацию о предприятии, о предоставляемых услугах, о производимой продукции, о работе всех служб предприятия и т.д. «Compier» является бесплатной системой с открытым исходным кодом, однако, поддержка и обучение специалистов осуществляется за деньги. Такая модель, очень часто используемая в последнее время, оправдала себя - «Compier» является очень мощной системой и легко может конкурировать со многими коммерческими решениями. Техническая реализация, выполненная с использование технологии J2EE, позволяет строить масштабируемые решения, на базе «Compier», и даже организовывать отказоустойчивые кластеры с- балансировкой нагрузки. Технические достоинства для конечного пользователя оборачиваются проблемой - установить и настроить «Compier» может только лишь технический специалист, знакомый с системой. Но не стоит забывать, что это система уровня предприятия, а это автоматически означает, что статья расходов на внедрение будет значительно превышать стоимость самой системы.
В данном исследовании мы проведем оценку четырех систем, обладающих схожим функциональным назначением, но отличающихся масштабам применения. Так «Ананас» предназначена для индивидуальных предпринимателей, «Plazma CRM» может использоваться в небольших и средних фирмах, в то время как «Compier» предназначен исключительно для крупных предприятий, а система от «1С» одинаково распространена на всех уровнях.
Для каждой из систем варьируемыми параметрами будут объемы таблиц или количество первичных документов. Так как все рассматриваемые системы предназначены для ведения учета, в то числе и складского, то ограничим оценку лишь одной функциональной операцией, а именно - построением отчета или ведомости движения товара по складу. Не смотря на то, что название этого отчета отличается от системы к системе, он присутствует во всех рассматриваемых системах. Реализация такой операции в разных ЭИС может использовать полный или частичный расчет значений показателей. При полном расчете показателей отчета система обрабатывает весь объем данных, а при частичном показатели рассчитываются/пересчитываются при добавлении данных. С точки зрения оценки характеристик потребительского качества первый из способов будет увеличивать значения показателя «время выполнения функциональной операции», а применение второго способа приведет к ускорению выполнения функциональной операции и к снижению значений показателя «отзывчивость пользовательского интерфейса».
