Содержание к диссертации
Введение
Глава 1. Обоснование разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции 15
1.1. Анализ состояния подтверждения соответствия программной продукции в Российской Федерации 15
1.1.1. Анализ состояния российского законодательства в области технического регулирования и подтверждения соответствия программной продукции 15
1.1.2. Анализ международных и национальных стандартов в области создания и оценки качества программной продукции 26
1.1.3. Анализ состояния сертификации программной продукции 48
1.2. Актуальность разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции 60
Цель и задачи исследования 60
Глава 2. Разработка методических принципов для оценки соответствия программной продукции требованиям нормативных документов 64
2.1. Обоснование и методические принципы разработки модели оценки соответствия программной продукции 64
2.2. Применение методов экспертной оценки к компонентам модели оценки программной продукции 78
2.3. Разработка принципов тестирования программной продукции 86
2.4. Разработка методических принципов оценки соответствия программной продукции 89
Выводы по главе 2. 98
Глава 3. Разработка функциональных моделей создания типового нормативно-методического обеспечения процесса сертификации программной продукции 99
3.1. Разработка модели оценки соответствия нормативному документу 101
3.1.1. Анализ требований нормативного документа 101
3.1.2. Разработка модели оценки соответствия нормативному документу 103
3.2. Разработка модели оценки соответствия программного продукта 104
3.2.1. Анализ программного продукта 104
3.2.2. Разработка методики определения весовых коэффициентов компонентов оценки 106
3.2.3. Определение весовых коэффициентов компонентов в модели оценки соответствия нормативному документу 107
3.2.4. Разработка модели оценки программного продукта 108
3.2.5. Определение весовых коэффициентов компонентов оценки соответствия непокрытых требованиями нормативного документа 113
3.3. Разработка методики и протокола испытаний 114
3.4. Разработка методики оценки соответствия программного продукта 117
3.4.1. Разработка методики нормализации элементов оценки 118
3.4.2. Разработка методики получения комплексных оценок компонентов (методика комплексирования) 119
3.4.3. Разработка формы документирования результатов оценки соответствия 121
3.4.4. Разработка структуры отчета о результатах сертификации программного продукта 121
Выводы по главе 3 121
Глава 4. Разработка и апробация нормативно-методического и информационного обеспечения для сертификации программной продукции 124
4.1. Разработка моделей оценки соответствия национальным стандартам ГОСТ Р ИСО/МЭК 12119 - 2000 и ГОСТ Р ИСО 9127 - 94 124
4.1.1. Анализ требований национального стандарта ГОСТ Р ИСО/МЭК 12119-2000 124
4.1.2. Разработка модели оценки соответствия национальному стандарту ГОСТ Р ИСО МЭК 12119-2000 126
4.1.3. Апробация моделей оценки соответствия ГОСТ Р ИСО/МЭК 12119 — 2000
и ГОСТ Р ИСО 9127 - 94 130
4.2. Разработка и апробация нормативно-методического и информационного обеспечения на примере программного продукта «Система дифференцированного Интернет-обучения ГЕКАДЕМ», версия 3.0 130
Выводы по главе 4 131
Заключение 132
Список литературы 133
- Актуальность разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции
- Разработка принципов тестирования программной продукции
- Разработка модели оценки соответствия программного продукта
- Разработка формы документирования результатов оценки соответствия
Введение к работе
Актуальность темы
Разработка качественного программного обеспечения в различных областях науки и техники является основой создания наукоемких технологий, которые в современных условиях существенным образом влияют на уровень развития и конкурентоспособность национальной экономики различных стран мира Для Российской Федерации решение этой задачи приобретает первостепенное значение, которое, в конечном счете, позволит значительно увеличить высокотехнологичный сектор экономики
Эффективным и действенным механизмом подтверждения качества продукции, услуг, процессов и иных объектов, является подтверждение соответствия этих объектов установленным требованиям нормативных документов
Подтверждение соответствия требованиям международных и национальных стандартов ГОСТ Р ИСО 9001-2001, ISO/IEC 90003 2004, ISO/IEC 15504-1-5 2003-2006 определяет качество программной продукции со стороны системы менеджмента качества и процессов зрелости производства разработчика Однако эти требования являются дополняющими (ГОСТ Р ИСО 9001) и не могут полностью обеспечить гарантию качества конечной программной продукции, подтверждение которой должно осуществляться в рамках добровольной, обязательной сертификации или декларирования соответствия
Программная продукция является принципиально новым и наукоемким объектом, и может являться компонентом информационной или информационно-управляющей системы, обеспечивающей технологии информационной поддержки жизненного цикла изделий (ИПИ-технологии - CAD, САМ, CAI, САРР, ERP), что предполагает нетривиальное решение задачи разработки требований и методологии сертификации такой продукции
Рост конкуренции на рынке IT технологий предполагает сокращение жизненного цикла программной продукции при условии постоянного повышения ее качества В сложившихся условиях, процесс сертификации, являясь компонентой этого жизненного цикла, может быть конкурентоспособной услугой лишь в случае существенного сокращения сроков полных циклов сертификации при обеспечении высокого уровня качества оценки соответствия
В Российской Федерации к настоящему времени не сформирован цивилизованный рынок услуг по сертификации программной продукции, который ограничен уровнем качества предлагаемых разработок и услуг по независимой оценке соответствия, обусловленных фактически отсутствующей базой нормативно-технического и методического обеспечения в этой области
Достаточно слабая база научно-методических центров систем сертификации и отсутствие системной методологии подтверждения соответствия программных продуктов в документах международного и национального уровня не
позволяют обеспечить единые методические подходы при формировании компонентов оценки, сертификационных испытаниях, обработке, оценке соответствия и документировании полученных результатов
Органы по сертификации и испытательные лаборатории вынуждены разрабатывать собственные локализованные методики, не адаптированные под весь спектр возможного применения при сертификации нормативно-технических документов с различной степенью обобщения требований (спецификации требований, технические условия для однородной продукции, национальные и международные стандарты) по отношению к специфике программной продукции Эти методики характеризуются отсутствием или низким уровнем обобщения результатов испытаний, что при сертификации достаточно сложных программных комплексов не позволяет адекватно принимать решение об их соответствии требованиям нормативных документов
Указанные негативные моменты предопределяют низкое качество предоставляемых услуг по сертификации программной продукции, обуславливают высокие материальные и временные затраты, приводят к частичной или полной несопоставимости результатов испытаний и усложняют взаимное доверие и признание сертификатов соответствия различными органами и системами сертификации
Предложенное в диссертации нормативно-методическое и информационное обеспечение направлено на снижение указанных негативных аспектов и ориентировано на поддержку процесса сертификации программной продукции требованиям широкого спектра нормативно-технических документов, в том числе международных и национальных стандартов Предложенный комплекс принципов, моделей, процессов и методик разработан для повышения качества и конкурентоспособности программной продукции и услуг по независимой оценке соответствия этой продукции на внутреннем и международном рынках, содействия приобретателям в компетентном выборе такой продукции, формирования условий для обеспечения свободного перемещения программной продукции по территории Российской Федерации, а также осуществления международного экономического, научно-технического сотрудничества и международной торговли
Целью диссертационной работы является повышение качества оценки соответствия программной продукции на основе разработки нормативно-методического и информационного обеспечения процесса ее сертификации
Задачи диссертационної о исследования:
провести анализ российского законодательства, международных и национальных стандартов и состояния сертификации программной продукции в Российской Федерации,
разработать методические принципы создания моделей оценки, тестирования и оценки соответствия программной продукции требованиям нормативных документов на основе метода анализа иерархий и комплексного метода квалиметрии,
разработать функциональные модели создания нормативно-методического обеспечения для информационной поддержки процесса сертификации программной продукции,
апробировать нормативно-методическое и информационное обеспечение в одной из систем сертификации Российской Федерации
Объект исследования - повышение качества программной продукции
Предмет исследования - процесс сертификации программной продукции
Методы исследования
При выполнении диссертационной работы использовались методы теории систем и системного анализа, менеджмента качества, квалиметрии, анализа иерархий, линейной нормализации, функционального моделирования процессов
Научная новизна результатов исследования:
разработаны оригинальные методические принципы создания моделей оценки соответствия программной продукции требованиям широкого спектра нормативно-технических документов, а также принципы получения комплексных оценок компонентов моделей с учетом комплексного метода квалиметрии,
разработаны функциональные модели создания типового нормативно-методического обеспечения для информационной поддержки процесса сертификации программной продукции,
впервые разработан комплекс методических и отчетных документов при апробации нормативно-методического и информационного обеспечения
Практическая значимость:
разработанные методические принципы позволяют создавать модели оценки соответствия программной продукции широкому спектру нормативно-технических документов, осуществлять их адаптацию в зависимости от специфики программной продукции, производить обработку результатов тестирования и оценку соответствия программной продукции,
предложенные функциональные модели создания нормативно-методического обеспечения для сертификации программной продукции представляют собой последовательный комплекс взаимосвязанных информационных потоков и процессов разработки моделей оценки, методик и протоколов испытаний, методик оценки соответствия, а также необходимых форм регистрации результатов и отчетности при подтверждении соответствия программной продукции,
разработанные модели оценки соответствия требованиям основных международных и национальных стандартов, применяемых при сертификации программной продукции, а также практическая реализация пред-
лагаемых решений на примере конкретного программного продукта в одной из систем сертификации Российской Федерации предложены в качестве практического руководства при применении созданного нормативно-методического обеспечения,
разработанное в диссертационной работе нормативно-методическое и информационное обеспечение предлагается для методической поддержки научно-методических центров систем сертификации Российской Федерации, органов по сертификации и независимых технически компетентных испытательных лабораторий программной продукции,
разработанные в диссертации методические решения могут быть использованы органами по обязательной сертификации программной продукции, а также учитываться разработчиками на этапах формирования требований, тестирования и квалификационных испытаний программного обеспечения
Апробация и внедрение результатов работы
Обоснованность научных положений, принципов и выводов определяется их конкретным применением и апробацией в Системе добровольной сертификации информационно-коммуникационных технологий в образовании (Система ИНКОМТЕХСЕРТ)
Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения при выполнении научно-исследовательских работ в рамках научных программ Минобрнауки и государственных контрактов ГОУ МГТУ «Станкин» по Федеральной целевой программы «Развитие единой образовательной информационной среды (2001-2005 годы)», а также рядом инициативных проектов в области сертификации программной продукции
Результаты диссертационной работы были представлены на шести Всероссийских и международных конференциях (Всероссийская научно-практическая конференция «Человеческое измерение в информационном обществе» (Москва, ВВЦ 2003 г), XIV конференция-выставка «Информационные технологии в образовании» (Москва, 2004г), Международная научно-практическая конференция «Проблемы и перспективы сотрудничества государств участников СНГ в формировании единого (общего) образовательного пространства» (2004 г), II Всероссийская научно-практическая конференция «Образовательная среда сегодня и завтра» (Москва, ВВЦ, 2005 г )) Материалы диссертации были использованы в научно-практической работе «Создание и внедрение в сфере образования системы обеспечения качества и сертификации информационно-программных средств», удостоенной премии Правительства Российской Федерации в области образования за 2001 год
Публикации
По материалам диссертации опубликовано 10 печатных работ Структура диссертации
Диссертация состоит из введения, 4 глав, заключения и 6 приложений Основная часть работы изложена на 144 страницах, содержит 12 таблиц и 36 рисунков
Актуальность разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции
Проведенный анализ состояния подтверждения соответствия программной продукции в Российской Федерации указывает на необходимость нормативно-методической и информационной поддержки процесса сертификации для повышения качества услуг по сертификации программных продуктов, повышения качества и конкурентоспособности разрабатываемого программного обеспечения и развития цивилизованного рынка программной продукции в Российской Федерации. Разработка нормативно-методического и информационного обеспечения необходима для методической поддержки научно-методических центров систем сертификации, а также органов по сертификации программной продукции с целью повышения качества и расширения рынка предлагаемых сертификационных услуг, снижения трудоемкости оценки соответствия достаточно сложных программных комплексов, сокращения сроков полных циклов сертификации, обеспечения идентичности, сопоставимости и повышения взаимного доверия и признания результатов сертификационных испытаний и сертификатов соответствия в различных системах сертификации Российской Федерации, увеличения степени доверия потребителей к сертифицированной программной продукции и, в конечном счете, повышения качества и конкурентоспособности российских программных продуктов на внутреннем и международном рынках. Цель и задачи исследования Целью диссертационной работы является повышение качества оценки соответствия программной продукции на основе разработки нормативно-методического и информационного обеспечения процесса ее сертификации.
Основные задачи диссертационной работы: - провести анализ российского законодательства, международных и национальных стандартов и состояния сертификации программной продукции в Российской Федерации; - разработать методические принципы создания моделей оценки, тестирования и оценки соответствия программной продукции требованиям нормативных документов на основе метода анализа иерархий и комплексного метода квалиметрии; - разработать функциональные модели создания нормативно-методического обеспечения для информационной поддержки процесса сертификации программной продукции; - апробировать нормативно-методическое и информационное обеспечение в одной из систем сертификации Российской Федерации.
Частными задачами диссертационной работы являются: в рамках обоснования актуальности разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции: - анализ российского законодательства, международных и национальных стандартов и состояния сертификации программной продукции в Российской федерации; - актуальность и обоснование разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции; в рамках разработки методических принципов создания моделей оценки, тестирования и оценки соответствия программной продукции требованиям нормативных документов: - обоснование и методические принципы разработки модели оценки программной продукции; - адаптация методов экспертной оценки для иерархической модели оценки программной продукции; - разработка принципов тестирования программной продукции; - разработка методических принципов оценки соответствия программной продукции; в рамках разработки функциональных моделей создания нормативно-методического обеспечения для поддержки процесса сертификации программной продукции: - разработка модели оценки соответствия нормативному документу; - разработка модели оценки соответствия специфического программного продукта нормативному документу; - разработка методики и протокола испытаний; - разработка методики оценки соответствия программного продукта и отчета о сертификации; в рамках апробации нормативно-методического и информационного обеспечения: - разработка моделей оценки соответствия национальным стандартам ГОСТ Р ИСО/МЭК 12119 - 2000 и ГОСТ Р ИСО 9127 - 94; - разработка моделей оценки, методики испытаний и проведение сертификационных испытаний на соответствие требованиям национальных стандартов ГОСТ Р ИСО/МЭК 12119 - 2000 и ГОСТ Р ИСО 9127 - 94 на примере программного продукта «ГЕКАДЕМ 3.0»; - разработка протокола испытаний, методики оценки соответствия и подготовка отчета по результатам сертификационных испытаний на соответствие национальным стандартам ГОСТ Р ИСО/МЭК 12119 - 2000 и ГОСТ Р ИСО 9127 - 94 на примере программного продукта «ГЕКАДЕМ 3.0». Предлагаемое в диссертационной работе нормативно-методическое и информационное обеспечение не касается методических аспектов разработки нормативно-технических требований и документов, используемых при подтверждении соответствия программной продукции, а локализовано исключительно областью оценки соответствия программных продуктов нормативно-техническим требованиям и документам. Разработанное методическое обеспечение, включает комплекс терминов, моделей, рекомендаций и процессов, которое в своей совокупности представляет собой универсальный методический инструментарий для разработки комплекта типовых нормативно-методических документов для испытаний и оценки соответствия программных продуктов различным нормативно-технических требованиям. Поддержка процесса разработки нормативно-технических требований и документов для сертификации не входила в задачу настоящей диссертационной работы, однако? существующие документы и требования явились основой для разработки нормативно-методического и информационного обеспечения для сертификации программной продукции.
Созданное нормативно-методическое и информационное обеспечение не представляет . комплекс атрибутов качества, определенные как метрики качества в соответствии с международным стандартом ISO/IEC 9126-2,3 [105, 106], а также конкретные наименования, цели, методы определения, вычисления и интерпретации полученных значений таких атрибутов, однако такие атрибуты, цели, методы и интерпретации были использованы для обобщения и применены в диссертационной работе. Разработанные терминология, модели требований и оценки не противоречат модели качества по международному стандарту ISO/IEC 9126-1 [15, 104] и могут рассматриваться как ее расширение, дополнение и адаптация к области подтверждения соответствия программной продукции. Достоинством, по мнению автора, примененного в работе методического подхода является возможность оценки характеристик программой продукции без явно сформулированных требований к характеристикам в нормативных документах, вследствие применения принципов иерархической и семантической согласованности при построении моделей оценки. Разработанное нормативно-методическое обеспечение имеет универсальный характер применения по отношению к нормативным документам, содержащим требования к характеристикам качества, в том числе в соответствии с международным стандартом ISO/IEC 9126 [15, 104-107] или не содержащим требований к качеству вообще. Методическое обеспечение универсально при применении к как уже существующей нормативной базе, так и к разрабатываемым национальным стандартам, стандартам организаций, требованиям систем сертификации или условиям договоров [84], что указывает на ее актуальный характер. Универсальный характер использования нормативно-методического и информационного обеспечения основан на общем подходе при создании моделей оценки программной продукции в соответствии с любой иерархической декомпозицией требований нормативных документов.
Разработанные подходы при анализе и идентификации компонентов требований нормативных документов, а также принципы разработки моделей оценки могут быть использованы для формирования требований к качеству или разработке других специфических требований в нормативных документов для подтверждения соответствия программной продукции. Разработанные подходы так же могут быть использованы для формирования требований в рамках разработки программного обеспечения на этапах анализа требований и при проектировании программной архитектуры [21, 109-111, 135-139, 96, 97, 153], а; созданное нормативно-методическое и информационное обеспечение на этапах тестирования, интеграции и квалификационных испытаний программных продуктов [21, 109-111]. Разработанные в диссертации методические решения могут быть использованы органами по обязательной сертификации программной продукции. Предложенный методический подход может быть так же использован при подтверждении соответствия других видов продукции при соответствующей адаптации и развитии.
Разработка принципов тестирования программной продукции
Можно выделить статическое и динамическое тестирование [39, 93]. Статическое тестирование программ и данных, как правило, сравнительно редко используется при сертификационных испытаниях, что связано с недоступностью программного кода, проверяемого продукта, а также отсутствием необходимой технологической документации [49]. Однако кроме программ и данных программный продукт может содержать эксплуатационную документацию [49] и если нормативный документ или его разделы содержат требования исключительно к этой документации, то можно говорить о статическом тестировании. Статическому тестированию подвергается, как правило, документация пользователя и описание продукта, за исключением случаев, связанных с проверкой соответствия документации программам и данным. При статическом тестировании документации могут использоваться тесты на основе экспертной оценки. При подтверждении соответствия программ и данных в основном применяется динамическое тестирование, которое может включать в себя: функциональную проверку, испытания для определения рабочих характеристик, тестирование в предельных режимах [39], что характерно, в основном, при проверке функциональных возможностей и надежности программного продукта. Тестирование в предельных режимах возможно, также при динамическом тестировании практичности, эффективности, сопровождаемое и мобильности [15, 104-107]. Во всех рассмотренных случаях могут применяться различные методы тестирования: экспериментальный, экспертный и в некоторых случаях социологический [105, 106]. Процесс сертификационных испытаний должен обеспечиваться процессом планирования испытаний и процессом тестирования. Должна быть определена среда тестирования, которая состоит из физических средств тестирования и операционной системы, под управлением которой функционирует программный продукт. Основой процесса тестирования является разработка теста и тестовых случаев (рис. 2.8).
Принципы модульного проектирования часто применяются при проектировании программного обеспечения, они также могут быть применены для проектирования тестов [39]. Модульными компонентами при тестировании являются тест или тестовый случай, с четко сформулированной целью, с определенной средой тестирования с известными начальными условиями для воспроизводимости результатов испытаний, строго определенный ожидаемый результат (выход) с критерием успешного/неуспешного испытания. Иерархия модульного построения компонент при проектировании программного обеспечения отражается на архитектуре тестов, которая может включать в себя несколько тестовых наборов, ориентированных на проверку высокоуровневых функциональных свойств программного продукта, а также тесты и тестовые случаи, ориентированные на проверку детализированных функциональных и нефункциональных свойств. Результаты тестов или тестовых случаев качественных свойств компонентов могут быть оценены достаточно жестко (значения 0 или 1) [39] или гибко, с использованием шкалы бальных экспертных оценок или шкалы от 0 до 1 с произвольным набором равноудаленных точек шкалы, которым ставится в соответствие характер изменения оцениваемых свойств.
Тесты для определения количественных свойств компонентов могут содержать количественные характеристики, в том числе временные. При использовании атрибутов качества в соответствии с международным стандартом ИСО/МЭК 9126-2 могут разрабатываться достаточно сложные тесты, включающие большое количество тестовых случаев, результаты выполнения которых, могут обрабатываться специальными формулами для получения результирующего значения выполнения теста [105]. Будем называть элементами тестирования элементы оценки в модели оценки. Тогда значениями этих элементов оценки будут являются результаты выполнения тестов. Подтверждение соответствия продукции в форме сертификации должно обеспечиваться сопоставлением установленных требований нормативных документов с результатами выполнения этих требований при испытаниях этой продукции. В соответствии с предложенной терминологией оценка соответствия программной продукции требованиям может быть ограничена на уровне сопоставления элементов требований нормативного документа и оцененных элементов оценки соответствия. Оценка соответствия компонентам требований вышестоящих уровней достаточно проблематична в связи с трудностью установки в нормативных документах численных значений таких компонент, обусловленных необходимостью дополнительного приложения методического и математического инструментария для оценки соответствия таким компонентам реальных свойств продукции. Анализ систем сертификации показал, что при подтверждении соответствия требованиям технических условий степень покрытия требованиями модели оценки R - 1, а степень обобщения нормативного документа к специфике программного продукта S -» 0. В связи с этим, элементы оценки соответствия практически совпадают с элементами оценки, которые определяются в ходе тестирования программного продукта. Протоколы испытаний программных продуктов на соответствие требованиям технических условий содержат в основном таблицы элементов требований и результаты соответствующих им истинных значений элементов оценки после тестирования. При подтверждении соответствия техническим условиям или спецификациям требований достаточно сложных программных продуктов, существенную трудоемкость вызывают работы по подведению итогов результатов испытаний.
Протоколы испытаний могут содержать сотни и тысячи строк истинных значений элементов оценки. При сравнении истинных значений элементов оценки с элементами требований нормативных документов только в единичных случаях имеет место полное соответствие установленным требованиям. В подавляющем большинстве случаев неизбежны неоднозначные результаты, не полное соответствие или полное не соответствие по отдельным элементам требований. При подтверждении соответствия национальным или международным стандартам, например ГОСТ Р ИСО/МЭК 12119 [19], содержащим общие требования к программным продуктам, когда степень обобщения 5- 1, а степень покрытия требованиями R -» 0, положение существенно усугубляется в связи с неопределенностью выбора и систематизации элементов оценки и элементов тестирования по отношению к компонентам требований нормативного документа. В приведенных случаях принимать объективное и взвешенное решение о соответствии программного продукта установленным требованиям достаточно сложно или просто невозможно. В связи с этим необходимы механизмы обработки результатов испытаний. При принятии подобных решений несколько улучшило бы положение применение в нормативных документах требований к численным значениям компонент различных уровней иерархии, а также разработки адекватного механизма обработки результатов испытаний в каждом конкретном сертификационном случае. Такой вариант теоретически возможен и может быть применен только при S= 0 и R =1. Принципы формирования компонент в предлагаемых моделях оценки ориентированы на применение универсального оценочного механизма требованиям нормативных документов. Строгая иерархическая структура компонентов оценки позволяет применить
Разработка модели оценки соответствия программного продукта
Создание модели оценки программного продукта осуществляется на основе методических принципов разработки модели оценки программной продукции (п. 2.1), принципов оценки соответствия программной продукции (п. 2.4) и методов экспертной оценки, изложенных в п. 2.2 диссертационной работе. Разработка модели включает следующие составляющие: - анализ программного продукта; - разработка методики определения весовых коэффициентов компонентов оценки; - определение весовых коэффициентов компонентов оценки соответствия нормативному документу; - разработка модели оценки программного продукта; - определение весовых коэффициентов компонентов оценки не покрытых требованиями нормативного документа. IDEF0 диаграмма разработки модели оценки соответствия программного продукта требованиям нормативного документа представлена на рисунке 3.4. Анализ программного продукта выполняется персоналом органа по сертификации на основе методических принципов разработки модели оценки программной продукции и с учетом разработанной модели оценки соответствия конкретному нормативному документу. Объектом исследования является программный продукт. Анализ осуществляется в следующей последовательности: - анализ степени обобщения нормативного документа по отношению к программному продукту; - принятие решения о необходимости доработки модели оценки соответствия с учетом специфики программного продукта или потребности определения тестового покрытия для проведения испытаний; - анализ документации программного продукта. Одним из результатов анализа программного продукта является решение о необходимости доработки модели оценки соответствия.
Особенности принятия решения основывается в зависимости от нулевой (S=0) или ненулевой {S?&) степени обобщения нормативного документа по отношению к программному продукту. При нулевой степени обобщения S=0 нормативного документа по отношению к программному продукту модель оценки соответствия нормативному документу тождественна модели оценки программного продукта. В этом случае компоненты требований нормативного документа полностью покрывают компоненты оценки программного продукта (степень покрытия моделью требований) модели оценки R-1 (см. п. 2.1 диссертации)). Необходимость в адаптации модели оценки соответствия в этом случае возникает при потребности в определении тестового покрытия для сертификационных испытаний. Исключение компонентов из модели оценки соответствия осуществляется при наличии нулевых весовых коэффициентов после обработки мнений экспертов по сертификации. При S?Q принимается решение о необходимости доработки модели оценки. Объем доработки модели зависит от степени обобщения нормативного документа и сложности программного продукта, которая определяется на основе анализа эксплуатационной документации программного продукта. Разработка методики осуществляется органом по сертификации на основе результатов проведенного анализа программного продукта, методических принципов разработки модели оценки программной продукции (п. 2.1), принципов оценки соответствия программной продукции (п. 2.4) и методов экспертной оценки (п. 2.2 диссертации). Разработка данной методики осуществляется в целях адаптации модели оценки соответствия нормативному документу, под конкретный программный продукт.
Методика может включать: - необходимые ресурсы для определения весовых коэффициентов оценки; - принципы подбора независимых экспертов для генерации их мнений по компонентам оценки; - метод экспертной оценки для обработки мнений экспертов и определения весовых коэффициентов компонентов; - принципы организации работ экспертов и документирования промежуточных и окончательных результатов экспертной оценки. Необходимые ресурсы определяются в зависимости от сложности модели оценки соответствия, сложности программного продукта и трудоемкости выбранного метода экспертной оценки. В диссертационной работе для обработки мнений экспертов предложены следующие методы в соответствии с п. 2.2: - метод экспертного ранжирования; - метод непосредственной оценки, - метод экспертных предпочтений. Входными элементами для определения весовых коэффициентов является методика определения весовых коэффициентов, разработанная в соответствии с п. 3.2.2 диссертации, модель оценки соответствия нормативному документу, разработанная в соответствии с пунктом 3.1. Определение весовых коэффициентов осуществляется в соответствии с выбранным методом экспертной оценки (п. 2.2). Организацию работ обеспечивает персонал органа по сертификации с участием независимых экспертов. Определение весовых коэффициентов осуществляется в следующей последовательности: - подбор независимых экспертов; - выдача независимым экспертам документированной модели оценки соответствия нормативному документу, документации на программный продукт (при необходимости программы и данные), шаблоны документов и инструкции по регистрации мнений экспертов; - получение от независимых экспертов заполненных документов; - определение весовых коэффициентов компонентов в модели оценки соответствия нормативному документу на основе обработки мнений экспертов в соответствии с выбранным методом экспертной оценки. Независимые эксперты выражают свои мнения относительно компонентов оценки модели оценки соответствия нормативному документу в зависимости от специфики программного продукта. При нулевой степени обобщения нормативного документа мнения экспертов могут быть использованы для адаптации модели оценки соответствия в целях определения степени тестового покрытия при сертификационных испытаниях программного продукта.
Входными элементами рассматриваемого подпроцесса является разработанная модель с компонентами оценки соответствия нормативному документу (п. 3.2.2) и подученные весовые коэффициенты, соответствующие этим компонентам оценки (п. 3.2.3). Пример такой иерархической модели оценки соответствия нормативному документу с соответствующими весовыми коэффициентами представлен на рисунке 3.5. Методической поддержкой подпроцесса являются принципы разработки модели оценки программной продукции (п. 2.1) и оценки соответствия программной продукции (п. 2.4). Разработка модели оценки осуществляется с использованием результатов анализа программного продукта (п. 3.2.1). Разработка модели оценки программного продукта осуществляется в следующей последовательности: - адаптация модели оценки соответствия нормативному документу; - доработка адаптированной модели оценки соответствия нормативному документу; - формирование модели оценки программного продукта с учетом степени тестового покрытия. Построение адаптированной модели оценки соответствия нормативному документу обеспечивается на основе полученных в п. 3.2.3 весовых коэффициентов, соответствующих компонентам оценки. Компоненты оценки с нулевыми весовыми коэффициентами исключают из модели оценки соответствия нормативному документу. Исключение компонента оценки предполагает исключение всех родственных компонентов оценки на нижележащих уровнях иерархии в модели оценки соответствия нормативному документу вне зависимости от их весовых коэффициентов. Пример иерархической адаптированной модели оценки соответствия нормативному документу в зависимости от специфики программного продукта представлен на рисунке 3.6. Построенная адаптированная модель оценки соответствия нормативному документу с нулевой степенью обобщения отражает степень тестового покрытия при сертификационных испытаниях программного продукта.
Разработка формы документирования результатов оценки соответствия
Отчет о результатах сертификации программного продукта включает: - протокол испытаний; - форму документирования результатов оценки соответствия; - перечень не соответствия требованиям нормативного документа; - решение органа по сертификации о результатах сертификации программного продукта. Выводы по главе 3 Разработаны функциональные модели для создания типового нормативно-методического обеспечения процесса сертификации программной продукции на основе методических принципов создания моделей оценки, тестирования и оценки соответствия программной продукции требованиям нормативных документов, изложенных в главе 2 диссертации. Предложенные функциональные модели представляет собой совокупность процессов и их основных информационных потоков, обеспечивающих: создание модели оценки соответствия нормативному документу, разработанной на основе методических принципов разработки модели оценки программной продукции (п. 2.1 диссертации), включающая принципы проведения анализа структуры и иерархии требований нормативного документа, а также последовательность действий при разработке модели оценки соответствия программной продукции; создание модели оценки программного продукта, разработанной на основе методических принципов разработки модели оценки программной продукции (п. 2.1 диссертации) и методов экспертной оценки (п. 2.2 диссертации) и включающая последовательность проведения анализа специфики и степени обобщения нормативного документа по отношению к программному продукту, принципы разработки методики определения весовых коэффициентов, разработки адаптированной модели оценки соответствия нормативному документу, доработки адаптированной модели оценки соответствия нормативному документу с учетом специфики программного продукта, а также принципы формирования окончательной модели оценки с учетом степени тестового покрытия; создание методики и протокола испытаний, разработанных на основе принципов тестирования программной продукции (п. 2.3 диссертации), включающие последовательность проведения анализа модели оценки соответствия программного продукта, определения элементов тестирования, разработки тестов и тестовых случаев, принципы планирования испытаний, структуру методики и протокола испытаний, а также форму документирования результатов тестирования программной продукции; создание методики оценки соответствия, разработанной на основе принципов оценки соответствия программной продукции, в том числе принципов нормализации элементов оценки и принципов получения комплексных оценок компонентов (п. 2.4 диссертации), включающая принципы разработки и структуру методики нормализации элементов оценки, методики получения комплексных оценок компонентов, формы документирования результатов оценки соответствия, а также формы отчета о результатах сертификации программного продукта. обеспечения для сертификации программной продукции 4.1. Разработка моделей оценки соответствия национальным стандартам ГОСТ Р ИСО/МЭК 12119 - 2000 и ГОСТ Р ИСО 9127 - 94 Модель оценки соответствия национальным стандартам ГОСТ Р ИСО/МЭК 12119 -2000 [19] и ГОСТ Р ИСО 9127 - 94 [16] создается на основе принципов разработки модели оценки в соответствии (п. 2.1 диссертации) и функциональных моделей создания методического обеспечения процесса добровольного подтверждения соответствия программой продукции (п. 3.1 диссертации). В подразделах 4.1.1.- 4.1.2. диссертации подробно рассмотрено построение модели оценки на примере национального стандарта ГОСТ Р ИСО/МЭК 12119 - 2000. Апробация моделей оценки соответствия ГОСТ Р ИСО/МЭК 12119 - 2000 и ГОСТ Р ИСО 9127-94 приведена в подразделе 4.1.3. Структура ГОСТ Р ИСО/МЭК 12119 - 2000 включает следующие разделы и приложения: - Область применения; - Определения; - Требования к качеству; - Указания по тестированию; - Приложение А. Определения из других нормативных документов; - Приложение В. Пример описания продукта; - Приложение С Библиография; - Алфавитный указатель. Требования к программным продуктам представлены в разделе «Требования к качеству», которые включают: - Требования к описанию продукта; - Требования к документации пользователя; - Требования к программам и данным. На основе анализа национального стандарта ГОСТ Р ИСО/МЭК 12119 - 2000 построена иерархия требований, которая представлена матрицей требований в таблице 4.1. В матрице представлены, выявленные в ходе исследования документа, объекты требований, требования к характеристикам и элементы требований, определенные в соответствии с терминологией п. 2.1. диссертации, а также отражены компоненты, требующие последующее установление смысловой иерархической и семантической согласованности для построения модели оценки соответствия. На основе анализа матрицы требований, а также анализа формулировок требований национального стандарта ГОСТ Р ИСО МЭК 12119-2000 определены компоненты оценки соответствия, проведена смысловая иерархическая и семантическая согласованность компонент оценки в соответствии с принципами, изложенными в гл. 2.1 Диссертации. В таблице 4.2. представлена иерархическая модель оценки соответствия национальному стандарту ГОСТ Р ИСО МЭК 12119-2000 в виде матрицы компонентов оценки соответствия. В матрице переставлены обозначения компонент и весовых коэффициентов, определенных в соответствии с принципами гл. 2.2 Диссертации. Модели оценки соответствия национальным стандартам ГОСТ Р ИСО/МЭК 12119 -2000 и ГОСТ Р ИСО 9127-94 были внедрены при разработке методических документов Научно-методического центра Системы добровольной сертификации информационно-коммуникационных технологий в образовании (Система ИНКОМТЕХСЕРТ): - РОСС RU 04ИК.МНЦ.МД.З. Модель оценки соответствия требованиям национального стандарта ГОСТ Р ИСО/МЭК 12119-2000 (приложение 1). - РОСС RU 04ИК.МНЦ.МД.4. Модель оценки соответствия требованиям национального стандарта ГОСТ Р ИСО 9127-94 (приложение 2).
Похожие диссертации на Разработка нормативно-методического и информационного обеспечения процесса сертификации программной продукции
