Введение к работе
1,1. Актуальность работы. Тестирование является неотъемлемой частью разработки любого программного изделия (ПИ), системное тестирование -это завершающая фаза жизненного цикла разработки ГГИ. Любой процесс тестирования должен быть направлен на выполнение главной цели тестирования. Главная цель тестирования состоит в обнаружении дефектов в тестируемом объекте, в выявлении расхождений между спецификациями проектирования, требованиями заказчика к ПИ и его реальпым поведением.
Тестирование ПИ является не только средством верификации (модульное, интеграционное тестирование и тестирование работоспособности) и валидации ПИ (системное тестирование), но и средством обеспечения требуемого уровня его качества. В связи с этим процессу тестирования должно быть уделено особое внимание. Наиболее сложным является системное тестирование.
Разделяют два типа затрат на системное тестирование:
затраты на создание тестового комплекта (составление плана и процедуры системного тестирования, разработка и отладка отдельных тестов и тестового комплекта в целом);
затраты на исполнение собственно тестов, входящих в состав тестового комплекта (исполнение тестов, регистрация дефектов и составление отчетов о системном тестировании).
Наибольшая трудоемкость в системном тестировании приходится на создание тестового комплекта (ТК), поскольку трудоемкость исполнения тестов можно снизить во много раз за счет создания высокоавтоматизированных тестовых комплектов. По опыту работы СПИИРАН трудоемкость системного тестирования составляет до 29% от трудоемкости разработки ПИ в целом, а трудоемкость создания новых тестовых комплектов составляет до 70% от трудоемкости системного тестирования. Поэтому снижение затрат на разработку тестового комплекта для системного тестирования является актуальной задачей.
Сокращения трудоемкости создания тестовых комплектов обычно осуществляется за счет применения специальных языков программирования и специализированных инструментальных средств. Однако такой подход до сего дня не дал существешшх выгод в сокращении затрат на выполнение фазы системного тестирования ПИ.
В настоящей работе предлагается решение актуальной задачи -сокращения трудоемкости системного тестирования за счет снижения затрат на создаїше тестовых комплектов путем создания формализованных описаний сценариев тестирования (тестов и последовательностей тестов) и
разработки эффективных методов построения высокоавтоматизированных тестовых комплектов.
1.2. Цель работы. Разработка автоматизированной системы тестирования
операционных систем реального времени, управляемых событиями, для
микропроцессорных управляющих комплексов, которая обеспечит
сокращение трудоемкости системного тестирования за счет автоматизации
разработки и создания высокоавтоматизированных тестовых комплектов
путем использования разработанных для этой цели формальных описаний
сценариев тестирования.
1.3. Методы исследования. Методы исследования основаны на
использовании аппарата системного подхода, теории алгебраических систем,
математической логике, теории графов, математической статистики, теории
вероятностей и теории случайных функций, техники тестирования
программных изделий, а также математического моделирования.
1.4. Научная новизна.
1.4.1. На основе общего подхода к задаче тестирования ПИ исследованы и
обобщены методы тестирования встраиваемых ОС реального времени. По
результатам обобщения выделены наиболее трудоемкие разновидности
тестирования и разработана классификация тестов, которая позволила
сформулировать требования к тестам, которые обусловили эффективную
реализацию автоматизированных тестовых комплектов.
1.4.2. Проанализированы, исследованы и обобщены объектно-
ориентированные описания тестовых комплектов и способы построения
автоматизированных тестовых комплектов. На основе полученных
обобщений предложены возможные варианты организации тестовых
комплектов, обеспечивающие эффективную автоматизацию их построения,
сформулированы требования к формализованному описанию логики
построения тестов.
-
Разработано формализованное описание логики построения тестов в виде плоских схем, что позволило создавать хорошо структурированные и наглядные описания тестов и сеансов тестирования и разработать эффективный метод реализации тестов в виде процессов, управляемых данными, обеспечить построение высокоавтоматизированных тестовых комплектов.
-
Предложена структура автоматизированной системы тестирования встраиваемых ОС реального времени с возможностью автоматической генерации тестовых комплектов. Разработаны алгоритмы программной реализации тестов на основе плоских схем. Определен метод построения параметрических тестов для ОС реального времени, предложен способ измерения покрытия кода ОС тестами.
1.5. Практическая ценность. Подготовлена для практического
использования методика построения автоматизированных систем
тестирования операционных систем реального времени в соответствии с
требованиями пятиуровневой модели процесса разработки ПИ (в соответствии с требованиями модели СММ).
На ПЭВМ типа IBM РС486 в среде Windows NT осуществлена программная реализация автоматизированной системы тестирования операционных систем реального времени микропроцессорных управляющих комплексов.
1.6. Внедрение результатов. Результаты диссертационной работы
использованы в Санкт-Петербургском институте информатики и
автоматизации РАН (СПИИРАН) при проведении системного тестирования в
ходе разработки программных изделий, в том числе при разработке
операционных систем реального времени микропроцессорных управляющих
комплексов. Использование результатов автора позволило сократить почти
на 50% трудоемкость разработки тестовых комплектов и на 35%
трудоемкость фазы системного тестирования.
-
Апробация работы. Научные результаты и основные положения диссертации докладывались на Международной конференции «Региональная информатика 96», городском научном семинаре «Информатика и компьютерные технологии», научных семинарах базовой кафедры СПИИРАН в СПГЭТУ в раках программы «Интеграция».
-
Публикации по работе. По результатам диссертационной работы опубликовано 5 печатных работ, из них 2 статьи и 3 тезиса докладов на конференциях.
1.9.Структура її объем работы. Диссертационная работа состоит из: введения, четырех глав, заключения и списка литературы^включающего 67 наименований. Работа содержит 21 рисунок и 5 таблиц.
