Содержание к диссертации
Введение
Глава 1 Анализ процесса разработки обучающих компьютерных игр 11
1.1 Роль обучающей компьютерной игры в процессе обучения 11
1.2 Стадии разработки обучающей компьютерной игры 16
1.3 Жизненный цикл компьютерной игры 21
1.4 Инструменты используемые при разработке обучающих игр
1.4.1 Комплекты средств разработки 25
1.4.2 Конструкторы игр 26
1.4.3 Платформа Adobe Flash и ее аналоги 27
1.4.4 Системы создания презентаций 28
1.4.5 Сравнение технологий и инструментов
1.5 Понятие качества обучающей компьютерной игры 30
1.6 Понятие управления в разработке обучающих компьютерных игр 32
1.7 Выводы 33
Глава 2 Организация процесса обучения в компьютерных играх 34
2.1 Три контура управления обучением в игре 34
2.2 Модель сценария обучающей компьютерной игры
2.2.1 Существующие подходы к описанию сценария обучения 36
2.2.2 Элементы сценария игры 37
2.2.3 Формальная модель сценария 37
2.2.4 Алгоритм выполнения сценария 40
2.3 Модель обучаемого для обучающей игры 41
2.3.1 Модели, используемые в обучающих системах 41
2.3.2 Требования к модели обучаемого 43
2.3.3 Структура модели игрока для обучающих игр 44
2.3.4 Визуализация модели игрока 47
2.3.5 Трудоёмкость построения модели обучаемого 50
2.4 Критерии оценки качества сценария обучающей игры 52
2.4.1 Востребованность элементов сценария 52
2.4.2 Сбалансированность стратегий обучения 53
2.4.3 Корректность структуры сценария 54
2.4.4 Влияние элементов курса на элементы модели обучаемого;... 54
2.4.5 Необходимость повторного изучения элементов курса 55
2.4.6 Количество неверных попыток при выполнении заданий 55
2.4.7 Сбалансированность обучающего и игрового процесса 55
2.4.8 Адекватность требований к игровым навыкам 56
2.5 Выводы 57
Глава 3 Комплекс программных инструментов для разработки обучающих компьютерных игр 58
3.1 Описание комплекса 58
3.1.1 Функциональная структура комплекса 59
3.1.2 Информационное обеспечение комплекса 61
3.2 Компоненты среды разработки 62
3.2.1 Инструменты редактирования мультимедиа контента 62
3.2.2 Инструменты редактирования обучающего контента 64
3.2.3 Визуальный язык описания сценария 65
3.2.4 Форматы данных для хранения сценария игры 70
3.3. Компоненты пшпэаммного ядоа обучающей игоы 71
3.3.1 Компоненты игрового ядра 71
3.3.2 Обучающие компоненты 74
3.4 Компоненты, специфичные для обучающей игры по программированию 75
3.4.1 Механизмы отображения теоретической информации 75
3.4.3 Механизмы ввода решения заданий 76
3.4.3 Механизмы проверки и решений заданий 77
3.5 Выводы 84
Глава 4 Применение комплекса для разработки обучающей игры 85
4.1 Общее характеристика игры 85
4.2 Описание сценария игры 86
4.3 Описание модели игрока 86
4.4 Описание механизмов оценки результатов обучения 88
4.5 Пользовательский интерфейс игры
4.5.1 Интерфейс журнала заданий 90
4.5.2 Интерфейс открытой модели игрока 91
4.5.3 Интерфейс для предоставления теоретической информации 93
4.5.4 Интерфейс для написания программного кода 94
4.5.5 Специальные элементы интерфейса для заданий 95
4.5 Выводы 96
5 Метод оценки качества обучающих компьютерных игр 97
5.1. Подходы к оценке качества обучающих игр и их проблемы 97
5.2. Метод эвристической оценки качества 99
5.3. Адаптация метида эврисшк для оценки качества обучающих
компьютерных игр 101
5.3.1 Эвристики качества игровой компоненты 101
5.3.2 Эвристики качества обучающей компоненты 103
5.3.3 Эвристики качества взаимодействия игровой и обучающей
5.3.4 Эвристики эргономичности 106
5.4. Валидация набора эвристик 107
5.4.1 HrpaKo s Journey 107
5.4.1 Игры Colobot и CeeBot 108
5.4.3 ИграКатіпу 110
5.5. Оценка эффективности предлагаемых инструментов 1 11
5.6 Оценка влияния предлагаемых моделей и алгоритмов на качество обучающих игр 112
Выводы 114
Заключение 115
Библиографический список
- Инструменты используемые при разработке обучающих игр
- Существующие подходы к описанию сценария обучения
- Инструменты редактирования мультимедиа контента
- Интерфейс для предоставления теоретической информации
Введение к работе
Актуальность темы
Одним из эффективных способов электронного обучения является применение обучающих систем, в которых реализованы компоненты игрового процесса, - обучающих компьютерных игр. Применение компьютерных игр для обучения позволяет повысить мотивацию обучаемых, при этом сохраняются преимущества электронного обучения.
Разработка компьютерных игр требует применения целого набора специализированных программных средств. В настоящее время для создания обучающих игр используются, в основном, те же инструменты, что и для обычных компьютерных игр. Однако в этом случае возникает ряд проблем: сложность обеспечения управления процессом обучения в игре, отсутствие необходимых средств управления обучающим контентом и механизмов управления качеством обучающих игр. Использование же в процессе создания компьютерных игр инструментов, предназначенных только для разработки обучающих систем, осложняется неприспособленностью этих инструментов к специфике разработки игр, в частности использованием неподходящих форматов данных для хранения обучающего контента.
Важная задача, решаемая при создании обучающих компьютерных игр - реализация управления процессом обучения. Способ управления напрямую влияет на возможность достижения цели обучения и, соответственно, определяет качество обучающей игры. Существует обучающие системы, реализующие различные подходы к управлению процессом обучения. Однако прямой перенос моделей, применяемых в традиционных обучающих системах, в обучающие игры существенно ограничивает игровые возможности, так как реализуемые на их основе методы управления не являются достаточно интерактивными для реализации игрового процесса.
Поэтому актуальной является задача разработки моделей, алгоритмов и программных инструментов для обеспечения процесса создания обучающих компьютерных игр, позволяющих реализовать управление процессом обучения с учетом особенностей интерактивного игрового процесса.
Цель и задачи работы
Цель работы состоит в повышении эффективности разработки обучающих компьютерных игр и улучшении их качества за счёт создания специализированных алгоритмов, моделей и программных инструментов. Для достижения поставленной цели необходимо решить следующие задачи:
1) проанализировать процесс разработки обучающих компьютерных игр, используемые в нем программные инструменты, определить реализуемые в них методы и модели управления процессом обучения и установить их влияние на качество обучающих игр;
-
разработать модели и механизмы, необходимые для реализации управления процессом обучения в компьютерных играх;
-
реализовать разработанный метод, модели и механизмы управления процессом обучения учитывающие специфику применения в игровом процессе;
-
провести апробацию разработанного комплекса;
-
проанализировать влияние разработанных инструментов и моделей на качество создаваемы обучающих компьютерных игр и показать их эффективность.
Объектом исследования является процесс разработки обучающих компьютерных игр.
Предметом исследования является методы и программные инструменты, используемые при разработке обучающих игр.
Методы исследования. В диссертации использованы методы системного анализа, теории управления, математического моделирования, проектирования информационных систем, верификации и оценки качества программного обеспечения. Разработка программных и информационных средств произведена на основе современных принципов построения программных систем.
Научная новизна результатов, выносимых на защиту, заключается в разработке комплекса программных инструментов, методов и моделей, используемых для реализации процесса обучения в компьютерных играх, а именно:
-
-
разработаны алгоритмы и специализированное программное обеспечение, позволяющие системно управлять игровым и обучающим контентом на этапах разработки и эксплуатации обучающих компьютерных игр;
-
предложена новая структура модели обучаемого, позволяющая снизить трудоёмкость настройки механизмов оценки результатов обучения по сравнению с известными моделями, применяемыми в обучающих системах;
-
впервые предложена модель сценария обучающей игры, позволяющая проводить анализ траекторий обучения и параметров модели обучаемого для управления качеством обучающего курса, и проблемно- ориентированный визуальный язык, позволяющий задавать возможные последовательности изучения материалов и управлять влиянием выполнения обучающих действий на модель обучаемого;
-
впервые предложен набор эвристик для оценки качества обучающих компьютерных игр с помощью метода эвристической оценки, позволяющий на этапе разработки игры оценить качество обучающей и игровой компонент, а также качество их взаимодействия.
Практическая ценность работы заключается в разработке программных инструментов, которые могут быть использованы при разработке обучающих компьютерных игр по различным дисциплинам.
Апробация работы.
Основные положения и материалы диссертационной работы докладывались на международных научно-технических конференциях «Системные проблемы надёжности, качества, информационно-телекоммуникационных и электронных технологий в управлении инновационными проектами» (г. Сочи, 2011г., 2010г., 2009г., 2008г., 2007г.), XXXVIII Международная конференция «Информационные технологии в науке, образовании, телекоммуникации и бизнесе» (IT + S&E'11), майская сессия (Украина, Крым, Ялта-Гурзуф, 20 - 30 мая, 2011 г., «4th European Conference on Games Based Learning» (Copenhagen, Denmark, October 2010,), «IADIS International Conference» (Porto, Portugal, March 2010), «3rd European Conference on Games-Based Learning» (Graz, Austria, October 2009), Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» (г. Москва, 1920 марта 2008 г.), Международной научно-технической конференции "Системные проблемы надёжности, качества, мат. моделирования, информ. и электронных технологий в инновационных проектах» (Инноватика-2007), Первой региональной научно практической студенческой конференции г. Камышина (26-27 апреля 2007 г.) и других научно-технических и научно- практических конференциях.
По теме диссертации опубликовано 22 печатных работы, в том числе 7 публикаций в журналах, рекомендованных ВАК, 4 публикации в иностранных источниках и 1 коллективная монография. Поданы 2 заявки на регистрацию программ ЭВМ.
Структура и объем диссертации. Диссертационная работа состоит из введения, пяти глав, заключения, списка литературы и приложений. Работа содержит 128 страниц, в том числе 27 рисунков, 13 таблиц и список литературы из 87 наименований.
Инструменты используемые при разработке обучающих игр
Одна из ключевых проблем использования электронных средств обучения состоит в потере мотивации, достигаемой при традиционном обучении за счет прямого общения обучаемого с учителем. Одним из эффективных способов решения проблемы мотивации является применение компьютерных обучающих игр, то есть электронных средств обучения, активно взаимодействующая с пользователем в игровой форме. При этом сохраняются преимущества электронного обучения.
Феномен игры неоднократно изучался, но лишь в XIX-XX веке появились научные трактовки этого явления. Одной из наиболее известных работ, дающей наиболее полное представление о роли игровой деятельности в жизни человека является трактат Йохана Хёйзинги «Человек Играющий» [ 1 , опубликованный в 1938 году. В трактате сформулированы, а позднее неоднократно переосмыслены другими исследователями, основные характеристики игры, наиболее значимым из которых для процесса обучения является эмоциональность и добровольность участия. Эмоциональное вознаграждение является основным стимулом к продолжению игры в противоположность деловой деятельности, в которой таким стимулом является материальное вознаграждение. Не менее важным качеством игрового процесса является добровольность участия, отсутствие принуждения.
Развитие обучающих компьютерных игр, и электронных обучающих систем вообще, как и их популярность, определяется двумя основными факторами: человеческим и технологическим.
Человеческий фактор определяется способностью современного поколения работать с большим объёмом информации, а так же ролью информационных технологий в жизни людей. Технологии позволяют оставаться все время на связи и получать любую информацию в любой момент. Более того, нынешнее поколение не только пользуется этими возможностями -оно выросло, пользуясь ими. Выросло поколение людей, для которых информационные технологии и компьютерные игры стали частью жизни. Навыки использования компьютера стали не просто желательными, но зачастую необходимыми для существования, по крайней мере, в развитых странах. Интернет из средства поиска информации превратился для многих в рабочее место и, даже, место проведения досуга. Мобильные телефоны, электронная почта и сервисы мгновенных сообщений не только обеспечивают возможность находиться постоянно на связи, но и заставляют человека реагировать на входящие информационные потоки. Человек оказался способен отвлечься от текущей задачи для того чтобы ответить на телефонный звонок или сообщение электронной почты, а после этого вернуться к своей основной задаче. Таким образом, человек способен не только воспринимать больший объем информации, но так же уделять внимание одновременно нескольким вещам. Эта особенность уже сейчас сыграла существенную роль, как в повседневной жизни, так и учебном процессе. С одной стороны, она снижает эффективность традиционных методов обучения, требующих полного внимания учебному процессу. С другой стороны, она может быть использована для реализации обучения без отрыва от основной деятельности, при котором обучаемый самостоятельно будет обращаться к обучающей системе каждый раз, когда у него появляется свободное время. Таким образом, информационные технологии стали естественными для человека, и, как следствие, процесс обучения с использованием электронных и телекоммуникационных средств не вызывает сегодня трудностей.
Технологический фактор связан со снижением стоимости создания и использования электронных средств обучения. Первоначально, электронные средства обучения требовали немалых усилий и финансовых затрат на их создание, лишь исследовательские институты и крупные организации могли себе их позволить. К настоящему времени возможности персональных компьютеров существенно выросли. Созданы технологии и инструменты, существенно упрощающие и ускоряющие процесс создания электронных средств обучения и, в частности, компьютерных игр. Появилось большое количество специалистов. Создание виртуального тренажёра или симулятора может позволить себе практически любая компания среднего размера, а разработка электронных учебно-методических комплексов стала обязательной практически для каждого учебного заведения.
В совокупности эти два фактора определяют ведущую роль обучающих компьютерных игр в процессе обучения. Педагоги и специалисты по подготовке кадров стали обращать все больше внимания игровые методы в обучении, использующие преимущества компьютерных технологий. Разрабатываются подходы к применению обучающих игр в школьном и дошкольном образовании, специализированные игровые тренажеры для обучения персонала компаний, а так же игры, для обучения и реабилитации людей с ограниченными возможностями.
Среди обучающих игр наибольшее распространение в настоящее время получили игровые тренажеры и специализированные игровые симуляторы. Такие игры направлены на развитие определенных навыков, а так же заучивание информации в процессе игры. Лишь недавно стали появляться обучающие игры, реализующие на основе игрового похода весь учебный процесс, включая как выполнение заданий так и предоставление теоретических материалов курса. Основное отличие разработки таких игр от тренажеров и симуляторов состоит в необходимости создания сценария игры, который описывает последовательность подачи теоретических материалов и тестовых заданий.
Существующие подходы к описанию сценария обучения
Сценарий описывает последовательности действий, выполняемых игроком в процессе игры. Для обучающих игр набор действий дополняемся действиями, реализующими обучающий процесс. Для адаптивных систем сценарий обучения так же содержит информацию, необходимую подсистеме адаптации для выбора последовательностей выполнения действий. Наиболее распространённым методом описания сценария является использование языков программирования общего назначения, однако, такой подход имеет ряд недостатков: многие типовые действия из отдельных блоков требуется строить вручную; разработчик курса должен обладать навыками структурного программирования. Кроме того, такие языки не ориентированы на создание обучающих игр, то есть не содержат специальных средств для работы с моделью обучаемого.
Виртуальный мир и модель игрока в модели сценария представляется множеством объектов. В каждый момент времени каждый объект находится в одном из допустимых состояний. Совокупность состояний объектов виртуального мира образует состояние виртуального мира игры. Действия сценария описывают взаимодействие обучаемого и обучающей игры, инициируемые игрой. Действия выполняются последовательно, образуя независимые цепочки. Для указания моментов времени симуляции виртуального мира, когда должны быть выполнены последовательности действий, используются события модели сценария. Выполнение событий, в отличии от действий, инициируется обучаемым. Для уточнения состояния виртуального мира, при котором действие может быть выполнено используются условия. Изменения состояния виртуального мира игры, происходящие в результате выполнения действий задаются с помощью влияний в модели сценария.
Виртуальный мир и модель игрока в модели сценария представляется множеством объектов. В каждый момент времени каждый объект находится в одном из допустимых состояний. Совокупность состояний объектов виртуального мира образует состояние виртуального мира игры. Действия сценария описывают взаимодействие обучаемого и обучающей игры, инициируемые игрой. Действия выполняются последовательно, образуя независимые цепочки. Для указания моментов времени симуляции виртуального мира, когда должны быть выполнены последовательности действий, используются события модели сценария. Выполнение событий, в отличии от действий, инициируется обучаемым. Для уточнения состояния виртуального мира, при котором действие может быть выполнено используются условия. Изменения состояния виртуального мира игры, происходящие в результате выполнения действий задаются с помощью влияний в модели сценария. Таким образом, явное указание условий выполнения действий позволяет реализовать директивный контур управления. В то же время использование событий, инициируемых обучаемым, для запуска выполнения цепочек действий, обеспечивает реализацию селективного контура управления.
Модель сценария представлет собой ориентированный граф (Рисунок 3), который может быть задан 6 компонентами: Script = (Events, Actions, Objects, Sequences, Conditions, Impacts), где Events - множество событий процесса обучения; Actions — множество действий сценария; Objects -множество объектов, задействованных в сценарии; Sequences = {(є, а)\е Є Events U Actions, а Є Actions] - множество ребер, задающих последовательности действий и их связь с событиями; Conditions = {(о, а, р)\о Є Objects, а Є Actions, р с Ф(о)} - множество ребер, задющих условия выполнения действий сценария; Impacts = {(а, о, і)\а Є Actions, о Є Objects, і Є Ф(о)} - множество ребер, задающих влияния; Ф(о) - множество возможных состояний объекта о. Объединение множеств Events, Actions, Objects образует множество узлов графа, объединение множеств Sequences, Conditions, Impacts образует множество ребер графа. Состояние виртуального мира игры Ф((3) определяется совокупностью состояний отдельных объектов Ф(0) = Ф(Оі) х Ф(о2) х ... х Ф(оп). Элемент р условия задает подмножество состояний объекта, при котором возможно выполнение связанного с дугой действия. Элемент і задает новое состояние объекта, в котором он должен оказаться, после выполнения действия.
Инструменты редактирования мультимедиа контента
Этот критерий рассчитывается как отношение общего числа вхождений информационного элемента сценария в профили действий тестовой группы к общему числу профилей. Нормальное значение этого критерия должно быть равно 1. Более высокие значения критерия свидетельствует о низком качестве описания элемента знаний.
Аналогично предыдущему критерию, рассчитывается на основе усредненного числа записей о неверном решении задания в профиле действий. Высокие значения критерия (2-3) могут свидетельствовать о слишком высокой сложности задания или недостатке теоретической информации (неверной структуре курса).
Критерий сбалансированности обучающего и игрового процессов позволяет выявить участки сценария, на которых один из этих процессов преобладает. Все действия игрового сценария разделяются на обучающие и игровые. Время игры разбивается на интервалы, включающие небольшое количество (5-10) действий, продолжительность которых не превышает заданного лимита (15-20 минут). Сбалансированность Ьинт обучающего и игрового процессов на каждом временном интервале определяется как отношение времени обучения к общей продолжительности интервала: л і Ц1-е,инт "инт "ТІ і піинт где AtejHHT " суммарное время выполнения обучающих действий, AtHHT - общая продолжительность временного интервала.
Критерий сбалансированности для отдельных действий сценария может быть вычислен следующим образом. Для каждой записи в профиле, соответствующей действию сценария, выбирается 5-7 записей до нее и столько же после. Сбалансированность для действия сценария определяется по формуле: h - -У Sii а NLi ДСІ где N - количество записей в профиле для данного действия, Ate i - суммарное время выполнения обучающих действий на интервале возле і-й записи в профиле, Att - общая продолжительность временного интервала для і-й записи профиля. Конкретные значения критерия сбалансированности, которые могут быть рекомендованы для реализации процесса обучения в игре, должны быть установлены на основе тестирования эффективности применения обучающей игры.
Критерий адекватности позволяет выявить места сценария, на которых игровой процесс препятствует прохождению недостаточно опытных игроков. Слишком трудные участки игры могут быть выявлены на основе количества повторений игровых действий сценария.
При нормальном ходе игрового процесса игровые действия выполняются 1 раз. Если какое либо игровое действие выполняется несколько раз на протяжении небольшого интервала времени, и между его повторениями неї иных действий, обуславливающих это повторение (неверных попыток выполнения обучающего задания), то такой фрагмент профиля свидетельствует о завышенной трудности игрового процесса на данном участке сценария.
Реализация управляемого обучения в автоматизированных обучающих системах основывается на взаимодействии двух моделей: модели сценария обучения и модели обучаемого. Предложены модель сценария и структура модели обучаемого, учитывающие специфику применения в игровом контексте, и позволяющие реализовать управление обучением без потери игровых возможностей.
Для обучающих игр, в отличие от обучающих систем, характерно большее количество относительно небольших элементов в сценарии. Между элементами сценария и элементами модели обучаемого в общем случае могут быть установлены связи «многие ко многим». Поэтому, использование модели сценария и модели обучаемого, характерных для обучающих систем, в обучающих играх приводит к высокой трудоемкости создания игр. Предлагаемые модели ориентированы на снижение трудоемкости создания игры, за счет введения типов действий и функций влияния. Рассмотрены возможности применения средств визуализации модели игрока, характерных для обычных игр, для реализации открытой модели обучаемого в обучающей игре.
Интерфейс для предоставления теоретической информации
Одна из актуальных задач при разработке обучающих игр состоит в оценке качества получаемых игр. Выполнение оценки качества, в особенности на ранних этапах создания игры, позволяет выявить и устранить проблемы разработки.
Методы оценки качества обучающих игр могут быть разделены на две категории: требующие тестовой группы пользователей (пользовательское тестирование) и выполняемые экспертами без привлечения пользователей (экспертное оценивание).
При пользовательском тестировании обучающих игр используется входной/выходной контроль для оценки результатов обучения и анкетирование для оценки мотивационных характеристик и эргономичное. В результате пользовательского тестирования формируются численные оценки качеств обучающей игры. Шкалы оценки зависит от методов, используемых для контроля знаний и обработки анкет. К недостаткам пользовательского тестирования можно отнести: - применимость лишь на поздних стадиях разработки, когда создан достаточно функциональный прототип; - высокую стоимость организации процесса тестирования (затраты на подготовку к тестированию, отбор тестовой группы и анализ результатов); - высокая стоимость внесения изменений (так как метод применяется лишь на поздних стадиях); - трудность получения данных в некоторых случаях (в частности, необходимость создания специальных методов анкетирования при тестировании игр для маленьких детей и людей с ограниченными возможностями) Данные полученные в результате пользовательского тестирования считаются наиболее достоверными и используются для оценки адекватности других методов. Методы экспертного оценивания основаны на привлечении специалистов в области разработки обучающих игр в качестве экспертов для проведения оценивания игры. В результате такого оценивания может быть сформирована численная оценка, на основе статистического анализа оценок группы экспертов. На практике, более полезной может быть качественная оценка факторов, влияющих, по мнению эксперта, на качество игры. Экспертное оценивание может выполняться, в том числе, на ранних стадиях создания обучающей игры, даже до создания прототипов игры. В этом случае исходными данными для оценки качества является проектная документация -дизайн-документа, описания курса, описания сценария, концепт-арта. Привлечение на ранних стадиях создания игры внешних специалистов позволяет не только оценить потенциальные качества будущей игры, но и предложить пути улучшения ее характеристик. Организация экспертного оценивания так же требует больших финансовых затрат, однако, внесение изменений на основе результатов оценивания, обходится существенно дешевле, чем при пользовательском оценивании.
Метод эвристической оценки является одним из является одним из наиболее перспективных методов экспертного оценивания. Метод состоит проверке удовлетворения оцениваемой системой набору характеристик, которые по мнению разработчиков соответствуют заданному уровню качеств системы - эвристикам. Эвристики при этом формулируются таким образом, что бы не эксперт в предметной области мог однозначно определить, соответствует система каждой из них или нет. Метод обладает основными преимуществами экспертного оценивания - возможность применения на ранних стадиях создания игры и возможность качественного выявления проблем в проекте (на основе несоответствия проекта эвристикам). При этом, обладает меньшей стоимостью, так как позволяет обойтись без привлечения дорогостоящих специалистов. Адаптация метода эвристик к той или иной предметной области требует разработки набора эвристик и оценки их адекватности.
Метод эвристической оценки применяется при разработке автоматизированных систем в основном для оценки эргономичное (Usability Evaluation) пользовательских интерфейсов. Якоб Нелсен, эксперт в области эргономики, в 1994 году предложил [60] список эвристик, предназначенных для оценки качества программного обеспечения.
Метод эвристических оценок состоит в следующем [61]. Для оценивания каких либо качеств системы экспертами в исследуемой предметной области составляется набор эвристик. Эвристики в наборе формулируются таким образом, что бы для каждой из них можно было ответить - удовлетворяет система этой эвристике или нет (таким образом, используется бинарная шкала). Система, качества которой следует оценить, рассматривается группой экспертов на предмет соответствия набору эвристик. Эвристики, которым исследуемая система не соответствует, рассматриваются как потенциальные проблемы в проекте системы. Численная оценка качеств системы может быть получена как отношение числа эвристик, которым система соответствует, к общему числу эвристик.
В [61] проведена оценка эффективности эвристического тестирования относительно стоимости его проведения на примере оценки эргономичное программного обеспечения. Эффективность тестирования определялась степенью выявления проблем эргономичности. Показано, что тестирование с привлечением 5 экспертов позволяет выявить 75% проблем, в то время как увеличение числа экспертов до 10 приведет к выявлению 85 процентов, наибольшее отношение эффективности тестирования к стоимости его проведения достигается при привлечении 5 экспертов. В работе [62] показана экономическая эффективность эвристического оценивания характеристик компьютерных по сравнению с пользовательским тестированием. Рекомендуется использовать эвристическое тестирование на ранних этапах с целью более качественной проработки игровой механики, сюжета и эргономики игры.
Похожие диссертации на Программно-информационная поддержка процесса разработки обучающих компьютерных игр
-
