Содержание к диссертации
Введение
Глава 1. Анализ современного состояния и тенденций развития электронного обучения в области создания интерактивных онлайн курсов и применения в них игровых механик 9
1.1 Обзор MOOC-курсов 9
1.2 Обзор игровых механик 26
1.3 Типы практических упражнений в интерактивных онлайн курсах 33
1.4 Выводы по главе 1 35
Глава 2. Метод интерактивной обработки и проверки сложных практических упражнений 37
2.1 Алгоритм работы механизма проверки сложных практических заданий 39
2.2 Сравнение сценариев запуска визуализации и механизма проверки 44
2.3 Реализация практических упражнений на основе предложенного метода 47
2.4 Выводы по главе 2 55
Глава 3. Методы для интерактивной обработки и оценивания испытаний, а акже для построения когортных рейтингов в асинхронных курсах 57
3.1 Метод интерактивной обработки заданий в онлайн курсе на испытание способности решать типовые профессиональные задачи, основанный на сравнении с заданным образцом и использовании игровой механики «перфекционизм» 57
3.2 Метод построения когортных рейтингов в асинхронном интерактивном онлайн курсе 70
3.3 Выводы по главе 3 73
Глава 4. Интерактивный онлайн курс для подготовки и переподготовки разработчиков пользовательских веб-интерфейсов 74
4.1 Планирование результатов обучения, отбор содержания и разработка структуры курса 74
4.2 Обучающие интерфейсы разработанного интерактивного курса 81
4.3 Игровые механики, используемые в разработанном курсе 88
4.4 Анализ результатов применения разработанного интерактивного курса 99
4.5 Выводы по главе 4 104
Глава 5. Экспериментальное исследование предложенных методов 105
5.1 Исследование результативности курса на MOOC-платформе Университета ИТМО 105
5.2 Исследование результативности открытого асинхронного курса на сайте htmlacademy.ru 108
5.3 Исследование влияния предложенных методов на результативность курса и дополнительные затраты времени для достижения лучших результатов обучения 112
5.5 Выводы по главе 5 117
Заключение 119
Список источников 121
- Типы практических упражнений в интерактивных онлайн курсах
- Сравнение сценариев запуска визуализации и механизма проверки
- Метод построения когортных рейтингов в асинхронном интерактивном онлайн курсе
- Обучающие интерфейсы разработанного интерактивного курса
Типы практических упражнений в интерактивных онлайн курсах
Для того, чтобы выполнить упражнение, пользователю нужно изменить исходный код в редакторе в соответствии с инструкциями системы, чтобы получить нужный результат, и отправить код на проверку. Результат работы кода, созданного пользователем, отображается в визуализаторе в режиме живого времени. Проверка кода на соответствие условиям задания запускается пользователем вручную. Задачи могут содержать длинные условия, разбитые на подзадачи. Но подзадачи не проверяются по отдельности, то есть дробление отсутствует.
В Codecademy используются следующие игровые механики [21]: . Теория постепенной подачи информации. Очки, которые начисляются за выполнение заданий. Бейджи и достижения, которые выдаются за прохождение разделов курсов, выполнение определённого количества упражнений. Публичные профили, в которых отображается прогресс ученика и заработанные им бейджи и достижения. «Непрерывные серии» - это количество дней подряд, в которые ученик занимался обучением. Данная игровая механика направлена на поддержание регулярности и периодичности обучения, чтобы ученики занимались хотя бы понемногу, но каждый день.
Процент завершения курсов в Codecademy достаточно высок по сравнению с классическими MOOC и превышает 20% [22]. Но такой высокий процент достигается за счёт того, что курсы являются слишком простыми и на самом деле не позволяют обучиться программированию на высоком уровне [23-25]. На основании отзывов, можно сделать вывод, что основная задача Codecademy сводится к популяризации программирования и к ознакомлению новичков с азами веб-технологии на вводном уровне. Можно сказать, что Codecademy относится к интерактивным курсам, направленным на профориентацию.
Code School [26] – интерактивные курсы по веб-технологиям. Основные направления обучения: HTML/CSS, JavaScript, Ruby, iOS и другие. Каждое направление посвящено какой-либо технологии или языку программирования, применяемом в вебе, и представляет из себя серию курсов. Каждая серия содержит от 5 до 10 курсов. В каждой серии существует карта связей, на которой показано, в каком порядке их лучше проходить курсы. В Code School часть курсов доступна бесплатно, остальные платные.
Каждый курс содержит в себе несколько модулей или, на языке проекта, «уровней», с возрастающими номерами. Сложность уровней постепенно возрастает, а переход к следующему уровню возможен только при полном прохождении предыдущего. Каждый модуль содержит:
1. вводную видеолекцию, длительностью 5-20 минут, которая содержит весь необходимый теоретический материал;
2. серию из 5-10 интерактивных практических упражнений, предназначенных для отработки теории. В практическом упражнении пользователю ставится несложная задача, для выполнения которой ему нужно написать или изменить код в редакторе кода и отправить его на проверку. Интерактивное практическое упражнение содержит следующие блоки (рисунок 5): 1. текст задания;
В зависимости от курса редакторы кода, визуализаторы и окно с дополнительными данными могут изменяться. Например, в курсе по HTML и CSS редактор кода похож на типовой HTML-редактор, в качестве визуализатора используется мини-браузер, а в качестве дополнительных данных может быть представлен HTML-код страницы, который в задании нужно оформить с помощью CSS. В курсе по Ruby редактор кода работает в режиме консоли, результаты выполнения программы также отображаются в консольном виде, а в качестве дополнительных данных отображается таблица из базы данных, с которой пользователь работает в задании.
Результат работы кода, созданного пользователем, отображается в визуализаторе в режиме живого времени. Проверка кода на соответствие условиям задания запускается пользователем вручную. Задания не разбиваются на подзадачи. Рисунок 5 - интерфейс практического упражнения в Code School В Code School используются следующие игровые механики: . Теория постепенной подачи информации.
Постепенное усложнение, которое явно выражено в увеличении сложности уровней внутри курса.
Очки, которые начисляются за выполнение заданий. В заданиях предусмотрены подсказки и возможность просмотреть правильный ответ. За просмотр каждой подсказки и правильного ответа снижается количество очков, которое можно получить за задание.
Бейджи и достижения, которые выдаются за прохождение разделов курсов, выполнение определённого количества упражнений и за другие полезные активности.
Награды или призы: когда ученик полностью проходит какой-либо курс (выполняет все практические упражнения всех модулей), ему выдаётся приз, а также открывается завершающее видео курса, в котором подводятся итоги и даются ценные рекомендации. Призы - это различные скидки на платные материалы Code School, а также скидки на книги партнёрского издательства. Таким образом, призы - это материальное поощрение за хорошее обучение. . Публичные профили, в которых отображается прогресс ученика и заработанные им бейджи и достижения. «Сторителлинг», который выражается в оригинальном тематическом оформлении курсов. На рисунке 5 интерфейс практического задания стилизован под курс, посвящённый зомби.
Code Avengers [27] - интерактивные курсы по веб-технологиям. Направления обучения: HTML/CSS и JavaScript. Есть обычные теоретические курсы и прикладные курсы, которые называются «проекты». Курс представляет из себя линейную последовательность интерактивных практических заданий, доступ к следующим упражнениям появляется после выполнения предыдущих. В Code Avengers часть курсов доступна бесплатно, остальные платные.
В практическом задании пользователю ставится одна или несколько задач, для выполнения которых ему нужно написать или изменить код в редакторе и отправить его на проверку. Интерфейс задания (рис. 6) содержит:
Сравнение сценариев запуска визуализации и механизма проверки
В ходе обзора и анализа онлайн курсов был сделан вывод, что чаще всего для повышения мотивации обучаемых там используются так называемые игровые механики. Был проведён общий обзор игровых механик, а также концепций и принципов, применяемых в индустрии разработки компьютерных игр, для управления мотивацией игроков. Ниже приведён список игровых механик, подходов, понятий и принципов теории разработки игр («геймдизайна»), которые потенциально применимы онлайн курсах.
1) Постепенная подача информации [46-50] – суть приёма заключается в том, что большие и сложные задания или куски теории дробятся на маленькие и простые и объединяются в серии заданий. Информация подаётся минимально возможными дозами, чтобы обеспечить её усваивание и избежать информационной перегрузки.
2) Постепенное усложнение [46-51] – задания должны плавно и постепенно усложняться, чтобы игрок всегда ощущал прогресс и ожидал его. Возрастание сложности не должно быть линейным, скорее это короткие циклы, в которых сложность растёт небольшими скачками. В начале такого цикла располагается серия заданий, где сложность растёт умеренно, в середине цикла следует серия заданий, где сложность держится на одном уровне, а завершают цикл задания, где сложность скачкообразно возрастает. Разбиение процесса возрастания сложности на короткие циклы позволяет избежать быстрого утомления.
3) Поток или «состояние потока» [47, 48, 52] – состояние, в котором человек полностью сосредоточен и вовлечён в свою деятельность. В теории разработки игр большое внимание уделяется условиям достижения потока игроком. К таким условиям относятся соответствующая уровню игрока сложность игровых задач, понятные условия игры, понятная и быстрая обратная связь, и другие.
4) Краткосрочные и долгосрочные цели [47, 48, 53, 54]. Краткосрочные цели можно выполнять «здесь и сейчас», получая мгновенную реакцию системы на свои действия. Долгосрочные цели – то к чему стремится игрок, наращивая своё мастерство, постепенно выполняя краткосрочные цели. Краткосрочные цели приносят удовольствие и служат ориентирами, а долгосрочные удерживают в игре. Например, в гоночном симуляторе краткосрочными целями является правильное прохождение поворотов, а долгосрочной – победа в гонке.
5) Мгновенная реакция или интерактивность [47] – выполняя какие-либо действия игрок должен мгновенно ощущать реакцию системы на эти действия, в том числе поощрения, награды или наказания. Понятная и быстрая обратная связь является необходимым условием достижения потока.
6) Испытания [46-49, 51, 54] – это сложные задачи, от решения которых игрок получает максимальное удовольствие. Сложность испытаний должна расти вместе с уровнем игрока. Хорошие испытания – это задачи, понятные игроку, имеющие прозрачные критерии оценки, допускающие множество путей решения, имеющие инструменты для самооценки и диагностики.
7) Перфекционизм или проблема Мастерства [47] – игроки стремятся найти паттерны, которые позволяли бы решать самые сложные испытания самым лучшим и эффективным образом. Когда даже самое сложное испытание может быть с лёгкостью пройдено игроком, игра становится ему неинтересной, он становится мастером. Соответственно, в играх должна быть предусмотрена возможность прохождения испытаний с разным «уровнем совершенства». Чем более глубокий уровень совершенства может быть достигнут в испытаниях, тем дольше игрок остаётся в игре.
8) Ощущение контроля [46, 47, 51, 54]. В компьютерных играх игроков привлекает ощущение (иногда ложное) контроля над ситуацией, что всё в игре зависит от выбора самого игрока. Это ощущение достигается с помощью рядя подходов, например, можно давать игрокам возможность выбора сложности игры, тогда игрок всегда будет уверен, что сможет пройти или пропустить слишком сложную часть, понизив уровень сложности.
9) Головоломки [47] – механика, позволяющая балансировать сложность заданий. Испытание-головоломка или задание-головоломка на первый взгляд могут казаться для игрока слишком сложными. Но они построены таким образом, что любой игрок понимает, что данное задание принципиально выполнимо даже на его текущем уровне владения игрой.
10) Пробуждение любопытства [51]. Этот приём подразделяют на две части: так называемое «сенсорное» любопытство и «внутреннее» любопытство. «Сенсорное» любопытство достигается за счёт использования красочных звуковых и визуальных эффектов. Главная задача, которую решает этот приём – привлечь внимание, удивить. «Внутреннее» любопытство вызывается за счёт использования противоречий, головоломок, недосказанности и позволяет заинтриговать игрока.
11) Сторителлинг [47, 48, 51, 54]. К сторителлингу относят и построение затягивающего сюжета игр, и совокупность приёмов оформления, вызывающих эмоциональный отклик.
12) Достижения, бейджи, очки [47, 48, 50, 54] – достаточно известная и распространённая игровая механика, которая сводится к выдаче игрокам виртуальных поощрений за выполнение определённых действий. В некоторых играх или сервисах бейджи и достижения разделяют по уровню сложности: бейджи выдаются за простые действия, а достижения за более серьёзные заслуги.
Метод построения когортных рейтингов в асинхронном интерактивном онлайн курсе
Механика «перфекционизм» использует чувство неудовлетворённости неидеальным результатом и может быть очень сильным мотиватором для обучаемого. Визуальным выражением данной механики обычно являются так называемые «прогрессбары» или шкалы прогресса. На рисунке 31 слева показано, как может выглядеть такая шкала в интерактивном курсе, а справа показан другой тип шкалы, используемый в некоторых играх.
Рассмотрим механизм работы перфекционизма в данной игре [65]. В игре используется дискретный тип шкалы с тремя интервалами: 1, 2 и 3 звёздочки. Количество звёздочек, которыми оценивается «качество» прохождения уровня зависит от количества очков, набранного при прохождении этого уровня.
Чтобы пройти уровень, необходимо с помощью прицельного метания разных типов птиц уничтожить всех свиней. Свиньи защищены различными конструкциями, которые разрушаются при попадании в них птиц. Очки выдаются за уничтожение каждой свиньи и за уничтожение разрушаемых объектов. Дополнительные очки выдаются за оставшихся неиспользованными птиц. Таким образом, уровень в игре может быть пройден с минимальным количеством очков, для этого нужно уничтожить всех свиней, израсходовав всех птиц. За это количество очков выдаётся одна звёздочка. Получение двух звёздочек обычно не вызывает сложностей, для этого нужно чуть больше потренироваться проходить данный уровень. Получение трёх звёздочек - это самая сложная задача, так как для этого необоходимо найти и исполнить один или несклько выстрелов с «идеальными» траекториями. Львиную долю времени игроков в этой игре как раз и занимает «допрохождение» всех уровней до трёх звёздочек.
Примеры разных типов прогрессбаров Стоит отметить, что шкала прогресса и эксплуатирование чувства перфекционизма является очень распространённой механикой, которая применяется во многих сервисах. Например, в социальной сети ВКонтакте отображается прогрессбар заполнения профиля, который мотивирует пользователей заполнить все поля.
Опираясь на приведённые аналоги, можно ожидать следующие эффекты от использования «перфекционизма» в обучающих курсах:
Повысится вовлечённость в процесс обучения и увеличится время на идеальное прохождение испытаний.
Столкновение со сложностями будет мотивировать многих обучаемых самостоятельно разбираться в теории более глубоко, используя для этого не только обучающие материалы курса, но и сторонние ресурсы, найденные в поисковиках. Для идеального решения подобных испытаний обучаемые будут повторно проходить предыдущие модули или проходить последующие, чтобы лучше разобраться в работе некоторых свойств, а затем вернуться к испытанию и с помощью новых знаний довести уровень решения до 100%.
Стоит отметить, что при использовании этой игровой механики существуют и риски: Обучаемый может тратить чрезмерное количество времени, чтобы улучшить достаточно хороший результат (97-98% совпадения). Особенно плохо это в тех случаях, когда ученик уже разобрался в базовых принципах, которые позволяют пройти испытание, а для достижения идеального совпадения необходимо просто подобрать некоторые размеры.
Большое количество неудачных попыток достичь идеального результата может привести к фрустрации и прекращению дальнейшего обучения. Особенно плачевен этот исход тогда, когда идеальность решения зависит от только от «подбора нескольких пикселей».
Можно сделать вывод, что к созданию испытаний нужно подходить достаточно серьёзно, не допускать чрезмерной сложности, а также ситуаций, в которых обучаемым приходится отгадывать расстояния в пикселях. Одним из решений для борьбы с избыточной сложностью являются подсказки в описании испытания, например: «все размеры и отступы кратны пяти» или «не нужно задавать размер для текстового поля» и так далее.
Далее описывается вариант реализации предложенного метода для создания испытаний курса, посвящённого созданию веб-интерфейсов с помощью HTML и CSS.
Компетенция «Верстать HTML-сайты» в том или ином виде встречается в любой образовательной программе по подготовке студентов IT-специальностей и является базовой для таких дисциплин, как «Веб-программирование», «Информационные технологии» и т.д. В соответствии с требованиями ФГОС третьего поколения для каждой компетенции должны быть предусмотрены контрольные практические испытания для измерения полноты освоения данной компетенции. Для проверки навыков верстки самым очевидным и показательным контрольными испытанием является задача сверстать HTML-страницу в соответствии с исходным макетом и некоторыми дополнительными требованиями, такими как валидность, определенное поведение страницы при растягивании окна браузера и изменении размеров шрифта и так далее. Такое испытание является понятным и прозрачным не только для самого обучаемого, но и для потенциального работодателя. Стоит отметить, что у учебного заведения, использующего данный тип испытания, появляется возможность привлекать работодателей для подготовки учебных макетов для верстки.
При таком подходе возникает важная задача по обеспечению прозрачности механизмов оценки выполнения работы студентом В предлагаемом курсе основным критерием для оценки испытаний предлагается использовать схожесть результата обучаемого с изображением-образцом.
Рассмотрим сценарий прохождения испытания, посвящённого CSS-селекторам, с точки зрения обучаемого. В листингах 4 и 5 приведён HTML-код и CSS-код рассматриваемого испытания, а на рисунке 32 интерфейс испытания в исходном состоянии. Данное испытание относится к испытаниям-головоломками, в которых уже подготовлен исходный код, но либо важные фрагменты кода отсутствуют, либо изменён порядок кода. В испытании в примере обучаемому необходимо лишь подобрать правильные селекторы в CSS-коде, опираясь на исходный HTML-код и свойства внутри CSS-правил.
Обучающие интерфейсы разработанного интерактивного курса
В декабре 2013 года, когда разработка большей части курса была уже завершена (разработано 14 модулей из 16), был проведён эксперимент на небольшой выборке студентов, целью которого было определить, достигаются ли запланированные результаты обучения после прохождения разработанного курса.
Для этого эксперимента были отобраны 10 студентов первого курса, изучающие дисциплину Информатика, и разделены на две группы. Первая группа выполняла лабораторные работы, предусмотренные рабочей программой дисциплины. Вторая группа вместо четырёх завершающих лабораторных работ посвящённых HTML и CSS, проходила разработанный курс. После выполнения лабораторных работ и прохождения курсов студентам предлагалось сверстать средней сложности макет, представленный на рисунке 54.
Помимо лабораторных и интерактивного курса студентам были предоставлены две учебных видеолекции, посвящённых работе верстальщика в Photoshop и построению сеток (так как этой информации не было ни в лабораторных, ни в интерактивном курсе). Исходный макет был предоставлен студентам в формате PSD, являющимся стандартом де факто в веб-разработке 2-3 балла) в дисциплине Информатика. Основным условием выполнения задания было потратить минимум пять часов своего времени на саму вёрстку. Так как баллы выставлялись не за качество выполненной работы, а только за количество времени, потраченного на вёрстку, у студентов не было мотивации хитрить, и стараться улучшить результат (например, скопировать код другого студента). Такой подход позволил получить более объективные результаты с токи зрения качества выполненной работы.
В результате эксперимента с заданием в первой группе справились 2 человека из 5 (сдали какой-то вариант вёрстки), во второй группе с заданием справились все студенты. Далее вёрстка студентов оценивалась по двум критериям:
На рисунках 55 и 56 приведены скриншоты вёрстки и её исходного кода от участников первой группы. На рисунках 57 и 58 приведены скриншоты вёрстки и её исходного кода от участников второй группы.
По критерию схожести с макетом лучше справилась вторая группа студентов. Большинство из них сверстали макет целиком, это видно на скриншотах. Во второй группе студентов сверстал макет целиком всего лишь один участник, ещё один сверстал макет частично, а остальные не справились.
Участники второй группы также показали более структурированный код. Из скриншотов видно, что код разметки достаточно логичен и читабелен, так как используются приёмы форматирования кода. У первой группы студентов структура кода намного хуже: либо кода слишком мало и о структуре судить нет смысла, либо полностью отсутствует форматирование.
Однако в эксперименте и не ставилась цель обучить студентов всем тонкостям качественной вёртки сайтов, так как это требует намного большего количества времени. Был сделан вывод, что после прохождения разработанного онлайн курса достигаются запланированные результаты обучения.
На базе предложенных методов был разработан интерактивный онлайн курс для подготовки и переподготовки разработчиков пользовательских веб-интерфейсов, содержащий 16 модулей, 276 практических упражнений и 27 испытаний. Курс построен по модульному принципу. Каждый отдельный модуль курса представляет собой законченный с точки зрения запланированных результатов обучения фрагмент учебного процесса.
В разработанном курсе используется два типа обучающих интерфейсов: интерфейс практических упражнения и испытаний. В процессе разработки курса было проведено усовершенствование первоначальных интерфейсов. Также был разработан вспомогательный обучающий интерфейс, который называется пошаговая демонстрация или демонстрационный стенд. Пошаговые демонстрации используются в качестве дополнительных материалов курса для самостоятельного изучения для объяснения сложных концепций и приёмов построения интерфейса.
Помимо предложенных методов в курсе я используются и другие игровые механики: постепенная подача информации, принцип постепенного усложнения, головоломки, мини-игры, сторителлинг, достижения и очки, общий рейтинг обучаемых, открытые профили.
В результате проведённого эксперимента был сделан вывод, что после прохождения разработанного онлайн курса обучаемыми действительно достигаются запланированные результаты обучения.
После завершения разработки курса были запланированы и проведены эксперименты, направленные на исследование общей результативности курса, а также влияния отдельных методов на различные аспекты результативности онлайн курса.
С 17 февраля по 27 апреля 2014 проводился экспериментальный запуск разработанного курса на MOOС-платформе Университета ИТМО [18]. Обучение было организовано следующим образом: ученик регистрировался на курс в MOOC-платформе, затем каждую неделю в интерфейсе платформы открывались определённые разделы курса, в этих разделах размещались ссылки на специальный интерфейс на сайте htmlacademy.ru, в котором ученик проходил обучение, а позже возвращался в интерфейс MOOC-платформы, где происходила синхронизация результатов обучения.
Можно сказать, что разработанный асинхронный курс был переведён в классический MOOC-формат, с определенными датами начала и конца курса, а также с датами открытия разделов. Само обучение происходило на одной платформе, а другая платформа выполняла организационные функции. Также были произведены дополнительные технические работы, чтобы автоматизировать процесс переноса результатов обучения из одной платформы в другую и добавить возможность авторизации на htmlacademy.ru с логином и паролем от MOOC-платформы ИТМО.
