Содержание к диссертации
Введение
1 Контроль знаний при электронном обучении 14
1.1 Принципы построения систем дистанционного образования 14
1.2 Контроль знаний с использованием закрытых вопросов 15
1.3 Контроль знаний с использованием вопросов, имеющих конечное множество решений 16
1.4 Контроль знаний с использованием открытых вопросов 17
1.5 Примеры систем 18
1.6 Краткий обзор методов обучения 25
1.7 Цели исследования 28
1.8 Условия и ограничения 30
1.9 Формулировка задач научного исследования 32
1.10 Аналитический обзор моделей само диагностируемых систем для взаимной проверки знаний 36
2 Разработка математического обеспечения системы взаимной проверки знаний 46
2.1 Общие положения 46
2.2 Проблема византийских генералов 54
2.3 Алгоритм для полного графа 58
2.4 Алгоритм для оптимального графа du 66
2.5 Подходы к снижению нагрузки учащихся 76
2.6 Алгоритм для оптимального графа с числом тестовых связей «( ті-1) 79
2.7 Модель -диагностируемых систем в свпз 91
2.8 Входной контроль 97
3 Оценка характеристик свпз и анализ результатов 103
3.1 Необходимость анализа нулевых контуров 103
3.2 Аналитическая модель оценки вероятностных характеристик свпз 104
3.3 Имитационное моделирование свпз 114
3.4 Методика подключения арбитра 127
3.5 Методика оценки применимости алгоритмов расшифровки синдрома графа взаимных проверок 129
4 Методика проведения тестирования. Реализация системы. Натурный эксперимент 135
4.1 Разработка архитектуры системы 13 5
4.2 Схема взаимодействия арбитра с учащимся в СВПЗ 140
4.3 Натурный эксперимент 142
Заключение 150
Литература
- Контроль знаний с использованием закрытых вопросов
- Алгоритм для оптимального графа с числом тестовых связей «( ті-1)
- Аналитическая модель оценки вероятностных характеристик свпз
- Схема взаимодействия арбитра с учащимся в СВПЗ
Введение к работе
Одной из главных функций компьютерных обучающих программ является контроль и диагностирование знаний. Традиционные способы их проведения уже вписались в существующую практику обучения, но их применение ограничено областью передачи конкретных знаний в определенной предметной области. Например, одним из традиционных способов контроля, характерным на этапе, когда пройдены основы и требуется приобретение и закрепление навыков, является метод стандартизированного контроля знаний, при котором тестовая задача сопровождается набором правильных и неверных ответов. Однако во многих случаях этот метод оказывается слишком ограниченным, когда даже невозможно задать эталонные решения для данного вопроса. Примером одного из таких случаев может быть тестовая задача, состоящая в необходимости доказательства теоремы. В этих случаях проверка знаний перекладывается на преподавателя, однако, его загрузка при этом оказывается очень большой. К тому же, необходимо заметить, что целью образования является не столько передача знаний, сколько обучение выработке собственных суждений, принятию решений.
Для реализации таких задач применяются методы искусственного интеллекта, учебное компьютерное моделирование, телеконференции и другие. Однако во всех перечисленных методах не решена в полном объеме задача проверки знаний, так как они предназначены, главным образом, для предоставления обучаемому среды для получения необходимой информации, и лишь часть из них (компьютерное моделирование и методы искусственного интеллекта) позволяют выдвигать свои предположения и проследить за результатом их приложения к предметной области. Контроль здесь, в основном, реализуется за счет самопроверки, что не позволяет объективно оценить уровень знаний учащегося.
Дополнить приведенные методы обучения еще одной составляющей -взаимной проверкой знаний, преобразуя их в среду для осуществления плодотворного процесса обучения, в который будут вовлечены все учащиеся, позволяет метод взаимной проверки знаний с привлечением арбитра (имеется ввиду групповое диагностирование, то есть интерпретирование результатов взаимных проверок и определение фактического состояния каждого обучаемого). Данный метод является развитием идеи парного контроля, позволяющего отработать «внешнеречевую форму действия», а также помогающего сформировать самоконтроль: выполняя проверку ответа коллеги на тестовую задачу, обучаемый учится контролировать и себя. Работы психологов [24] показывают, что парный контроль способствует созданию положительной учебной мотивации.
Суть подхода, применяемого в СВПЗ, состоит в том, что решения одной определенной тестовой задачи, выданные всем обучаемым, взаимно проверяются самими учащимися (самопроверки исключаются), и по результатам этих оценок выдается заключение о состоянии каждого обучающегося (знает, не знает), используя аппарат технической диагностики. Для разрешения спорных ситуаций и выборочной подтверждающей проверки привлекается арбитр (преподаватель), то есть данная система позволяет перенести часть функций преподавателя на самих учащихся, уменьшая его нагрузку.
Подобную систему можно охарактеризовать, как гибридную или человеко-машинную, при этом на вычислительные средства возлагается задача определения хорошо и слабо подготовленных учащихся. Ее отличительная черта заключается в том, что за счет привлечения к контролю знаний самих обучаемых снимаются многие ограничения на классы тестовых задач. Это выражается в том, что задания не должны иметь эталонных ответов. При этом обеспечивается высокий уровень истинности полученных оценок.
Актуальность. Системы дистанционного обучения в настоящее время развиваются достаточно динамично. Использование дистанционного обучения по сравнению с традиционными методами имеет следующие преимущества:
- обучаемый изучает материал и выполняет тестовые задания в любое удобное для него время;
- уменьшается нагрузка на преподавателей. Работа преподавателя состоит в составлении дистанционного учебного курса и приеме экзаменов по нему; повышается доступность учебного курса.
Особенностью СДО является то, что текущий контроль и диагностирование знаний студентов должен производиться системой автоматически либо с минимальным вмешательством преподавателя. С другой стороны, желательно, чтобы тестовые задания не сводились к выбору ответов из списка. Наилучшим вариантом было бы использование открытых вопросов для контроля знаний.
В настоящее время задача оценки правильности ответов на открытые вопросы в общем виде не решена. Поэтому стоит задача применения и/или разработки таких математических методов и программных средств, ориентированных на проведение контроля знаний при помощи открытых вопросов.
Вторым важным аспектом обучения является взаимная проверка студентами решений тестовых задач. В ряде работ [26,27] показано, что при проверке обучаемым решений своих коллег, уровень его подготовки повышается. В то же время при проведении взаимных проверок возможно возникновение проблемных ситуаций, т.е. присутствие в системе недобросовестных учащихся (учащийся верно решил свое тестовое задание, но ответ хотя бы одного обучаемого оценил неверно) В данной диссертации исследуется класс систем, которые позволяют гибко настраивать схему проверки решений учащимися.
Перечислим задачи, которые требуется решить при проектировании современной системы контроля знаний при дистанционном обучении:
- Методика проверки ответов на открытые вопросы.
- Автоматизация системы контроля знаний таким образом, чтобы участие эксперта было минимальным.
- Обеспечение проверки учащимися решений своих коллег (с контролем таких проверок).
В разрабатываемой на кафедре Вычислительных машин, систем и сетей Московского энергетического института (технического университета) под руководством доцента Афонина В.А. системе взаимной проверки знаний предлагается комплексное решение поставленных выше задач.
Научпая новизна. В разработанной СВПЗ учащиеся проверяют решения друг друга. Граф взаимных проверок определяется на основании разработанных в рамках диссертационного исследования алгоритмов, либо задается априорно. Для расшифровки полученного синдрома используются модифицированные и адаптированные методы технической диагностики (модели t-, -диагностируемых систем). Подключение арбитра используется только в том случае, если синдром невозможно расшифровать автоматически.
В диссертационном исследовании конкретизированы для рассматриваемой предметной области и получили развитие известные математические методы, и предложено их новое применение в обучающих системах.
Конкретно научная новизна диссертационного исследования состоит в следующем.
- Разработано математическое обеспечение для организации взаимной проверки знаний с подключением арбитра (преподавателя) при отсутствии априорной информации о подготовленности учащихся. Разработаны методы для взаимной проверки знаний с использованием моделей t-, tls диагностируемых систем и методика оценки их применимости.
-Разработаны методы обнаружения в графе взаимных проверок враждебных вершин (недобросовестных учащихся). Предложены способы, позволяющие снизить вероятность появления в графе взаимных проверок враждебных вершин и минимизировать подключения арбитра.
- Разработан метод расшифровки синдрома, представляющего результаты взаимной проверки, позволяющий уменьшить количество тестовых связей между вершинами графа без снижения уровня диагностируемости. СВПЗ сама не проверяет решения студентов, а делает заключение по результатам взаимных оценок, используя аппарат технической диагностики. На основании известных методов технической диагностики разработаны алгоритмы расшифровки синдрома для различных конфигураций графа и входных параметров системы, позволяющие использовать систему даже при отсутствии априорной информации о подготовленности учащихся. Это позволяет применять в системе произвольные классы открытых вопросов без их непосредственной проверки преподавателем, что было бы невозможно при «классическом» подходе, когда система сама оценивает решения.
Практическая ценность работы определяется возможностью применения ее результатов в имеющих широкое распространение системах электронного обучения и состоит в следующем.
- Реализовано программное обеспечение системы взаимной проверки знаний с использованием открытых вопросов в соответствии с разработанными методами как для текущего, так и для итогового контроля знаний. Организован Web-доступ учащихся к системе. При помощи разработанного программного обеспечения проведен натурный эксперимент, подтверждающий теоретические положения диссертации.
- Применение системы взаимной проверки знаний позволяет повысить частоту и качество контроля знаний, объективность оценивания, уровень подготовки учащихся, развивает в них самостоятельность и ответственность за результаты проводимых ими проверок других обучаемых; при этом снижается нагрузка на преподавателя (арбитра), что позволяет повысить эффективность его труда за счет автоматизации контроля знаний учащихся. Использование системы вносит элемент соревновательности, что способствует созданию положительной учебной мотивации.
- Для обеспечения совместимости различных систем контроля знаний тестовые задания и ответы могут быть представлены в формате XML, соответствующем спецификации IMS QTI (IMS Question and Test Interoperability specification), определяющей структуру данных для представления тестовых заданий и результатов. Тестовые задания могут создаваться в любом текстовом редакторе.
- Реализованная система взаимной проверки знаний может быть интегрирована в существующие системы управления обучением LMS (Learning Management System).
Результаты, полученные лично автором. В процессе выполнения данного диссертационного исследования автором достигнуты следующие результаты:
- Разработаны принципы применения /-, // -диагностируемых моделей для взаимных проверок.
- Разработано математическое обеспечение для применения в системе взаимной проверки знаний на основе моделей и методов технической диагностики (модель /-, // -диагностируемых систем). Разработан алгоритм расшифровки синдрома для полного графа. Проведена модификация и адаптация алгоритма для оптимального графа D\tt с возможностью подключения дополнительных тестовых связей.
- Предложены методы обнаружения в графе взаимных проверок враждебных вершин (недобросовестных учащихся). Усовершенствована ПМЧ-модель с учетом присутствия в системе враждебных вершин.
- Исследованы варианты уменьшения количества тестовых связей между вершинами графа. Разработан алгоритм, позволяющий снизить количество тестовых связей между вершинами графа без уменьшения показателя диагностируемости. Проведена модификация и адаптация алгоритма с использованием // -диагностируемых систем для снижения количества тестовых связей между вершинами графа.
- Исследованы свойства методов и алгоритмов диагностирования и сформулировано 6 утверждений.
- Исследованы случаи, когда ошибка слишком велика, и проведение диагностирования нецелесообразно.
- Проанализирована возможность участия арбитра в качестве вершины графа (абсолютно надежная вершина). Разработана методика подключения арбитра, сформулировано и обосновано правило контрольного подключения арбитра.
- Разработана методика оценки применимости алгоритмов. Проведена оценка разработанных алгоритмов с использованием предложенной методики.
- Разработана архитектура системы взаимной проверки знаний и программное обеспечение, предназначенное для проведения взаимной проверки знаний, успешная эксплуатация которого подтверждается актами о внедрении. С его помощью проведен натурный эксперимент, подтверждающий теоретические положения диссертации.
Внедрение. В рамках выполнения диссертации разработана архитектура системы с Web-доступом для выполнения взаимных проверок. Разработано программное обеспечение системы в соответствии с данной архитектурой. СВПЗ внедрена в учебный процесс на кафедре Вычислительных машин, систем и сетей Московского энергетического института (технического университета) г.Москвы и в средней общеобразовательной школе №1 им. М.Ю.Лермонтова г.Пятигорска Ставропольского края. Акты о внедрении представлены в Приложении 1. В разделе 4 приведены условия и основные результаты натурных экспериментов, выполненных в указанных организациях.
Публикации, участие в конференциях. Опубликовано 9 статей по теме диссертационного исследования, из них 1 статья в журнале, рекомендуемом ВАК для публикации основных результатов диссертаций. Некоторые результаты опубликованы в электронном журнале, издаваемом в МЭИ(ТУ) [73]. Автор выступал на 6-ти конференциях с докладами по теме работы:
- Международный форум информатизации МФИ-2008. Международная научно-техническая конференция «Информационные средства и технологии» (г.Москва, 21-23 октября, 2008 г.).
- Четырнадцатая международная научно-техническая конференция студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» (г.Москва, 28-29 февраля, 2008 г.).
- Международный форум информатизации МФИ-2007. Международная научно-техническая конференция «Информационные средства и технологии» (г.Москва, 16-18 октября, 2007 г.).
- Двенадцатая международная научно-техническая конференция студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» (г.Москва, 02-03 марта, 2006 г.).
- Вторая международная научно-практическая конференция «Исследование, разработка и применение высоких технологий в промышленности» (г.Санкт-Петербург, 07-09 февраля, 2006 г.).
- Международный форум информатизации МФИ-2005. Международная научно-техническая конференция «Информационные средства и технологии» (г.Москва, 18-20 октября, 2005 г.).
Контроль знаний с использованием закрытых вопросов
Закрытые вопросы предполагают выбор одного или нескольких ответов из списка. Таким образом, вероятность ошибки системы из-за неправильного формата ввода ответа пользователем равна нулю. Также, невозможна ошибка из-за того, что какой-то из правильных ответов не учтен в системе, поскольку общее число возможных ответов, как правило, невелико.
Другим преимуществом данной методологии является простота реализации ПО для тестирования и простота формирования списка вопросов. Кроме того, выбор ответа из списка снижает вероятность неправильного ввода ответов, что может иметь место в случае, если учащийся недостаточно ознакомлен с интерфейсом системы или правилами ввода ответов.
Тем не менее, данный метод не лишен нескольких существенных недостатков. Первый недостаток заключается в том, что при небольшом числе вопросов высока вероятность, что при случайном выборе варианта ответа вероятность правильного ответа будет достаточно велика.
Составители тестов избегают данной ситуации за счет увеличения общего числа вопросов и уменьшения разницы между общим числом вопросов и числом вопросов, на которые необходимо дать верный ответ. Однако, если указанные значения равны, то возможна неправильная оценка знаний учащегося вследствие ошибочного выбора ответов или неправильного понимания формулировок отдельных вопросов. При значительном увеличении числа вопросов возрастает вероятность неправильных ответов из-за утомления тестируемого. В этом заключается второй недостаток данной методологии.
Третий недостаток данной методологии заключается в сложности создания таких тестовых заданий, где результатом является некоторое действие.
Таким образом, данную методологию целесообразно применять в тех областях, где основным требованием является «прозрачность» алгоритмов работы тестирующего ПО, а также отсутствие двусмысленности в интерпретации ответов тестируемого.
Примерами систем, использующих данную методологию в чистом виде, является ПО для сертификационных экзаменов некоторых IT-компаний, таких как Microsoft и Novell, ПО для теоретического экзамена ГИБДД РФ за право управления транспортными средствами, а также программные средства для подготовки к таким экзаменам.
Большинство других систем используют или позволяют использовать закрытые вопросы как вспомогательный механизм оценки знаний.
Данная методология предполагает создание тестов, в которых тестируемый может тем или иным способом выбрать решение из конечного множества решений, но мощность множества решений такова, что невозможно выбрать решения из списка. Примером может являться ввод формулы путем выбора ее отдельных элементов из списка. При конечной длине формулы число возможных решений также конечно, однако его мощность слишком велика, чтобы можно было случайно выбрать правильный ответ.
Проблема представления заданий, для которых в принципе невозможен выбор решения из конечного множества решений (например, доказательство утверждений, теорем и т.д.), для данной методологии также присутствует.
Кроме данной проблемы существует дополнительная сложность для разработчиков тестов, состоящая в том, что необходимо учесть все возможные правильные решения, что не так тривиально, как в случае с закрытыми вопросами, поскольку в данном случае правильное решение можно представить различными способами, а общее число решений достаточно велико.
Таким образом, уменьшилась вероятность неправильного диагностирования знаний тестируемого из-за метода тестирования, но увеличилась вероятность неправильного диагностирования знаний из-за неправильной интерпретации ответов (по сравнению с методологией, предложенной в параграфе 1.2).
Многие универсальные системы, такие, как Quest, позволяют создавать тесты с использованием вопросов, имеющих конечное множество решений. Существуют предметно-ориентированные системы, позволяющие создавать тесты какого-то определенного класса в соответствии с данной методологией (например, ввод формул) [24,25].
Данная методология предполагает наличие бесконечного множества форм представления решений, при этом множество правильных решений, в общем случае, также бесконечно. Оценка ответов на открытые вопросы полностью исключает возможность случайных ошибок при оценивании или случайных успешных ответов тестируемого, однако в настоящее время не существует методики, позволяющей автоматически проверять ответы на произвольные открытые вопросы.
Разработаны математические методы проверки ответов для отдельных классов открытых вопросов. Как правило, такие методы реализованы в специально-целевых системах, хотя имеются методы, инвариантные к предметной области [6]. Автору ничего не известно о существовании универсальных коммерческих продуктов, использующих подобную методологию как основную.
Алгоритм для оптимального графа с числом тестовых связей «( ті-1)
При анализе структуры оптимального графаD\t выдвинута гипотеза, что при удалении одной тестовой дуги, выходящей из каждой вершины графа, возможно значение показателя диагностируемости графа т оставить неизменным, т.е. определять не из условия (2.1), а из условия т= Т\ и при этом корректно определять статусы всех вершин. Таким образом, определение показателя диагностируемости графа для рассматриваемой структуры графа будет зависеть только от количества учащихся в группе, а общее число тестовых связей будет равно п(т\-\). Рассмотрим систему для п = 7 учащихся (Рис. 2.16). Необходимо, чтобы т=3.
Согласно условию (2.1) показатель диагностируемости графа, приведенного на Рис. 2.16, т = min (t\, т2) = min (3, 2) = 2. Следовательно, в данной системе возможна однозначная и правильная расшифровка синдрома графа при числе ненадежных учащихся, меньшем либо равным 2 [1,67]. Если исходить из определения показателя диагностируемости т только на основании числа обучаемых в группе, т.е. из условия т = Т\, то для Рис. 2.16 т = 3 и, очевидно, что возможна неоднозначная либо однозначная, но неверная расшифровка синдрома графа. В то же время, практические эксперименты показали, что неверная расшифровка возможна лишь в ограниченном количестве случаев, когда ненадежные вершины располагаются рядом. Связано это с тем, что последнюю, вершину из группы ненадежных вершин (на Рис. 2.16 такой вершиной является вершина к) тестируют только ненадежные вершины, следовательно расшифровка такого синдрома может привести к неверным результатам. В таблице 2.6 приведены случаи возможной неверной расшифровки для примера Рис. 2.16. Таблица Рассмотрим пример, когда в системе число ненадежных учащихся равно Т\ = Ъ, расшифруем полученный синдром.
В графе отсутствуют нулевые контуры. Выберем нулевой путь V4-V5-V6-V1. Следовательно, vi є G. Проведем раскрутку: v2, v3 є F, v7, Уб є G (т.к. оценивают vi как G), но a67 = 1, следовательно, вершина vs или v7 принадлежит -множеству BS. Проанализируем граф: vi є G, V2 є F, следовательно, Vi другие вершины должны оценивать 0 (ах\ = 0), a v2 другие вершины должны оценивать 1 (вх2 — 1)- Такие оценки может поставить только вершина, принадлежащая множеству G или F. Т.к. а7\ = 0, «72 = 1, следовательно, v7 є G или F, однако, в случае если v7 є F, то v5 є 55і и, следовательно т 3. Таким образом, v7 є (7, а ve є #GP и V4, V5 є G. На вершину v \ необходимо подключить дополнительную тестовую связь или арбитра, т.к. ее оценивают учащиеся, признанные ненадежными. Синдром расшифрован верно.
Теперь рассмотрим синдром графа, полученный при расположении ненадежных учащихся последовательно. Эту ситуацию иллюстрирует Рис. 2.18. Как показано ниже, состояние вершин определено некорректно, т.е. необходимо выявлять подобные случаи и учитывать при расшифровке синдрома.
Определим состояния учащихся для приведенного примера. В графе присутствует нулевой контур: vrV2-V4-v5-V6-v7-Vi. Следовательно, v3 є G, НО «34 = Я35 = 1J т-е- возникает противоречие, когда учащиеся, признанные надежными по-разному оценивают друг друга, поэтому необходимо подключение дополнительных тестовых связей или арбитра на v$ или v5. Пусть арбитр подключен на вершину V5 и выяснено, что V5 є G. Тогда V3 є BGP. Состояние вершин определено, противоречий нет, однако синдром расшифрован неверно.
В целях недопущения неверной расшифровки разработан соответствующий алгоритм, позволяющий выявить рассмотренные случаи, для однозначного и правильного определения подготовленности учащихся. Разработанный алгоритм должен учитывать: а) нахождение характерных синдромов графа (в том числе для наилучшего и наихудшего случаев) для всех случаев расположения ненадежных вершин, когда возможна неверная расшифровка синдрома; б) определение приоритетности поиска данных синдромов; в) выявление общих для всех случаев особенностей (оценки, количество единичных дуг для каждого случая); г) нахождение уникальности синдромов (т.е. уникальные отличия рассматриваемого случая от других для его дальнейшей однозначной идентификации) для каждого случая. Отметим, что в ситуации, когда обучаемого проверяют только учащиеся, признанные ненадежными, необходимо на данного учащегося подключить дополнительные тестовые связи либо арбитра. Рассмотрим основные положения разработанного алгоритма более подробно. Введем следующие обозначения:
Аналитическая модель оценки вероятностных характеристик свпз
Для построения аналитической модели оценки вероятностных характеристик определим начальные значения в целом справедливые для системы взаимной проверки знаний. 1. Исходя из того, что учащийся принадлежащий множеству неподготовленных (F), не знает верного решения на тестовое задание, следовательно, вероятность объективной оценки решения другого обучаемого равна вероятности выставления учащимися, принадлежащими множеству F, оценок 0 или 1: 2. В параграфе 2.2 представлены механизмы снижения вероятности появления в графе взаимных проверок враждебных вершин по причине механической ошибки (ошибочное выставление неверной оценки) и умышленного выставления неверной оценки (в том числе, по договоренности), эффективность которых подтвердил проведенный натурный эксперимент. В то же время неверная оценка ответа возможна в результате нехватки знаний проверяющего учащегося для выставления верной оценки (например, задача решена другим способом). Учитывая данное обстоятельство, а также основываясь на результатах и выводах из [1,4,5,7,54,67,73], примем следующие значения. - Вероятности того, что учащийся v,- принадлежит множеству BGP при условии, что учащийся v, может принадлежать только множеству BS (множеству G принадлежать не может): - Вероятности того, что учащийся v, принадлежит множеству F при условии, что учащийся v, может принадлежать только множеству BS (множеству G принадлежать не может): всем учащимся выдается одинаковая тестовая задача для решения, и недобросовестный учащийся (BGP) всегда верно решает свою задачу, примем следующие значения.
Вероятность того, что учащийся v„ принадлежащий множеству BGP, оценит учащегося v,-, принадлежащего множеству BGP или G, оценкой 0: - Вероятность того, что учащийся v,-, принадлежащий множеству BGP, оценит учащегося v,, принадлежащего множеству F, оценкой 0: Тогда, Будем считать, что все учащиеся группы имеют примерно одинаковую подготовку по материалу тестовой задачи. Покажем, что при определенном уровне подготовки группы и при наличии нулевого контура в графовой модели, вероятность того, что все вершины контура принадлежат множеству G, становится очень большой и возможно не требуется подключение арбитра. Отметим, что в данном случае не учитывается число учащихся в группе. При построении аналитической модели вероятности того, что вершины нулевого контура принадлежат одновременно множеству G и множеству BS не учитывались, т.к. принимают очень малые значения [5]. Пусть контур содержит т вершин. Рассмотрим следующие события: /0 - все дуги контура имеют нулевые симптомы. / - не все дуги нулевые. д — все вершины контура принадлежат множеству G. f - все вершины контура принадлежат множеству F. Ъдр — все вершины контура принадлежат множеству BGP. Поскольку пара событий {д, 1} невозможна, то Как видно из Рис. 3.1, вероятность того, что все дуги контура имеют нулевые симптомы (р(1о)) уменьшается с ростом числа вершин в контуре (т) вне зависимости от подготовленности группы. Отметим, что при совсем низкой подготовленности учащихся (р=0,1), вероятность того, что все дуги контура имеют нулевые симптомы выше, чем для р=0,3 и р=0,5 при т=3, а также выше для больших значений уровня подготовленности р при росте числа вершин в контуре т.
Это объясняется тем, что при более низких значениях уровня подготовленности р в СВПЗ присутствуют больше ненадежных учащихся. При возрастании вероятности подготовленности, увеличивается число надежных учащихся, тем самым увеличивается вероятность того, что все дуги в контуре нулевые, однако, при росте числа вершин в контуре, эта вероятность понижается за счет присутствия в системе ненадежных учащихся. Это также подтверждает график, изображенный на Рис. 3.2.
Схема взаимодействия арбитра с учащимся в СВПЗ
Для описания работы СВПЗ в части взаимодействий учащегося и арбитра составлена схема, отражающая полный процесс взаимодействия, начиная от регистрации учащегося в системе и заканчивая формированием и представлением учащемуся итоговой оценки по результатам проверки. Кроме того, на схеме (Рис. 4.2) представлена информация, которую арбитр либо учащийся имеет возможность получить, выполнив определенное действие, и основные этапы организации взаимодействия между учащимся и арбитром. В данном случае принято условие о том, что взаимные проверки проходят для одного тестового задания.
Отметим, что арбитр имеет возможность заранее предопределить настройки СВПЗ и сохранить их, тем самым сократив время, затрачиваемое на установление различных параметров системы перед каждой проверкой.
Целью проведения натурного эксперимента является определение корректности работы реализованной системы взаимной проверки знаний, оценка эффективности разработанных принципов и методов.
Натурный эксперимент проводился на базе Муниципального общеобразовательного учреждения средней общеобразовательной школы с углубленным изучением отдельных предметов №1 им. М.Ю.Лермонтова г.Пятигорска Ставропольского края (СОШ №1) и на кафедре Вычислительных машин, систем и сетей Московского энергетического института (технического университета) (ВМСиС МЭИ (ТУ)).
В СОШ №1 система использовалась для текущего контроля выполнения учащимися домашних заданий и контрольных работ (четвертных). При текущем контроле в начале каждого занятия проводилось взаимное диагностирование с использованием одной задачи по темам домашнего задания (но сама задача не входила в домашнее задание). При проведении контрольных работ взаимное диагностирование организовывалось по трем задачам. Эксперимент проводился на занятиях по курсам информатики, математики и физики в 9-х классах в период с 23 сентября 2008 года по 26 декабря 2008 года. По информатике в эксперименте участвовала одна группа (17 учащихся) как для проведения текущего контроля, так и для проведения контрольных работ (всего — 16 экспериментов). По математике и физике в эксперименте участвовала другая группа (14 учащихся) только для проведения контрольных работ (всего — 12 экспериментов). Уровень подготовленности учащихся на основании входного контроля учитывался при проведении контрольных работ по информатике, что позволило при проведении контрольной работы за вторую четверть использовать Алгоритм 4, тем самым сократив количество тестовых связей. При проведении эксперимента использовался один учебный класс, где установлено 10 компьютеров (9 учащихся, 1 преподаватель). При проведении контрольной работы за вторую четверть имелась возможность использовать второй класс с десятью установленными компьютерами. Соответственно, размер группы выбирался исходя из данных технических возможностей. Таким образом, проведено 66 экспериментов с учетом разделения групп на подгруппы. В каждом эксперименте участвовало от 5 до 17 учащихся (в среднем - 7 учащихся в эксперименте). Для расшифровки синдрома использовались разработанные алгоритмы. В Приложении 15 представлены тестовые задания по информатике, математике и физике.
На кафедре ВМСиС МЭИ (ТУ) эксперимент проводился для выполнения зачетной контрольной работы по курсу Основы теории надежности (ОТН). В Приложении 16 представлены тестовые задания контрольной работы. В эксперименте участвовали три учебные группы (общей численностью 42 учащихся), однако также имело место ограничение по числу компьютеров в классе. Кроме того, ряд студентов не были допущены к контрольной работе в день проведения эксперимента из-за слабой успеваемости. Указанные ограничения изменили целостность учебной группы при проведении эксперимента, из-за чего стало необходимым создание 5 групп с меньшим числом учащихся, в которых организовывались взаимные проверки. Таким образом, на кафедре ВМСиС МЭИ (ТУ) проведен 21 эксперимент с учетом разделения групп на подгруппы. В каждом эксперименте участвовало от 5 до 9 учащихся (в среднем — 6 учащихся в эксперименте).
В Приложении 17 приведены результаты натурного эксперимента, проведенного в СОШ №1, в Приложении 18 — результаты натурного эксперимента, проведенного на кафедре ВМСиС МЭИ (ТУ). Для каждого учащегося и каждого эксперимента приводятся результаты в соответствии с формой:
Каждая ячейка несет следующую информацию: 1. Прохождение входного контроля: «О» — прошел, «1» — не прошел, «-» -не проходил. 2. Номер подгруппы/общее число подгрупп: «1/1» - в случае, если группа не разделяется на подгруппы. 3. Априорный уровень подготовленности учащегося (от 0 до 1): «-» - не учитывается. 4. Алгоритм расшифровки (от 1 до 4) в соответствии с нумерацией, принятой в разделе 2. 5. Участие при подключении дополнительных тестовых связей, т.е. сколько раз данный учащийся проверял других обучаемых по дополнительным подключениям («-» - не подключался). 6. Количество подключений арбитра на данную вершину при работе алгоритма (без таких подключений определение состояний учащихся может быть проведено некорректно): «-» - не подключался. 7. Контрольное подключение арбитра на данную вершину («-» - не подключался). 8. Состояние вершины, определенное в результате работы алгоритма расшифровки, без подключения арбитра (g — множество G;f— множество F; b -множество BGP). 9. Состояние вершины после подключения арбитра (g — множество G\f— множество F; Ъ — множество BGP). 10. Результат проверки автором данной работы ответа учащегося на тестовое задание (проводилась при анализе результатов эксперимента). Проанализируем результаты эксперимента, полученные в СОШ №1. Частота ошибок системы без подключения дополнительных тестовых связей/арбитра (полностью автоматический режим) составила 18%. Подключение дополнительных тестовых связей снизили частоту ошибок системы до 1,5%, при этом, число подключений дополнительных тестовых связей в среднем за эксперимент составило 0,33. Среднее число включений арбитра (включая контрольные подключения) за эксперимент составило 0,14. При проверке автором данной работы ответов учащихся ошибок в определении состояний обучаемых не выявлено.
