Содержание к диссертации
Введение
1. Автоматизированные обучающие системы 12
1.1. Анализ развития автоматизации учебного процесса 15
1.2. Современная автоматизированная обучающая система 20
1.3. Классификация компьютерных средств учебного назначения 21
1.3.1. Существующие классификации 21
1.4. Схема процесса обучения 26
1.5. Автоматизированные обучающие системы (АОС) 28
1.5.1. Преимущества автоматизированных обучающих систем 28
1.5.2. Понятие автоматизированной обучающей системы 29
1.5.3. Инструментальные оболочки обучающих систем 33
1.5.4. Основные направления исследований 36
Выводы 37
2. Концептуальная модель автоматизированной обучающей системы с расширенными функциями тестового контроля знаний, анализа и классификации информации 39
2.1. Обучение с помощью АОС 39
2.1.1. Электронные лекции 40
2.1.2. Тестирование 41
2.1.3. Требования к тестовым заданиям 43
2.1.4. Статистический анализ результатов тестирования 44
2.2. Структура разрабатываемой АОС 45
2.3. Пользователи АОС 48
2.4.1. Взаимодействие с обучаемым 51
2.4.2. Работа с учебным материалом 52
Выводы 56
3. Алгоритмизация основных функций АОС 57
3.1. Алгоритмы поиска и классификации информации 57
3.2. Алгоритм сравнения формул 77
3.3. Графический вариант ответа 83
3.4. Оценка тестов и тестовых заданий 84
3.5. Разработка модели базы данных AOC 104
3.3.3. Создание концептуальной модели базы данных 105
Выводы. 105
4. Автоматизированная обучающая система 107
4.1. Физическая модель базы данных системы 108
4.2. АРМ разработчика курса 108
4.3. Подсистема контроля знаний 110
4.4. Подсистема метапоиска 111
4.5. Анализ результатов экспериментальной апробации системы 112
Библиографический список использованной литературы... 117
Приложения 133
- Современная автоматизированная обучающая система
- Электронные лекции
- Алгоритм сравнения формул
- АРМ разработчика курса
Введение к работе
*
Человеческая цивилизация вступила в новый период своего развития -период построения информационного общества. В развитых странах в сфере обработки информации в настоящее время занято 60-70% трудоспособного населения. В США 54% продукции производится в сфере ИТ. Информатизация общества привела к изменению характера профессиональной деятельности на основе внедрения в нее новых информационных технологий (НИТ).
Внедрение НИТ изменяет и характер профессиональной деятельности: изменяются методы организации труда и взаимодействия вычислительной техники с людьми и производственным оборудованием, возникают связанные с этим социальные, экономические и культурные проблемы. Профессиональная деятельность становится многомерной. Техническая деятельность развивается в окружении, которое усиливает человеческие связи, делает необходимым соблюдение таких критериев, как управление, точность, качество, и вызывает критическое поведение и творческую активность. Жизненно важным фактором становится - научить справляться с изменяющимися ситуациями в работе.
В современной профессиональной деятельности необходимо учиться действовать в условиях внедрения НИТ и овладевать новыми областями их применения, углублять и расширять обучение для получения обновляющихся знаний и предотвращения их старения. По данным американских исследователей, в сфере современных информационных технологий за 2-3 года происходит устаревание знаний (по данным International Data Corporation (IDC)). В тоже время, эффективность инвестиций в образование составляет 200-300% на вложенные средства (по данным IDC),
" В этих условиях перед высшим и средним профессиональным
образованием стоит задача подготовки специалистов к профессиональной деятельности с использованием НИТ. Решение этой задачи невозможно без использования программных средств учебного назначения. Вопросами создания такого рода систем рассматриваются многими исследователями [Вержбицкий В. В., Колесникова И. В., 1990], [Шеншев Л.В., 1992], [Александров Г.Н., 1993], [Галеев И.Х., 1998], [Кривошеев А.О., 1998],
щ [Зайнутдинова Л.Х., 1999], [Васильев В.И., Тягучева Т.Н., 2000-2003],
[Аванесов B.C., 1994-2003] и др. Существующие в настоящее время программные средства учебного назначения, по классу решаемых задач, можно разделить на: электронные учебники, контролирующие системы, тренирующие системы, обучающие системы, учебные курсы [84]. Наиболее развитым в настоящее время является класс обучающих систем, которые, позволяют проводить комплексное обучение по заданной дисциплине. По
I принципам использования их можно условно разделить на обучающие
системы, содержащие знания по конкретной предметной области, и
инструментальные системы, предназначенные для наполнения их знаниями
по произвольной предметной области с целью создания обучающей системы.
Наиболее перспективными с точки зрения соотношения конечного
результата и трудозатрат на создание и поддержку являются
инструментальные системы, которые принято называть
ш автоматизированными обучающими системами (АОС) [9,36,41,80,133]. К
'Т
основным достоинствам АОС относятся:
интенсификация обучения [6,158];
возможность индивидуальной адаптации курса обучения к потребностям обучаемых или условиям обучения [113,99];
возможность использования и тиражирования передового опыта [99];
повышение доступности образования [42,63 ,154];
обучение навыкам самостоятельной работы [53,104];
" - разгрузка преподавателя от ряда рутинных, повторяющихся действий
(чтения лекций, проверки контрольных работ и т.д.) [85]; - возможность использования в рамках дистанционного обучения, переобучения и повышения квалификации [3,10,32].
Анализ большинства известных АОС и систем контроля знаний показал, что они имеют ограниченные возможности контроля знаний. Кроме того, в них отсутствуют средства оценки корректности тестового задания и теста в
~ целом, возможности информационного поиска. Это ограничивает
возможности разработчика курса в отношении использования различных вариантов тестовых вопросов и способов анализа ответов обучаемых. Наличие обратной связи подразумевает возможность предоставления обучаемому дополнительной информации по результатам тестирования. В сети Интернет в настоящее время насчитывается приблизительно 350Гб только русскоязычных документов различной тематики (по данным
I ) и этот объем постоянно увеличивается. Поэтому тематика
исследований, затрагивающих организацию расширенного контроля знаний и гибкого механизма информационного поиска в сети Интернет, является актуальной.
Целью настоящей работы является повышение эффективности процесса обучения на основе разработки АОС с расширенными функциями тестового контроля знаний, поиска, анализа и классификации учебных материалов в
^ Интернет.
В рамках данной работы решаются следующие задачи:
анализ существующих автоматизированных обучающих систем и систематизация требований, которые предъявляются к АОС как к специализированному программному обеспечению;
разработка модели и алгоритмов, расширяющих валидность тестовых заданий, позволяющих оценить корректность теста и ответов
обучаемых;
разработка модели и алгоритмов анализа, классификации и поиска учебных материалов в сети Интернет.
проверка работоспособности и эффективности предложенных моделей и алгоритмов на практике.
Для решения поставленных задач, в работе использованы методы теории поиска и классификации текстовой информации, тестологии, теории вероятности, статистики, комбинаторики, математического моделирования, формализованного представления сложных структур данных. В разработке программного обеспечения использовались технологии объектно-ориентированного подхода и построения реляционных баз данных.
Научная новизна результатов, полученных в диссертации, заключается в следующем:
разработана концептуальная модель автоматизированной обучающей системы, расширенная подсистемами статистической оценки качества тестовых заданий, классификации и поиска учебных материалов в Интернет и в базе данных системы, принятия решений о пополнении базы знаний системы и корректировке тестовых заданий;
для организации обучения использованы алгоритмы анализа имеющегося учебного материала и поиска на его основе недостающего материала в сети Интернет, позволяющие адаптировать знания, накопленные в АОС к индивидуальным потребностям обучаемого;
предложен эффективный комплексный алгоритм сравнения формул, основанный на методах синтаксического разбора формул, позволяющий осуществлять оценку и поиск формул (с достоверностью оценки 95%).
разработана модель базы данных для хранения тестовых заданий и статистики тестирования, позволяющая автоматизировать
статистическую оценку качества тестов, выявлять некорректно составленные тестовые задания на основе сравнительного анализа совокупности неправильных ответов обучаемых и формировать итоговые рекомендации по дальнейшей стратегии обучения; Практическая ценность работы заключена в следующем:
На основании полученных теоретических моделей создана информационно-справочная система «SG-PRO 2003» (свидетельство об официальной регистрации программ для ЭВМ Роспатента № 2003612420 от 30 октября 2003г.). Внедрение системы существенно ускорило создание обучающих курсов и тестов (с оценкой степени корректности тестовых заданий).
Система инвариантна к предметной области, что позволяет использовать ее для создания различного рода обучающих курсов.
Система использовалась для контроля знаний студентов по дисциплине «Информатика» в Астраханском государственном университете, создания «Электронного справочного пособия для учителей школ Астраханской области», профессионального отбора государственных служащих в Администрации Астраханской области.
Диссертационная работа состоит из введения, четырех глав, общих выводов и списка использованной литературы, содержащей 158 наименований.
В первой главе проанализированы тенденции развития и проблематика одной из актуальных областей современных информационных технологий — автоматизированных обучающих систем. Предложены классифицирующие признаки, на основе которых проанализирован ряд существующих обучающих систем. Выявлены и проанализированы их достоинства и недостатки.
* Сделан вывод о необходимости разработки модели АОС, расширенной
подсистемами статистической оценки качества тестовых заданий,
классификации и поиска учебных материалов в Интернет и базе данных
системы, принятия решений о пополнении базы знаний системы и
корректировке тестовых заданий. Также обоснована необходимость
разработки организации контроля знаний, основанных на формальных
методах оценки ответов обучаемых.
^ Во второй главе рассмотрены принципы организации АОС и определена
функциональная структура разрабатываемой системы на основе исследований, проведенных в первой главе.
В третьей главе дается описание реализованных в рамках
диссертационной работы алгоритмов классификации информации
(необходимы для организации обратной связи), разработанных алгоритмов
сравнения формул, оценки корректности графического ответа (необходимы
^ для расширения спектра тестовых заданий и улучшения качества
тестирования).
В четвертой главе описываются разработанная система и результаты педагогического эксперимента по ее использованию. На защиту выносятся следующие положения: 1. Модель АОС, отличающаяся интегрированными подсистемами статистической оценки качества тестовых заданий, классификации и поиска учебных материалов в Интернет и базе данных системы, принятия решений о пополнении базы знаний системы и корректировке тестовых заданий:
алгоритмы анализа имеющегося учебного материала и поиска на его основе недостающего материала в сети Интернет;
комплексный алгоритм сравнения формул, основанный на методах синтаксического разбора формул, позволяющий осуществлять оценку и поиск формул.
модель базы данных для хранения тестовых заданий и статистики тестирования, позволяющая автоматизировать статистическую оценку качества тестов, выявлять некорректно составленные тестовые задания на основе сравнительного анализа совокупности неправильных ответов обучаемых и формировать итоговые рекомендации по дальнейшей стратегии обучения.
1.- АВТОМАТИЗИРОВАННЫЕ ОБУЧАЮЩИЕ СИСТЕМЫ
На протяжении столетий образование являлось наиболее консервативной областью человеческой деятельности: объем знаний возрастал, а технология передачи информации оставалась неизменной. Но с внедрением информационных технологий в образование ситуация изменилась. Информационные технологии позволили обеспечить адаптацию процесса обучения к индивидуальным характеристикам обучаемых, разгрузить преподавателей от ряда трудоемких и часто повторяющихся операций по представлению учебной информации и контроля знаний. При проведении занятий в компьютерных классах возрастают активность обучаемых, самостоятельно прорабатывающих большой объем учебной информации, и возможности преподавателя по управлению учебной деятельностью группы обучаемых. Также, например, компьютер позволяет иллюстрировать динамические процессы, которые с помощью обычных учебных средств осваиваются достаточно тяжело.
Решением такого рода задач занимается вид программного обеспечения, называемый системы машинного обучения или автоматизированные обучающие системы (АОС) [2].
Основу образовательного процесса при использовании обучающих систем составляет целенаправленная и контролируемая интенсивная самостоятельная работа обучаемого, который может учиться в удобное для себя время, по индивидуальному расписанию, имея при себе комплект специальных средств обучения и возможность контакта с преподавателем с помощью современных технических средств или очно [4].
Конечно, эффективность традиционного вида обучения с преподавателем в форме лекционных, практических и лабораторных занятий доказана всей историей развития человечества. Но с другой стороны, о сложностях, возникших в системе высшего образования в связи с j
техническим и информационным прогрессом, говорят уже давно, и не без основания [71 -73 ].
Одна из основных проблем высшего образования - несоответствие между возможностями традиционных методов обучения и тем объемом фактических знаний, которое современное общество требует от выпускников учебных заведений. Увеличение сроков обучения как средство решения его возросших задач исчерпано, поэтому необходимо полагаться на внутренние резервы учебного процесса. Речь идет, прежде всего, об интенсификации и оптимизации учебного процесса [7].
При современном уровне развития средств телекоммуникаций имеются возможности предоставления обучаемым доступа к образовательным ресурсам за пределами учебного заведения, например находящимся в глобальной компьютерной сети Интернет [50]. Кроме этого, по оценкам специалистов, знания в технической сфере устаревают примерно за 2-3 года [85], поэтому требуется постоянное обновление профессионального багажа специалиста.
Остроту стоящих перед высших образованием проблем можно снять, применяя в учебном процессе компьютерные средства учебного назначения [Ю, 107].
Компьютерные средства учебного назначения (КСУН или обучающие системы) [76] - это программные продукты, используемые в преподавании, обучении, самообразовании и повышении профессионального уровня специалиста.
Появление обучающих систем поставило на повестку дня вопрос об автоматизации обучения. Задача автоматизации — повышение эффективности обучения, которое складывается из нескольких составляющих:
более прочное усвоение материала;
больший объем знаний;
меньшее время на их усвоение.
Повышение эффективности обучения при использовании обучающих
систем было подтверждено рядом исследований [7,27,93,103]. Этому способствуют такие факторы, как: 1. Индивидуализация обучения [113].
Наиболее эффективно, но и наименее экономно индивидуальное обучение (один преподаватель и один ученик). Самая экономичная, но и наименее эффективная система — массовое обучение [85]. Внедрение обучающих систем позволит совместить достоинства индивидуального обучения (в смысле эффективности) и массового (в смысле экономичности). 2. Интенсификация обучения [6, 96].
Она достигается за счет индивидуальности обучения, а также за счет того, что обучаемый не привязан ко времени занятия и к преподавателю, а может заниматься в удобное для себя время.
Использование выразительных средств вычислительной техники (ВТ), таких как наглядность, наличие средств моделирования объектов и процессов и т.п. [11, 83].
Возможность организации постоянного контроля степени усвоения знаний, способствующего более прочному закреплению материала [8].
Кроме повышения эффективности обучения внедрение обучающих систем имеет и другие положительные эффекты:
Работа с обучающей системой развивает умение и навыки самостоятельной
работы [53,104].
*ф Обучающие системы разгружают преподавателя от ряда трудоемких и
часто повторяющихся операций по представлению учебной информации и контролю знаний; способствуют разработке объективных методов контроля знаний; облегчают накопление передового учебно- методического опыта [99].
Применение обучающих систем может упростить переход вузов к обучению
по более широкому перечню специализаций, благодаря которому каждый
студент получает возможность получить подготовку с индивидуальным
I*
" профессиональным и образовательным уклоном.
Возможно применение обучающих систем в системе дополнительного профессионального образования [3,10,32], особенно в тех областях деятельности, в которых имеет место низкая эффективность традиционных способов передачи знаний посредством лекционных занятий [19].
Применение обучающих систем позволяет предоставить образовательные услуги более широкому кругу обучаемых, в т.ч. в рамках дистанционного обучения [42, 63, 154].
Для того чтобы точнее определить место и роль обучающих систем в учебном процессе, проследим за историей развития этих систем.
Современная автоматизированная обучающая система
Если говорить о полнофункциональной АОС, то решение задачи автоматизированного обучения в максимальном варианте включает: предоставление учебных материалов в различных формах (текст, гипертекст, графика, аудио- и видеоматериалы и т.д.); выполнение практических работ; определение уровня знаний обучаемого; адаптация системы к уровню знаний обучаемого в соответствии с целью обучения. Выделим основные принципы построения АОС [19]: 1. Полнофункциональность: предоставление возможности использования практически любых известных к настоящему времени технологий и методов компьютерного обучения. 2. Универсальность, т.е. пригодность базового программного обеспечения АОС для создания произвольных курсов и изучения любых дисциплин (естественнонаучных, технических, гуманитарных). 3. Открытость, т.е. предоставление возможности использования готового программного и информационного обеспечения. 4. Стандартизация: использование стандартных сетевых и программных решений и построение системы на основе универсальной интегрированной базы данных, что позволит легко и практически неограниченно наращивать, переносить и масштабировать ее. За время развития автоматизированного обучения было создано огромное количество обучающих систем разного уровня и назначения (см., например, сборник [62]). В литературе по компьютерным средствам обучения используется различные термины, характеризующие типы программ учебного назначения. К сожалению, разные исследователи часто вкладывают в один и тот же термин существенно разный смысл или наоборот, однотипные программы характеризуют разными терминами [36]. Рассмотрим различные классификации обучающих систем.
В основе всех видов классификации лежит отношение эквивалентности. При классификации некоторого множества в нем задают одно или несколько отношений эквивалентности и рассматривают классы эквивалентности, связанные с этими отношениями.
1. По принципам взаимодействия программных обучающих средств и обучаемого эти программные средства можно разделить на два больших класса [84]: учебные среды, обучающие программы.
При работе в учебной среде предполагается, что обучаемый имеет определенную цель (неважно, задана ли она обучающим или самим обучаемым), а система ассистирует ему в достижении этой цели. В системах данного класса отсутствует (по крайней мере явно) этап контроля обучаемого со стороны системы, так как система не знает цели, с которой обучаемый обратился к ней.
Жесткой границы между учебными средами и обучающими программами нет. Действительно, системы обеспечивающие демонстрацию учебного материала в своем развитии «идут» в направлении учебных сред. А учебные среды-тренажеры в определенной области в конечном счете приближаются к обучающим программам-тренажерам. Единственное различие, остающееся между обучающими системами этих классов — отсутствие контроля фискального типа в учебных средах и наличие его в обучающих программах. 2. Кривошеев А.О. (РосНИИИС) [37-38] предлагает делить компьютерные обучающие средства на следующие классы: Компьютерные (или электронные) учебники (КУ). Обеспечивают возможность самостоятельно освоить учебный курс или его раздел. Предметно-ориентированные среды (ПОС) [46, 105, 152, 155]. Это учебные пакеты программ, позволяющие оперировать с объектами определенного класса. Лабораторные практикумы (ЛП), позволяющие автоматизировать выполнение лабораторных работ по различным дисциплинам. Тренажеры (ТР). Служат для отработки и закрепления технических навыков решения задач. Контролирующие программы (КП), предназначенные для проверки (оценки) качества знаний обучаемых. Инструментальные системы (ИС) [9,54,84,94]. Это программные комплексы, предназначенные для создания различных программ учебного назначения, Справочники, базы данных учебного назначения (УВД), обеспечивающие хранение и предъявление учащемуся разнообразной учебной информации справочного характера. Недостатки данной классификации очевидны. Приведем только один пример. В соответствии с этой классификацией контролирующие программы вынесены в отдельный класс, в то время как многие компьютерные учебники включают контроль знаний как составляющую часть. Таким образом, мы видим эффект пересечения классов, что говорит о неоднозначности данной классификации. 3. Дуплик СВ., автор обучающей системы PAUK, предлагает следующую классификацию обучающих систем [15]: Электронный учебник - как и традиционный учебник, содержит теоретический материал по определенному предмету и примеры (например, примеры решения задач). Контролирующая система — предназначена для контроля знаний с помощью тестов. Кроме механизмов проведения тестирования может включать в себя средства статистической обработки результатов. Обучающая система - это человеко-машинный комплекс, работающий в диалоговом режиме и предназначенный для управления познавательной деятельностью. Обучающая система должна включать в себя теоретический материал с примерами (т.е. электронный учебник), а также средства для выработки практических навыков у обучаемых и средства контроля приобретенных знаний, умений и навыков (контролирующую систему и тренирующую программу). Основное назначение обучения (а, следовательно, и обучающей системы) - овладение умениями, а не знаниями. Механизмом осуществления деятельности является решение задач [10]. Следовательно, основная часть обучающей системы — тренирующая.
Электронные лекции
Специфика педагогической технологии состоит в том, что в ней учебный процесс должен гарантировать достижение поставленных целей. Основой гарантии результата обучения является оперативная обратная связь, которая охватывает весь учебный процесс. В ходе изучения учебного материала необходима оценка текущих результатов и коррекция обучения, направленная на достижение поставленных целей.
Оценка знаний - систематический процесс, который состоит в определении степени соответствия имеющихся знаний, умений, навыков, предварительно планируемым. Как следует из определения, первое необходимое условие оценки - планирование образовательных целей. Другое условие - установление фактического уровня знаний и сопоставление его с заданным. Процесс оценки знаний включает в себя следующие компоненты; определение целей обучения; выбор контрольных заданий, проверяющих достижение этих целей; отметку или иной способ выражения результатов проверки. Задания по выполнению деятельности определенного уровня принято называть тестами.
Тестовый контроль отличается от других методов контроля (устные и письменные экзамены, зачеты, контрольные работы и т.п.) тем, что он представляет собой специально подготовленный контрольный набор заданий, позволяющий надежно и адекватно количественно оценить знания обучающихся посредством статистических методов.
Все вышеуказанные преимущества тестового контроля могут быть достигнуты лишь при использовании теории педагогических тестов, которая сложилась на стыке педагогики, психологии и математической статистики. Основными достоинствами применения тестового контроля являются: объективность результатов проверки, так как наличие заранее определенного эталона ответа (ответов) каждый раз приводит к одному и тому же результату; повышение эффективности контролирующей деятельности со стороны преподавателя за счет увеличения её частоты и регулярности; возможность автоматизации проверки знаний учащихся; Тест — инструмент, состоящий из системы тестовых заданий с описанными системами обработки и оценки результата, стандартной процедуры проведения и процедуры для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения.
Один из основоположников научного подхода к проблеме тестирования B.C. Аванесов показал, что все тестовые задания могут быть сведены к следующим 4 типам [1]: закрытая форма (задание-выбор), в которой студенты выбирают правильные ответы; открытая форма, где ответы дают сами испытуемые; на соответствие, где элементам одного множества требуется поставить в соответствие элементы другого множества; на установление правильной последовательности (задание-ранжирование), где устанавливается требуемая заданием последовательность действий, операций, вычислений, т.е. контролю подлежит любой фрагмент алгоритмизируемой учебной или профессиональной деятельности. При этом следует избегать заданий в форме вопроса, так как при этом теряются семантическое, технологическое и логическое свойства. Задания закрытой формы могут быть в двух вариантах - с одним правильным ответом из числа предлагаемых и с несколькими правильными ответами. Количество и содержание вопросов в тесте зависит от вида контроля знаний: входной, текущий, тематический, рубежный, итоговый и заключительный. Сформулируем требования к тестовым заданиям итогового контроля знаний. Необходимо делать различия в составлении заданий, предназначенных для контроля знаний, умений, навыков, представлений. Для обеспечения адекватности оценки знаний тесты должны обладать следующими свойствами: тест должен быть репрезентативным с точки зрения изучаемого материала (ответы на вопросы, поставленные в тесте, не должны выходить за пределы данной учебной дисциплины); тест должен быть уместным: формулировка и состав вопросов должны соответствовать основной цели дисциплины (при тестировании по определенной теме вопросы должны соответствовать одной из основных задач дисциплины, упомянутых в программе курса); тест должен быть объективным, что заключается в неизбежности выбора правильного варианта ответа различными экспертами, а не только преподавателем, оставившим тест; тест должен быть специфичным, т.е. в тесте не должно быть таких вопросов, на которые мог бы ответить человек, не знающий данной дисциплины, но обладающий достаточной эрудицией; тест должен быть оперативным, что предусматривает возможность быстрого ответа на отдельный вопрос, поэтому вопросы формулируются коротко и просто и не должны включать редко используемые слова, конечно, если эти слова не являются понятиями, знание которых предусмотрено в учебной дисциплине. Перечисленные свойства тестовых заданий обеспечивают необходимый качественный уровень проведения итогового контроля, к которому предъявляются следующие требования. Процесс тестирования должен быть валидным (значимым), когда результаты подтверждают конкретные навыки и знания, которые экзамен подразумевает проверить. Тестирование является объективным, если результаты не отражают мнения или снисходительность проверяющего. Убедиться в надежности тестирования можно, если результаты повторно подтверждены последующими контрольными мероприятиями.
Алгоритм сравнения формул
В настоящее время не существует эффективного алгоритма для сравнения формул в естественном виде. В большинстве существующих систем, для сравнения формул используется либо так называемый статистический метод — в сравниваемые формулы подставляется достаточно большой набор данных, после чего сравниваются результаты вычислений с определенной степенью погрешности, либо анализ формул жестко программируется для каждой конкретной формулы. Если результаты сопоставимы в пределах погрешности, то формулы считаются правильными. При использовании достаточно сложных формул, надежность сравнения таким методом очень низкая. Это препятствует широкому внедрению заданий такого вида в практику тестирования.
Для устранения этой проблемы был разработан метод сравнения формул в естественном виде. При сравнении формул сначала используется метод синтаксического разбора и упрощения, а затем, в случае признания формул различными, дополнительно - статистический метод .
Проводим синтаксический разбор исходной формулы (правильный вариант ответа) и применяем математические правила преобразования (раскрытие скобок).
Получившееся формула преобразуется в дерево операций, причем вершиной дерева является операция, выполняемая последней, сходные операции группируются, а операция возведения в степень преобразуется в последовательное умножение. Производим сортировку ветвей дерева и упрощение. 3. Проводим синтаксический разбор формулы введенной пользователем и применяем математические правила преобразования (раскрытие скобок). 4. Получившееся формула также преобразуется в дерево операций. Производим сортировку ветвей дерева и упрощение. 5. Если число уровней деревьев различное, формулы считаются различными и алгоритм прекращает работу, иначе переходим к шагу 6. 6. Переходим к нижнему уровню дерева исходной формулы. 7. Если текущий уровень корневой - формулы эквивалентны, прекращаем работу. Сравниваем текущий уровень дерева исходной формулы с соответствующим уровнем дерева проверяемой формулы (не строгое равенство, а эквивалентность). Если уровни деревьев различны, формулы считаются различными и алгоритм прекращает работу, иначе поднимаемся на один уровень вверх и переходим к шагу 7.
Упрощение дерева формулы производится исходя из следующих правил: 1. Знак равенства = разбивает формулу на две: 1-ая формула — левая часть до знака = , 2-ая формула - правая часть после знака = . 2. Операция — преобразуется к операции + (знак принадлежит переменной или числу). 3. Операция не может иметь подопераций +\ Если такая ситуация существует, «поднимаем» + над . 4. Операция 4 не может иметь прямых подопераций 7 , \ Если такая ситуация существует - «раскрываем» . 5. Приводим подобные в операции + . 6. Если в дереве разбора существует операция V — она должна быть корнем дерева разбора.
При сравнении двух формул с использованием статистического метода в них последовательно подставляется ряд значений и сравниваются результаты с учетом погрешностей. Если результаты формул во всех случаях одинаковые, формулы считаются равнозначными. Для увеличения достоверности такого сравнения преподаватель может задать область недопустимых значений формулы.
По предварительным оценкам данный метод работает с вероятностью 90-95%. Для повышения эффективности статистического метода преподаватель может задавать область определения переменных формулы. Если область определения задана, в качестве контрольных значений, выбирается ряд случайных чисел вне области определения.
Для оценки эффективности метода были проведены тестовые испытания на наборе из 200 различных формул. Результаты анализа представлены на рис. 10-11.
Средняя точность определения правильности введенной пользователем формулы составляет 95%. В тоже время, точность определения правильности формул, при использовании только статистического метода, на данном наборе данных не превышает 70%. Таким образом, проведенные статистические исследования подтвердили эффективность работы данного алгоритма.
АРМ разработчика курса
Место разработчика предоставляет следующие возможности: 1. Создание и редактирование древовидной структуры учебного курса курса. 2. Создание и редактирование в визуальном режиме гипертекстовых учебных материалов, с возможностью импорта/экспорта из/в форматы txt, html, rtf. 3. Вызов подсистемы создания тестовых заданий. 4. Настройка отчета, формируемого по итогам тестирования 5. Просмотр и анализ статистики тестирований. 6. Анализ существующих в системе учебных материалов, формирование задания на поиск дополнительных учебных материалов в сети Интернет и предоставление пользователю полученного набора ссылок на документы. Подсистема контроля знаний характеризуется следующими особенностями: 1. Реализация основных форм представления тестовых заданий [1], а именно: закрытый (выборочный); открытый (числовой, графический, формульный и текстовый); на упорядочение элементов; на соответствие (обычно, элементов двух множеств), в рамках которых, были определены шаблоны для создания тестовых заданий по техническим и гуманитарным дисциплинам в визуальном режиме без применения программирования. 2. Реализация алгоритмов сравнения формул и оценки графических заданий, позволяющая существенно расширить возможности тестового контроля знаний. 3. Реализация редактора формул, позволяющего работать с большинством формул в естественном виде, построенному по модульному принципу, что легко позволяет расширять его возможности. 4. Реализация методики составления научно-обоснованных тестов [1], а именно: оценивание тестовых заданий и теста в целом, коррекция, на основе результатов анализа, в автоматическом режиме сложности тестовых заданий. 5. Связь с подсистемой классификации и поиска, позволяющая на основе результатов тестирования выявлять пробелы в знаниях и в автоматическом режиме предоставлять список документов для их устранения.
Для организации поиска недостающих учебных материалов в сети Интернет был разработан метапоисковый скрипт на основе технологии CGI, работающий на web-сервере. Его входными параметрами являются: 1) набор поисковых систем и форматов их поисковых запросов, заданный администратором, 2) задание на поиск, сформированное подсистемами АОС и 3) набор термов тематики, в рамках которой ведется поиск, передаваемый АОС,
Поисковый запрос формирует задание на поиск для поисковых систем, определенных администратором системы, а на основании результатов (наборы ссылок на Интернет документы), возвращаемые поисковыми системами, запрашиваются соответствующие документы, анализируются на присутствие термов заданной тематики. После проведения анализа и отсеивания лишней информации, АОС возвращается ссылка на страницу, содержащую сформированный набор документов.
Результаты тестовой апробации подсистемы поиска дополнительных учебных материалов на курсе «Электронное справочное пособие для учителей школ Астраханской области», носивших исследовательский характер, представлены в таблице 4.
В педагогическом эксперименте, который осуществлялся в период с 1 декабря 2003 г. по 8 января 2004 г., приняли участие 185 студентов 2-5 курсов, проходивших подготовку к студенческому информационному десанту. Компьютерное тестирование, целью которого было осуществление входного и выходного контроля, проводилось по дисциплине «Информатика» и носило прикладной и исследовательский характер. Исследованию подлежали два основных пункта: 1. Целесообразность использования данной АОС в процессе обучения. 2. Создание эффективных тестов, оценивающих умения учащихся. Необходимо было решить следующие диагностические задачи: сравнить уровни усвоения учебного материала, определенные посредством применения традиционных форм контроля и опытным путем, посредством использования АОС; оценить качество самих тестов. Результаты экспериментов подтверждают существенное сокращение времени, затрачиваемого преподавателем на составление тестов и проведение контрольных мероприятий. Зачет, проведенный после тестирования, показал высокую степень корреляции результатов обоих форм проверки. Анализ результатов тестирования и расчет среднестатистических тестовых показателей позволил выявить наиболее сложные, неясно сформулированные или слишком простые задания. Это привело к необходимости изменения содержания или формы представления тестовых заданий, а также к решению вопроса о нецелесообразности включения отдельных заданий в тест (Приложение 2).
