Введение к работе
Актуальность темы диссертации. Актуальность данной работы обусловлена интенсификацией и компьютеризацией сферы образования, а также комплексной автоматизацией процесса обучения. Одним из важных направлений информатизации сферы образования является разработка и применение автоматизированных систем контроля знаний (АСКЗ). В любой образовательной системе особое место занимает контроль -отслеживание усвоения знаний и мониторинг качества обучения.
Повышение эффективности управления образовательным процессом
напрямую связано с внедрением новых образовательных и
информационных технологий в учебный процесс, что увеличивает
потребность в автоматизированных системах, включая
автоматизированные системы контроля знаний, которые позволяют оперативно оценивать знания учащихся. На сегодняшний день тестирование, как одна из наиболее технологичных и объективных форм контроля знаний, повсеместно используется как в процессе обучения, так и в системах мониторинга и оценки качества образования во многих странах мира.
Анализ работ по теории и практике тестирования показал, что информатизация образования позволила существенно модернизировать тестовые технологии контроля знаний и поднять их на качественно иной уровень. Использование новых информационных технологий, во-первых, позволило автоматизировать обработку информации, полученной в результате тестирования, благодаря чему стало возможным массовое тестирование, во-вторых, привело к созданию автоматизированных систем контроля знаний (MOODLE, АСТ-Тест, HyperTest, SunRavTestOfficePro и др.). Такие системы позволяют не только компьютеризировать традиционные бланковые тесты посредством автоматизации процессов формирования теста и предъявления тестовых заданий, но и открывают новые возможности представления предметной области за счёт включения в тест заданий открытого типа. В работе рассматриваются задания второго уровня усвоения, которые содержат открытые по форме вопросы. По классификации Беспалько В.П. к заданиям второго уровня усвоения относятся задания на подстановку, воспроизведение и решение типовых задач.
На задание открытого типа тестируемый дает конструируемый по памяти ответ. Трудность обработки информации в таком ответе заключается в ее неоднозначности, что представляет серьезную проблему при оценивании результатов автоматизированного тестирования, поскольку для адекватного оценивания необходимо предусмотреть все возможные варианты ответа при создании эталонных ответов. Как
правило, оценивание конструируемых ответов осуществляется сопоставлением эталонного ответа и ответа тестируемого на полную идентичность, что зачастую в конечном итоге не совсем корректно отражает уровень знаний тестируемого.
Из изложенного выше следует, что одним из направлений дальнейшего повышения эффективности контрольно-оценочных процедур связано с обработкой информации в системах автоматизированного тестирования, основанной наинтеллектуальном анализе и оценивании конструируемых ответов с применением нечеткой логики и онтологического подхода. Интеллектуальный анализ был применен при обработке информации АСКЗ в работах И.А. Данилова, СВ. Дуплика, И.Д. Рудинского, СВ. Грушецкого, Е.А. Белова и др. Надо заметить, что в данных работах рассматривались в основном тестовые задания на подстановку.
В связи с этим особую актуальность приобретает вопрос совершенствования процесса обработки информации в системах автоматизированного тестирования за счет интеллектуализации анализа и оценивания конструируемых ответов (далее ответов) на задания открытого типав автоматизированных системах контроля знаний.
Таким образом, на основании проведенного анализа определена
проблемная ситуация, сущность которой состоит в противоречии между
практической необходимостью применять в процессе
автоматизированного тестирования задания открытого типа и отсутствием адекватной обработки информации при оценивании получаемых на них ответов.
Исходя из данной проблемной ситуации, решаемая в диссертационной работе научная задача заключается в исследовании процессов обработки информации в системах автоматизированного тестирования по вопросам открытого типа и разработке интеллектуальных способов анализа и оценивания ответов тестируемого.
Объект исследования - обработка информации в системах автоматизированного тестирования.
Предмет исследования - способы интеллектуального анализа и оценивания ответов на открытые по форме вопросы в заданиях второго уровня усвоения в системе автоматизированного тестирования.
Цель работы - совершенствование процесса обработки результатов автоматизированного тестирования за счет интеллектуальной обработки неточной и неполной информации, содержащейся в конструируемых ответах.
Для достижения поставленной цели необходимо решить следующие задачи.
Выполнить анализ существующих моделей, методов и алгоритмов обработки информации при оценивании результатов тестирования, на основе которого определить подход к решению поставленной задачи.
Разработать обобщенную модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах на задания второго уровня усвоения АСКЗ для определения способов решения поставленной задачи.
Разработать способы интеллектуального анализа и оценивания ответов на тестовые задания второго уровня усвоения на основе аппарата нечеткой логики и онтологического подхода.
На основе предложенной модели и способов интеллектуального анализа и оценивания ответов на тестовые задания второго уровня усвоения разработать систему интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании.
Провести вычислительные эксперименты для определения корректности разработанных способов.
Методы исследования базируются на математическом аппарате теории множеств, нечеткой и математической логики, системного анализа, искусственного интеллекта, теории алгоритмов и автоматов.
Для описания понятий и отношений проблемной области использован теоретико-множественный подход. Разработка методов оценивания конструируемых ответов основана на методах искусственного интеллекта (нечеткое регулирование, онтологический подход, инженерия знаний и др.) и теории автоматов. Метод групповых экспертных оценок использован для проверки корректности модели. Системный анализ использован при исследовании предметной области, выработке подхода к решению задачи, определении методов решения задачи.
Достоверность научных выводов и практических рекомендаций основывается на теоретических и методологических положениях, сформулированных в исследованиях российских и зарубежных ученых, таких как А.Е. Алтунин, М.В. Семухин, Г.С. Осипов, Л.А. Заде, Е. Мамдани, Н. Белнап и других, а также на положительном исходе сравнения результатов вычислительных экспериментов и теоретических положений работы.
Научные результаты, выносимые на защиту.
Обобщенная модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах на тестовые задания второго уровня усвоения.
Способы анализа и оценивания ответов на задания типов «Подстановка», «Воспроизведение» и «Типовая задача».
Способ автоматического построения базы нечетких
продукционных правил.
Научная новизна и теоретическая значимость.
Разработана четырехкомпонентная модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах на задания второго уровня усвоения.
Разработаны способы интеллектуального анализа ответов на задания типов «Подстановка» и «Воспроизведение», отличительной чертой которых является возможность распознавать неточный или неполный ответ.
Предложен способ интеллектуального анализа ответов на задания «Типовая задача», новизна которого заключается в том, что анализ хода решения задачи осуществляется вычислительной системой, а не экспертом.
Предложен способ автоматического построения базы нечетких продукционных правил, которые позволяют оценить степень правильности ответа. Особенностью предложенного способа является то, что система нечетких продукций обладает свойствами полноты и непротиворечивости, при условии, что центры ядер нечетких множеств, образующих значения входных и выходных лингвистических шкал, включают элементы действительной порядковой шкалы, равномерно градуированной на интервале [0;1].
На основе предложенной модели и способов интеллектуального анализа и оценивания ответов на тестовые задания второго уровня усвоения разработан прототип системы интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании.
Практическая значимость исследований. Практическая значимость исследования заключается в том, что полученные результаты могут быть применены при разработке интеллектуальных автоматизированныхсистем контроля знаний, включающих оценку знаний студентов по тестовым заданиям открытого типа. Результаты тестирования могут быть использованы для определения уровня подготовленности студентов в различных плоскостях: раздела дисциплины, дисциплины в целом, специальности, факультета, вуза и т.д. и служить основой разработки рейтинговой системы успеваемости учащихся.
Апробация результатов. Основные положения диссертационной
работы докладывались иобсуждались на пятой Международной научно-
технической конференции (Вологда, 2009), всероссийской научно-
практической конференции (Новокузнецк, 2009), седьмой, девятой
идесятой Всероссийской научно-технической конференции
«Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2006, 2008, 2009), научно-методической
конференции «Развитие творческих способностей студента в инновационном обучении» (Улан-Удэ, 2008).
По теме диссертации опубликовано 11 работ. Среди наиболее значимых публикаций: 3 статьи в 2 научно-технических журналах, из перечня рекомендуемых ВАК РФ для публикации научных результатов диссертации на соискание ученой степени кандидата технических наук; 2 статьи в научных и технических изданиях; 5 работ в материалах всероссийских и международных научных конференций; 1 свидетельство об официальной регистрации программ для ЭВМ.
Внедрение результатов. Результаты диссертации используются
вучебной деятельности Восточно-Сибирского государственного
технологического университета и включены в программу учебных
дисциплин «Нечеткая логика» и «Системы искусственного интеллекта»
специальности 010503 «Математическое обеспечение и
администрирование информационных систем». Кроме того, методика создания подсистемы оценивания результатов тестированияиспользуется при разработке интеллектуальной автоматизированнойсистемыудаленного тестирования. Также результаты исследований используются в дистанционном обучении центра информационно-методической поддержки образования Воронежского государственного технического университета для составления методики оценивания знаний обучаемых при удаленном тестировании. Внедрение результатов подтверждено соответствующими актами об использовании результатов.
Структура диссертации. Работа состоит из введения, пяти глав, заключения, списка использованной литературы и семи приложений. Диссертация объемом 143 страницы включает 39 рисунков и 20 таблиц. Объем приложений составляет 47 страниц.
