Введение к работе
Актуальность и постановка проблемы исследования. Контроль достигнутого обучающимися уровня знаний – одна из наиболее трудоемких и ответственных операций в обучении, связанная с неизбежным привнесением в неё субъективного фактора, т.е. принципиально неустранимого влияния наблюдателя на наблюдаемый объект. Это влияние входит в неизбежное противоречие с концепцией правового государства вообще и необходимой для его создания объективизацией правовых отношений, в частности. В связи с этим в программе реформирования образования в России большое внимание уделяется вопросам проектирования современного информационного обеспечения образовательных систем, основанного на различных инновационных компьютерных технологиях. Это внимание обусловлено ещё и тем, что эволюция социальных процессов во множестве развитых стран, динамика научно-технического развития, пересмотр кардинальных научных концепций, развитие кибернетики (Д.И. Поспелов, Н. Виннер, Д. Кнут, П. Холл и др.) и синергетики (И.Р. Пригожин, Г. Хакен, В.И. Арнольд, Р. Тома, А.А. Колесников и др.), позволяют глубже осмыслить процессы самоорганизации сложных, в том числе и образовательных систем, заставляют искать новые способы освоения и контроля знаний, в реализации которых одно из центральных мест занимают именно новые информационные технологии.
В нашей стране широкомасштабная информатизация в сфере образования стала предметом государственной программы и, наряду с повышением качества, доступности и эффективности образования нашла отражение в концепции модернизации российского образования на период до 2010 года.
Учитывая важность контроля уровня знаний в процессе обучения, в качестве одного из аспектов информатизации образования неизбежно выступает информатизация экспертного анализа, контроля знаний. Необходимость использования информационных технологий для создания новых методов экспертного анализа достигнутого уровня знаний обуславливается также растущим спросом на образовательные услуги в стране и во всём мире.
На сегодняшний день наиболее технологичным способом педагогического контроля является тестирование, которое получает все большее распространение благодаря системам дистанционного образования (СДО), в основе которых лежит концепция открытого образования. Тем не менее, до сих пор продолжаются споры по поводу границ применения тестов в образовательном процессе.
Сторонники тестовых технологий (В.С. Аванесов, В.И. Васильев, Т.Н._Тягунова и др.) в числе достоинств педагогических тестов отмечают не только объективность по сравнению с традиционными методами, но и важное образовательное, развивающее и воспитательное значение. Сторонники традиционных методов (Г.А. Любимов, А.А. Волков, Ф.Н. Савельева, И.А. Зимняя и др.) в числе недостатков тестовых технологий отмечают наличие систематической ошибки в оценке, полученной на основе теста, а также весьма дискуссионное развивающее и воспитательное значение тестов.
Таким образом, комплексное использование тестовых и традиционных форм контроля над учебной деятельностью студентов, в конечном счете, направлено на повышение качества обучения. Все это, в сочетании с необходимостью повышения технологичности процесса педагогической диагностики требует поиска новых методов автоматизированного контроля знаний. Решение данной задачи связано с различными областями знаний (психология и педагогика, информационные системы и теория информации, вопросы эстетики и дизайна) и требует создания моделей измерения уровня знаний и алгоритмов, основанных на нечетких логических выводах.
При этом, высокий уровень культуры мышления и принятие компетентных решений возможны лишь при интегрировании прошлого опыта с достижениями сегодняшнего дня, при овладении огромным потенциалом знаний, накопленных человечеством за последние 40-50 лет. Дальнейшее развитие видится не в жесткой дифференциации способов исследования, а в их интеграции и взаимообогащении. Это требует внесения принципиальных корректировок и в технологию контроля знаний с учетом необходимости сохранения и развития наиболее перспективных форм, методов и структур традиционной системы. При таком подходе основными ориентирами должны стать целостность, междисциплинарность, мировоззренческий и методологический плюрализм, открытость процесса познания.
Таким образом, наличие трудностей при использовании информационных технологий в процессе экспертного анализа и контроля знаний определило проблему данного исследования – обеспечение качества автоматизированного экспертного анализа знаний с использованием информационных технологий и учётом критериев объективности и пропускной способности. Решение данной проблемы составляет цель исследования.
Объект исследования – автоматизация процесса экспертного анализа знаний, предмет – экспертный анализ знаний с применением программных имитаторов искусственных нейронных сетей.
В процессе планирования диссертационного исследования в соответствии с целью, объектом и предметом исследования были выдвинуты следующие гипотезы исследования.
-
Латентный параметр «уровень знаний» испытуемого можно измерить при помощи многопараметрической шкалы отношений, отражающей степень соответствия семантики ответа испытуемого на естественном языке семантике некоторого эталонного ответа для данной дисциплины и уровня подготовки испытуемого; параметры шкалы задаются экспертом, измеряющим уровень знаний.
-
Для измерения степени соответствия семантик ответа испытуемого и эталонного ответа можно использовать формализуемую модель экспертной диагностики, в которой находят взаимосвязь ответ испытуемого на естественном языке и степень соответствия семантик ответа испытуемого и эталонного ответа.
-
Формализация модели предполагает использование программного имитатора искусственной нейронной сети, при этом, параметры нейронной сети должны отражать семантические связи в ответе, обеспечивать надежную работу и способность сети к обобщению.
-
Для проверки достоверности измерений, полученных при помощи этой модели, можно использовать адаптивное тестирование, организованное на основе модели Раша, достоверность измерения уровня знаний в которой подтверждается многократным применением в мировой и отечественной практике тестирования.
Для проверки выдвинутых гипотез были сформулированы следующие задачи исследования:
анализ методов организации экспертного анализа знаний в отечественной и зарубежной системах образования, теоретических подходов и результатов исследований по проблеме повышения качества педагогической диагностики;
анализ критериев качества методов педагогической диагностики и разработка требований к информационной системе педагогической диагностики;
формализация, теоретико-множественный и теоретико-информацион-ный анализ модели диагностики уровня знаний;
разработка и исследование алгоритмов организации процесса экспертного анализа знаний;
разработка и исследование алгоритмов интеллектуальной поддержки принятия решений в процессе экспертного анализа знаний на основе принципов построения искусственных нейронных сетей;
разработка баз знаний, баз данных и программных модулей принятия решений при анализе знаний;
разработка и апробация информационной системы экспертного анализа уровня знаний на основе программных имитаторов искусственных нейронных сетей.
Методологической основой исследования являются системный и функциональный подходы к организации экспртного анализа знаний в традиционной системе образования (Ю.К. Бабанский, Е.Н. Ильин, Б.Г. Ананьев, Ш.А._Амонашвили и др.), принципы разработки содержания тестового контроля (Дж. Раш, А. Бирнбаум, В.С. Аванесов, В.И. Васильев, Т.Н. Тягунова, Н.Г. Малышев, М.Б. Челышкова); нейросетевой принцип построения нечетких интеллектуальных систем (Д. Хебб., У. Мак-Каллок, У. Питс, Ф._Розенблат, Д. Хопфилд, В.А. Терехов, И.Ю. Тюкин и_др.), принципы эволюционного моделирования (Д. Холланд, Д. Гольдберг, В.М. Курейчик, В.В._Курейчик, И.Л. Букатова и др.), алгоритмы и методы трансляции с алгоритмических и естественных языков (Г. Фреге, Д.И. Поспелов, Ю.М. Вишняков, С.И. Родзин и_др.).
Теоретическую основу исследования составляют: теории педагогических измерений и инновационных процессов в образовании (А. Бине, Э._Торндайк, Дж. Раш, А. Бирнбаум, А.В. Непомнящий, В.С. Аванесов и др.); теория нечетких множеств и нечеткой логики (Д.А. Поспелов, А. Кофман, Л.А. Заде, О.А. Мелихов, Л.С. Берштейн и др.), обобщенная теория вероятностей (Дж. Демпстер, У. Шейфер) и математическая статистика, теория принятия решений (Д. Химмельблау, Е.М. Кудрявцев, В.П. Карелин), принципы разработки программных систем (Н. Виннер, Д. Кнут, П. Холл и др.), теоретические аспекты эволюционного моделирования (Ч. Дарвин, Т. Морган., Дж._Холланд, В.М. Курейчик и др.), теоретические аспекты построения искусственных нейронных сетей (Д. Хопфилд, М.Л. Минский, Т. Кохонен, В.А._Терехов, И.Ю. Тюкин и др.).
Для решения поставленных задач были использованы следующие методы исследования: теоретический анализ отечественной и зарубежной литературы по теме исследования, диагностический эксперимент с целью выявления уровня знаний, письменный опрос, тестирование, метод экспертных оценок; статистический анализ данных, методы системного и функционального анализа, методы проектирования информационно-управляющих систем, методы проектирования экспертных систем, методы проектирования интеллектуальных систем, эволюционное программирование, программирование нейронных сетей.
Организация и этапы исследования. Исследование проводилось в период с 2004 по 2007г.г. и включило в себя 4 этапа.
На первом этапе (2004 – 2005 гг.) проводился анализ существующих подходов к организации контроля знаний, традиционных для отечественной и зарубежных систем образования, а также подходов, применяемых в системах дистанционного обучения. Были определены цели и задачи исследования, выбран предмета и объект, выдвинуты основные гипотезы исследования.
На втором этапе (2005 – 2006 гг.) с учетом функций, целей и задач контроля знаний в педагогическом процессе были сформулированы основные требования к информационным системам диагностики знаний. Разрабатывалась теоретико-множественная модель процесса диагностики знаний с использованием теории нечетких множеств и принципов построения сложных информационных систем.
На третьем этапе (2006 – 2007 гг.) был проведен анализ методов разработки интеллектуальных систем, была выбрана архитектура нейронной сети, лежащей в основе системы диагностики знаний, были разработаны алгоритмы обучения нейронной сети.
На четвертом этапе (2007 – 2008 гг.) была в целом разработана система экспертного анализа знаний с использованием имитаторов нейронных сетей, проведено исследование работы системы, по результатам исследований были написаны и опубликованы статьи, оформлялась рукопись диссертации.
Экспериментальная база исследования: Федеральное государственное образовательное учреждение высшего профессионального образования Технологический Институт Южного федерального университета в городе Таганроге (ТТИ ЮФУ). В общей сложности при аппробации системы приняли участие 128 студентов указанного ВУЗа.
Научная новизна заключается в следующем:
на основе комплексного исследования функций, целей и задач экспертного анализа знаний в образовательном процессе систематизированы и обобщены факторы, определяющие качество методов и систем диагностики знаний; определены методологические подходы к информационному обеспечению процесса экспертного анализа знаний в вузе;
разработана теоретико-множественная модель принятия решений, отличающаяся применением концепций сложных систем в образовательных системах, формализацией параметров модели принятия решений в виде нечетких интервалов и лингвистических переменных, получением решения с использованием методов искусственного интеллекта;
разработана информационная система экспертного анализа знаний, включающая в себя подсистему анализа ответов испытуемых на естественном языке, подсистему адаптивного тестирования и статистического анализа результатов контроля для верификации контрольно-измерительного педагогического материала по критериям валидности и надежности.
Теоретическая значимость исследования заключается в том, что в нем: выполнено теоретическое обоснование применения искусственных нейронных сетей к решению актуальной проблемы автоматизации анализа уровня знаний; систематизированы накопленные в отечественной и зарубежной литературе данные по проблеме диагностики уровня знаний; проанализированы подходы к организации контроля знаний в отечественной и зарубежной образовательных системах, системах дистанционного обучения; на основе анализа функций экспертного анализа определены критерии качества информационных систем диагностики уровня знаний; определена связь латентного параметра «уровня знаний» со степенью соответствия семантики ответа испытуемого эталонному ответу на контрольное задание.
Практическая значимость исследования заключается в том, что разработаны модели и алгоритмы, которые могут быть использованы при решении задач квалиметрии качества, поисковых задач, задач кластеризации в процессе педагогического контроля знаний; разработана и апробирована информационная система диагностики знаний, позволяющая организовать процесс педагогического контроля с указанием проблемных сторон в знаниях испытуемых.
Достоверность результатов исследования обеспечивается многократным применением математических моделей и алгоритмов, адекватных целям и задачам исследования; большим объемом экспериментальной выборки; глубоким содержательным анализом результатов процедур контроля знаний.
Апробация работы и внедрение результатов исследования. Результаты исследования тематических выпусках известий ТРТУ «Психология и педагогика» № 68 и «Интеллектуальные САПР» № 73 других научных изданиях.
На защиту выносятся:
результаты анализа подходов к организации контроля знаний, в рамках которого рассмотрены: традиционные методы контроля знаний; американские и западноевропейские методы контроля знаний; методы, применяемые в системах дистанционного образования;
критерии качества систем контроля знаний с точки зрения функций и задач экспертного анализа и контроля знаний, рассматриваемых в контексте современной концепции реформирования образования: пропускная способность, точность оценки, качество обратной связи, направленность на воспитание, развитие и повышение уровня знаний, гибкость по отношению к содержанию контроля, стоимость;
модификация методики обеспечения качества интеллектуальной системы контроля знаний (по критерию точности оценки), основанная на использовании адаптивного тестирования;
формализованная модель контроля знаний, в которой находят связь латентный параметр «уровень знаний» испытуемого и степень соответствия семантики ответа испытуемого семантике «эталонного ответа», отличающаяся формализацией параметров модели принятия решений в виде нечетких интервалов и лингвистических переменных, получением решения при применении методов искусственного интеллекта;
алгоритм перевода простого предложения на естественном языке в семантическую сеть, основанный на использовании регулярных выражений;
структура и алгоритм обучения нейронной сети для оценки уровня знаний на основе ответа на естественном языке;
информационная система оценки уровня знаний с использованием программного имитатора искусственной нейронной сети.
Структура и объем работы. Содержание работы изложено на 183 листах основного текста и 3 приложений, состоит из введения, трех глав, заключения и списка литературы из 198 источников, в том числе 29 на иностранных языках.
