Содержание к диссертации
Введение
ГЛАВА 1 Исследование и анализ методов представления и контроля знаний в автоматизированных системах управления образовательного назначения 18
1.1 Информация, данные, знания в автоматизированных обучающих системах 18
1.2 Сравнительные характеристики тестирующих систем 33
1.3 Применение экспертных систем в образовании. 36
1.4 Использование нейросетевых алгоритмов для анализа текстовых данных 44
1.5 Выводы 54
ГЛАВА 2 Концепция системы семантической подготовки баз знаний 55
2.1 Процесс контроля знаний в автоматизированных обучающих системах 55
2.2 Структура формализованной базы знаний 64
2.3 Модель представления и контроля знаний 68
2.4 Модель обработки текста с применением синонимических рядоа 87
2.5 Аналитическая модель расчета релевантности текстов 98
2.6 Концепция организации системы семантической подготовки баз знаний на основе используемых моделей 102
2.7 Выводы 112
ГЛАВА 3 Реализация системы семантической подготовки баз знаний 113
3.1 Экспериментальные исследования автоматизированной системы контроля знаний 11З
3.2 Расчет и сравнительный анализ трудоемкости наполнения базы знаний 125
3.3 Методика работы с реализованными программными продуктами 129
3.4 Оценка качества аналитического аппарата тестирующей системы 143
3.5 Оценка качества разработанной системы семантической подготовки баз знаний 160
3.6 Выводы 166
3.7 Дальнейшие направления разработки 167
Заключение 171
Литература 172
Приложение А. Формализованный тезаурус экспериментальной системы контроля знаний 182
- Информация, данные, знания в автоматизированных обучающих системах
- Процесс контроля знаний в автоматизированных обучающих системах
- Модель представления и контроля знаний
- Экспериментальные исследования автоматизированной системы контроля знаний
Введение к работе
Актуальность исследования. Современные потребности экономики и бизнеса в трудовых ресурсах требуют сертификации специалистов как неотъемлемой процедуры, подтверждающей качество их профессиональной подготовки и профессиональной пригодности. При общении друг с другом профессионалы используют термины своей предметной области, не давая им расшифровку. Знание терминологии предметной области и понимание её смысла является важной составляющей профессиональной подготовки специалистов. Ещё на этапе обучения специалисты должны научиться правильно воспринимать и воспроизводить смысл этих терминов [8, 20, 24, 25, 26, 28, 29]. Любой процесс обучения завершается проверкой знаний обучаемого, включающей контроль знания обучаемым терминологии изучаемой дисциплины, предметной области.
Возросшие требования к качеству профессионального образования потребовали создания новых форм учебных и тестовых мітериалов высокого качества, соизмеримого с уровнем знаний экспертов в предметных областях [13, 14, 15].
В то же время, изменяющиеся концепции естествознания, отдельных предметных областей неизбежно приводят к семантическим изменениям терминологической базы - тезауруса предметной области [3, 4, 16, 17]. Отсюда следует вывод о необходимости корректировки учебного материала, дидактического, лекционного, и, соответственно, баз знаний автоматизированных обучающих систем [52].
В доступной автору литературе практически отсутствует описание механизмов автоматизированного воздействия на методику и содержательную часть обучения. Большая часть исследователей считает методологическим приёмом управления процессом обучения изменение «степени сложности» учебного материала либо изменение последовательности его предъявления для изучения, при этом учебный материал считается статическим, неизменяемым. Практически не встречается описание воздействия обучающей системы на содержательную часть учебного материала, изменение дидактического материала либо влияние на лекционный материал преподавателя. Иными словами, описываются механизмы воздействия на модель обучаемого, и никогда-на модель предметной области [7, 33, 34, 35].
Таким образом, необходимо автоматизировать процесс контроля знаний терминологии предметной области путем разработки моделей механизмов автоматизированного воздействия на содержательную сущность (контент) информационных ресурсов автоматизированных обучающих и тестирующих систем- баз знаний [10, 11, 74].
В связи с переходом самого процесса обучения (и сертификации) на всё более современные информационные технологии - дистантное обучение, мультимедийное и т.д., естественно возникает проблема оценки качества проведённого обучения и формирования результата сертификационных испытаний [40, 52]. Качество автоматизированных образовательных систем наиболее важно для дистантного образования, так как эти системы, с одной стороны, являются технологической основой процесса обучения, а с другой - подчас являются незаменимым средством контроля и самоконтроля знаний обучаемого [63]. Системы контроля знаний занимают особое место среди автоматизированных систем обучения [64]. Наибольшую сложность для автоматизации представляет анализ ответов на задания открытого типа, ответы на которые должны быть даны в виде произвольного текста, например, задания на знание тезауруса, требующие дать определение термина [69, 71, 72].
В настоящее время задания открытого типа являются составной частью большинства тестовых заданий автоматизированных систем контроля знаний (АСКЗ). Однако во всех этих системах оценка правильности текстового ответа основана на методе абсолютного совпадения ответа с одним из эталонных вариантов текста. При этом в ряде систем ответ засчитывает как правильный либо частично правильный, в других ответ считается правильным при совпадении хотя бы с одним из эталонов, хранящихся в базе данных системы. Предложение считается в этих системах единым целым, неделимым и неизменяемым эталоном ответа [72, 73].
Характерной чертой естественных языков является синонимия понятий (терминов). Поэтому для реализации АСКЗ, имеющей возможность анализа ответов на задания открытого типа, важное значение имеет учет синонимии понятий, а следовательно, актуальны вопросы учета синонимии терминов при анализе ответов на задания открытого типа [31, 39,41].
В настоящее время все большее значение приобретают модели количественной оценки естественно-языковой информации по различным критериям [5, 17, 28, 53, 56, 57, 59, 60, 61]. Большое значение для автоматизированных систем управления образовательного назначения (АСУОН) имеют модели оценки ответов, представленных в виде свободного текста произвольной длины. В диссертационной работе предлагается использовать модель вычисления показателя синонимической близости двух текстовых выражений, основанную на учете коэффициентов синонимии терминов предметной области, для автоматизированного наполнения баз знаний [65, 75].
Внедрение информационно - коммуникационных технологий в среду образования вызвало необходимость изменения не только методик и методологии обучения и контроля знаний, но и технологий представления, формирования, накопления, хранения и извлечения знаний. К настоящему времени основным технологическим носителем знаний являются базы знаний (БЗ), сформированные в электронные библиотеки [7, 28, 34, 35].
При этом основной формой хранения знаний остаётся слабо формализованный печатный текст, что, естественно, должно рассматриваться как основной недостаток построения контента автоматизированных систем управления образовательного назначения (АСУОН).
Вместе с тем, корректировка методических и дидактических материалов в соответствии с современными требованиями к качеству профессиональной подготовки, в подавляющем болышнстве случаев не соответствует имеющимся в распоряжении преподавателей и методистов возможностям информационных технологий, а используемый учбными заведениями набор приёмов методического воздействия на качество обучения достаточно ограничен. Вузы испытывают острую потребность в эффективном автоматизированном инструментарии методического сопровождения учебного процесса для проведения адекватных изменений формы и структуры учебного и тестового материала [70, 74].
Так, например, доктор педагогических наук їудинский И.Д. прямо указывает на «необходимость выработки новых, основанных на современных информационных и коммуникационных технологиях, подходов к организации и методическому обеспечению тестирования знаний, связанных с распределением функций и обязанностей между такими участниками этого процесса, как эксперты (наиболее квалифицированные специалисты, осуществляющие составление и верификацию тестовых заданий и вариантов ответов на них), организаторы тестирования (управленцы и методисты, обеспечивающие накопление и распределение пакетов тестовых заданий, а также сбор, накопление и анализ информации о результатах контроля знаний) и преподаватели-технологи, которые непосредственно проводят тестовый контроль знаний обучаемых» [51].
В то же время, подавляющее большинство технологий поиска и извлечения знаний из баз знаний основано на статистическом аппарате обработки текста как данных, без учёта его смыслового содержания [53, 59, 76, 78]. Однако как показывает практика, оснозную роль играет не количество слов и частота их употребления, а то, как слова расставлены и какую смысловую нагрузку они несут, то есть семантика текста [66, 72]. Это вызывает необходимость разработки новых форм, методов и технологий представления учебных материалов (информационных, дидактических, справочных, тестовых, и т.п.) [41, 74].
Одним из основополагающих свойств семантики является синонимия слов и понятий. Приложение свойства синонимии к анализу текстов ответов на тестовые задания открытого типа является достаточно новой технологией контроля знаний в автоматизированных системах управления образовательного назначения. В работе предлагается использовать модель вычисления показателя синонимической близости двух текстовых выражений, основанную на учете коэффициентов синонимии терминов предметной области. Базы знаний для такой технологии контроля знаний должны быть основаны на той же технологии - синонимии слов и понятий. В таком случае, формализация существующих текстовых баз знаний должна производиться также на основе синонимических рядов. Формализованные базы знаний должны строиться на основе количественных показателей синонимии - так называемых коэффициентах синонимической близости между словами и понятиями [67, 68].
Существующие системы управления в сфере обучения и контроля знаний сочетают в различной степени следующие недостатки:
1. Знания хранятся в основном в виде текста, представляющего собой электронную копию печатного текста, то есть слабо формализованную структуру.
Технологии поиска и предъявления знаний основаны на статистической обработке текста как данных, без учёта смыслового содержания.
Практически полностью отсутствует аппарат формализации синонимических рядов до уровня количественных показателей, что снижает эффективность использования семантических методов анализа, усложняя обработку с использованием информационно — коммуникационных технологий.
Используемые методы контроля текста основаны на полном совпадении текста ответа с эталонными формулировками, заложенными в системе, что является сильнейшим методологическим недостатком этих систем, поскольку исключает возможность анализа произвольного текста, который может быть дан тестируемым в качестве ответа.
Следствиями вышеуказанных недостатков являются: низкая методологическая возможность практически всех существующих автоматизированных систем контроля знаний в части анализа свободного текста произвольной длины; практически полное отсутствие разработанных синонимических рядов, формализованных до уровня количественных показателей синонимии.
На основе вышесказанного можно сформулировать противоречие,которое породило научную задачу исследования: с одной стороны очевидно, что использование методов контроля произвольного текста, который может быть дан тестируемым в качестве ответа, возможно и настоятельно необходимо, так как способствует повышению качества функционирования автоматизированных систем управления образовательного назначения; с другой стороны, существует недостаточное методологическое обеспечение для создания эффективных систем контроля знаний, включающих задания открытого типа, требующие развёрнутого ответа в виде свободного текста произвольной длины, а также отсутствуют инструменты для формализации сишнимических рядов до уровня количественных показателей.
Все это обусловливает актуальность темы диссертационного исследования.
Таким образом, актуальность исследования определяется: требованиями, предъявляемыми на современном этапе к содержанию и качеству учебных и тестовых материалов для подготовки специалистов в различных областях профессиональной деятельности; необходимостью повышения качества подготовки специалистов к их реальной профессиональной деятельности на рабочих местах; стремлением к формированию технологии подготовки специалистов, обеспечивающей профессорско - преподавательскому составу вузов возможность самостоятельно проектировать и реализовывать обработку информации по профессиональным потребностям.
Настоящее исследование выполнено в развитие направлений, обозначенных в заключительной главе диссертационного исследования Шарова Д.А. [69, с. 141], а именно, связанных с формированием словарей и тезаурусов различных предметных областей, автоматизацией сбора и обработки экспертной информации, и в конечном счете, автоматизацией процессов контроля знаний с применением заданий открытого типа.
Объект исследования - автоматизированные системы управления образовательного назначения, предназначенные для контроля знаний в рамках предметной области.
Предмет исследования - методика формирования и представления знаний в структуре информационных ресурсов автоматизированных систем управления образовательного назначения; модель контроля знаний с применением синонимических рядов.
Цель исследования - повышение качества контроля знаний в автоматизированных системах управления образовательного назначения путём разработки методического обеспечения формирования контента информационных ресурсов, в частности, формализованной базы знаний предметной области.
В соответствии с целью определены следующие задачи исследования:
На основе анализа научно-методических информационных источников выявить современные концепции и методы построения автоматизированных систем управления образовательного назначения в целом, а также структуры и методы формирования информационных ресурсов.
Разработать и теоретически обосновать методы формирования контента информационных ресурсов автоматизированных систем управления образовательного назначения на основе синонимических рядов.
Разработать схему и алгоритм работы системы, обеспечивающей формирование и поддержку контента информационных ресурсов автоматизированных систем управления образовательного назначения.
Разработать прототип системы для автоматизации процесса контроля знаний терминологии на основе предложенных методов и моделей.
Проверить опытно-экспериментальным путем качество функционирования разработанного прототипа системы, реализованного на предложенных методах и моделях.
Методологической основой исследования явились работы в области общей теории систем: Берталанфи Л., Бусленко Н.П., Волкова В.Н., Денисова А.А. и др.; информационных систем управления:
Анфилатова B.C., Емельянова А.А., Кукушкина А.А., Мартина Д., Мясникова В.А., Титоренко Г.А., Якубайтиса Э.А.; информатизации образования: Накабаяши К., Брусиловского П.Л., Роберт И.В., Козлова О.А., Линьковой В.П.; теории и методики психологического тестирования и педагогических измерений: Анастази А., Аванесова B.C., Киншука В., Рудинского И.Д.; теории экспертных и интеллектуальных систем: Левина Р., Бартоса Ф.Дж., Хопфилда Дж., Кохонена Т., Галушкина А., Горбаня А., Шумского С.А.; технологий и методов информационного гоиска и семантического анализа Абросова В.И., Ландау Д., Фельдмана Р., Добрынина В.Ю., Сегаловича И.В., Солтона Дж., Салливана Д. и др.
Методы исследования: методы построения и анализа сложных систем, в том числе систем управления, экспертных и интеллектуальных систем; методы формализованного представления знаний (аналитические, статистические, логические, графических представлений и др.); методы, направленные на активизацию использования интуиции и опыта специалистов-экспертов (генерации идей, структуризации, экспертных оценок, и др.); методы математического моделирования, інформационного поиска, семантического анализа, педагогических измерений; анализ научно-методических информационных ресурсов и др.
Научная новизна и теоретическая значимость исследования заключается в следующем:
Сформулирован и обоснован метод формирования контента информационных ресурсов автоматизированных систем управления образовательного назначения на основе синонимических рядов;
Разработаны схема и алгоритм работы системы, обеспечивающей формирование и поддержку контента информационных ресурсов автоматизированных систем управления образовательного назначения на основе синонимических рядов;
Построен прототип системы для формирования количественных показателей синонимии терминов предметной области.
Практическая значимость исследования состоит в расширении функциональных возможностей автоматизированных систем управления образовательного назначения в части анализа свободного текста произвольной длины ответа на задания открытого типа.
Достоверность результатов исследований основывается на теоретических положениях, полученных с использованием апробированных современных достижений фундаментальных и прикладных наук; на экспериментальном подтверждении адекватности используемых при исследовании моделей; на успешной практической апробации решений, полученных на оснэве теоретических разработок.
Апробация результатов исследования проводилась на заседаниях Учёного Совета Института информатизации образования Российской Академии образования, на конференциях: 1-я Международная научно-практическая конференция по профильному обучению «Развитие системы профильного обучения в России и за рубежом. Создание единой образовательной среды профильного обучения на основе использования информационных технологий» (г.Москва, 2005 г.), Международная научно-техническая конференция «Информационно-вычислительные технологии и их приложения» (г.Пенза, 2005 г.), 2-я Международная научно-практическая конференция «Интеллектуальные технологии в образовании, экономике и управлении ИТОЭУ-2005» (г.Воронеж, 2005 г.), VII Международная научно-методическая конференция преподавателей вузов, ученых и специалистов «Высокие технологии в педагогическом процессе» (г.Н.Новгород, 2006 г.).
Организация исследования осуществлялась в несколько этапов. В 1999 - 2004 гг. проводились сбор и анализ информации по автоматизированным системам управления образовательного назначения, реализующих тестирование на основе заданий открытого типа; выжление механизмов анализа ответов; сравнение и анализ программного обеспечения и организации баз знаний. В 2004 году разработан ряд методов формирования контента автоматизированных систем управления образовательного назначения. В 2004 году разработана и реализована модель системы для автоматизации процесса контроля знаний терминологии на основе синонимических рядов В 2005 году разработана имитационная модель механизма, обеспечивающего формирование и поддержку контента информационных ресурсов автоматизированных систем управления образовательного назначения на основе синонимических рядов.
Внедрение результатов исследования осуществлялось в процессе создания и функционирования автоматизированной системы управления образовательного назначения при решении практической задачи-проведении тестирования студентов Пензенского государственного педагогического университета им. В.Г. Белинского на знание терминологии предметной области «Информатика» [66, 69]. Создан и внедрен пакет прикладных программ для проведения тестирования, обработки данных тестирования и организации семантических баз знаний - синонимических рядов и числовых показателей синонимии для части терминов предметной области «Информатика». Разработанный пакет прикладных программ впервые был. представлен на Международном конкурсе-конференции «Технологии Microsoft в теории и практике программирования», проходившем в 2004 г. в Санкт-Петербурге [67, 71, 73].
Положения, выносимые на защиту:
Метод формирования контента информационных ресурсов автоматизированных систем управления образовательного назначения на основе синонимических рядов.
Схема и алгоритм работы системы, обеспечивающей формирование и поддержку контента информационных ресурсов автоматизированных систем управления образовательного назначения на основе синонимических рядов.
Прототип системы для формирования количественных показателей синонимии терминов предметной области.
Структура диссертации: Диссертация состоит из введения, трех глав, заключения, библиографического списка и приложений. Диссертация содержит 200 страниц машинописного текста, из них 171 страчица -основной текст, 21 рисунок, 21 таблицу, библиографический список содержит 86 наименований (7 источников на английском языке) и 3 приложения.
Основные результаты работы отражены в 8 публикациях по теме диссертации.
Во введении обоснована актуальность проблемы, сформулированы цель и задачи исследования, определены объект, предмет и методы исследования, дана общая характеристика работы.
В первой главе «Исследование и анализ методов представления и контроля знаний в автоматизированных системах управления образовательного назначения» рассмотрены современные концептуальные подходы к разработке автоматизированных систем управления образовательного назначения; описаны технологии и методики разработки информационных систем на основе Интернет-технологий; рассмотрено образование как объект управления; проведён анализ научно-методических информационных материалов по проблеме исследования; выявлены особенности функционирования автоматизированных систем управления в области образования; выявлены противоречия между существующими системами управления в образовании и информационными потребностями потенциальных пользователей подобных систем.
Во второй главе проведено научное исследование по формированию и обоснованию методических аспектов создания и сопровождения моделей представления и контроля знаний на основе синонимических рядов, а также по реализации автоматизированной системы управления образовательного назначения, основанной на предложенных моделях.
Выполнено описание общетеоретической модели представления и контроля знаний терминологии предметной области. Данная модель основана на предположении, что определение термина предметной области может быть дано учащимися не только в виде вполне однозначной последовательности слов языка предметной области, но также и с использованием слов-синонимов, отсутствующих в эталонном определении данного термина. Модель предназначена для того, чтобы установить соответствие между ответом учащегося и эталонным определением одного термина предметной области, представленными с использованием слов-синонимов.
Третья глава посвящена описанию апробации, оценке качества и анализу результатов функционирования автоматизированной системы управления образовательного назначения, реализующей контроль знаний. Описаны: процесс наполнения базы знаний системы, процесс семантического анализа как реакция системы на ввод ответа, приведена обобщенная схема и процесс наполнения базы знаний, приведены результаты экспериментальной проверки автоматизированной системы контроля знаний на группе обучаемых в Пензенском государственном педагогическом университете им. В.Г. Белинского.
В заключении подводятся итоги исследования.
В приложении приводятся словарь термов предметной области; определения терминов, использованных в разработанной системе; выдержки из конструкторской документации на систему семантической подготовки баз знаний.
Информация, данные, знания в автоматизированных обучающих системах
Философия позиционирует знания как накопленный конкретным индивидом опыт (Энциклопедический словарь Ф.А. Брокгауза и И.А. Эфрона). Знания - суть представление, отражение в сознании человека опыта (информации, данных, сведений) об оіружающем мире -объективной реальности. Знания (механистический подход) хранятся в виде данных и передаются (перемещаются) в форме сообщений. Данные физически существуют только при условии наличия устройства хранения (механизма, физической среды) - памяти, и статически находятся на устройстве хранения в физической (материальной) форме - массы либо энергии: печатный текст, намагниченные участки какого-либо материала, и т.п. Таким образом, данные суть материальная субстанция, физически существующая в форме массы либо энергии, занимает какой-либо пространственный, массово—энергетический объем (см., например, [9]). Данные могут быть измерены «количеством информации». Сообщение - суть данные, находящиеся в процессе перемещения от одного устройства хранения к другому. Существует временно (динамически), лишь для реализации процесса перемещения данных. Существует так же, как и данные, в материальной форме (массы либо энергии). Следовательно, также подлежат измерению. Сообщение - суть данные, преобразующиеся из одной физической формы (материального состояния, массово - энергетического состояния) в другую; из одного пространственно- фазового состояния в другое. Данные (информация) приобретают статус знаний только в сознании индивида. Все знания человека выражаются посредством слов. Имея в своем распоряжении определенное количество слов, человек может выразить ту или иную свою мысль, т.е. передать свое знание другому человеку.
Слова, как общеизвестно, обладают свойством смыслового содержания (семантикой). Одной из семантических характеристик слов является синонимия, т.е. схожесть смысла двух слов. Чем больше слов -синонимов знает человек, тем точнее он может выразить свою мысль, передать своё знание. Термины «данные», «сведения», «сообщение», «знания» практически во всех источниках и публикациях, стандартах и иных (в том числе и нормативно - правовых) документах, имеют объединенное наименование-информация. Термин информация ведет свое происхождение от латинского слова informatio, означающего «разъяснение, изложение, осведомленность». Семантика слова информация в современном изложении означает «содержание, содержимое, суть, сущность». Таким образом, данные, сведения, сообщения являются различными по терминологической и физической сущности формами существования информации. Сведения инкапсулируются: 1. В информацию, непосредственно воспринимаемую человеком; 2. В сообщения, передаваемые от одного человека к другому, либо от одного средства хранения к другому, либо от человека к средству хранения, либо от средства хранения к человеку. 3. В данные, располагающиеся на средствах хранения. Наука «Теория информации» прежде имела название «Теория сообщений» и разрабатывалась как техническое (физическое) описание процессов переработки и перемещения информации в технических системах (устройствах хранения и каналах связи). В дальнейшем все исследователи перенесли этот чисто механистический подход и на знания, подразумевая под этим именно информацию (сведения, данные, сообщения).
Согласно современной количественной теории информации мокет быть вычислена мера устранения неопределенности (так называемой «энтропии») сведений (данных) на различных концах канала (линии связи). Эта мера есть количество полезной информации, содержащейся в сообщении. Таким образом, количеством информации можно, по моему мнению, измерить данные и сообщения, содержащие какие-либо сведения, но никак не знания. Для знания необходимо разработать свою метрологическую основу, возможно базирующуюся на количественной теории информации (но это не единственный вариант). Такой основы пока основы пока нет. На данном этапе развития науки, в том числе и педагогической, измерение знаний индивида осуществляется методами экспертных оценок. Измерение коллективного знания - информации - пока производится в объемах библиотек (томах книг) и машинных хранилищ информации (байтах - при двоичном способе представления информации). Количественная теория информации - чисто прагматическое описание процессов движения, переноса знаний. Однако, ее разработка, развитие и применение привели к появлению того, что мы сейчас называем «информационным обществом». Как бы просто, примитивно ни описывались процессы переноса знаний, они все же были описаны, и их приложение вылилось в создание машин, до сих пор называемых «вычислительными», поскольку оперируют не со знаниями как с сущностью, а с «данными», то есть с их «электромагнитным отображением», представляющим собой совокупность колебаний электромагнитных полей в различных физических средах.
Таким образом, любые средства вычислительной техники (СВТ) суть аппараты для практической реализации достижений количественной теории информации. Все нечеткие системы, описанные в научной литературе, так или иначе имеют некое шкалирование, то есть имеют своим отображением определенное множество числовых значений. Это свидетельствует о том, что состояние современной науки не позволяет рассматривать любые предикатные формы (в том числе лингвистические) вне их привязки к числовым шкалам. Отсюда можно сделать предварительно предположение о метрологической основе любого выражения - значения (константы), формулы, предикаты, высказывания, и т.п. Таким образом, распространив подобное предположение на область слов - синонимов, можно выдвинуть гипотезу об измерении некоего «расстояния» между словами - синонимами, то есть о наличии некоторого показателя синонимической близости, обладающего свойствами измеряемой величины, что позволяет распространить на синонимические ряды (ряды синонимов) принципы измерений (метрологии).
Процесс контроля знаний в автоматизированных обучающих системах
Следуя приведенной в [69] схеме, в начале курса обучения на основе рекомендаций Министерства образования и науки РФ преподавателем составляется план проведения занятий в соответствии с отведенным количеством часов для лекций, лабораторных и практических работ. Этот план не изменяется до поступления новой директивы, и занятия проводятся в соответствии с ним без отклонений ежегодно по одной схеме. В этой схеме выделяются три этапа: 1. Получение теоретических знаний на основе лекций, учебных пособий, стендов и макетов; 2. Получение практических навыков в ходе работы с действующими макетами на практических и лабораторных занятиях; 3. Контроль и проверка полученных знаний и навыков. Этап включает в себя контрольные работы, вопросники по теоретической части курса, тесты на применение практических и теоретических навыков и в завершение курса-зачет или экзамен. Необходимо отметить, что, следуя приведенной методике обучения, методические материалы формируются лишь один раз в начале курса обучения и в процессе обучения не корректируются. Сложность процесса обучения в целом заставляет преподавателей чередовать этапы теоретической подготовки, практических занятий и промежуточной проверки знаний. Результаты, полученные на этапе промежуточной проверки знаний, как правило, служат для оценки усвоения пройденного материала каждым обучаемым в группе, что может быть использовано для оперативной корректировки методики обучения.
Известно также, что наиболее современные автоматизированные обучающие системы основываются на использовании принципов экспертных систем и баз знаний. В базе знаний, в соответствии с принятой в ней методологией классификации, располагаются соответствующим образом упорядоченные экспертные сведения об объектах познания, реально образующие совокупность знаний по определенным предметным областям. Применительно к нашей тестирующей системе экспертная база знаний будет состоять из тезауруса (толкового словаря) предметной области «Информатика», составленного на основании отбора экспертных формулировок конкретных терминов.
Специфика подготовки специалиста любого профиля деятельности требует создания определенной модели обучения. Модель обучения, как правило, представляет собой совокупность модели обучаемого, модели (базы знаний) предметной области (ПО) и модели концепции (содержания) обучения. Рассматривая такие области знаний, как математика, информатика, физика и другие естественнонаучные дисциплины, мл сталкиваемся с четко определенными понятиями и правилами ПО, которые характеризуются высокой степенью формализации. Подобные области знаний описывают набором определений, понятий и правил, устанавливающих взаимосвязи между ними.
Основной особенностью автоматизированных систем обучения является их адаптивность, т.е. оптимизация процесса обучения. На сегодняшний день не существует универсальной методики обучения, поэтому преподаватель выбирает наиболее приемлемый способ обучения исходя из собственного опыта, что не всегда бывает оптимально. Здесь в качестве критерия эффективности рассматривается полнота и прочность усвоенных обучаемым знаний, уровень изучения теоретического материала, корректность усвоения обучаемым основополагающих понятий (терминов, определений) изучаемой предметной области.
Обучение как управляемый процесс укладывается в схему управляемого переноса знаний от обучающего к обучаемому. В условиях электронной поддержки учебного процесса существенно понятие совокупности знаний субъекта в его сознании и знаний в имеющихся в его распоряжении информационных носителях (базах и банках данных и знаний и т.д.). Любая схема управления обучением выстраивается исходя из цели обучения, образующей дерево целей - корень схемы управляемого процесса обучения. Входом схемы является модель требуемых знаний обучаемого с деревом целей в качестве своего коренного компонента, выходом - модели текущих знаний обучаемого, формируемые в его сознании и подкрепляемые электронным сопровождением в результате выполнения заданий, установок и пояснений обучающего, а также в результате поиска, накопления, классификации и осмысления информации согласно заданным методикам. Эти задания и установки выполняют роль управления, а вся совокупность входа, выхода и управления схемы переноса знаний образует инфологическую модель для построения обучающей системы. Требует дополнительного разъяснения функция управления в указанной схеме. Здесь управление происходит по принципу обратной связи: учебные задания, разъяснения, указания вырабатываются, предоставляются и корректируются системой обучения на основе сравнения и анализа модели требуемых знаний и модели текущих знаний обучаемого. Последняя формируется и отображается в системе обучения на основе контроля результатов выполнения обучаемым учебных заданий путем их сравнения с правильными результатами (тестирование, проверка контрольных работ). Таким образом, контроль есть не только способ оценки достигнутых знаний, но является также средством для выстраивания обратных связей в процессе обучения, что необходимо для достижения цели обучения. Именно через такой механизм взаимодействия выстраиваются оптимизируемые модели обучения, где инфологическая модель отвечает условиям наибыстрейшего и наименее трудоемкого достижения цели обучения и достижения устойчивых представлений, знаний и навыков. Обучение как управляемый по принципу обратной связи процесс, состоящий из операций, носит дуальный характер, поскольку в его ходе не только формируются знания обучаемого, но и реализуется сам процесс обучения, что в конечном итоге определяется требованиями, предъявляемыми к знаниям обучаемого, мере информированности, их начальным состоянием, способности, и желания обучаемого.
Модель представления и контроля знаний
Несмотря на сделанные выше оговорки по формализации и ограничениям предлагаемой к рассмотрению модели, делается еще ряд упрощений с целью обеспечения возможности практической реализации теоретической модели приемлемыми вычислительными средствами, и соответственно, достижения практического результата при тестировании обучаемых по данной предметной области. К таким упрощениям относится, в первую очередь, условие одномоментного рассмотрения фактической формулировки термина -ответа обучаемого. Иными словами, практически будет реализован механизм оценки текущего ответа обучаемого, по возможности, в реальном масштабе времени. Таким образом, семейство поверхностей D фактически сводится к одномерному массиву d, представляющему собой последовательность номеров вхождений термов множества Т в фактический ответ обучаемого. Устранение данного упрощения возможно только в процессе практической эксплуатации предлагаемой подсистемы контроля текстового ответа путем накопления в базах данных соответствующих сведений по группам обучаемых и временным параметрам их тестирования.
Следующим, и последним, упрощением является исключение из рассмотрения вариантности эталонных формулировок. Иными словами, при реализации подсистемы будет учитываться лишь единственная эталонная формулировка каждого термина, входящего в коллекцию, данная конкретным экспертом-преподавателем. Данное требование обеспечивает дополнительную гибкость подсистемы в плане адаптации к альтернативным научным мнениям преподавателей и соответствующих научных школ. Таким образом, предложенная к рассмотрению модель многомерного куба для практических целей может быть упрощена до трехмерного куба, ребрами которого являются: множество термов Т словаря предметной области, входящих в эталонные (множество Тэ) и возможные фактические (множество Тф) формулировки, а также множество терминов (коллекция) С тезауруса предметной области. Гранями трехмерного куба являются: плоская поверхность номеров вхождений термов в эталонные формулировки терминов В, данные экспертом; инвариантная поверхность фактической формулировки терминов D, данной обучаемым в ходе тестирования в текущий момент времени; плоская поверхность синонимических отношений термов тематического словаря W. Кроме того, в работе использованы следующие ограничения: 1. Опускаются вопросы формирования конкретных словарей термов по предметным областям, формирования серий синонимов в рамках предметной области и составления тезаурусов, ввиду имеющихся в открытой печати результатов исследований, выполненных другими учеными и пригодных для целей настоящего исследования. 2. Не является прямой задачей настоящей работы назначение числовых показателей синонимии терминов, так как это является прерогативой экпертов. 3. Не рассматривается вопрос реализации подсистемы оценивания ответа ввиду иной направленности работы. 4. Не рассматриваются вопросы контроля знаний, не связанные с вводом естественно-языковой текстовой информации. Реализация анализа таких тестовых заданий, например, задач множественного или одиночного выбора, решается существующими методами контроля знаний. 5. Не рассматриваются вопросы сохранения для дальнейшего использования информации о результатах тестирования в данном исследовании, ввиду функциональной принадлежности их к работе автоматизированной системы, обеспечивающей техническую и технологическую организацию информационных потоков. При необходимости базы данных автоматизированной системы контроля знаний могут быть доработаны в плане расширения, и дополнены полями для хранения таких результатов. 6. Для целей нашей работы терминологическая база ограничивается конечным множеством термов, достаточным для демонстрации правомочности и корректности предлагаемых моделей. Используя диаграммы Эйлера-Венна, можно условно представить язык в виде некоторой части пространства (см. рис 2.2), каждая точка которого представляет собой определенную лингвистическую единицу (слово, предлог, знак и т.п.).
Учитывая тот факт, что общее количество слов и словоформ в любом естественном языке ограничено в силу общих объективных принципов построения самого языка, можно утверждать, что с математической точки зрения каждое такое множество, равно как и его подмножества, является конечным множеством, т.е. имеющим конечное число составляющих его элементов. В то же время, лингвистическое значение предложения представляет собой отношение некоторых семантических компонентов, отвлеченных одновременно от значения структурной схемы предложения и от лексических значений тех слов, которые заняли позиции ее компонентов и распространили собою предложение [23]. В предложении формируется новое, более конкретное, чем семантика его образца, но тоже абсрактное значение, которое далее будет называться семантической структурой предложения. Семантическая структура предложения - это его абстрактное языковое значение, представляющее собою отношение семантических компонентов, формируемых взаимным действием грамматических и лексических значений членов предложения.
Экспериментальные исследования автоматизированной системы контроля знаний
В результате проработки теоретического материала, приведенного в главах 1 и 2 настоящей диссертации, была предложена схема системы контроля знаний [69], реализующая в том числе и теоретические положения настоящего исследования. Предлагаемая схема системы соответствует общепринятым принципам информационного поиска и обработки текстовых данных, основанным на векторной модели текста Солтона, механизме стемминга (русскоязычная версия алгоритма Портера), смысловой конкатенации термов, ранжировании мер близости по классам принадлежности понятий предметной области (в упрощенном виде- кластеризации). В состав автоматизированной системы контроля знаний входят система контроля корректности текста и система семантической подготовки баз знаний, каждая из которых в свою очередь состоит из нескольких модулей, включающих набор взаимосвязанных процедур, объединенных по принципу общего функционального назначения. Модуль «Конвертор №1» выполняет функцию формализации входного текста, т.е. приводит его виду, удобному для дальнейшей обработки (выделение основ слов, отбрасывание стоп-слов и т.д.). Модуль «Конвертор №2» выполняет функцию формализации текста эталонной формулировки и функционально схож с конвертором №1. Далее, текст, полученный на выходах конвертора №1 и конвертора №2, поступает в модуль «Семантический компаратор», который производит сравнение эталонной и фактической формулировок и выдает количественные характеристики их взаимного соответствия. Выходные данные семантического компаратора могут быть использованы для оценивания ответа обучаемого и формирования методических воздействий.
В качестве основного звена системы используется семантический компаратор, реализованный в виде программного модуля, в основе аналитического аппарата которого лежит формула (2). Схема информационных потоков разработанной системы представлена на рис. 3.1 Схема информационных потоков в разработанной АСКЗ Для целей серийной эксплуатации системы необходима разработка механизма, обеспечивающего автоматическую настройку коэффициентов синонимии терминов. Для ее решения целесообразно использование методов экспертных оценок, поскольку в настоящее время только эксперты являются непосредственными носителями знаний, способными провести формализацию синонимических рядов. Таким способом, используя экспертные знания, могут быть составлены таблицы синонимии терминов на этапе заполнения базы знаний предметной области. Это связано с тем, что методы экспертных оценок лучше остальных зарекомендовали себя при решении задач формализации слабо структурированных знаний, классификации и кластеризации недоопределённых и слабо различимых данных. Появление разработок, основанных на аппарате экспертных оценок, позволяет сделать определенный вывод не только о возможности, но и о целесообразности использования такого аппарата для целей формализации и извлечения отдельных фрагментов текста из разнотипных баз знаний, включая информационно - коммуникационные сервисы поиска синонимов, и определения числовых показателей их взаимной связи (коэффициентов синонимии). База знаний разработанной системы представляет собой файл в формате электронной таблицы, в котором хранятся следующие данные: перечень терминов предметной области, тезаурус предметной области, синонимические ряды и числовые показатели синонимии терминов предметной области. Эти данные позволяют использовать минимальное количество эталонных определений, а не хранить все возможные варианты ответов для каждого термина предметной области (как это принято в широко известных автоматизированных системах управления образовательного назначения, реализующих контроль знаний). Это позволило снизить трудоемкость наполнения баз знаний при большом количестве возможных вариантов ответа.
Сформулированные методические аспекты и разработанная схема нейроподобной структуры позволяют реализовать алгоритм работы системы семантической подготовки баз знаний (рис. 3.2). Схема алгоритма работы системы семантической подготовки баз знаний Для эффективной работы система семантической подготовки баз знаний нуждается в предварительной подготовке. Для этой цели используются знания нескольких преподавателей - экспертов в данной предметной области. Эксперты независимо друг от друга дают ответы на полный перечень тестовых заданий, представляющих собой просьбу ввести «эталонные» формулировки терминов предметной области. Мнзние каждого из экспертов представляется системе идеальным. Таким образом, используя нормализацию, семантическому компаратору представляется входной образ и несколько правильных выходных образов, вследствие чего происходит настройка весовых коэффициентов синонимии. Суть предлагаемого метода и разработанного программного средства заключается в экспертном заполнении словаря начальными значениями коэффициентов синонимии. Разработанное программное средство предназначено для решения задачи автоматизации семантической подготовки баз знаний.
