Введение к работе
Актуальность проблемы. Среди разнообразных отношений «человек-человек» можно выделить группу отношений, в которых один человек оценивает латентные свойства другого. К отношениям этого типа относятся, в частности, педагогические и производственные отношения.
Сходные задачи возникают:
при моделировании процесса принятия решения о качестве подготовки обучаемых в школах и в вузах;
при моделировании процесса принятия решения о характере личности и результатах деятельности работника;
при сопоставлении заданий исполнителям на предприятиях.
Они состоят в оценке латентных свойств или качеств одного человека (обучаемого, пользователя, кандидата, работника) другим (педагогом, экспертом, работодателем). Различия состоят в пространстве входных и выходных признаков и шкалах измерения.
Так, при моделировании производственных отношений входными признаками являются качество выполненных заданий или поведение на работе, а при моделировании педагогических отношений — ответы обучаемого на вопросы и решения задач.
Общность различных типов оценки одного человека другим в рамках отношения «человек-человек» позволила рассмотреть их единое математическое описание как процессов обработки информации на примере сертификации качества подготовки специалистов. Впервые такое математическое описание было дано в работах А. П. Свиридова и позднее нашло отражение в работах других авторов.
В настоящее время большое число организаций (как коммерческих фирм, так и государственных образовательных учреждений) разрабатывают, приобретают и внедряют различные системы компьютерного обучения. С развитием систем компьютерного обучения развиваются также системы контроля знаний и сертификации качества подготовки специалистов. Мультимедийные технологии, развитые сегодня очень сильно, предлагают широкий спектр средств разработки и визуального представления заданий, предназначенных для обучаемых.
Разработке теоретических основ контроля знаний и реализации соответствующих методов в системах компьютерного обучения посвящены работы И. А. Башмакова, В. П. Беспалько, Л. С. Болотовой, А. А. Золотарёва, И. П. Норенкова, Б. М. Позднеева, А. П. Свиридова, Н. А. Селезнёвой, А. И. Субетто, Н. Ф. Талызиной и других отечественных и зарубежных авторов.
В современных системах компьютерного контроля знаний (ККЗ) ис-
пользуется стандартизированные (одно-, двухступенчатые и последовательные планы) и нестандартизированные методы контроля.
Несмотря на глубокую проработку тем, связанных с использованием стандартизированных алгоритмов в задаче ККЗ (работы А. Бирнбаума, К. Клауера, Ф. Лорда, М. Новика, Дж. Раша, А. П. Свиридова и других авторов), теме применения нейронных сетей (НС) для этих целей было уделено сравнительно мало внимания. Нерешёнными, в частности, остаются следующие проблемы:
1. Невозможно описать набор правил, которыми руководствуется НС
при принятии решений. НС рассматривается как «чёрный ящик» —
алгоритм с неясной внутренней логикой.
-
Не существует чёткого алгоритма формирования обучающей последовательности для НС, используемой в ККЗ.
-
Неясно, какая структура НС (число скрытых слоев и количество нейронов в каждом слое) наилучшим образом подходит для контроля знаний.
-
Не исследовано совместное применение НС и линейных (стандартизированных) алгоритмов контроля знаний.
На основе анализа можно утверждать, что вопросы разработки и исследования нейро сетевых алгоритмов контроля знаний являются актуальными. Вследствие этого необходима разработка алгоритма генерации обучающей последовательности для НС, механизма объяснения и анализа решений, принимаемых НС при выставлении оценки, и алгоритма поиска топологии НС, предназначенной для контроля знаний.
Цели и задачи работы. Целью данной диссертационной работы является разработка и оптимизация модели нейросетевого алгоритма ККЗ (принятия решения об уровне подготовки обучаемого) и анализ возможности его применения совместно со стандартизированным алгоритмом. Данный нейросетевой алгоритм должен обеспечить больший процент совпадений оценок, выставленных системой ККЗ и преподавателем и, в то же время, минимизировать число обучаемых (студентов), которое необходимо оценить эксперту (преподавателю) для настройки НС. Для этого требуется провести анализ состояния проблемы и решить следующие основные задачи:
-
Выявить основные функции контроля знаний, реализованные системами компьютерного обучения.
-
Проанализировать существующие методы ККЗ. Выявить их основные достоинства и недостатки.
-
Проанализировать основные системы компьютерного обучения и алгоритмы контроля знаний, используемые ими.
-
Проанализировать различные варианты совместного использования генетических алгоритмов (ГА) и НС.
-
Предложить математическое описание алгоритма генерации обучающей последовательности и алгоритма поиска топологии НС, предназначенной для ККЗ.
-
Модифицировать алгоритм генерации объяснения решений, принимаемых НС, с целью его адаптации к задаче ККЗ.
-
Практически реализовать разработанные алгоритмы и модели в виде программного продукта.
-
Провести экспериментальные исследования.
-
Оценить эффективность разработанных алгоритмов генерации обучающей последовательности, поиска топологии НС и алгоритма объяснения решений, принимаемых НС.
Положения, выносимые на защиту.
-
Генетический алгоритм генерации обучающей последовательности для нейронной сети, предназначенной для компьютерного контроля знаний.
-
Генетический алгоритм оптимизации топологии нейронной сети, используемой при компьютерном контроле знаний.
-
Алгоритм формирования объяснения решения, принимаемого нейронной сетью при компьютерном контроле знаний.
Научная новизна работы. В диссертационной работе получены следующие новые научные и практические результаты:
разработан алгоритм генерации обучающей последовательности, при использовании которой повышается точность выставления оценок нейронной сетью;
предложен генетический алгоритм оптимизации топологии нейронной сети, используемой при компьютерном контроле знаний, что позволяет выбрать оптимальную структуру нейронной сети, что, в свою очередь, уменьшает процент неверно выставленных оценок;
разработан алгоритм формирования объяснения решения, которое принимает нейронная сеть о качестве подготовки обучаемого на основе показателей контекстной утилитарности и контекстной важности, что позволяет эксперту контролировать качество обучения НС и даёт обучаемому дополнительную информацию об уровне его знаний.
предложено новое технические решение проблемы совместного использования стандартизированного и нейросетевого алгоритмов компьютерного контроля знаний, реализованное в виде диалоговой системы «ДИАНИС».
Практическая ценность работы и её реализация. Результаты, полученные б ходе настоящей диссертационной работы, могут быть использованы при разработке алгоритмов ККЗ, а также программных систем
оценки персонала, систем компьютерного обучения и систем тестирования с целью повышения точности выставления оценок и классификации испытуемых.
Результаты диссертационной работы внедрены в учебный процесс в Московском государственном институте радиотехники, электроники и автоматики (техническом университете) и в Российском государственном социальном университете как на стадии изучения отдельных дисциплин («Основы компьютерных технологий», «Надёжность, эргономика и качество АСУ» и «Надёжность информационных систем»), читаемых для студентов специальности 230102 «Автоматизированные системы обработки информации и управления», так и при проведении ККЗ (приём зачётов и лабораторных работ по указанным дисциплинам).
Разработанные автоматизированная система контроля знаний и ГА формирования обучающей последовательности студентов (обучаемых) реализованы в виде программного обеспечения и документа «Система ДИАНИС. Руководство по установке, настройке и использованию». ГА формирования обучающей последовательности обучаемых (студентов) включён в учебные дисциплины «Нейронные сети», «Нейрокомпьютеры» и «Нейро-нечёткие системы и технологии», читаемые для студентов специальности 230102 «Автоматизированные системы обработки информации и управления», о чём свидетельствуют соответствующие акты внедрения.
Диалоговая автоматизированная система анализа и синтеза стандартизированных и нейросетевых алгоритмов ККЗ «ДИАНИС» зарегистрирована в Отраслевом фонде алгоритмов и программ (свидетельство об отраслевой регистрации разработки № 11321).
Публикации. Основные положения диссертационной работы докладывались на конференциях, в том числе Всероссийских и Международных, а также опубликованы в научно-технической периодике. Всего опубликовано 6 статей [1-6], из них работы [2] и [3] опубликованы в журналах, входящих в перечень ВАК. Сделаны доклады на 8-ми научных конференциях.
Структура и объём работы. Диссертация состоит из введения, четырёх глав и списка литературы. Объём основного текста составляет 171 печатную страницу, включая 12 таблиц, 51 рисунок и список литературы из 152 наименований.
