Содержание к диссертации
Введение
ГЛАВА I. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ИСПОЛЬЗОВАНИЯ ПЕДАГОГИЧЕСКОГО ТЕСТОВОГО КОНТРОЛЯ ПРИ ОБУЧЕНИИ ИНФОРМАТИКЕ 15
1.1. Педагогические тесты: содержание, структура, виды, формы и области применения 15
1.2. Методологические аспекты использования тестовых технологий в обучении информатике 36
1.3. Педагогические тесты с варьирующейся сложностью заданий по информатике 45
ГЛАВА II. НЕИРОСЕТЕВЫЕ СИСТЕМЫ И ВОЗМОЖНОСТИ ИХ ИСПОЛЬЗОВАНИЯ ДЛЯ АНАЛИЗА РЕЗУЛЬТАТОВ ПЕДАГОГИЧЕСКИХ ИЗМЕРЕНИЙ И СОВЕРШЕНСТВОВАНИЯ ТЕСТОВ 61
2.1. Методы и системы интеллектуального анализа данных 61
2.2. Модели и структура искусственных нейронных сетей 70
2.3. Функционирование нейронных сетей и их использование в педагогических измерениях 85
ГЛАВА III. ИСПОЛЬЗОВАНИЕ НЕЙРОСЕТЕВЫХ ТЕХНОЛОГИЙ В ФОРМИРОВАНИИ СИСТЕМЫ АДАПТИВНОГО ТЕСТИРОВАНИЯ ПО ИНФОРМАТИКЕ , 98
3.1. Разработка контрольно-измерительных материалов, предназначенных для использования в адаптивном тестировании по информатике 98
3.2. Создание нейронной сети для совершенствования контрольно-измерительных материалов по информатике 113
3.3. Компьютерное программное обеспечение, необходимое для адаптивного тестирования по информатике 117
3.4.Применение адаптивного тестирования в обучении информатике в вузе 125
3.5. Экспериментальная работа по обоснованию эффективности адаптивного тестирования по информатике 136
ЗАКЛЮЧЕНИЕ 147
ЛИТЕРАТУРА 149
- Педагогические тесты: содержание, структура, виды, формы и области применения
- Методы и системы интеллектуального анализа данных
- Создание нейронной сети для совершенствования контрольно-измерительных материалов по информатике
Введение к работе
Актуальность исследования. В настоящее время информатика является неотъемлемой составляющей системы подготовки специалистов в вузах. Это обусловлено многими причинами, в числе которых глобальная информатизация общества, невозможность осуществления профессиональной деятельности без эффективного использования преимуществ информационных и телекоммуникационных технологий, необходимость критического осмысления все возрастающих объемов информации, с которыми приходится иметь дело современному специалисту.
Неслучайно информатика и подходы к обучению студентов особенностям работы с информационными технологиями оказываются в центре внимания многих педагогических исследований.
В частности, вопросам методики обучения информатике в вузе посвящены работы Т.А. Бороненко [18], И.Б. Готской, Г. Григорьева [32, 33], А.Р. Есаяна [41], В.Е. Жужжалова [42], А.А. Кузнецова [59], М.П. Лапчика [62], Д.Ш. Матроса [71], Н.И. Пака [85, 86], И.Г. Семакина [101], А.Я. Фридланда [116], Е.К. Хеннера [101] и др.
Наряду с этим немаловажной проблемой, характерной для системы высшего профессионального образования, является выработка подходов к повышению эффективности обучения, формированию у выпускников способности применять полученные знания, умения и навыки в профессиональной деятельности. Это, в свою очередь, делает актуальной задачу создания и внедрения технологий и средств измерения уровня эффективности образования вообще и обучения информатике в частности.
Анализ методов педагогических измерений позволяет сделать вывод о том, что одним из объективных и эффективных методов контроля качества знаний учащихся образовательных учреждений является тестовый метод, основанный на использовании педагогических тестовых материалов. В настоящее время трудно назвать дисциплину, в обучении которой так или иначе не применялась бы тестовая форма контроля знаний.
Разработкой и исследованием тестовых технологий начали заниматься еще в начале прошлого века такие исследователи-педагоги, как А.П. Болтунов, Г.И. Россолимо, М.Ю. Сыркин и др. Начиная с 60-х годов XX века и по сегодняшний день, данная тематика нашла отражение в работах B.C.
Аванесова [2-7], А. Анастази [8, 9], СИ. Архангельского [12], В.П. Беспалько [13-16], Л.С. Выготского [21], Т.А. Ильиной, Г.С. Ковалевой, А.Н. Майорова [67, 68], В.М. Полонского [88], В.А. Садовничего [98], И.А. Цатуровой [119], М.Б. Челышковой [120, 121, 122] и др. [39, 69, 74, 92, 93, 94, 112, 114], а также зарубежных ученых А. Бине, Б. Блума [140], К. Гилберта, Р. Йеркса, Дж. Кеттелла, В.А. Макколла, Э. Торндайка и др. [20, 67]. В последнее время появились диссертационные исследования, связанные с различными проблемами тестирования, в том числе и по информатике (Т.Н. Зайчикова [44], Н.Л. Майорова [69], А.В. Паволоцкий [84], Н.Н. Самылкина [100], М.Б. Челышкова, В.А. Шухардина [128] и др. [81, 105, 110]).
Педагогический тест представляет собой систему заданий возрастающей трудности специфической формы, позволяющей качественно оценить структуру знаний и эффективно измерить уровень знаний испытуемых по различным дисциплинам. В системе образования существует несколько подходов к классификации педагогических тестов.
Исследования показали, что, несмотря на большое количество разработанных тестов по информатике, они обладают рядом недостатков, в числе которых необъективность весов тестовых заданий, малое или большое количество тестовых заданий или одновариантность теста, присутствие связи между последовательными заданиями.
На практике очень часто возникает ситуация, когда одна и та же группа студентов без особого труда справляется со всеми тестовыми заданиями или, наоборот, не может справиться с большей частью тестовых заданий. Тем самым, существует проблема корректности подбора сложности тестовых заданий с целью наибольшей адекватной оценки уровня знаний студентов. В связи с увеличением количества и недостаточным качеством тестов, применяемых в обучении информатике в вузе, не всегда представляется возможным качественно определить уровень учебных достижений учащегося, основываясь только на тестах, в которых количество заданий фиксировано (так называемые тесты фиксированной длины). Устранение этого недостатка возможно за счет применения такого вида тестирования, которое способно «подстраиваться» под уровень знаний студентов, варьировать сложность и количество заданий в зависимости от правильности ответов на них. Таким образом, процесс тестирования адаптируется к уровню знаний тестируемого, что позволяет получить более достоверные результаты, сократить время, затрачиваемое на прохождение теста, не снижает мотивацию студентов к обучению и тестированию. Подобные подходы принято называть адаптивным тестированием.
При компьютерном адаптивном тестировании по информатике тестовые задания формируются индивидуально для каждого экзаменующегося с учетом результатов выполнения предыдущих заданий.
Типы заданий, их количество и порядок следования индивидуальны. Таким образом, адаптивное тестирование не только дает более объективную оценку знаниям, умениям и навыкам обучаемых, но и позволяет выявлять, какие знания ошибочны или неполны, а также позволяет формировать дальнейшую траекторию обучения.
Благодаря развитию теории адаптивного тестирования стала возможной адаптация не только тестовых заданий, но и тестирующих систем.
Эта адаптация может быть направлена на приспособление к предметной области, выбранной для тестирования, а также к текущим потребностям и характеристикам конкретного испытуемого.
Начиная с 90-х годов, компьютерное адаптивное тестирование получило широкое признание за рубежом. Этот факт прослеживается в научных работах Р.К. Хамблетона [147], Дж. Кингсбури [154], Дж. Спрея [167], Д. Вейсса [169] и др. [162, 168]. В России этой теме посвящены работы б С. Андреева [10], Г.Ю. Ксензовой [58], В.И. Нардюжева [79], М.Б. Челышковой, А.Г. Шмелева [127], Е.А. Ямбурга [130] и др.
Несмотря на все свои преимущества и проведенные педагогические исследования, адаптивное тестирование имеет ряд недостатков и нерешенных проблем: недостаточно разработаны подходы к оцениванию личностных параметров испытуемых, неполностью исследовано введение аналитических зависимостей между уровнем подготовленности студентов и сложностью заданий при дифференциации режимов адаптивного обучения и адаптивного контроля, имеет место несоответствие запланированной сложности заданий реальной. В последнем случае, как правило, все задания имеют фиксированные веса (оценка сложности задания). При многократном тестировании складывается ситуация, когда самые сложные задания (по мнению разработчика теста) на самом деле могут иметь сложность не выше среднего. Для решения этой проблемы необходимо провести переоценивание сложности заданий на основе ответов, данных студентами на них. Как показывают исследования по интеллектуальному анализу и обработке данных (ИАД), такой тип задач характерен для кибернетического метода ИАД, основанного на технологии нейросетевого анализа данных. Целью ИАД является создание алгоритмического и программного обеспечения для компьютерной техники, позволяющего решать различные интеллектуальные задачи, в число которых можно включить и проблему определения реальной сложности тестовых заданий, необходимых для адаптивного тестирования.
На сегодняшний день искусственные нейронные сети (ИНС) широко применяются в разных областях науки и производства, однако в образовании подобные сети использовались крайне редко. Обладание такими свойствами, как сбор информации или анализ и принятие решения, если оно требуется, позволяет применять аппарат искусственных нейронных сетей в тестировании для решения проблем, связанных с совершенствованием контрольно-измерительных материалов (КИМ) тестов по информатике, способствуя повышению достоверности результатов тестирования.
Исследованиям в области искусственных нейронных сетей посвящены работы ряда зарубежных (Р. Земел [107], Т. Кохонен [156, 157], У. Маккалох [159], У. Питтс [159], Ф. Розенблатт [96, 97, 165], Д. Хинтон [107], Дж.
Холанд [150] и др.[135, 136, 139, 144, 162]) и отечественных (Н.А. Горбач [29], А.Н. Горбань [24-28], П.П. Кольцов [51], Короткий [52, 53], В.А. Крисилов [55], В.Г. Царегородцев [118] и др.[61]) авторов.
Искусственные нейронные сети представляют собой информационные структуры, лежащие в основе функционирования некоторых компьютерных программ. Такие сети состоят из простых однотипных элементов (нейронов), связанных между собой определенным образом, функциональные возможности которых аналогичны большинству элементарных функций биологического нейрона. Каждый нейрон характеризуется своим текущим состоянием (возбужден или заторможен). Наглядно ИНС можно представить в виде ориентированного графа, вершины которого будут соответствовать нейронам, а дуги, соединяющие вершины, - синаптическим связям или весам. ИНС обладают рядом ценных свойств, в числе которых способность обучаться, дообучаться, анализировать поступающую информацию, обрабатывать большой объем данных, представленных в разных шкалах, отсеивать ненужную информацию, осуществлять прогноз, параллельно обрабатывать сигналы, благодаря объединению большого числа нейронов в слои. В связи с этим выделяют различные классификации ИНС, модели которых способны решать различные задачи.
Большинство моделей искусственных нейронных сетей при решении любой задачи необходимо обучить, то есть настроить определенным образом весовые коэффициенты. В общем случае, обучение — такой выбор параметров сети, при котором сеть лучше всего справляется с поставленной проблемой.
Обучение нейронной сети - это задача многомерной оптимизации, и для ее решения существует множество алгоритмов. После обучения ИНС способна решать поставленные задачи, такие, например, как анализ КИМ на предмет их соответствия заявленной тематике и уровню сложности. Таким образом, нейросетевые технологии могут быть использованы для совершенствования КИМ тестов по информатике и, как следствие, - повышения достоверности измерения уровня знаний студентов.
Можно предположить, что использование разработанных подобным образом адаптивных тестов в рамках обучения информатике студентов вузов положительно скажется на эффективности такой подготовки будущих специалистов.
Налицо противоречие между недостаточной эффективностью существующих подходов к измерению результативности обучения информатике в вузе и отсутствием технологий, позволяющих адаптировать содержание контрольно-измерительных материалов с учетом специфики контингента обучающихся, способствующих повышению достоверности определения уровня знаний и умений по информатике студентов вузов.
Разрешение этого противоречия возможно на основе разработки тестов, направленных на достоверные контроль и оценку учебных достижений студентов по информатике, за счет применения адаптивного тестирования с последующей возможностью усовершенствования КИМ при помощи искусственных нейронных сетей. Это свидетельствует об актуальности темы, выбранной для исследования.
Проблема исследования заключается в отсутствии подходов, основанных на использовании нейросетей, к разработке эффективных адаптивных тестов и методов использования таких тестов при измерении эффективности обучения информатике в вузе.
Объект исследования — система измерения эффективности обучения информатике в вузе.
Предмет исследования — совершенствование системы контроля учебных достижений по информатике за счет использования нейросетевых технологий в адаптивном тестировании.
Цель исследования — обосновать эффективность использования адаптивного тестирования по информатике в вузе, разработав систему адаптивного тестирования на основе применения аппарата искусственных нейронных сетей.
Гипотеза исследования: если провести совершенствование адаптивных тестов за счет применения аппарата искусственных нейронных сетей, то это позволит повысить достоверность (валидность) оценивания результатов обучения информатике и, как следствие, повысит эффективность подготовки студентов.
В соответствии с поставленной целью и выдвинутой гипотезой определены следующие задачи: • выявить теоретико-методологические аспекты использования тестовых технологий в обучении информатике; • определить специфику функционирования искусственных нейронных сетей и возможность их использования при разработке педагогических тестов с варьирующейся сложностью заданий по информатике; • разработать контрольно-измерительные материалы для адаптивного тестирования по информатике; • усовершенствовать разработанные контрольно-измерительные материалы по информатике за счет использования искусственных нейронных сетей, создав необходимое программное обеспечение и осуществив опытное тестирование студентов; • разработать методику применения результатов, полученных в ходе адаптивного тестирования, для определения путей совершенствования системы обучения студентов информатике; • экспериментально обосновать эффективность адаптивного тестирования по информатике.
Методологической основой исследования являются подходы к созданию, классификации и применению тестов и заданий в тестовой форме (B.C. Аванесов, К. Ингенкамп [47], А.Н. Майоров), современные подходы к формированию и использованию искусственных нейронных сетей (Т. Кохонен, У. Маккалох, У. Питтс, Ф. Розенблатт, Дж. Холанд, А.Н. Горбань, H.A. Горбач, П.П. Кольцов,' Короткий, В.А. Крисилов), методы обучения информатике в вузе (Ю.А. Горшеин [193], Н.П. Коваленко [189], А.А. Кузнецов, М.П. Лапчик, Н.И. Пак, И.Г. Семакин, И.А. Соловьева [193]).
Научная новизна исследования заключается в: • обосновании эффективности использования адаптивного тестирования при измерении результатов обучения информатике в вузе и целесообразности применения искусственных нейронных сетей для совершенствования педагогических тестовых материалов; • определении структуры искусственной нейронной сети, необходимой для совершенствования адаптивного теста по информатике; • разработке технологии формирования и совершенствования педагогических тестовых материалов, а также методики их использования при обучении информатике в вузе.
Теоретическая значимость заключается в обосновании целесообразности применения тестов с варьирующейся сложностью заданий при обучении информатике в вузе, а также необходимости использования аппарата искусственных нейронных сетей для совершенствования педагогических тестовых материалов, применяемых в адаптивном тестировании по информатике, в определении вида и структуры требуемых для этого нейронных сетей.
Практическая значимость исследования заключается в разработке педагогических тестовых материалов по дисциплинам «Языки и методы программирования» и «Вводный курс информатики», создании искусственной нейронной сети и ее применении в определении сложности тестовых заданий, формировании адаптивного теста и разработке методики его применения при обучении информатике. Создано компьютерное программное обеспечение, необходимое для адаптивного тестирования по информатике.
Методы исследования. Для решения поставленных в исследовании задач использовались следующие методы: общенаучные методы теоретического исследования (анализ, синтез, формализация, моделирование, классификация, обобщение); методы эмпирического исследования (изучение педагогического опыта, изучение литературы, наблюдение, тестирование); методы объектно-ориентированного проектирования и программирования.
Достоверность и обоснованность основных положений исследования обусловлены тем, что их основы формировались с учетом потребностей современной системы обучения информатике в вузе, а само исследование строилось на общепризнанных в отечественной и мировой практике тенденциях в технологии оценки образовательных достижений, а также опыте создания и применения искусственных нейронных сетей.
Этапы исследования. Исследование по теме проводилось в течение четырех лет и условно может быть разделено на три взаимосвязанных этапа.
На первом этапе (2005 — 2006 гг.) осуществлялся теоретический анализ научных работ и литературы, имеющих отношение к проблеме исследования. Определялись теоретические аспекты применения тестовых технологий в обучении информатике. Обосновывалось применение искусственных нейронных сетей для совершенствования тестовых заданий.
На втором этапе (2006 — 2007 гг.) осуществлялось моделирование теста по информатике, велась разработка компьютерной версии адаптивного тестирования, отбиралась искусственная нейронная сеть, необходимая для совершенствования тестовых заданий. Осуществлялась программная реализация выбранной искусственной нейронной сети.
На третьем этапе (2007 - 2009 гг.) определялась эффективность использования адаптивного тестирования для выявления уровня знаний студентов по информатике в вузе, осуществлялось совершенствование адаптивного теста с помощью аппарата искусственных нейронных сетей, разрабатывалась методика применения результатов адаптивного тестирования для совершенствования системы обучения информатике в вузе.
Результаты исследования оформлялись в виде диссертационной работы.
На защиту выносятся следующие основные положения: 1) Разработка педагогических тестовых материалов по информатике и их последующее совершенствование на основе создания и применения искусственных нейронных сетей способствует адаптации тестирования к особенностям контингента студентов.
2) Применение разработанной искусственной нейронной сети позволяет усовершенствовать педагогические тестовые материалы по информатике, повысив объективность и достоверность результатов педагогических измерений.
3) Использование адаптивного тестирования, разработанных педагогических тестовых материалов, компьютерных программных средств и методов применения результатов тестирования способствует повышению эффективности обучения информатике в вузе.
Апробация и внедрение результатов диссертационного исследования. Достоверность результатов исследования обеспечивается адекватностью используемых методов задачам исследования и подтверждается результатами проведенного педагогического эксперимента.
Результаты исследования, разработанные контрольно-измерительные материалы для двух дисциплин «Языки и методы программирования» и «Вводный курс информатики», а также средства тестирования внедрены в учебный процесс Курского государственного университета.
Основные положения и результаты исследования докладывались на III Международной научно-практической конференции «Интеллектуальные технологии в образовании, экономике и управлении - 2006», Международной научно-практической конференции «Информационные технологии в образовании» («ИТО-Черноземье-2006»), семинаре «Компьютерные образовательные программы для курса информатики средней школы» (Курск 2006), очном методическом семинаре по обмену опытом и обеспечению результатов поддержки педагогических инициатив (Курск, 2008), научных и научно-методических конференциях и семинарах Курского государственного университета (2005 - 2008), Международной научно-практической конференции «Информационные технологии в образовании» («ИТО-Черноземье-2008»).
Структура работы определена целью и логикой исследования.
Диссертация состоит из введения, трех глав, заключения, списка литературы и двух приложений.
Педагогические тесты: содержание, структура, виды, формы и области применения
Начало XXI века актуализировало задачу вхождения России в единое европейское образовательное пространство, введения в образовательную практику диагностических способов определения качества и результатов образовательной деятельности. В системе образования можно наблюдать широкое распространение методов количественной оценки уровня достижений учащихся (педагогическое измерение). Проблемы измерений и диагностики относятся к числу наиболее сложных как в теоретическом, так и в практическом отношении. Измерение в первую очередь связано с метрологией. «Метрология - это отрасль науки об измерении качества, методах и средствах обеспечения их единства и способах достижения требуемой точности» [196, с. 1]. На основе этого под «измерением» можем понимать выявление количественных характеристик изучаемых явлений; особая процедура, посредством которой числа или, по крайней мере, порядковые величины приписываются вещам по определенным правилам. Сюда следует включать и математическую обработку результатов измерений. При этом в качестве результата измерения выступает значение величины, характеризующее качество, найденное путем ее измерения. Измерение, в свою очередь, чаще ассоциируется с диагностикой, «диагнозом» в области педагогики. Диагностика — это анализ состояния объектов и процессов, выявления проблем их функционирования и развития. Педагогический диагноз - это определение характера объема трудностей в учебе, а также способностей учащихся на основе данных об освоении учебной программы [196].
Основным предметом педагогических измерений является разработка качественных тестов для измерения уровня подготовленности учащихся. Педагогическое измерение имеет свои уровни (оценка результатов педагогических измерений; анализ и обобщение педагогических явлений; эффективность средств и методов обучения; оценка достижения целей на уровне глобальных целей, на уровне учебного предмета, на уровне учебного материала). Содержание и структуру педагогического измерения можно представить следующим образом:
теория разработки тестов и практика тестовой оценки подготовленности студентов и учащихся;
рейтинг;
мониторинг учебных достижений в части, касающейся разработки показателей;
разработка общих показателей эффективности и качества образовательной деятельности.
Эффективность организации педагогических измерений повышается за счет использования компьютерных технологий.
Проблема качества образования - одна из центральных в современной образовательной политике.и науке, потому что она связана с решением комплекса задач, направленных на развитие личности, ее подготовку к жизни в быстро меняющемся и противоречивом мире, личности с высокими нравственными устремлениями и мотивами к высокопрофессиональному труду.
В начале 90-х годов XX века в Законе Российской Федерации «Об образовании» (1992 и 1996 гг.) появилась статья о государственном контроле за качеством образования, где словосочетание «качество образования» впервые было использовано в России, что породило большое количество различных практик такого контроля, инициировало разработки соответствующих теоретических концепций, превратившись в основной фактор устойчивого возрастания интереса ученых к данной проблеме [106, с.68]. На сегодняшний день существует множество определений качества образования. Так, В.М. Полонский «качество образования выпускников» трактует как определенный уровень знаний и умений, умственного, физического и нравственного развития, которого достигли выпускники образовательного учреждения в соответствии с планируемыми целями обучения и воспитания [88, с.20]. В работах В.И. Шишковского под качеством образования понимается «совокупность свойств и характеристик продукции или услуги, которые придают им способность удовлетворять обусловленные или предполагаемые потребности» [127, с.5]. По мнению Г.В. Гутника, в обобщенном виде качество образования определяется как совокупность его свойств и их проявлений, способствующих удовлетворению потребностей человека и отвечающих интересам общества и государства [36, с.9].
Согласно результатам исследования Е.Г. Полуаршиновой, качество подготовки выпускников образовательных учреждений или ступеней образования является одним из важнейших показателей качества образовательной системы [89, с.7]. Одним из средств, позволяющих повысить эффективность управления образовательной системой, является определение уровня и качества подготовки учащихся с помощью тестового контроля. Из всех существующих в настоящее время методик диагностирования самой перспективной считается тестирование. В качестве инструмента определения знаний учеников, соответствия учебных заведений их названию, учителей - категориям начали использоваться предметные тесты.
В наши дни качественные тесты используются не только для измерения уровня подготовленности, но и для проведения рейтинга студентов, мониторинга учебного процесса, для организации адаптивного обучения и адаптивного тестового контроля, дистанционного образования. Иными словами, тесты используются во всех современных образовательных технологиях [2].
История развития тестирования. Начало развития теории и методики современного педагогического тестирования относится к XIX веку. Известно, что история любого предмета начинает прослеживаться четко только тогда, когда достаточно хорошо определен сам предмет. В связи с этим, если тест определять как простой перевод английского слова «test» (проверка или испытание каких-либо качеств, способностей), то можно утверждать, что тесты появились в древние времена [44].
Неоднократно сообщалось о системе экзаменов при поступлении на гражданскую службу, существовавшую в китайской империи на протяжении 2000 лет. У древних греков испытание (testing) стало неизменным дополнением учебного процесса [9, с.48]. Если же исходить из определения педагогического теста как совокупности взаимосвязанных заданий возрастающей сложности, позволяющих надежно и валидно оценить знания и другие интересующие педагога характеристики личности, то следует признать, что «настоящая история тестов началась век назад, в канун периода ломки устаревшего общественного строя, революционного изменения общественного сознания, совпавшего по времени с научным кризисом, поразившим естествознание. Диалектика и материализм потрясли идеалистический фундамент психологии и педагогики. Они стали основой новой методологии этих наук» [3, с.42].
Тесты начали применяться в 1864 Дж. Фишером в Великобритании для проверки знаний учащихся. Он создал «A scale book» - градуированную книгу, где были даны вопросы и варианты ответов для выбора. Книга содержала вопросы по: правописанию, арифметике, чтению, грамматике, навигации [119, с.8].
Методы и системы интеллектуального анализа данных
Одним из важных аспектов педагогической деятельности преподавателя является измерение уровня знаний обучаемых. Для такого измерения используются тесты, по результатам которых можно оценивать знания учащихся, строить дальнейший процесс обучения или принимать различные решения. Классические тесты имеют ряд недостатков, для исправления которых начинает применяться адаптивное тестирование. Однако и оно не было лишено таких недостатков, как несоответствие запланированного уровня сложности задания реальному, некоторые задания не способны отразить реальный уровень знаний тестируемого, а следовательно, должны быть исключены из банка заданий. Для решения этих проблем необходимо использовать искусственную нейронную сеть, способную к анализу данных и на его основе принятию решения.
На сегодняшний день современные компьютеры значительно превосходят человека по способности выполнять числовые операции. Однако человек достаточно просто и быстро может решать такие сложные задачи восприятия внешних данных, как узнавание в толпе, понимание речи различных людей, быстрая постановка диагноз болезни по внешнему виду больного человека. Со всеми этими задачами даже современному суперкомпьютеру справиться очень сложно. Трудности возникают при моделировании объектов, представляющих собой функции многих переменных. Способность к моделированию является естественной потребностью человека, поскольку он постоянно пользуется ей в повседневной жизни для решения различных задач: прогнозирование различных событий, процессов, явлений. Инструментом моделирования у человека является биологическая нейронная сеть, архитектура которой совершенно не похожа на классическую архитектуру компьютера.
Поэтому было естественно создать некую модель искусственного интеллекта на компьютере, аналогичную биологической нейронной сети.
Развитие искусственного интеллекта как научного направления стало возможным только после создания ЭВМ. Это произошло в 40-х гг. XX в. В это же время Н. Винер (1894 - 1964) создал свои основополагающие работы по новой науке - кибернетике.
Термин «искусственный интеллект» («artificial intelligence») предложен в 1956 г. на семинаре с аналогичным названием в Станфордском университете (США). Семинар был посвящен разработке логических, а не вычислительных задач. Вскоре после признания искусственного интеллекта самостоятельной отраслью науки произошло разделение на два основных направления: нейрокибернетику и кибернетику «черного ящика» [172]. И только в настоящее время стали заметны тенденции к объединению этих частей вновь в единое целое.
Основную идею нейрокибернетики можно сформулировать следующим образом. Единственный объект, способный мыслить, - это человеческий мозг. Поэтому любое «мыслящее» устройство должно каким-то образом воспроизводить его структуру.
Таким образом, нейрокибернетика ориентирована на аппаратное моделирование структур, подобных структуре мозга. Физиологами давно установлено, что основой человеческого мозга является большое количество (до 1021) связанных между собой и взаимодействующих нервных клеток -нейронов. Поэтому усилия нейрокибернетики были сосредоточены на создании элементов, аналогичных нейронам, и их объединении в функционирующие системы. Эти системы принято называть нейронными сетями, или нейросетями.
В основу кибернетики «черного ящика» лег принцип, противоположный нейрокибернетике. Не имеет значения, как устроено «мыслящее» устройство. Главное, чтобы на заданные входные воздействия оно реагировало так же, как человеческий мозг.
Это направление искусственного интеллекта было ориентировано на поиски алгоритмов решения интеллектуальных задач на существующих моделях компьютеров. В 1956 - 1963 гг. велись интенсивные поиски моделей и алгоритмов человеческого мышления, а также разработка первых программ. Оказалось, что ни одна из существующих наук (философия, психология, лингвистика и т.д) не может предложить такого алгоритма. Тогда кибернетики предложили создать собственные модели. Были созданы и опробованы различные подходы.
В конце 50-х гг. прошлого века родилась модель лабиринтного поиска. Этот подход представляет задачу как некоторый граф, отражающий пространство состояний, и в этом графе проводится поиск оптимального пути от входных данных к результирующим. Была проделана большая работа по разработке этой модели, но в решении практических задач идея большого распространения не получила.
Начало 60-х гг. XX века — эпоха эвристического программирования. Эвристика - правило, теоретически не обоснованное, но позволяющее сократить количество переборов в пространстве поиска. Эвристическое программирование - разработка стратегии действий на основе известных, заранее заданных правил.
В 1963 - 1970 гг. "к решению задач стали подключать методы математической логики. На основе метода резолюций, позволившего автоматически доказывать теоремы при наличии набора исходных аксиом, в 1973 г. создается язык Пролог.
Существенный прорыв в практических приложениях искусственного интеллекта произошел в середине 70-х гг. XX века, когда на смену поискам универсального алгоритма мышления пришла идея моделировать конкретные знания специалистов-экспертов. В США появились первые коммерческие системы, основанные на знаниях (или экспертные системы). Пришел новый подход к решению задач искусственного интеллекта -представление знаний. Созданы MYCIN и DENDRAL - ставшие уже классическими экспертные системы для медицины и химии. Объявлено несколько глобальных программ развития интеллектуальных технологий -ESPRIT (Европейский Союз), DARPA (министерство обороны США), японский проект машин V поколения.
Начиная с середины 80-х гг. происходит коммерциализация искусственного интеллекта. Растут ежегодные капиталовложения, создаются промышленные экспертные системы. Растет интерес к самообучающимся системам.
Над созданием искусственного интеллекта работали не только зарубежные, но и отечественные ученые. В 1954 г. в МГУ под руководством профессора А.А. Ляпунова (1911 - 1973) начал свою работу семинар «Автоматы и мышление». В этом семинаре принимали участие крупнейшие физиологи, лингвисты, психологи, математики. Принято считать, что именно в это время родился искусственный интеллект в России. Как и за рубежом, выделились направления нейрокибернетики и кибернетики «черного ящика».
Среди наиболее значимых результатов, полученных отечественными учеными, следует отметить алгоритм «Кора» М. Бонгарда, моделирующий деятельность человеческого мозга при распознавании образов (60-е гг. XX века).
В 1945 - 1964 гг. создаются отдельные программы и исследуется поиск решения логических задач. В Ленинграде (ЛОМИ - Ленинградское отделение математического института им. В.А. Стеклова) создается программа, автоматически доказывающая теоремы (АЛИЕВ ЛОМИ). Она основана на оригинальном обратном выводе СЮ. Маслова, аналогичном методу резолюций Дж. Робинсона.
Создание нейронной сети для совершенствования контрольно-измерительных материалов по информатике
Одна из проблем адаптивного тестирования по информатике заключается в том, что запланированный уровень сложности задания не всегда может соответствовать реальному или же несоответствие задания запланированной тематике.
На сегодняшний день разработано большое количество новых методов и технологий моделирования. Очевидно, что для решения данных проблем необходимо использовать технологию искусственного интеллекта, а именно аппарат искусственных нейронных сетей. Неоспоримым преимуществом ИНС по отношению к эмпирическим подходам построения математических моделей является то, что эта технология соответствует образу их построения, присущему многим биологическим объектам.
Для решения проблемы соответствия заявленного уровня сложности задания реальному в диссертационном исследовании на основании рассмотрения различных моделей ИНС будет использован персептрон Ф. Розенблатта. От того, насколько удачно выбрана структура ИНС, в значительной степени зависит ее способность к обучению, адекватность модели и количество итераций проверки этих свойств, которое предстоит выполнить на пути реализации поставленных задач. Следует помнить то, что если сеть не обучается или обучается, но слишком долго (присутствует эффект переобучения), то это означает, что структура ИНС выбрана неверно. Анализ поставленной проблемы показал, что для ее решения достаточно будет использовать одно- или двуслойный персептрон.
Одной из первых искусственных сетей, способных к перцепции (восприятию) и формированию реакции на воспринятый стимул, явился персептрон Ф. Розенблатта [165]. Автор рассматривал персептрон не как конкретное техническое вычислительное устройство, а как модель работы мозга.
Согласно описанию классического персептрона Ф. Розенблатта была разработана модель нейронной сети, позволяющая модифицировать коэффициенты сложности заданий, если это необходимо. ИНС состоит из трех «ветвей», так как в программе будут использоваться три уровня определения сложности задания. Если уровень сложности задания будет равен единице, то первая «ветвь» будет иметь следующий вид (рисунок 6).
После построения модели ИНС проводится ее обучение на векторе значений (ответы студентов). Обучение ИНС будем осуществлять методом соревнования согласно принципу «победитель получает все». При соревновательном обучении выходные нейроны соревнуются между собой за активизацию. Это явление известно как правило «победитель берет все». Подобное обучение имеет место в биологических нейронных сетях. Обучение посредством соревнования позволяет кластеризовать входные данные: подобные примеры группируются сетью в соответствии с корреляциями и представляются одним элементом. При обучении модифицируются только веса «победившего» нейрона. Эффект этого правила достигается за счет такого изменения сохраненного в сети образца (вектора весов связей победившего нейрона), при котором он становится чуть ближе к входному примеру. Изначально все веса Wtj принимают значение, равное нулю. Затем подается вектор значений X,, состоящий из {0 и 1}. Этот вектор формируется на основе ответов студентов на вопросы из банка заданий, т.е. общее количество нулей или единиц зависит от общего числа ответов, данных на задание. Количество нулей соответствует числу неправильных ответов, а единиц — правильному. Рассмотрим три варианта обучения персептрона:
Для проверки выдвинутой гипотезы на практике необходимо разработать программное обеспечение, которое позволит реализовать компьютерное адаптивное тестирование по информатике. Но для этого необходимо определиться с алгоритмом адаптивного тестирования и шкалой, по которой будут оцениваться результаты тестирования.
Для реализации адаптивного тестирования в ходе диссертационного исследования был изучен ряд моделей адаптивного тестирования и нейронных сетей. В качестве основного подхода было выбрано компьютерное адаптивное тестирование, основанное на многошаговых варьирующих стратегиях. Так как при адаптивном тестировании последующее задание выбирается из общего банка заданий на основе правильности (или ошибочности) ответа, данного тестируемым, то наиболее предпочтительной формой его проведения является компьютерная. Это позволяет сократить время всего тестирования, исключено списывание, тестируемые не теряют мотивацию. Варьирующая ветвящаяся стратегия адаптивного тестирования предполагает отбор заданий непосредственно из банка заданий по определенным алгоритмам, которые прогнозируют оптимальную сложность последующего задания по результатам выполнения испытуемым предыдущего задания адаптивного теста. Тестовые задания адаптивного теста предполагаются закрытой формы с выбором одного из 4-х предложенных вариантов для возможности автоматизированного предъявления и обработки. Количество заданий в тесте различного уровня сложности должен соответствовать следующим требованиям:
1. Задания уровня сложности 1 (легкие) - не менее 50%.
2. Задания уровня сложности 2 (средние) - не менее 30%.
3. Задания уровня сложности 3 (трудные) - не менее 20%.
Далее из множества алгоритмов адаптивного тестирования был выбран один, достаточно простой, который позволяет варьировать уровень сложности и учитывать общую статистику ответов на предыдущие задания. На каждом шаге тестирования по каждому уровню трудности обучаемому дается два задания, и по результатам ответов на них определяется уровень сложности для следующих заданий. Данное количество заданий (два) позволяют более адекватно оценивать уровень знаний, чем одно задание, на которое обучаемый может ютгадать или случайно забыть ответ, и в то же время не дает большого количества сочетаний вариантов ответов, как в случае трех и большего количества заданий. Опишем этот алгоритм, на основе которого и будет строиться компьютерное адаптивное тестирование [40, 171]:
1. В тесте имеется m уровней трудности заданий (в данном случае их 3).
Вводится коэффициент К, =! Q/ .
2. Обозначим текущий уровень знаний тестируемого как t, /„ — нижний уровень знаний, tv- верхний уровень знаний. Все уровни знаний будут измеряться от 0 до 100 (0 — нет знаний, 100 - абсолютные знания).
