Содержание к диссертации
ВВЕДЕНИЕ 6
1. АНАЛИЗ ПРОЦЕССА КОНТРОЛЯ ЗНАНИЙ В АСПЕКТЕ ПРИМЕНЕ-
ІІИЯ СРЕДСТВ ИНФОРМАЦИОННЫХ И КОММУНИКАЦИОННЫХ
ТЕХНОЛОГИЙ 25
1.1. Низкая эффективность применения систем автоматизированного
контроля знаний как следствие недостаточной подготовки пользователей
и специалистов по их созданию, внедрению и организации использования 25
1.2. Проблемы построения информационных систем для автоматизации процесса кош роля знаний и пути их решения 38
1.3. Метод формально-структурного описания и исследования процессов педагогического контроля знаний 46
1.4. Формально-структурная модель системы обучения 50
1.5. Цикл функционирования системы обучения 58
1.6. Формально-структурная модель процесса обучения 66
1.7. Принципы автоматизации педагогического тестирования знаний 75
Выводы 78
2. ГНОСЕОЛОГИЧЕСКИЕ ОСНОВЫ ПОДГОТОВКИ СПЕЦИАЛИСТОВ В
ОБЛАСТИ ФОРМАЛЬНО-СТРУКТУРНОГО ОПИСАНИЯ, ИССЛЕДОВА
НИЯ И ОРГАНИЗАЦИИ ПЕДАГОГИЧЕСКОГО ТЕСТИРОВАНИЯ ЗНАНИЙ 81
2.1. Знания как предмет педагогического контроля и формально-структурного исследования 81
2.2. Формализация принципов организации процесса обучения 91
2.3. Формально-структурная модель процесса педагогического контроля знаний 98
2.3.1. Процедура оценивания знаний и ее место в процессе педагогического конгроля 99
2.3.2. Обобщенная формально-структурная модель процесса тестирования
знаний 102
Выводы 118
3. ПОСТРОЕНИЕ и исследование формально-структурных
МОДЕЛЕЙ ОЦЕНИВАНИЯ И АЛГОРИТМОВ ТЕСТИРОВАНИЯ ЗНАНИЙ 120
3.1. Нечеткая логика как методологический базис автоматизации педаго
гического тестирования знаний 120
3.1.1. Многозначная лингвистическая шкала оценивания истинности ответов
на тестовые задания 123
3.1.2. Содержательная постановка задачи нечеткого оценивания знаний 126
3.1.3. Модель нечеткого оценивания знаний 127
3.1.4. Пример нечеткого оценивания знаний 133
3.2. Модель статистического оценивания знаний 137
1. Вводные замечания 137
2. Алгоритм статистического оценивания знаний 145
3. Пример статистического оценивания знаний 148
4. Сравни ісльньїй анализ свойств моделей нечеткого и статистического оценивания знаний 152
3.3. Алгоритмы тестирования знаний 153
3.3.1. Параметры тестовых заданий 154
3.3.2. Классификация и описание алгоритмов тестирования 160
3.3.2.1. Описание параметров и алгоритмов прямого тестирования 163
3.3.2.2. Описание алгоритмов адаптивного тестирования 175
3.4. Экспериментальное исследование возможностей автоматизированного
тестирования как средства повышения уровня знаний обучаемых 183
3.4.1. Организация педагогического эксперимента 186
3.4.2. Исследование статистической достоверности результатов эксперимента 188 Выводы 193 4. ОСНОВЫ КОЛИЧЕСТВЕННОГО ОЦЕНИВАНИЯ ОБЪЕКТИВНОСТИ ПЕДАГОГИЧЕСКОГО КОНТРОЛЯ ЗНАНИЙ 196
4.1. Факторы повышения объективности педагогического контроля 197
4.2. Концепция количественного оценивания объективности тестирования
знаний 201
4.3. Метод экспертных оценок и его применение в процедурах педагоги-
ческою контроля знаний 207
4.3.1. Роль и значение экспертных процедур для автоматизированных
систем педагогического контроля знаний 209
4.3.2. Реализация метода экспертных оценок 211
4.3.3. Методические основы расчета коэффициента компетентности 218
4.4. Анализ модели оценивания объективности 222
4.5. Определение количественного и квалификационного состава
экспертной комиссии 226
4.6. Перспективные приложения модели оценивания объективности 229
4.7. Пример экспертного оценивания объективности тестовых заданий 231 Выводы 236 5. ОРГАНИЗАЦИОННЫЕ ФОРМЫ И МЕТОДИЧЕСКИЕ АСПЕКТЫ ПОДГОТОВКИ СПЕЦИАЛИСТОВ В ОБЛАСТИ ФОРМАЛЬНО-СТРУКТУРНОГО ОПИСАНИЯ, ИССЛЕДОВАНИЯ И ОРГАНИЗАЦИИ ПЕДАГОГИЧЕСКОГО ТЕСТИРОВАНИЯ ЗНАНИЙ 238
5.1. Учебный план подготовки информатиков-аналитиков по специализации «Автоматизированные системы педагогического контроля знаний» специаль- -пости «Прикладная информатика (в образовании)» как организационная форма обучения специалистов в области формально-структурного описания, исследования и организации педагогического тестирования знаний 238
5.2. Концепция построения АСПКЗ и ее реализация при создании Интегрированной автоматизированной системы контроля знаний 241
5.2.1. Принципы построения АСПКЗ 241
5.2.2. Структура ИАСКЗ 247
5.2.3. Инструментальные средства создания и эксплуатации ИАСКЗ 250
5.2.4. Модель функционирования ИАСКЗ 253
5.2.4.1. Система сбора, накопления и распределения тестовых заданий 254
5.2.4.2. Система тестирования 258
5.3. Методология экспертной подготовки, накопления и распределения
тестовых заданий 264
5.3.1. Методика экспертного построения тестовых заданий 265
5.3.2. Методика распределения тестовых заданий по образовательным учреждениям для проведения контроля знаний 267
5.3.3. Методика планирования, организации и проведения сеансов автоматизированного контроля знаний 268
Выводы 270
ЗАКЛЮЧЕНИЕ 272
ЛИТЕРАТУРА 278
ПЕРЕЧЕНЬ ТЕРМИНОВ И ОПРЕДЕЛЕНИЙ 309 ПЕРЕЧЕНЬ СОКРАЩЕНИЙ 313 ПРИЛОЖЕНИЯ 314
Приложение А. Учебная программа по дисциплине «Основы
автоматизированного тестирования знаний» 314
Приложение Б. Учебный план повышения квалификации завучей учреждений
общего среднего образования по направлению «Подготовка кадров
информатизации образования» (специализация «Автоматизированные системы
педагогического контроля знаний) 323
Приложение В. Учебный план по специальности «Прикладная информатика
(в образовании)». Специализация «Автоматизированные системы педагогиче
ского контроля знаний» 326
Приложение Г. Проект стандарта предприятия «Управление качеством
образования. Оценивание объективности аттестационных комиссий» 333
Приложение Д. Проект стандарта предприятия «Управление качеством
образования. Расчет коэффициента компетентности преподавателя» 345
Приложение Е. Макеты видеоформ диалоговой системы ИАСКЗ 357
Приложение Ж. Методические рекомендации по организации обучения с
применением компьютерных обучающих систем при повышении квалифи
кации и профессиональной переподготовке руководителей и специалистов
обществ и организаций в учебных заведениях ОАО «Газпром» 371
Введение к работе
Актуальность проблемы исследования. Систематические исследования в области применения средств и методов информатики, а также информационных и коммуникационных технологий (ИКТ) в учебном процессе имеют более чем 40-летнюю историю. Современное состояние отечественной системы образования характеризуется достаточно высокой насыщенностью учебных заведений средствами ИКТ, вследствие чего становится актуальной задача повышения эффективности их использования в учебном процессе. Можно выделить две основные тенденции. Повышение результативности обучения, как правило, связывается с созданием и применением автоматизированных обучающих курсов, структура и форма которых зависит от специфики и содержания изучаемой дисциплины. Второй подход - применение автоматизированных систем педагогического тестирования знаний, к которым предъявляются требования универсальности и открытости, обусловленные целесообразностью использования одной и той же системы контроля (и, соответственно, реализованных в ней методик и приемов диалогового взаимодействия) для диагностирования образовательных достижений по максимально широкому спектру учебных дисциплин. В настоящее время известно множество практических реализаций как систем автоматизированного тестирования по отдельным дисциплинам (предметные тесты), так и универсальных систем оценивания знаний (конструкторы тестов), полностью или частично инвариантных к конкретным дисциплинам и допускающих их информационное наполнение преподавателями -организаторами тестирования.
Наиболее важными объективными предпосылками для ускоренного внедрения средств и методов информатики в учебный процесс и, в частности, интенсивного развития средств и методов автоматизированного контроля знаний являются рост интереса к дистанционному обучению, становление системы государственного тестирования выпускников средних школ, тенденция к увеличению частоты и наполняемости процесса текущего контроля знаний на всех уровнях обучения, необходимость значительного
снижении трудоемкости его организации, проведения и подведения итогов. В связи с этим, необходимость «объективной оценки уровня образования и квалификации выпускников» рассматривается в качестве одной из задач
отечественной системы образования1. Непреходящая актуальность
проблематики педагогического контроля знаний подтверждается тем, что ее исследованию посвящены работы видных российских педагогов как прошлого (В.Ф. Одоевский, Н.И. Пирогов, К.Д. Ушинский, В.И. Татищев, Я.Л. Коменский), так и настоящего времени (Ш.Л. Лмонашвили, А.И. Берг, В.А. Болоюв, О.С. Гребенюк, Ю.К. Бабанский, В.П. Беспалько, И.Я. Лернер, II.Ф. Талызина, В.Д. Шадриков и др).
Исходя из возможности организации массового контроля знаний и высокой еіеиеїш стандартизации и унификации этого процесса, наиболее перспективным и целесообразным для автоматизации представляется метод педагогического тестирования, ставший основой таких важнейших системных форм итогового контроля знаний, как единый государственный экзамен и государственное централизованное тестирование образовательных
достижений. Научное направление, в рамках которого целенаправленно разрабаїьіваются средства, алгоритмы и методики тестирования знаний, получило название «тестология» (B.C. Лванесов, Е.Л. Михайлычев, Дж. Равен и др.).
В педагогической науке известны работы, направленные на разработку и совершенствование методов тестового контроля образовательных достижений. Благодаря опубликованным еще в XIX в. работам Ф. Гальтона, Дж.М. Кеттела, Дж. Фамера и других, тестирование становится неотъемлемым инструментом психологических и педагогических исследований и экспериментов. В начале XX в. для обработки результатов тестирования (в том числе для проверки их надежности и валидностн) начинают применяться методы математической статистики, чю можно считать первыми попытками применения формально математического аппарата в педагогических исследованиях. Вторая половина
XX в. характеризуемся резким повышением интенсивности исследований в
области тестолопш (B.C. Аванесов, М.И. Грабарь, Б.Я. Лихтциндер, Л.Н. Майоров, Е.Л. Михайлычев, В.И. Михеев, Ю.В. Павлов, С.А. Сафонцев, В.А. Хлебников, М.Б. Челышкова, А.Г. Шмелев и др., а также А. Анастази, Д;к. Гласе и Дж. Стэнли, К. Ингеками, П. Клайн и др.). Их методологическую основу составляют работы, направленные на создание и адаптацию средств и методов информатики и ИКТ для системы образования (С.А. Бешенков, Я.А. Ваграменко, В.Г. Кинелев, О.А. Козлов, А.А. Кузнецов, В.Ж. Куклин, М.П. Лапчик, Э.А. Маиушин, И.П. Норенков, Н.И. Пак, СВ. Панюкова, И.В. Роберг, ІО.А. Романенко, АЛ. Савельев, Н.В. Софронова и др.).
Применению формально-математических и кибернетических методов для повышении эффект явности отдельных этапов педагогического контроля посвящены работы многих исследователей, в том числе И.Е. Вострокнутова, Б.П. Канаева. О.А. Козлова, В.Л. Латышева, Ю.М. Неймана, Н.И. Пака, П.В. Роберг, В.М. Хлебникова, М.Б. Челышковой, B.C. Черепанова и др. Наиболее серьезные результаты достигнуты в сфере содержательного структурирования тестовых заданий (ЕЗ.С. Аванесов), методологии построения и практического применения тестов (Л.Н. Майоров, Е.А. Михайлычев, В.А. Хлебников), психопедагогических п организационных проблем применения іестирования как метода педагогического контроля (А.Г. Шмелев), создания технологии адаптивного тестирования (М.Б. Челышкова). Настоятельная необходимость подготовки специалистов в области тестирования знаний осознается педагогической общественностью, о чем свидетельствуют публикации и практическая деятельность В.М. Кадневского, В.Ж. Куклина, Мизиицева В.П., М.Г. Минина, Е.А. Михайлычева, И.П. Норенкова, С.А. Сафонцева, В.И. Тесленко, М.Б. Челышковой и др. Тем не менее, названные и другие авторы при применении формально-математических методов не уделяют должного внимания комплексному описанию контроля знаний как информационного процесса, его исследованию и оптимизации с формально-структурных и кибернетических позиций, а также не ставят и не решают проблему систематической подготовки специалистов регулярному
применению средств и методов информатики и ИКТ для описания, исследования и организации педагогического тестирования знаний.
Можно назвать, по крайней мере, три причины такого положения. Первая из них - отсутствие корректных и функционально полных формально-структурных моделей информационного процесса педагогического тестирования, необходимых для эффективного выявления и объективного оценивания знаний обучаемых, и особенно формально-структурных моделей знаний как предмета контроля, процессов оценивания и тестирования знаний количественного оценивания объективности педагогического контроля, а также алгоритмов тестирования и оценивания знаний. В свою очередь, для построения и исследования таких моделей должен быть создан метод формально-структурного описания процессов педагогического контроля знаний, под которым понимается совокупность приемов и операций формально-математического и кибернетического описания тех объективно существующих свойств и структурных особенностей объекта, наличие которых подтверждается либо документальной базой, либо экспериментальными исследованиями.
Вторая причина - то, что педагогика изначально развивалась как гуманитарная дисциплина, оперирующая лингвистическими моделями и использующая качественные методы оценки получаемых результатов. По этой причине информатизация и формализация и педагогической науки представляє іся чрезвычайно актуальной и абсолютно необходимой - в противном случае система образования окажется неспособной противостоять вызовам и удовлетворять требованиям современного информационного общества.
Третья причина кроется в том, что система профессиональной подгоювкп педагогов в высших и других учебных заведениях тоже имеет сильный "і умани гарный уклон", который выражается, в частности, в очень незначительном объеме учебных часов, выделенных для изучения информатики (в том числе методов сбора и анализа информации, информационных и коммуникационных технологий) и дисциплин
математического цикла, а также их применения для повышения эффективности учебного процесса. Подавляющее большинство практикующих педагогов, менеджеров образовательных учреждений и научных работников, занимающихся проблемами образования, не имеют систематических знаний по этим вопросам. По этой причине они оказываются неспособными применять современные средства информатики и особенно формально-маїематичсские и кибернетические методы исследований для получения искомых результатов либо для их приложения в конкретной предмепюй области.
Несмоіри па присутствие на рынке образовательных программных продуктов большого количества разнообразных систем автоматизированного тестирования знаний и пристальный интерес к этому методу педагогического контроля со стороны специалистов и руководителей системы образования, до настоящего времени недостаточно разработаны организационно-методические подходы к систематической подготовке в области информатики и ИКТ специалистов, педагогических кадров и административно-управленческого персонала образовательных учреждений по вопросам его регулярного применения в учебном процессе. В государственных образовательных стандартах и учебных планах подготовки специалистов для образовательных учреждений уделяется недостаточное внимание реализации методов и средств информатики и ИКТ для учета, контроля и анализа результатов учебного процесса. Как следствие, многие практикующие педагоги настороженно относятся к тестированию как к методу промежуточного и текущего контроля знаний. Такое состояние существенно сдерживает работы по внедрению средств и методов информатики и ИКТ в учебный процесс, поскольку без построения корректных, непротиворечивых и полных моделей объекта автоматизация его деятельности чаще всего оказывается неэффективной.
С учеюм возможности организации массового одновременного контроля знаний и высокой степени стандартизации и унификации этого процесса наиболее перспективным и целесообразным для автоматизации представляется метод педагогического тестирования, который традиционно
сводится к представлению обучаемому множества вопросов и вариантов ответов на каждый из них, среди которых обучаемый должен выбрать правильные, по его мнению, ответы. Такие факторы, как высокая степень формализации процедуры тестирования, допустимость одновременного контроля знаний различных обучаемых с последующим сопоставлением и сравнительным анализом их образовательных достижений, относительная простота тиражирования и распространения комплектов тестовых заданий, а также возможность организации дистанционного тестирования посредством локальной вычислительной сети либо через глобальную информационную сеть Интернет обусловили непрерывное возрастание интереса к этому методу педагогического контроля и активное внедрение его в повсеместную педагогическую практику. Тестирование стало основой таких важнейших системных форм итогового контроля знаний, как единый государственный экзамен (ЕГЭ), государственное централизованное тестирование образовательных достижений и телетестинг.
Недосппочная подготовка в области средств и методов информатики и ИКТ (в частности, методов обеспечения эффективности педагогического контроля знаний) также проявляется в том, что подавляющее большинство существующих в настоящее время систем автоматизированного тестирования знаний имеет авторский характер, поскольку они отражают субъективные представления разработчиков о структуре этого процесса, методиках и алгоритмах выявления и оценивания знаний. Из-за неумения накапливать и иинтегрировать контрольно-измерительные материалы, созданные ведущими преподавателями соответствующих дисциплин, незнания формально-структурных моделей оценивания знаний и методик обеспечения обьективносш, достоверности и надежности тестов в современных системах тестирования чаще всего реализуется субъективная и, в силу этого, заведомо неполная эктлонная модель знаний конкретного преподавателя - организатора педагогического контроля, что препятствует распространению накопленного тестового маїериала и становится причиной конфликтов из-за несогласия обучаемых с выставленной оценкой.
Оіедоваїельно, можно выделить группу противоречий между:
• целесообразностью применения интенсивных методов массового педагогического контроля и педагогической диагностики и недостаточным вниманием к содержанию и формам подготовки в области информатики и ИКТ специалистов по описанию и исследованию процессов педагогического контроля, а также по созданию, внедрению и организации эксплуатации автоматизированных систем педагогического контроля знаний;
• потребностью обеспечить систематичность, массовость и объективность контроля знаний и отсутствием инструментария для описания и исследования процессов педагогического контроля знаний на базе средств и методов информатики и ИКТ;
• целесообразностью использования тестовых заданий, созданных квалифицированными экспертами для повсеместного текущего и промежуточного тестирования знаний по различным дисциплинам, и отсутствием методик распределенного коллегиального формирования тестовых заданий, их последующего централизованного сбора, накопления и распределения по учебным заведениям, а также регулярного применения для тестирования знаний;
• потребностью в специалистах по педагогическому тестированию знаний и недостаточной проработанностью содержательных основ .и организационно-методических подходов к их подготовке в высших учебных заведениях.
Выявленная группа противоречий определяет проблему исследования, которая отражает противоречие между необходимостью обеспечения систематического, массового и объективного контроля знаний обучаемых по различным дисциплинам и отсутствием инструментария для описания, исследования и организации педагогического тестирования, а также отсутствием специалистов, подготовленных для деятельности в этой области.
Таким образом, актуальность исследования определяется необходимое іьіо: теоретического обоснования и разработки метода формально-сіруктурного описания и исследования информационных
процессов педагогического контроля знаний как базы повышения эффективности автоматизированного тестирования; разработки структуры и содержания подготовки специалистов для системы образования теоретическим и технологическим подходам к реализации средств и методов информатики и ИКТ при создании, внедрении и организации использования автоматизированных систем педагогического контроля знаний (АСПКЗ); организации подготовки этих специалистов в области формально-структурного описания, исследования и организации педагогического тестирования знаний.
Объект исследования - процесс подготовки в области информатики и ИКТ специалистов по созданию, внедрению и организации эксплуатации автоматизированных систем педагогического контроля знаний.
Предмет исследования - содержание и организационно-методические подходы к подютовке в области информатики и ИКТ специалистов по организации автоматизированного педагогического тестирования знаний.
Цель исследования - теоретическое обоснование и разработка метода описания и исследования процессов педагогического контроля знаний, разраооїка на этой основе структуры и содержания подготовки специалистов в области информатики и ИКТ, а также организационно-методических подходов к ее реализации.
В основу исследования положена гипотеза о том, что применение метода формально-структурного описания и исследования процессов педагогического контроля знаний, реализующего дидактические и аналитические возможности средств информатики и ИКТ в аспекте педагогических и организационно-методических задач информатизации образования, обеспечит:
- повышение эффективности педагогического оценивания знаний, в том числе повышение объективности выставляемых оценок и уровня знаний обучаемых, расширение сферы практического применения тестового контроля, возможность управлять построением алгоритма тестирования и формированием теста, а также существенное сокращение трудоемкости его практического применения;
- содержательную подготовку в области формально-структурного описания и исследования информационных процессов педагогического контроля знаний специалистов по созданию, внедрению и организации жсплупіаціпі ДСП КЗ;
- совершенствование организационных форм и методов подготовки специалистов по созданию, внедрению и организации эксплуатации АСПКЗ;
- автоматизацию процессов распределенной коллегиальной подготовки экспертами тестовых заданий, их последующего централизованного сбора, накоплении и распределения по учебным заведениям, а также регулярного применения для тестирования знаний.
Для достижения цели исследования сформулированы задачи исследования:
1. Проанализировать современные научно-методические подходы к организации подготовки педагогов и специалистов в области автоматизации педагогического контроля знаний, основанные на методах формализации описания, диагностирования и оценивания состояния сложных объектов, и предложить направления повышения результативности и эффективности этого процесса.
2. Теоретически обосновать и разработать метод формально-структурного описания и исследования процессов педагогического контроля знаний, на основании коюрого построить обобщенные формально-структурные модели системы обучения и протекающих в ней процессов педагогического контроля и тестирования знаний, а также обобщенную формально-структурную модель знаний.
3. Сформулировать принципы автоматизации педагогического іестиропанин знаний, учитывающие современный уровень развития средств и методов информатики и ИКТ.
4. Теореіически обосновать, построить и исследовать формально-структурные модели нечеткого и статистического оценивания знаний, а также предложи п. алюри 1мы их реализации и практически оценить эффективность применении.
5. Теоретически обосновать и разработать метод количественного оценивания объективности педагогического контроля знаний, на основе которого построить и исследовать формально-структурную модель количес і венного оценивания объективности.
6. Разработать методические рекомендации по распределенной коллегиальной подготовке экспертами тестовых заданий, их последующему централизованному сбору, накоплению и распределению по учебным заведениям для реіулярного тестирования знаний, а также по планированию, организации и оперативной координации сеансов автоматизированного контроля знаний.
7. Разработать структуру, содержание и организационно-методические подходы к подготовке в области информатики и ИКТ специалистов по применению по созданию, внедрению и организации эксплуатации автоматизированных систем педагогического контроля знаний.
Методологическими основами настоящего исследования стали работы в области педагогики и педагогической диагностики (Ш.А. Амонашвили, Ю.К. Бабанский, Л.И. Берг, О.С. Гребенюк, Н.Ф. Талызина, В.Д. Шадриков и др.); теории и практики обучения информатике, использования ИКТ в учебном процессе (С.Л. Бешенков, Я.А. Ваграменко, С.Г. Данилюк, М.П. Лаичик, О.А. Козлов, А.А. Кузнецов, Э.И. Кузнецов, Э.А. Манушин, Н.И. Пак, СВ. Панюкова, И.В. Роберт, Ю.А. Романенко, Н.В. Софронова, Е.К. Хеннер и др.); квалимеїрии (С.Д. Бешелев, Ф.Г. Гурвич, Б.И. Канаев, Б.Я. Лихтциндер и др.); тесюлогии (B.C. Аванесов, А. Анастази, Дж. Гласе, Н. Грунлунд, К. Ингекамп. II. Клайн, А.Н. Майоров, Е.А. Михайлычев, Дж. Стэнли, В.А. Хлебников, М.Б. Челышкова, А.Г. Шмелев и др.); экспертных методов в педагогических исследованиях (А.И. Орлов, И.В. Роберт, Ю.В. Сидельников, B.C. Черепанов и др.); кибернетики, исследования операций и дискретной математики (1.С. Зентцель, Н. Винер, Ф. Джордж, Л.Т. Кузин, А. Тьюринг и др.); системного анализа (В.М. Глушко в, А.К. Дмитриев, П.А. Мальцев, Г.П. Мельников, М. Месарович, Б. Рассел, Л.А. Растригин, В.А. Штофф и др.); іеории информации, инженерии знаний и искусственного интеллекта
(Т.Л. Гаирилова, Р. Галлагср, A.B. Колесников, С. Осовский, Д.А. Поспелов, Ф.Е. Темников, В.Ф. Хорошевский, К. Шеннон, Ю.А. Шрейдер и др.); теории принятия решений и нечеткой алгебры (А.Н. Борисов, Л. Заде, А. Коффман и др.); теории вероятностей и математической статистики (A.M. Длин, В.В. Оболонкин, В.А. Фигурин и др.).
Для решения поставленных задач применялись следующие методы исследования: теоретический анализ положений педагогической науки по проблемам диагностирования, контроля и оценивания знаний; сопоставительный анализ технологий контроля знаний; наблюдение, беседы, проведение занятий в компьютерном классе и непосредственное осуществление педагогического контроля знаний; системный анализ; методы синтеза и анализа сложных систем и информационных процессов; экспертные методы в приложении к педагогическим исследованиям; методы теории алгоритмов и принятия решений; методы нечеткой логики, теории вероятности и математической статистики.
6827
Научная новизна заключается в разработке: метода формально-структурного описания и исследования процессов педагогического контроля знаний; обобщенных формально-структурных моделей системы обучения и реализуемых в ней процессов педагогического контроля знаний и тестирования знаний; обобщенной формально-структурной модели знаний как объекта педагогического контроля; формально-структурных моделей нечеткого оценивания знаний и статистического оценивания знаний; семейства алгоритмов прямого и адаптивного тестирования знаний; формально-структурном модели количественного оценивания объективности педагогического контроля знаний; основных направлений подготовки в облаєш информишки и ИКТ специалистов по созданию, внедрению и организации эксплуатации АСПКЗ.
Теорешческаи значимость проведенного исследования заключается в обосновании назначения, разработке содержания и выявлении этапов применения меіода формально-структурного описания и исследования процессов педагогического контроля знаний; в формулировании принципов
авіомапнанпи педагогического тестирования знаний; в обосновании метода и построении формально-структурной модели нечеткого оценивания знаний, определении сферы ее применения в качестве средства педагогического контроля; в обосновании метода и построении формально-структурной модели статистического оценивания знаний, определении сферы ее применения в качестве средства педагогического контроля; в обосновании метода и построении формально-структурной модели количественного оценивания объективное їй педагогического контроля знаний; в разработке структуры и содержания подготовки в области информатики и ИКТ специалистов по созданию, внедрению и организации эксплуатации ЛСПКЗ.
- Практическая значимость исследования заключается в разработке следующих учебно-методических материалов: учебного плана подготовки информатиков-аналитиков по специализации «Автоматизированные системы педагогического контроля знаний» специальности 351400 «Прикладная информатика (в образовании)», учебного плана повышения квалификации завучей учреждений общего среднего образования по направлению «Подготовка кадров информатизации образования» (специализация «Автоматизированные системы педагогического контроля знаний), учебной программы повышения квалификации педагогических кадров и административно-управленческого персонала образовательных учреждений в области информатики и ИКТ «Основы автоматизированного тестирования знаний», методики оценивания компетентности преподавателей, осуществляющих педагогический контроль знаний, и стандарта предприятия «Управление качеством образования. Расчет коэффициента компетентности преподаватели», методики оценивания объективности процедуры педагогического контроля и экспертов-преподавателей, участвующих в ее организации и проведении, и стандарта предприятия «Управление качеством образования. Оценка объективности аттестационных комиссий», методик распределенного коллегиального построения экспертами тестовых заданий, их цсшрали ювашюю накопления и распространения по образовательным учреждениям для проведения педагогического тестирования, а также
планирования, организации и оперативной координации сеансов автоматизированного контроля знаний, рекомендаций по реализации предложенных подходов, методов, моделей и методик в учреждениях высшего профессионального образования, в том числе в рамках обучения, повышения квалификации и переподготовки преподавателей, специалистов и руководителей учебных заведений.
Достоверность и обоснованность основных положений и выводов диссертационного исследования подтверждается: системным подходом к разработке основ формально-структурного .моделирования системы обучения и протекающих в ней информационных процессов (в частности, процесса педагогического контроля знаний), базирующимся на теоретических положениях и результатах практических исследований таких наук, как педагогика, квалиметрия, тестология, кибернетика, теория информации, теория принятия решений и нечеткая алгебра, теория вероятности и математическая статистика; непротиворечивостью полученных результатов исследования основным концепциям информатизации образования; регулы а іами эксперимента по применению в учебном процессе предложенных в диссертационном исследовании решений.
ЛпроПашш результатов исследования. Теоретические положения и результаты исследования докладывались и были одобрены на следующих международных, всероссийских и региональных конгрессах, конференциях и семинарах: 111 Международная выставка-конференция «Информационные технологии и телекоммуникации в образовании» (Москва, 2001 г.), XI, XII, XIII и XIV Международные конференции-выставки «Информационные технологии в образовании» (Москва 2001-2004 г.г.), Научно-технические конференции «Современные проблемы высшего образования» (Мурманск, 1998 и 2001 г.), Всероссийская научно-техническая конференция «Проблемы информатики в образовании, управлении, экономике и технике» (Пенза, 2001 г.), VIII Международная научно-методическая конференция «Новые информационные технологии в университетском образовании» (Новосибирск, 2001 г.), I, II и 111 Международные научно-методические конференции
«Дистанционное обучение - образовательная среда XXI века» (Минск, 2001-2003 гл.). Международные научные конференции «Информация-коммуникации-общество» (Санкт-Петербург, 2001 и 2002 г.), X и XI Международные конференции «Математика, компьютер, образование» (Москва, 2003 и 2004 г.), XXII и XXIII Межведомственные научно-технические конференции «Проблемы обеспечения эффективности и устойчивости функционирования сложных и технических систем» (Серпухов, 2003 и 2004 г.), Всероссийские научно-практические конференции «Информационные и коммуникационные технологии в общем, профессиональном и дополнительном образовании» (Москва, 2003 г. и Калининград, 2004 г.).
Результаты работы опубликованы в журналах "Информатика и образование" (2003 и 2005 г.г.), «Информационные технологии» (2003 и 2004 гг.), «Педагогическая диагностика (2002 и 2003 г.г.), в «Ученых записках Института информатизации образования РАО» (2002-2004 г.г.), а также в материалах международных, всероссийских, всесоюзных и ведомственных конференции, семинаров и совещаний.
Внедрение результатов исследования. Результаты исследования внедрены в учебный процесс и в систему управления учебной деятельностью в Универсшете Российской академии образования, Калининградском государственном техническом университете и в негосударственном образовательном учреждении «Отраслевой научно-учебный тренажерный центр ОАО «Газпром»».
Основные этапы исследования. Исследования выполнялись в рамках научно-исследовательских работ Института информатизации образования РАО, Калининградского государственного технического университета, отраслевого научно-учебного тренажерного центра ОАО «Газпром» и других образоваїельпьіх учреждений. Проводимые исследования выполнялись в рамках Комплексной программы «Информационные и коммуникационные технологии и общем, профессиональном и дополнительном образовании», реализуемой в Институте информатизации образования РАО, госбюджетной
НИР 53.53.200.2 «Построение и исследование .методов и моделей педагогического контроля знаний», реализуемой в Калининградском государственном техническом университете, а также в рамках договора о научно-техническом сотрудничестве в области информатизации образования между КГТУ и НОУ «ОНУТЦ ОАО «Газпром»».
В течение 1987-1998 г.г. изучалась практика построения и применения автоматизированных систем педагогического тестирования знаний, выявлялись причины их несоответствия требованиям обеспечения эффективное ш педагогического контроля. Сформулирована проблема исследования, обоснована его актуальность и определены пути разрешения выявленной проблемы. Изучалась и анализировалась научная литература, выбрана базовая модель исследования, выработаны основные подходы к формализации процесса педагогического тестирования знаний. В 1999-2001 г.г. сформулированы основные положения метода формально-структурного описания и исследования информационных процессов педагогического контроля знаний. Созданы формально-структурные модели: знаний как предмета педагогического контроля; процесса педагогического контроля, процесса тестирования знаний; нечеткого оценивания знаний; количесівенного оценивания объективности педагогического контроля. Сформулированы основные подходы к организации коллегиального экспертного построения тестовых заданий. Разработаны алгоритмы прямого и адаптивного тестирования знаний. В 2002-2005 г.г. сформулированы организационно-методические подходы к подготовке в области информатики и МВТ специалистов по созданию, внедрению и организации эксплуатации АСПКЗ, а также методические рекомендации по реализации предложенных моделей, методов и алгоритмов в автоматизированных системах педагогическою контроля знаний. Создана и исследована формально-структурная модель статистического оценивания знаний. Разработаны учебный план подготовки информатиков-аналитиков по специализации «Автоматизированные системы педагогического контроля знаний» специальности 351400 «Прикладная информатика (в образовании)», учебный
план повышения квалификации завучей учреждений общего среднего образования по направлению «Подготовка кадров информатизации образования» (специализация «Автоматизированные системы педагогического контроля знаний) и учебная программа повышения квалификации преподавателей и административно-управленческого персонала
образовательных учреждений в области информатики и ИКТ «Основы автоматизированного тестирования знаний», а также методическая документация. Выполнен теоретический анализ и интерпретация результатов диссертационного исследования и проведенного в его рамках педагогического эксперимента, опубликованы основные результаты. Сформулированы окончательные выводы и оформлен текст диссертации. Положения, выносимые на защиту:
1. Реализация метода формально-структурного описания и исследования процессов педагогического контроля при создании систем автоматизированного тестирования знаний обеспечивает построение и изучение формально-структурных моделей процессов контроля, тестирования и оценивания, выявление и формализацию наиболее значимых элементов системы контроля знаний, их связей между собой и с внешней средой, а также позволяет выделить, описать и формализовать важнейшие стадии, этапы и процедуры )іих процессов.
2. Использование в системах автоматизированного тестирования аксиоматической формально-структурной модели знаний как предмета педагогического контроля, формально-структурных моделей нечеткого и статистическою оценивания знаний и модели количественного оценивания обьекіивпосіи педагої ического кон і роля обеспечивает выявление и описание информационных ресурсов, используемых при реализации каждого этапа педагогическою контроля, и алгоритмизацию процедур преобразования этих ресурсов; повышает объективность результатов автоматизированного тестирования; обеспечивает возможность автоматизированного контроля знаний по слабо формализованным учебным дисциплинам.
3. Применение для организации тестирования знаний методик распределенной коллегиальной подготовки экспертами тестовых заданий, централизованного накопления и последующего распределения заданий по образоиаіелі.ш.ім учреждениям для контроля знаний обучаемых, а также меюдики планирования, организации и проведения сеансов автоматизированного контроля знаний обеспечивает привлечение к составлению тестовых заданий в качестве экспертов территориально удаленных друг от друга квалифицированных преподавателей; существенно снижает трудоемкость организации и проведения текущего и промежуточного тестирования; обеспечивает унификацию и стандартизацию тестового контроля, а также сопоставимость результатов обучения в различных образовав ельных учреждениях.
4. Реализация организационно-методических подходов к подготовке в обласні информатики и ИКТ специалистов по созданию, внедрению и организации использования автоматизированных систем педагогического контроля знаний в аспекте применения метода формально-структурного описания и исследования, а также созданных на его основе моделей, алгоритмов и методик обеспечит расширение сферы применения регулярного автоматизированного тестирования как метода педагогического контроля и повысит объективность получаемых результатов оценивания знаний.
Структура и объем диссертации. Диссертация состоит из введения, пяти глав, заключения, основных выводов и результатов исследования, списка литературы, перечня терминов и определений, перечня сокращений, а также приложений. Общий объем работы 448 с. Из них 277 с. основного текста, 31с. - список литературы из 382 наименований, перечень терминов и определений на 4 с, перечень сокращений на 1 с. Диссертация содержит 17 рисунков, 17 таблиц и 7 приложений общим объемом 135 с.
Во введении на основе анализа отечественной и зарубежной научной и методической литературы, практики применения тестового контроля знаний обосновывается актуальность темы исследования, формулируются его цель, проблема, обьект и предмет, гипотеза, научная новизна, теоретическая и
практическая значимость исследования, а также основные положения, выносимые на защиту.
Мерная глава «Анализ процесса контроля знаний в аспекте применения средств информационных и коммуникационных технологий» посвящена выявлению и исследованию проблем построения и применения информационных систем для автоматизации процесса педагогического кон і роля знаний и поиску путей их решения.
Во второй главе «Гносеологические основы подготовки специалистов в области формально-структурного описания, исследования и организации педагогического тестирования знаний» строятся и исследуются аксиоматическая модель знаний как предмета педагогического контроля, а также формально-структурные модели процессов педагогического контроля и тестирования знаний.
В третьей главе «Построение и исследование формально-структурных моделей оценивания и алгоритмов тестирования знаний» рассматриваются модели нечеткого и статистического оценивания знаний и алгоритмы прямого и адашивпою іесшрования, позволяющие автоматизировать широкий спектр прикладных методик педагогического контроля и оценивания знаний, а также описываюіся и анализируются результаты педагогического эксперимента по исследованию возможностей применения предложенных моделей и алгоритмов автоматизированного тестирования как средства повышения уровня обученности студентов.
В чсівергой главе «Основы количественного оценивания обьскіпвіюсіп педагогического контроля знаний» представляется іеорсшческос обоснование и формулируются основные положения метода количественного оценивания объективности педагогического контроля.
В пяюй главе «Организационные формы и методические аспекты подгоювки специалистов в области формально-структурного описания, исследования и организации педагогического тестирования знаний» рассматриваются тематические блоки учебных дисциплин, составляющих содержание обучения специалистов по созданию, внедрению и организации
•жсплуаіацпи АСІІКЗ, методики практического применения ими предложенных н диссертационном исследовании моделей и алгоритмов для организации и осуществления различных этапов автоматизированного іесіированпя знаний.
В заключении подводятся итоги исследования.
В приложении приводятся учебно-методические и нормативно-меюдические документы, подготовленные с участием автора: проект учебного плана обучения информатиков-аналитиков по специальности 351400 «Прикладная информатика (в образовании)» со специализацией «Автоматизированные системы педагогического контроля знаний», проект учебного плана повышения квалификации завучей учреждений общего среднего образования по направлению «Подготовка кадров информатизации образования» (специализация «Автоматизированные системы педагогического контроля знаний), проект учебной программы подготовки и повышения квалификации преподавателей и административно-управленческого персонала образовательных учреждений по дисциплине «Основы автоматизированного тестирования знаний», методические рекомендации по организации обучения с применением компьютерных обучающих систем при повышении квалификации руководителей и специалистов в учебных заведениях ОАО «Газпром», проекты Стандартов предприятия (высшего учебного заведения) «Управление качеством образования. Оценивание объективности апестациопных комиссий» и «Управление качеством образования. Расчет коэффициента компетентности преподавателя», а также макеты видеоформ диалоговой системы И АС КЗ.
Основные результаты работы отражены в более чем 40 публикациях по іеме диссертации, среди них: 1 монография, 12 статей, 2 препринта, а также в 5 нормативно-методических документах.
