Содержание к диссертации
Введение
ГЛАВА I. МЕТОДИЧЕСКИЕ ОСНОВЫ ИСПОЛЬЗОВАНИЯ ИКТ И ТЕСТОВЫХ ТЕХНОЛОГИЙ ДЛЯ КОНТРОЛЯ ЗНАНИЙ КУРСАНТОВ 21
1.1. Тестирование - как вид педагогического контроля в современном учебном процессе 21
1.2. Инфокоммуникационные технологии в тестировании - как основа теории педагогических измерений 36
1.3. Специфика контроля знаний курсантов военных вузов по специальным дисциплинам с применением инфокоммуникационных и тестовых технологий 61
Выводы 78
ГЛАВА II. МЕТОДИКА И ПРАКТИКА ОРГАНИЗАЦИИ КОНТРОЛЯ ЗНАНИЙ КУРСАНТОВ (НА ПРИМЕРЕ СПЕЦИАЛЬНОГО БЛОКА ДИСЦИПЛИН) 80
2.1. Методы планирования и интерпретация результатов 80
2.2. Методические рекомендации по составлению и использованию тестовых заданий (по плану специальных дисциплин) 88
2.3. Результаты опытно-экспериментального исследования 129
Выводы 146
ЗАКЛЮЧЕНИЕ 146
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 151
ПРИЛОЖЕНИЕ
- Тестирование - как вид педагогического контроля в современном учебном процессе
- Инфокоммуникационные технологии в тестировании - как основа теории педагогических измерений
- Методы планирования и интерпретация результатов
Введение к работе
Актуальность исследования. Одной из главных задач, определенных в Концепции модернизации российского образования, является повышение его качества на всех уровнях системы образования. Решение этой задачи требует внедрения новых эффективных методов управления педагогическим процессом. Педагогическое тестирование - один из эффективных инструментов контроля уровня знаний обучаемых.
Разумеется, тестирование не заменяет и не отменяет традиционных форм педагогического контроля, основанных на непосредственном общении преподавателя со студентами (в нашем случае с курсантами военного вуза). Это исследования: B.C. Аванесова, Ш.А. Амонашвили, В.П. Беспалько, Л.Н. Боголюбова, Л.С. Выготского, А.Я. Ивановой, П. Клайн, М.В. Кларина, И.И. Кулибаба, А.Н. Майорова, Н.А. Омельченко, А.В. Петровского, Н.А. Селезневой и др.
В последнее время в центре внимания исследователей находятся вопросы по изучению сущности новых информационных технологий в контексте возможности их применения как контроля качества знаний обучающихся (Н.В. Апатова, Ю.Д. Бабаева, А.В. Бойко, Е.П. Велихов, А.Е. Войскун-ский, B.C. Гершунский, Л.И. Доменер, А.П. Ершов, В.А. Извозчиков, Е.И. Малшбиц, Б.Е. Стариченко, Е.С. Полат, Н.В. Роберт, O.K. Тихомиров и др.).
Возможности применения компьютерных технологий, а именно инфо-коммуникационных, для разработки и применения тестовых заданий были исследованы в работах П. Клайна, А.О. Кривошеева, Ж.Н. Зайцевой, М.В. Кларина, Б.У. Радионова, С.А. Христовского, А.Ю. Терехиной).
Проблема качества подготовки курсантов военного вуза в области специальных дисциплин, а также связанные с ней вопросы проверки и оценки знаний умений и навыков обучающихся рассматриваются в работах Ю.Н. Егоровой, Л.М. Захаровой, Н.В. Изотовой, В.В. Краевского, Г.С. Ковалевой, И.Я. Лернера, В.Н. Максимовой, Е.А. Приходько, Т.В. Ряб-цевой, А.В. Рома-
нова, В.Г. Разумовского, А.А. Рыбанова, М.Н. Скаткина, Г.А. Стрюкова, А.В. Слепухина, Н.В. Тропининой, В.В. Шевчука и др.
Современное положение в сфере тестового контроля осложняется тем, что у подавляющего большинства преподавателей нет специальной подготовки по методике разработки и применения педагогических тестов, как нет и специальной науки, ответственной за развитие тестового педагогического контроля, аналогичной существующей за рубежом теории педагогических измерений. В отечественных учебниках по педагогике, как правило, разделы по тестовому контролю представлены крайне фрагментарно либо не представлены вообще.
Еще не получило достаточного распространения использование инфо-коммуникационных технологий при изучении специальных дисциплин в военных вузах для контроля качества знаний обучающихся.
В связи с этим возникают противоречия:
между необходимостью контроля знаний обучающихся с помощью тестирования с применением инфокоммуникационных технологий и отсутствием отечественной научной теории педагогических измерений, современных математико-статистических методов, применяемых для проверки соответствия тестов определенным научно обоснованным критериям качества;
между возможностью создания тестов посредствам применения математических моделей теория латентно-структурного анализа и отсутствием специальной подготовки преподавателей по методике разработки и применения педагогических тестов;
между необходимостью переосмысления преподавателями основных сведений по педагогическому контролю, нужных для целей изложения и ориентированных на современные тестовые средства, и практической готовностью принятия определенных новшеств в текущем и итоговом контроле знаний обучающихся;
между потребностями курсантов военных вузов в освоении ин-фокоммуникационных технологий при изучении специальных дисциплин и недостаточной профессиональной готовностью преподавателей к использованию их в процессе обучения;
между развивающей функцией контроля знаний обучающихся и необходимостью реализации этой функции в процессе компьютеризованного контроля с жестким временным режимом.
Актуальность, теоретическая значимость и недостаточная разработанность современной теории контроля знаний на основе применения тестовых технологий определили проблему исследования: каковы педагогические условия повышения качества знаний курсантов военного вуза по средством тестовых технологий как вида педагогического контроля?
Объект исследования: тестовые технологии как контроль знаний курсантов военного вуза.
Предмет исследования: процесс разработки педагогических тестов для контроля качества знаний обучающихся.
Гипотеза исследования: можно предположить, что качество знаний обучающихся значительно повысится при следующих условиях:
анализ теории и практики педагогических измерений в зарубежных и отечественных научных исследованиях;
научное доказательство применения инфокоммуникационных технологий в тестировании как методической основы теории педагогических измерений;
разработка методики и практики организации контроля знаний курсантов военного вуза (на примере дисциплин специального блока);
теоретическое обоснование качества знаний обучающихся средством тестового контроля с использованием инфокоммуникационных технологий;
5 создание специального вида тестов (формирующих и диагностических), предназначенных для формирования качественных знаний у курсантов военных вузов;
издание и внедрение в практико-ориентированную деятельность преподавателей вузов «Методических рекомендаций по составлению и использованию тестовых заданий».
В соответствии с целью и гипотезой определены основные задачи исследования:
Проанализировать современное состояние проблемы использования и разработки тестовых технологий как контроля качества знаний обучающихся.
На основе изучения и обобщения теоретических источников и передовой педагогической практики определить возможность разработки тестовых заданий преподавателями вузов.
Выявить и научно обосновать специфику контроля знаний курсантов военного вуза по специальным дисциплинам с применением инфокоммуни-кационных и тестовых технологий.
Разработать методические рекомендации по составлению и использованию тестовых заданий.
Методологическую основу исследования составили: теории единства и диалектического взаимодействия теории и практики в научном познании; дидактические принципы контроля и оценки качества знаний обучающихся; концепция уравнивания дифференциации; деятельностный подход в обучении; теория факторного анализа, концепция проектирования образовательных информационных ресурсов систем и технологий; теория научной организации педагогического контроля в высшей школе; теория дидактического анализа качества знаний учащихся, теория развивающего обучения, теория вероятностей и математическая статистика.
Теоретическую основу составляют положения методики дидактического исследования (В.И. Загвязинский, В.В. Караевский, М.Н. Скаткин);
информационные технологии и системный подход в образовании (Ю.С. Барановский, Б.С. Гершунский, А.В. Матросов, Е.И. Машбиц, Н.Д. Никандров, Н.С. Полат, И.Д. Пехлецкий, И.В. Роборт, Н.Ф. Талызина, Б.Е. Стариченко, Ю.П. Сокольников и др.). Квалиметрические измерения в педагогических исследованиях (П.С. Атаманчук, Н.В. Акинфиеева, Л.М. Захарова, Т.В. Рябце-ва, Т.В. Кириллова, Б.П. Мартиросян, B.C. Лазарева, Е. В. Яковлева и др.); теория проблемного обучения (И.Я. Лернер, В.Н. Максимова и др.); технологические основы проектирования и конструирования учебного процесса (В.М. Монахов, В.П. Беспалько и др.); теория и практика конструирования педагогических тестов (B.C. Аванесов, Т.М. Балыхина, А.О. Татур, М.Б. Че-лышкова, А.О. Шмелев и др.).
Для решения поставленных в исследовании задач и проверки исходных предположений использовался комплекс методов: теоретических (анализ и синтез абстрагирования и конкретизация, аналогия и моделирование, анализ эмпирических данных, ретроспективный анализ собственной деятельности); эмпирических (опытно-экспериментальная работа, наблюдение, анкетирование, тестирование, беседа, интервьюирование, самооценка, экспертная оценка).
Экспериментальное исследование проводилось на базе Ставропольского военного института связи ракетных войск, с охватом более 320 респондентов и 36 преподавателей специальных дисциплин. Исследование проводилось в период 2001-2005 годов.
Первый этап: (2001-2003) был связан с изучением исследований по теме, анализа опыта использования информационных технологий в высшей военной школе с целью изучения содержания, форм, методов, формирующей проблемы и выдвижения предварительной гипотезы, была проведена теоретическая разработка проблемы.
Второй этап: (2003-2004) был посвящен технологическому процессу разработки тестовых заданий с помощью инфокоммуникационных технологий.
7 Третий этап: (2004-2005) анализ и обобщение результатов опытно-экспериментальной работы; уточнение опытных и экспериментальных выводов; подготовка методических рекомендаций; оформление выводов исследования в виде кандидатской диссертации.
Научная новизна исследования заключается в том, что:
соотнесены возможности различных средств измерения с видами контроля - тестированием;
разработана комплексная система использования инфокоммуни-кационных технологий в тестировании обучающихся;
упорядочены методы шкалирования и интерпретации результатов тестирования;
внедрены в практико-ориентированную деятельность преподавателей «Методические рекомендации по составлению и использованию тестовых заданий» (по блоку специальных дисциплин);
выявлены уровни анализа информации о качестве подготовки обучаемых в рамках тестовых измерений.
Теоретическая значимость исследования заключается в том, что в нем:
уточнены содержательно-структурные компоненты понятия «ин-фокоммуникациооные технологии» в контексте учебного тестирования;
обоснована специфика контроля знаний курсантов военного вуза по блоку специальных дисциплин с применением ИКТ и тестовых технологий;
теоретически и эмпирически разработаны методы шкалирования и интерпретации результатов исследования применительно к тестовому контролю обучающихся по блоку специальных: шкалирование результатов тестовых измерений, шкалы стандартных оценок, шкалы станаинов и стенов, шкала логитов и др.
Практическая значимость исследования состоит в следующем: обоснование и апробация методики использования тестовых технологий с приме-
8 нением инфокоммуникационных технологий для контроля знаний обучающихся. Результаты исследования и разработанные тесты могут быть использованы преподавателями вузов, педагогами общеобразовательных школ и других типов учебных заведений. Методические рекомендации будут полезны преподавателям всех типов учебных заведений, руководителям курсов повышения квалификации работников образования.
Апробация и внедрение результатов исследования осуществлялись через опубликованные автором работы, участие в конференциях: региональных «Нравственное воспитание на рубеже веков» (Карачаевск , 2004), «Университетская наука региону» (Ставрополь, 2003 - 2005); всероссийской интернет-конференции «Значение прикладной психологии в новейшей истории России» (Ставрополь, 2005).
Обоснованность и достоверность обеспечиваются современной методологией педагогических исследований, непротиворечивостью методических оснований работы, сочетанием научно-теоретических и практических подходов, репрезентативностью выборки, практическим подтверждением начальных установок в ходе эксперимента, статистическим и логическим анализом полученных результатов.
Положения, выносимые на защиту.
Тестирование как вид педагогического контроля дает объективную, сопоставимую и количественную оценку качества подготовки обучаемого в заданной образовательной области.
Качество подготовки обучающихся непосредственно связано с профессиональными умениями педагогов конструировать и использовать средства измерения, методикой разработки и применения их в учебной работе.
Новый этап обновления системы контроля и оценки качества обучения совпадает с введением стандартов образования, сущность которых заключается в формулировании единых требований к минимально необходимой учебной подготовке во всех образовательных областях. Требования к обязательным результатам обучения, зафиксированные в стандартах, стано-
9 вятся объективной основой для разработки критериев качества знаний обучающихся, для обновления всей системы оценки и контроля качества знаний.
4. Методические рекомендации по составлению и использованию тестовых заданий (по блоку специальных дисциплин) для педагогов вузов.
Структура и объем диссертации. Диссертация состоит из введения, двух глав, заключения, библиографии, включающей 173 источника, 5 приложений. Работа изложена на 164 страницах, содержит 12 таблиц, 3 рисунка, 5 диаграмм.
Во введении обоснована актуальность проведенного исследования, определены цели, задачи, его предмет и объект, обоснована теоретико-методологическая база, определены научная новизна и практическая значимость работы, представлены положения, выносимые на защиту.
В первой главе диссертации «Методические основы использования инфокоммуникационных технологий и тестовых технологий для контроля знаний курсантов» рассматриваются вопросы: тестирования как вида педагогического контроля в современном учебном процессе; использования инфокоммуникационных технологий в тестировании как основы теории педагогических измерений; обоснованы особенности контроля знаний курсантов военного вуза по дисциплинам специального блока с применением инфокоммуникационных технологий и тестовых технологий.
Нам хотелось внести некоторую ясность в терминологический аппарат и уточнить содержание понятий: «ИКТ», «тестирование», «тестология», которые мы будем использовать в нашем дальнейшем исследовании. Поэтому ИКТ - это система программно-методической поддержки технологии обучения (в нашем случае контроля знаний), основанная на применении телекоммуникационной техники и интерактивных программных средств.
Тестирование - это любая деятельность, направленная на обнаружение ошибок в программном продукте. Оценкой качества тестов занимается прикладная наука - тестология.
Высокий уровень развития информационных технологий в образовании позволяет активно использовать их для организации и проведения контроля знаний обучающихся при различных формах обучения - как традиционных, так и стремительно развивающейся дистанционной форме обучения, где тестирование может выступать не только как способ контроля и оценки знаний, но и как инструмент для текущей проработки учебного материала в качестве дополнения к электронному учебнику. Компьютерное тестирование позволяет в кратчайшие сроки проверить знания большой группы обучающихся; выявить пробелы при изучении конкретного учебного материала и использовать полученные результаты для управления ходом учебного процесса; применить методы математической статистики для оценки степени усвоения учебного материала; получить объективную оценку знаний обучающихся у разных обучающих или в разных учебных заведениях; избавить преподавателя от рутинной работы по контролю знаний традиционными способами: проверка различных письменных работ, устные опросы на семинарах, экзаменах, зачетах и т.д.
Тестирование является одной из форм массового контроля знаний студентов, который осуществляет преподаватель после изучения ими всей программы учебной дисциплины. Экзамен в форме тестирования обладает целым рядом преимуществ перед традиционной формой экзамена-диалога "преподаватель - студент". Особенность экзамена в форме тестирования — жесткий временной контроль. Поэтому при подготовке к тестированию необходимо уделить внимание психологическому настрою, тренировке решения мини-задач или ответов на мини-вопросы с контролем времени.
Педагогическая тестология призвана заниматься вопросами разработки тестов для объективного контроля подготовленности учащихся. В структуре подготовленности большое (но не исчерпывающее) место занимают знания, умения, навыки и представления. Сюда же следует добавить интеллектуальное, физическое и культурное развитие, творческие способности, воспитанность и уровень развития эмоционально-чувственной сферы. Педагогическая
тестология - это прикладная методическая теория научной педагогики. Ключевыми понятиями тестологии, как одной из методических теорий, являются измерение, тест, содержание и форма заданий, надежность и валидность результатов измерения. Кроме того, в тестологии используются такие понятия статистической науки, как выборочная и генеральная совокупность, средние показатели, вариация, корреляция, регрессия и др.
В теории любой науки важную роль играют исходные понятия. Это понятие педагогическое (учебное) задание, которое можно определить как средство интеллектуального развития, образования и обучения, способствующее активизации учения, повышению подготовленности учащихся, а также повышению эффективности педагогического труда. В правильно организованном процессе образования большая роль отводится педагогическим заданиям. Понятие "задание" является общим, охватывающим цель и смысл не только теста, но и всех учебных заданий. Оно включает такие педагогические средства, как вопрос, задача, учебная проблема и другие, используемые, главным образом, в собственной учебной деятельности (учении).
Задания могут формулироваться в тестовой, и, скажем так, в нетестовой форме. В российском образовании большинство учебных заданий дается учащимся в нетестовой форме. В основном, это вопросы, задачи, упражнения. Формы нетестовых заданий здесь не рассматриваются. В зарубежном образовании доля заданий в тестовой форме существенно выше, что объясняется соображениями проводимой там образовательной политики, имеющихся там педагогических теорий, методик, обучающей техники и технологии.
Педагогические задания выполняют как обучающие, так и контролирующие функции. Обучающие задания применяют учащиеся для активизации собственного учения, усвоения учебного материала, саморазвития, а также применяют педагоги для обучения учащихся. Все это свидетельствует об обучающем потенциале заданий. Контролирующие задания применяются, напротив, педагогом или проверяющими органами после окончания учебного года или другого определенного цикла (четверти), с целью диагностики
12 уровня и структуры подготовленности. Некоторая часть заданий может использоваться для обучения и для контроля.
Традиционный тест представляет собой стандартизованный метод диагностики уровня и структуры подготовленности. В таком тесте все испытуемые отвечают на одни и те же задания, в одинаковое время, в одинаковых условиях и с одинаковыми правилами оценивания ответов. Главная цель применения традиционных тестов - установить отношения порядка, устанавливаемые между испытуемыми по уровню проявляемых при тестировании знаний, и на этой основе определить место (или рейтинг) каждого на заданном множестве тестируемых испытуемых.
Специфическая форма тестовых заданий отличается тем, что задания теста представляют собой не вопросы и не задачи, а задания, сформулированные в форме высказываний, в зависимости от ответов, истинных или ложных. Традиционные вопросы, напротив, истинными или ложными не бывают, а ответы на них нередко настолько неопределенны и многословны, что для выявления их правильности требуются заметные, в суммарном исчислении, затраты интеллектуальной энергии преподавателей. В этом смысле традиционные вопросы и ответы нетехнологичны, и потому их лучше не включать в тест.
Определенное содержание - означает использование в тесте только такого контрольного материала, который соответствует содержанию учебной дисциплины; остальное в педагогический тест не включается.
Посредством тестирования чаще других признаков проверяются знания, умения, навыки и представления. С точки зрения педагогических измерений полезно ввести два основных показателя качества знаний - уровень и структура знаний. Они оцениваются посредством регистрации оценок как за знание, так и за незнание всех требуемых компонентов проверяемого материала. Для объективизации этого процесса все компоненты должны быть одинаковы. Одинаковыми являются и правила выставления оценок испытуе-
13 мым. Эти условия открывают дорогу для объективного сравнения индивидуальных структур знания и незнания.
Уровень знаний выявляется при анализе ответов каждого ученика на все задания теста. Чем больше правильных ответов, тем выше индивидуальный тестовый балл испытуемых. Обычно этот тестовый балл ассоциируется с понятием "уровень знаний" и проходит процедуру уточнения на основе той или иной модели педагогического измерения. Один и тот же уровень знаний может быть получен за счет ответов на различные задания.
В тестовом задании внимание педагога привлекают, в первую очередь, содержание и форма. Содержание определяется как отображение фрагмента учебной дисциплины в тестовой форме, форма - как способ связи, упорядочения элементов задания. Содержание теста существует, сохраняется и передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют.
Научно-обоснованный тест — это метод контроля, соответствующий установленным стандартам валидности и надежности. Под надежностью понимают согласованность результатов проведения теста на одной и той же группе испытуемых, но при изменении условий проведения, чаще всего либо времени, либо набора тестовых заданий. Коэффициент надежности может принимать только положительные значения от нуля до единицы. Обычно для оценки надежности тест проводят два раза и сравнивают полученные тестовые баллы. Чем более схожи результаты двух тестирований, тем более высок уровень надежности тестов.
Валидность теста - его пригодность для достижения поставленной цели: пригодность по содержанию, пригодность к применению в конкретных обстоятельствах, пригодность по какому-либо критерию.
Валидность педагогического теста по содержанию может быть определена опытным преподавателем - экспертом, который отмечает, что задания теста: соответствуют учебной программе испытуемых; охватывают всю программу; имеют высокую вероятность того, что студент, успешно ответивший
14 на задания теста, знает предмет в соответствии с полученной оценкой (при установлении соответствия тестового балла принятой системе отметок в качестве критериев обычно берутся оценки, выставляемые студентам группой преподавателей-экспертов при традиционной форме контроля знаний).
Валидность теста напрямую связана со следующими вопросами: насколько можно доверять результатам контроля, и каковы аргументы в пользу такого доверия; является ли выявленный уровень знаний приемлемым с точки зрения цели и качества обучения; сколько вопросов нужно задать для получения объективной информации о знании студентов; сколько времени требуется для оптимальной организации качественного контроля.
Валидность теста связана с понятиями "гомогенный" и "гетерогенный" тесты. Если тест создан с целью проверки знаний по одной учебной дисциплине и все задания теста связаны именно с ней, то такой тест считается гомогенным. Тест, состоящий из заданий по нескольким дисциплинам, называется гетерогенным.
Гомогенный педагогический тест основывается на содержании какой-либо одной дисциплины. При его разработке авторы должны четко отслеживать, чтобы каждое задание не выходило по своему содержанию за рамки данной дисциплины. Гомогенный тест может быть как нормативно-ориентированным, так и критериально-ориентированным, в зависимости от цели его создания. Такой тип педагогического теста наиболее распространен в учебном процессе.
Гетерогенный педагогический тест основывается на содержании нескольких дисциплин. Гетерогенный педагогический тест является по своему существу междисциплинарным. В большинстве случаев каждое задание гетерогенного теста включает в себя элементы содержания нескольких дисциплин. При его разработке авторы должны представлять себе цели его создания и быть компетентными во многих дисциплинах. Естественно, гетерогенный тест гораздо более труден для авторов, чем гомогенный. Одной из разновидностей гетерогенного теста является набор гомогенных тестов, т.е. гетеро-
15 генный тест может состоять из ряда гомогенных частей (субтестов). Наибольшее распространение гетерогенные тесты получили при итоговом контроле студентов, а также при профессиональной аттестации кадров.
В тестологии существуют две категории, связанные с качеством теста как измерительного инструмента. Это валидность и надежность, представляемые различными показателями. Для гомогенных тестов показатели достаточно широко представлены и имеются соответствующие методики их использования. В случае междисциплинарных тестов, гетерогенных по определению, проблема усложняется наличием взаимосвязи между заданиями. Поэтому решение одного задания влияет на решение другого и, следовательно, применение гомогенных показателей не совсем корректно.
В нашей стране при оценке достижений обучаемых роль предмета измерения традиционно отводится уровню и качеству подготовки обучаемых. Что касается уровня подготовки, то с его определением дело обстоит достаточно просто. Обычно полагают, что это совокупность знаний, умений, навыков и представлений, освоенных обучаемыми на момент измерения. Как многие другие, трудно детерминируемые понятия общественных наук, предмет можно определить с помощью метода, используемого для измерения знаний.
Основными достоинствами применения тестового контроля являются: объективность результатов проверки, так как наличие заранее определенного эталона ответа (ответов) каждый раз приводит к одному и тому же результату; повышение эффективности контролирующей деятельности со стороны преподавателя за счет увеличения её частоты и регулярности; возможность автоматизации проверки знаний учащихся, в том числе с использованием компьютеров; возможность использования в системах дистанционного образования.
Педагогический тест - это система заданий специфической формы, позволяющая измерить уровень обученности студентов, совокупность их представлений, знаний и навыков на той или иной области содержания.
Уровень знаний в значительной степени зависит от личных усилий и способностей учащихся, в то время как структура знаний зависит от правильной организации учебного процесса, от индивидуализации обучения, от мастерства педагога, от объективности контроля. В тестовом задании внимание педагога привлекает, в первую очередь, содержание и форма. Содержание определяется как отображение фрагмента учебной дисциплины в тестовой форме, форма - как способ связи, упорядочения элементов задания. Содержание теста существует, сохраняется и передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют.
Традиционный тест представляет собой стандартизованный метод диагностики уровня и структуры подготовленности. В таком тесте все испытуемые выполняет на одни и те же задания, в одинаковое время, в одинаковых условиях и с одинаковыми правилами оценивания ответов.
Во второй главе диссертации «Методика и практика организации контроля знаний курсантов (на примере специального блока дисциплин)» проводится диагностика контроля знаний курсантов с помощью инфо-коммуникационных технологий и тестовых технологий и выделяются критерии и уровни оценивания знания обучающихся.
Нами выделены следующие критерии: содержательно-операциональный, познавательная активность, самостоятельность, мотива-ционный, эмоционально-волевой, каждый из которых мы разбили на составляющие: слагаемые компоненты - уровни усвоения - диагностируемые признаки.
На констатирующем этапе эксперимента принимали участие 320 курсантов, в ходе которого нами было проведено анкетирование с целью выявления критериев: уровня преподавания блока специальных дисциплин у курсантов Ставропольского военного института связи ракетных войск; наиболее трудных тем при изучении отдельных дисциплин специального блока; причины плохой успеваемости по тем или иным дисциплинам; овладения
17 курсантами материалом после промежуточного тестирования; использование современных инфокоммуникационных и тестовых технологий для контроля за усвоением материала.
В диссертации определены в соответствии с концепцией нашего исследования следующие основные направления деятельности: разработка методики конструирования педагогических тестов; формирование пакета компьютерных программ для обработки и интерпретации результатов тестирования; моделирование и конструирование методики репрезентативной выборки курсантов для проведения тестирования; реализация управленческого аспекта использования результатов тестирования в деятельности преподавателей военного вуза; формирование системы мониторинга уровня предметных достижений курсантов и ее реализация в образовательной практике; создание и реализация модели аттестации курсантов соответствующих специальностей. Обозначенные направления разрабатывались в русле федеральных требований с учетом особенностей развития высшего военного образования. В работе раскрыт содержательный аспект каждого из обозначенных направлений.
В диссертации определены основные критерии качества образования курсантов военного вуза. При обосновании критериев качества мы опирались на дидактические концепции Ю.К. Бабанского, И.Я. Лернера, М.Н. Скаткина и др. Уровень подготовки курсантов в русле этих концепций рассматривается в диссертационном исследовании как интегральная оценка уровня усвоения учебного материала, уровня развития у них познавательного интереса и познавательной самостоятельности. Определение качества знаний проводилось по критериям полноты, осознанности усвоения и действенности, которые, прежде всего учитывались при разработке методики составления тестовых заданий.
Установлено, что реализация разработанной авторской технологии педагогического тестирования обеспечила возможность организации в Ставропольском военном институте связи системного мониторинга уровня предметных достижений курсантов и проведения сравнительного анализа резуль-
18 татов тестирования в масштабах вуза, что в целом положительно сказалось на повышении качества управления функционированием и развитием педагогической системы вуза. Эти условия изучались нами в ходе формирующего педагогического эксперимента.
Для проведения формирующего педагогического эксперимента были выделены в соответствии с целью, гипотезой и задачами диссертационного исследования две экспериментальных группы (курсанты 1-го, 2-го и 3-го курсов двух факультетов), имеющие примерно равные условия и параметры. Формирующий эксперимент проводился в течение двух лет (2004-2005 гг.). В эксперименте участвовало 36 преподавателей и 320 курсантов.
Формирующий эксперимент проводился в первой экспериментальной группе с соблюдением следующего условия успешного использования технологии педагогического тестирования с использованием инфокоммуникаци-онных технологий как средства эффективного управления функционированием и развитием системы контроля и оценки качества знаний: систематическое информирование руководителей воинских подразделений о результатах проведенного тестирования, их качественном и количественном анализе, а также о разработанных рекомендациях по устранению выявленных недостатков (пробелов) в знаниях, умениях и навыках курсантов, путях использования данных тестирования с целью совершенствования управленческой деятельности руководителей воинских подразделений и преподавательского состава вуза.
Во второй экспериментальной группе при проведении формирующего эксперимента соблюдались наряду с обозначенным и другие выделенные в гипотезе педагогические условия в их тесной взаимосвязи.
Анализ результатов формирующего педагогического эксперимента показал, что применение технологии педагогического тестирования с использованием инфокоммуникационных технологий как средства повышения эффективности управления функционированием и развитием образовательной сис-
19 темы военного вуза наиболее успешно достигается при соблюдении во взаимосвязи и в комплексе обозначенных в гипотезе педагогических условий.
Согласно результатам анализа проведенного в январе 2005 г. предметного тестирования курсанты 1-го факультета, на 2-м и 3-м курсах второй экспериментальной группы показали более высокие результаты по сравнению с курсантами первой экспериментальной группы. Переведенные в отметки результаты тестирования по предметам специального блока выше отметок в аттестационных журналах, что свидетельствует о том, что средний уровень требований, предъявляемых преподавателями к усвоению курсантами содержания учебного материала, выше среднего уровня трудности педагогических тестов. Успешность усвоения курсантами первой экспериментальной группы по некоторым учебным предметам ниже средних показателей по вузу. В целом отметки в журнале несколько ниже средних отметок по результатам тестирования.
Аналогичные данные получены по результатам анализа анкетирования преподавателей и курсантов обеих экспериментальных групп. Исследование показало, что 97 % преподавателей второй экспериментальной группы положительно оценивают использование тестов в практической деятельности; в первой экспериментальной группе это число составляет 82 %. При этом 18% начальников кафедр и преподавателей относятся к использованию тестов отрицательно. Все преподаватели (100%) второй экспериментальной группы смогли выделить достоинства педагогических тестов. В первой экспериментальной группе эти данные составляют 85%.
Анкетирование курсантов на 2-м и в 3-м курсах показало, что курсанты обеих экспериментальных групп в большинстве своем позитивно относятся к тестированию и предпочитают его по сравнению с традиционными формами контроля знаний, умений и навыков. При этом курсанты 3-го курса второй экспериментальной групп рассматривают педагогические тесты как объективную форму контроля; 85 % курсантов обосновывают свое желание использовать их для самооценки собственной учебной деятельности с целью
20 ее дальнейшего совершенствования и устранения пробелов в своих знаниях и умениях; в учебных подразделениях первой экспериментальной группы такие ответы составляют 34% и 58% соответственно.
Теоретическая и практическая значимость разработанной нами методики разработки и применения технологии педагогического тестирования с использованием инфокоммуникационных технологий, ее эффективность подтверждены результатами анализа результатов тестировании.
В заключении диссертации приводятся выводы, вытекающие из анализа теоретических предпосылок и практической реализации использования тестовых технологий контроля качества знаний обучаемых, и намечаются перспективы дальнейшего исследования рассматриваемой проблемы.
В приложения приводятся фрагменты тестов по блоку специальных дисциплин, разработанных на основе использования методических рекомендаций по составлению и использованию тестовых заданий.
Тестирование - как вид педагогического контроля в современном учебном процессе
В наши дни наблюдается повышенный интерес к проблеме компьютерного тестирования как нового вида объективного контроля знаний, умений и навыков обучаемых и одного из способов повышения качества образования. Основной идеей тестовой системы является сокращение времени затрачиваемого на контроль знаний без изменения качества контроля знаний. Проведение обычной контрольной работы занимает почти все время занятия, когда проведение тестового контроля сокращает затраченное время, но при этом не снижается эффективность контроля знаний учащихся. Среди различных подходов к тестированию наибольшее распространение получило адаптивное тестирование. Адаптивное тестирование - это широкий класс методик тестирования, предусматривающих изменение последовательности, содержания и сложности предлагаемых заданий в самом процессе тестирования с учетом ответов испытуемого. К адаптивному тестированию обычно относят алгоритмы постановки заданий, построенные для пунктов теста, предварительно выбранных с помощью различных моделей и методов анализа пунктов. При таком обучении в процессе прохождения теста строится модель обучаемого, которая используется для генерации последующих заданий тестирования в зависимости от уровня обучаемого.
Очевидно, тестирование программ зародилось практически одновременно с программированием как таковым. Машинное время стоило дорого, поэтому государственные учреждения США, а также предприятия с повышенными требованиями к надежности программ (авиакосмическая промышленность) стали активно разрабатывать методики тестирования.
Что такое тестирование? Долгое время было принято считать, что целью тестирования является доказательство отсутствия ошибок в программе. 22 Однако этот тезис не выдерживает критики, т.к. полный перебор всех возможных вариантов выполнения программы находится за пределами вычислительных возможностей даже для очень небольших программ. Поэтому никакое тестирование не может гарантировать отсутствия ошибок. Афористически это сформулировано в известной "аксиоме Шуры-Буры": "В каждой программе есть ошибки. Если в программе нет ошибок, то они есть в алгоритме. Если же ошибок нет ни там, ни там, то такая программа никому не нужна". Поэтому со временем понимание целей тестирования изменилось. Сегодня общепринятым определением тестирования считается следующее определение, данное Гленфордом Майерсом: "Тестирование - это процесс выполнения программ с целью обнаружения ошибок".
Где-то до начала 80-х годов процесс тестирования был разделен с процессом разработки: вначале программисты реализовывали заданную функциональность, а затем тестировщики приступали к проверке качества созданных программ. Однако такой подход создает множество проблем. Например, разработка программ может оказаться достаточно длительной (скажем, несколько месяцев) - чем в это время должны заниматься тестировщики? Другая, более серьезная проблема заключается в плохой предсказуемости результатов такого процесса разработки. Ключевой вопрос таков: сколько времени потребуется на завершение продукта, в котором существует 500 известных ошибок? На самом деле, предугадать это совершенно невозможно, так как разные ошибки будут требовать разного времени на исправление, а исправление известных ошибок будет неизбежно связано с внесением новых. Steve McConnell приводит в своей книге следующую мрачную статистику: даже однострочное изменение в программе с вероятностью 55% либо не исправляет старую ошибку, либо вносит новую. Если же учитывать изменения любого объема, то в среднем менее 20% изменений корректны с первого раза. В связи с этим в 90-х годах появилась другая методика разработки (zero-defect mindset). Основная идея этой методики заключается в том, что качество программ проверяется не post factum, а постоянно в процессе разра 22 ботки. Например, программист не может перейти к разработке новой функциональности, если существуют известные ошибки высокого приоритета в частях, разработанных им ранее.
При такой постановке вопроса тестирование становится центральной частью любого процесса разработки программ. С другой стороны, zero-defect mindset предъявляет существенно более высокие требования к квалификации инженера тестирования: теперь в сферу его ответственности попадает не только функциональное тестирование, но и организация процесса разработки (процесс ежедневной сборки, участие в инспекциях, сквозных просмотрах и обычное чтение исходных текстов тестируемых программ). Поэтому идеальной кандидатурой на позицию тестировщика становится наиболее опытный программист в команде. Такой специалист мог бы не просто существенно улучшить качество создаваемого продукта, но и передать свой опыт.
Различные подходы к тестированию (черный ящик, белый ящик)
Долгое время основным способом тестирования было тестирование методом "черного ящика" - программе подавались некоторые данные на вход и проверялись результаты, в надежде найти несоответствия. При этом как именно работает программа, считается несущественным. Отметим, что даже при таком подходе необходимо иметь спецификацию программы для того, чтобы было с чем сравнивать результаты. Этот подход до сих пор является самым распространенным в повседневной практике, но у него есть целый ряд недостатков. Во-первых, таким способом невозможно найти взаимоуничто-жающихся ошибок, во-вторых, некоторые ошибки возникают достаточно редко (ошибки работы с памятью) и потому их трудно найти и воспроизвести и т.д.
Инфокоммуникационные технологии в тестировании - как основа теории педагогических измерений
В современном мире многие специалисты в своей профессиональной деятельности сталкиваются с необходимостью решения задач, охватывающих далекие друг от друга области знания. Эта деятельность, так или иначе, связана с окружающим нас миром и поэтому большое значение приобретает предмет естествознание. Дисциплина "Концепции современного естествознания" включена в обязательный минимум содержания вузовских учебных программ более чем по 20 направлениям и имеет большое значение при подготовке специалистов гуманитарных и технических специальностей. В свете этого возникает необходимость оценки знаний студентов по данной дисциплине. Эта задача может быть решена с помощью компьютерного тестирования. Высокий уровень развития информационных технологий в образовании позволяет активно использовать их для организации и проведения контроля знаний обучающихся при различных формах обучения, как традиционных, так и стремительно развивающейся дистанционной форме обучения, где тестирование может выступать не только как способ контроля и оценки знаний, но и как инструмент для текущей проработки учебного материала в качестве дополнения к электронному учебнику. Компьютерное тестирование позволяет в кратчайшие сроки проверить знания большой группы обучающихся; выявить пробелы при изучении конкретного учебного материала и использовать полученные результаты для управления ходом учебного процесса; применить методы математической статистики для оценки степени усвоения учебного материла; получить объективную оценку знаний обучающихся у разных обучающих или в разных учебных заведениях; избавить преподавателя от рутинной работы по контролю знаний традиционными способами: проверка различных письменных работ, устные опросы на семинарах, экзаменах, зачетах и т.д.
Тестирование является одной из форм массового контроля знаний студентов, который осуществляет преподаватель после изучения ими всей программы учебной дисциплины. Экзамен в форме тестирования обладает целым рядом преимуществ перед традиционной формой экзамена-диалога "преподаватель-студент". Особенность экзамена в форме тестирования — жесткий временный контроль. Поэтому при подготовке к тестированию необходимо уделить внимание психологическому настрою, тренировке решения мини-задач или ответов на мини-вопросы с контролем времени.
Для понимания сущности тестов важно разобраться в системе понятий. Понятия вообще образуют основу любой науки, и в этом смысле деятельность по разработке и эффективному применению тестов не является исключением. Начиная с 30-х годов, наука о тестах считалась буржуазной, все цели которой считались "реакционными". И хотя такие суждения теперь уже считаются неадекватными духу нашего времени, все-таки появляются публикации, где тестам по-прежнему пытаются отказать в научности.
Первые научные труды по теории тестов появилась в начале XX века, на стыке психологии, социологии, педагогики и других, так называемых поведенческих наук (Behavioral Sciences). Зарубежные психологи называют эту науку психометрикой (Psychometrika), а педагоги - педагогическим измере 37 ниєм (Educational measurement). Поскольку общего названия на русском языке пока нет, автор называет эту науку тестологией, которая может быть педагогической, психологической или социологической, в зависимости от того, где применяется и развивается. Незамутненная идеологией и политикой, интерпретация названия "тестология" проста и прозрачна: наука о тестах.
Педагогическая тестология призвана заниматься вопросами разработки тестов для объективного контроля подготовленности учащихся. В структуре подготовленности большое (но не исчерпывающее) место занимают знания, умения, навыки и представления. Сюда же следует добавить интеллектуальное и физическое и культурное развитие, творческие способности, воспитанность и уровень развития эмоционально-чувственной сферы. Педагогическая тестология - это прикладная методическая теория научной педагогики. Ключевыми понятиями тестологии, как одна из методических теорий, являются измерение, тест, содержание и форма заданий, надежность и валидность результатов измерения. Кроме того, в тестологии используются такие понятия статистической науки, как выборочная и генеральная совокупность, средние показатели, вариация, корреляция, регрессия и др.
В теории любой науки, важную роль играют исходные понятия. Это понятие педагогическое (учебное) задание, которое можно определить как средство интеллектуального развития, образования и обучения, способствующее активизации учения, повышению подготовленности учащихся, а также повышению эффективности педагогического труда. В правильно организованном процессе образования большая роль отводится педагогическим заданиям. Понятие "задание" является общим, охватывающим цель и смысл не только теста, но и всех учебных заданий. Оно включает такие педагогические средства, как вопрос, задача, учебная проблема и другие, используемые, главным образом, в собственной учебной деятельности (учении).
Методы планирования и интерпретация результатов
Новые условия существования человечества в XXI веке предъявляют к образованию ряд принципиально новых требований. Сегодня крайне необходимо не просто повышение уровня образованности людей, но и формирование нового типа интеллекта, иного образа мышления, определяющего отношение людей к быстро изменяющимся экономическим, технологическим, социальным и информационным реалиям окружающего мира.
В наступившем веке образование должно стать непрерывным процессом, который будет продолжаться в течение всей жизни человека. Ведь только таким образом он сможет адаптироваться к непрерывным технологическим инновациям.
Информатизация учебного процесса является приоритетной задачей системы образования, обеспечивающей качественно новый уровень подготовки специалистов всех направлений.
В данный момент система образования по отношению к процессу информатизации общества выступает в двух аспектах:
- как система обеспечения необходимого уровня знаний населения, квалификации специалистов в области информатики и информационных технологий;
- как система, подверженная процессу информатизации для совершенствования своего функционирования, роста результативности своей деятельности.
В этом контексте первостепенное значение имеет способность образовательной системы оперативно и гибко реагировать на изменяющиеся запросы общества. Ведущим условием обновления системы образования в целом является непрерывная инновационная деятельность в образовании, обеспечивающая создание механизма адаптации к новой экономической, социальной и демографической ситуации. Понятие «инновационная деятельность» применительно к образовательным учреждениям может быть интерпретировано как преобразование содержания образования, организационно-технологических основ образовательного процесса и условий его осуществления (кадровых, материальных и др.). Средствами, которые могут обеспечить коренное преобразование системы образования, являются современные информационные технологии в сфере образования. Среди разнообразных определений понятия «информационных технологий» наиболее адекватным является следующее, данное М. И. Желдаком: "Под информационными технологиями понимается совокупность методов и технических средств сбора, организации, хранения, обработки, передачи и представления информации...".
Составление тестов - важная и трудоемкая работа, в результате которой необходимо многое учесть. Прежде всего, необходимо определить границы предметной области и разбить ее на разделы, которые в свою очередь разбиваются на подразделы и т.д., и определить наиболее важные понятия в подразделах, знание которых обеспечивает усвоение предмета в целом. Это так называемые понятийные индикаторы. Следующим этапом является составление плана теста — примерная раскладка необходимого числа заданий различной степени сложности и различных типов на каждый раздел предметной области. Самый ответственный этап - составление и подбор тестовых заданий. Как известно, тестовые задания бывают следующих типов:
- задания закрытого типа - испытуемому предлагается выбрать правильный вариант из набора вариантов ответов;
- задание на соответствие - испытуемый должен привести в соответствие понятия и их определения;
- задание на установление последовательности - испытуемый должен расположить понятия в определенной последовательности;
- задание открытого типа - испытуемый должен дать четкий, однозначный ответ;
- ситуационные задания - испытуемый должен вычислить значение какого-либо параметра, если известны конкретные значения других, связанных с ним. Такие задания позволяют выявлять умение испытуемого применять теоретические знания для решения конкретных задач.
При составлении тестовых заданий различных типов необходимо учитывать следующие основные требования:
- задание должно соответствовать по содержанию тому разделу, для которого составляется;
- задание должно представлять важную, а не второстепенную часть материала;
- задание открытого типа должно иметь четкую, короткую формулировку, требующую однозначного ответа;
- задание закрытого типа должно содержать не менее одного правильного ответа.
Специфика учебной работы в УПК заключается в том, что мы основной акцент делаем на обучение практическим навыкам использования информационный технологий в различных прикладных областях, например, в дело производстве. В связи с этим и главная задача при организации контроля знаний заключается именно в проверке владения учащимися теми или иными практическими навыками работы с компьютерными приложениями. Такой контроль проводится в виде зачетов, на которых каждый ученик получает практические задания, при выполнении которых он и должен продемонстрировать свои умения и практические навыки. Многолетняя практика показывает, что эта форма контроля является необходимым элементом обучения, именно обучения, а не только контроля, но требующим очень больших затрат времени на уроке. Так, например, такой опрос в группе из 20 человек может потребовать до 2-х полных занятий - то есть до 6 академических часов! По скольку школьная система требует оценки знаний учащихся за полугодие по меньшей мере по 3-м и более оценкам необходимо включать в учебный про цесс другие формы контроля знаний, которые позволяют получать объектив 82 ную оценку усвояемости знаний и в то же время не занимают так много времени.
Одной из таких форм контроля знаний является тестирование. Эта форма не может заменить устные и письменные ответы учеников, но очень эффективно используется наряду с ними. Главные преимущества тестирования:
- для тестирования нужно совсем немного времени, примерно 15-20 минут;
- одновременно проводится для всей группы учеников;
- можно провести срез знаний одновременно по нескольким темам;
- является объективным показателем уровня знаний.
Тестовая технология позволяет до минимума свести возможность посторонних влияний на оценку ответа, не связанных непосредственно с содержанием ответа. В письменной работе часто оценивается не только содержание ответа, но и стиль изложения. Часто на оценку влияет уже сложившееся у учителя мнение о знаниях школьника. В тестах эти влияния исключены. В обычных тестах, проводимых с помощью бумажных распечаток тестовых заданий, правда появляется погрешность от "списывания" даже при наличии нескольких вариантов тестовых заданий. Но эта проблема решается как раз внедрением компьютерного тестирования, о чем речь впереди.
