Содержание к диссертации
Введение
ГЛАВА 1. АНАЛИЗ ПРОБЛЕМЫ КОНТРОЛЯ ЗНАНИЙ В ВЫСШЕЙ ШКОЛЕ 14
1.1. Анализ видов контроля знаний 14
1.2. Исторический аспект тестового контроля знаний 24
1.3. Основные положения понятия «тест» и классификация тестов 32
Выводы по главе 1 43
ГЛАВА 2, РАЗРАБОТКА МЕТОДИЧЕСКОГО ОБЕСПЕЧЕНИЯ ДЛЯ ТЕСТИРОВАНИЯ ПО ДИСЦИПЛИНЕ «НАЧЕРТАТЕЛЬНАЯ ГЕОМЕТРИЯ» 44
2.1. Целеполагание и планирование содержания педагогических тестов ,, 46
2.2. Разработка тестовых заданий 57
2.3. Критерии оценки качества и методы улучшения характеристик тестов 70
Выводы по главе 2 80
ГЛАВА 3. РАЗРАБОТКА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ И ОРГАНИЗАЦИЯ ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИЙ 81
3.1. Автоматизация тестового контроля знаний ,
3.2. Организация опытно-экспериментальной работы ОА
3.3. Результаты экспериментального исследования 105
Выводы по главе 3 112
ЗАКЛЮЧЕНИЕ 114
Список использованной литературы 119
Приложение 135
- Анализ видов контроля знаний
- Целеполагание и планирование содержания педагогических тестов
- Автоматизация тестового контроля знаний
Введение к работе
Геометрическая и графическая подготовка имеет большое значение для студентов и выпускников технического университета. Начертательная геометрия является одной из фундаментальных дисциплин, развивающих наглядно-образное мышление, а также интуицию будущего специалиста, необходимую для любого творчества, особенно инженерного и научного. С ростом объема научной информации и появлением новых дисциплин в учебных планах высших технических учебных заведений уменьшается количество часов, отводимых на изучение начертательной геометрии. Возникает вопрос о пересмотре и оптимизации содержания этой дисциплины с учетом современных требований. Постоянно происходит изменение программ, совершенствуются теория и методика преподавания начертательной геометрии на основе новых информационных технологий обучения, активизирующих учебную деятельность студентов и развивающих их творческие способности. В этих условиях большое значение имеет определение того, какие из новых методов обучения дают наибольший эффект при преподавании начертательной геометрии и дальнейшее внедрение их в учебный процесс. А для этого необходимо применять наиболее современные и научно-обоснованные методы контроля текущих и итоговых знаний.
Одним из таких методов является тестирование, этот метод имеет ряд преимуществ перед традиционными устными и письменными экзаменами, недостатками которых является высокая организационная сложность, большая трудоемкость работ, ограниченное (регламентированное) время проверки, присутствие субъективного и психологического факторов. Еще в 1928 году, в предисловии к сборнику «Тесты: теория и практика» П.П.Блонский [142] писал: «Тесты - это больше, чем средство контроля; это средство рационализации всего школьного дела ... и образования в целом»; «... они представляют образовательные процессы не в идеальном, а в реальном свете», - добавляет современный специалист в области тестологии В.П.Аванесов [4]. На основе информации, получаемой с помощью тестов на различных этапах деятельности студен-
4 тов, преподаватель может корректировать учебный процесс и управлять им согласно поставленным целям.
Однако, как и все технологии, основанные на достижениях науки, тестирование требует серьезной подготовки со стороны тех, кто намерен всерьез заняться созданием и использованием педагогических тестов. Прежде всего, необходимо глубокое овладение строгими правилами и математическим аппаратом, применяемыми в области педагогических измерений. Некорректно разработанные, не прошедшие апробации тесты способны давать лишь ошибочные результаты, поэтому их использование станет шагом назад, а не вперед.
Достоинства тестовых методов - объективный характер оценок, их сопоставимость и возможность перепроверки — обеспечиваются не автоматически, а благодаря выполнению определенных требований к качеству заданий и теста в целом. Если эти требования не выполнены, то использование тестов не менее субъективная процедура, чем обычный экзамен. В некоторых случаях эта процедура может оказаться даже хуже экзамена, позволяющего скорректировать впечатления о знаниях испытуемого в процессе общения и с помощью дополнительных вопросов. В отличие от экзамена тесты такой возможности не предоставляют. Плохой тест, не отвечающий по тем или иным характеристикам определенным критериям качества, может послужить источником искаженного впечатления о знаниях студентов. Причем скорректировать это впечатление в процессе тестирования никак нельзя, если, конечно, процесс тестирования носит массовый характер, а не организован в адаптивном режиме. Из этого возникает необходимость научного обоснования качества тестовых материалов и ма-тематико-статистической обработки тестовых результатов. Вопросы научного обоснования затрагивают три взаимодополняющих друг друга направления работы. Первое связано с обоснованием отбора содержания теста, второе — с доведением формы заданий до уровня требований тестовой технологии, и третье нацелено на выявление системообразующих свойств заданий на основе анализа результатов обработки эмпирических данных тестирования.
Тесты представляют собой особую совокупность заданий, которые позволяют дать объективную, сопоставимую, количественную оценку качества подготовки обучаемого в конкретной образовательной области. В свою очередь, объективность и возможность измерить качество образования открывают широкие возможности для управления учебным процессом — от корректировки содержания образовательных стандартов и программ до совершенствования методов преподавания и повышения эффективности стимулирования самостоятельных занятий студентов.
Разумеется, тестирование не заменяет и не отменяет традиционных форм педагогического контроля, основанных на непосредственном общении преподавателя со студентом. Такой контроль выполняет важные обучающие функции, он вооружает педагогов информацией об уровне знаний студентов, о пробелах в их подготовке и даже об эмоционально-психологическом состоянии студенческой группы. Но традиционные формы педагогического контроля носят во многом субъективный характер и не позволяют получить сопоставимые данные, столь необходимые для управления процессом образования даже в масштабах учебного заведения, а тем более в районе, области, крае, стране.
Методологические основы современного тестирования представлены в работах крупнейших западных и отечественных тестологов: Г. Айзенка, М.С. Бернштейна, А. Бине, СИ. Воскерчьяна, С.Г. Геллерштейна, Т.А. Ильиной, Э. Клапареда, К.А. Краснянской, В.Ю. Переверзева, Т. Симона, Р. Торндайка, М.Б. Челышковой, В. Штерна и др.
Нельзя сказать, что тестирование является малоизученной областью педагогической науки. Однако основным направлением традиционно является применение тестов в учебном процессе с целью контроля усвоения знаний. Менее подробно изучены возможности составления и использования тестов с целью управления педагогическим процессом. Недостаточная методическая разработка этого вопроса применительно к графическим дисциплинам не позволяет использовать все возможности тестового контроля.
Использование тестовых технологий на практике осложняется также недостаточной оснащенностью кафедр графических дисциплин вузов компьютерной техникой и необходимым лицензионным программным обеспечением.
Проблема исследования заключается в поиске новых методов и технологий контроля знаний студентов технических вузов по начертательной геометрии для повышения эффективности обучения в условиях сокращения времени, отведенного на изучение данной дисциплины.
Актуальность проблемы заключается в том, что традиционные методы контроля не позволяют достаточно объективно определять качество и уровень знаний, что требуется для своевременной коррекции процесса обучения и чтобы оценить эффективность того или иного педагогического приема.
Актуальность проблемы и ее недостаточная научно-методическая и практическая разработанность обусловили выбор темы диссертационного исследования: «Разработка методики контроля знаний студентов по начертательной геометрии на основе тестовых технологий».
Цель исследования заключается в разработке методики повышения качества контроля знаний студентов технических вузов по начертательной геометрии на основе тестовых технологий.
Объектом исследования является педагогический процесс при изучении дисциплины «Начертательная геометрия» в техническом вузе.
Предмет исследования - педагогическое тестирование, как средство повышения эффективности контроля знаний и инструмент управления учебным процессом при изучении курса «Начертательная геометрия».
Для решения проблемы нами была сформулирована следующая гипотеза: контроль знаний станет более эффективным, станет возможным выявлять и устранять недостатки в учебном процессе, и тем самым совершенствовать качество графо-геометрической подготовки студентов, если разработать и внедрить в учебный процесс систему тестового контроля знаний по начертательной геометрии, включающую в себя:
методику создания и верификации тестов, разработанную на основе научного подхода с учетом специфики курса «Начертательная геометрия»;
модели организации испытаний, а также алгоритмическое и программное обеспечение, позволяющее автоматизировать процесс тестирования;
рекомендации по внедрению системы в учебный процесс и проведению анализа результатов тестирования.
Поставленная цель, объект, предмет исследования и сформулированная гипотеза привели к необходимости постановки и решения ряда взаимосвязанных задач:
провести анализ состояния проблемы контроля знаний и педагогического тестирования в системе вузовского образования;
разработать психолого-педагогические требования к составлению тестовых заданий по начертательной геометрии;
разработать методические рекомендации по использованию педагогического тестирования для повышения эффективности процедуры контроля знаний;
предложить различные модели проведения тестовых испытаний в зависимости от оснащенности учебного заведения компьютерной техникой и целей контроля знаний;
дать рекомендации по разработке и создать алгоритмическое и программное обеспечение для проведения тестирования по начертательной геометрии для каждой из предложенных моделей;
провести педагогический эксперимент с целью проверки эффективности предложенной методики, на основе анализа полученных результатов тестирования дать рекомендации по совершенствованию преподавания курса «Начертательная геометрия».
При проведении исследования были использованы следующие теоретические методы: 1) анализ философской, психолого-педагогической и методической литературы по теме диссертации; 2) обобщение и систематизацию научных положений по теме исследования; 3) анализ опыта организации и проведе-
8 ния тестирования в психолого-педагогической практике; 4) статистический
анализ экспериментальных данных педагогических измерений.
В ходе исследования применялись также и методы эмпирического характера: изучение результатов реальной деятельности педагогов различных ВТУЗов; наблюдение, опрос, тестирование; педагогический эксперимент.
Достоверность полученных результатов и обоснованность научных выводов исследования подтверждаются: применением современной научной методологии; опорой на фундаментальные психолого-педагогические исследования; использованием принципов системного анализа педагогических явлений, их критической оценкой и сопоставлением с результатами, полученными другими исследователями; экспериментальной проверкой всех основных теоретических выводов и апробацией разработанных тестов и программного обеспечения в реальном учебном процессе в ряде технических вузов; применением методов математической статистики с целью определения статистической надежности и достоверности полученных количественных показателей.
Экспериментальной базой исследования являются: Московский авиационный институт (государственный технический университет) - «МАИ» и Омский государственный технический университет. В экспериментах приняли участие 318 студентов.
Этапы исследования.
На первом этапе (2000 - 2001 гг.) была определена проблема исследования, сформулирована гипотеза, поставлены цели и задачи исследования, проводился анализ научной литературы (по философии, логике, психологии, педагогике, тестологии и др.) по исследуемой проблеме, изучался российский и международный опыт контроля знаний на основе тестовых технологий.
На втором этапе (2001-2003гг.) разрабатывалась концепция исследования, проводились педагогические эксперименты формирующего типа в условиях учебного процесса технического вуза. Были сформулированы требования к тестам по начертательной геометрии, разработаны первичные тестовые задания, создано алгоритмическое и программное обеспечение.
На третьем этапе (2004 - 2006гг.) осуществлялись педагогические эксперименты, проводилась доработка тестовых материалов, оформление диссертации.
Научная новизна работы заключается в следующем:
- доказана с помощью проведенного анализа психолого-педагогической
литературы и экспериментальной работы недостаточная эффективность тради
ционных методов контроля качества знаний по начертательной геометрии и
обосновано использование педагогического тестирования по данной дисципли
не;
- проанализирована учебно-познавательная деятельность студентов в
процессе изучения графических дисциплин в техническом вузе, разработана
классификация составляющих ее действий различного уровня;
разработана научно-методическая система тестового контроля знаний по начертательной геометрии;
доказано положительное влияние внедрения этой системы в учебный процесс на повышение познавательной активности студентов;
исследована эффективность текущего и итогового тестового контроля в зависимости от его формы (бланковая или компьютерная).
Теоретическая и практическая значимость результатов исследования заключается в следующем:
- даны рекомендации по использованию педагогического тестирования
для контроля знаний по дисциплине «Начертательная геометрия» в зависимо
сти от целей и форм его проведения;
- создано программное обеспечение, позволяющее автоматизировать
процесс тестирования на бланках и проводить компьютерное тестирование;
- создан банк экспериментальных тестовых заданий, используемых в ря
де технических вузов для контроля уровня знаний студентов, изучающих на
чертательную геометрию.
В разработанном программном обеспечении для автоматизации бланкового тестирования применяется новый метод обеспечения безопасности проце-
10 дуры проверки, основанный на раздельной обработке областей бланка с ответами и паспортными данными. Программный комплекс является универсальным и может использоваться для контроля знаний по различным дисциплинам, а также для приема вступительных экзаменов в вузы.
Экспериментальные тестовые задания и программные комплексы внедрены в Московском авиационном институте (государственном техническом университете) - «МАИ» и Омском государственном техническом университете, что подтверждено соответствующими актами внедрения.
Материалы данного исследования могут быть полезны при разработке специальных курсов и семинаров по повышению профессионального мастерства преподавателя технического вуза, а также в учебном процессе педвуза при изучении дидактики высшей школы.
Апробация и внедрение результатов исследования.
Основные положения, материалы и результаты исследования обсуждались на многочисленных Всероссийских и международных, конференциях:
Региональная научная конференция студентов, аспирантов и молодых ученых «Наука. Техника. Инновации» (Новосибирск, 2001);
III, IV, VI, VII Всероссийская научно-методическая конференция «Развитие тестовых технологий в России» (2001, 2002 - Москва, 2004, 2005 -Шарм-эль-Шейх);
XL Международная научная студенческая конференция «Студент и научно-технический прогресс» (Новосибирск, 2001);
Всероссийская научно-практическая конференция «Единая образовательная информационная среда: проблемы и пути развития» (Томск, 2002);
XII Международная конференция-выставка «Информационные технологии в образовании» (Москва, 2002);
VI Всероссийская научно-техническая конференция «Новые информационные технологии», (Москва, 2003);
VII Всероссийская конференция по проблемам науки и высшей школы «Фундаментальные исследования в технических университетах», (Санкт-Петербург, 2003);
Региональная научно-практическая конференция «Единая образовательная информационная среда: проблемы и пути развития», (Владивосток, 2003);
VI Всероссийская научно-техническая конференция «Теоретические и прикладные вопросы современных информационных технологий», (Улан-Удэ, 2003);
Международный симпозиум «Формирование контингента инженерно-технического вуза: мировой опыт и основные тенденции совершенствования», (Москва, 2004);
th
The 11 International Conference on Geometry and Graphics (ICGG2004) (Гуанчжоу, Китай, 2004);
V международная научно-техническая конференция «Механизмы внедрения новых направлений науки и технологий в системы образования», (Москва, 2004);
International Conference on Engineering Education, (Гливице, Польша, 2005);
APRU Distance Learning & the Internet Conference (Владивосток, 2005).
На защиту выносятся:
Методика педагогического тестирования по дисциплине «Начертательная геометрия», которая позволяет эффективно проводить контроль знаний, оперативно корректировать учебный процесс на основе полученных результатов, и тем самым повышать качество обучения студентов. При этом банк тестовых заданий составляется с учетом уровней знаний, умений и навыков обучаемых.
Рекомендации по совершенствованию процесса преподавания дисциплины «Начертательная геометрия» на основе обработки результатов тестирования.
3. Технологии проведения тестирования в зависимости от оснащенности
кафедры графических дисциплин компьютерной техникой и поставленных целей контроля знаний.
4. Программное обеспечение, позволяющее автоматизировать бланковое и
компьютерное тестирование по начертательной геометрии и другим дисципли
нам.
По теме диссертации опубликовано 17 работ, в том числе 4 статьи и 13 тезисов докладов.
Структура диссертации. Диссертация состоит из введения, трех глав, заключения и библиографического списка и приложения.
Первая глава содержит анализ научной литературы по вопросам управления процессом обучения и основным вопросам тестового контроля знаний. Проведен анализ: видов контроля знаний; развития тестовых технологий в историческом аспекте и их перспектив; понятия «тест»; классификаций тестов.
Вторая глава посвящена разработке методики составления педагогического теста по начертательной геометрии, в ней приведена система общепедагогических и методических критериев качества тестов. Проведен анализ: учебно-познавательной деятельности студентов в процессе изучения графических дисциплин в техническом вузе; разработана классификация составляющих ее действий различного уровня. Подробно описаны этапы методики разработки тестов. Приведен пример составления спецификации педагогического теста по дисциплине «Начертательная геометрия». Рассматривается вопрос составления предтестовых заданий, дается их классификация с примерами из курса «Начертательная геометрия».
В третьей главе предложены формы тестирования в зависимости от технической оснащенности кафедры, рассмотрены вопросы создания программного обеспечения, описана методика использования составленных тестов и программ в педагогической практике. Описаны варианты применения компьютерного и бланкового тестирования для текущего и итогового контроля знаний по
13 дисциплине «Начертательная геометрия». Проанализированы методики расчета
основных показателей качества разработанных тестов и способы их улучшения. Рассмотрена возможность составления пакетов многоуровневых педагогических тестов для контроля и обучения, которые могут служить эффективным средством управления педагогическим процессом, обеспечивая его реализуемость и гибкость. Описаны результаты педагогического эксперимента, качественные характеристики разработанных тестов.
Анализ видов контроля знаний
Под педагогическим контролем понимается система научно-обоснованной проверки качества знаний, умений и навыков. Контроль сам по себе не отменяет и не заменяет каких-либо методов обучения и воспитания, а лишь помогает выявить их достижения и недостатки. В зависимости от этапа обучения педагогический контроль делится на входной, текущий, тематический, рубежный и итоговый, в которых выявляются степень понимания материала, уровень его усвоения, умение применять знания при решении практических задач, а также готовность к восприятию следующих взаимосвязанных тем.
Эффективность учебного процесса определяется по целому ряду основных показателей:
1. Качество усвоения программного материала по тому или иному учебному предмету.
2. Уровень развивающего эффекта обучения: интеллектуальное развитие; формирование познавательных способностей; повышение уровня познавательной мотивации и др.
3. Временные затраты на обучение: сохранение имеющихся сроков обу
чения или их сокращение (редко - увеличение).
4. Интенсивность расходования энергетических ресурсов обучаемых: уровень утомляемости; влияние на их здоровье.
5. Финансовые затраты на реализацию выбранной технологии обучения: затраты на дидактические материалы; на технические средства обучения и т.п.
С помощью эффективного контроля знаний можно определить изменение первых двух показателей. Проводятся исследования по вопросам повышения качества педагогического контроля: улучшение форм и методов; исследование вопросов экономичности и оптимизации и т. д.
В этой связи можно выделить следующие взаимосвязанные функции педагогического контроля:
1. Диагностическая функция - выявление уровня знаний, умений и навыков студентов, определение недостатков в подготовке учащихся и принятие по результатам диагностики некоторых управленческих решений, необходимых для совершенствования учебного процесса. Также к сфере диагностики относятся установление причин пробелов в знаниях и получение научно обоснованной информации о характере трудностей, возникших у студентов в процессе усвоения дисциплины.
2. Обучающая и развивающая функции - различные методы контроля знаний используются не только для диагностики, но и для активизации работы по усвоению учебного материала.
3. Воспитательная и мотивирующая функции - сам факт наличия контроля организует, дисциплинирует, направляет деятельность обучающихся. Реализация этой функции проявляется в становлении таких позитивных качеств личности как интерес к знаниям, умение систематически работать, навыки самоконтроля и самооценки, активность и т.д.
4. Прогностическая функция - предсказание потенциальных возможностей обучаемого в освоении нового материала.
Все эти функции взаимосвязаны, трудно бывает выделить какую-либо одну в качестве ведущей. Контроль - неотъемлемая часть процесса обучения на всех его этапах. Как отмечают ведущие специалисты в области педагогики: В.С.Аванесов, Н.Е.Архангельский, В.П.Беспалько, М.С.Бернштейн, Ю.К.Бабанский, Б.П.Битинас, Д.С.Горбатов, Л.Б.Ительсон, З.И.Калмыкова, В.В.Краевский, Г.С.Костюк, И.Я.Лернер, Е.К.Марченко, А.Н.Майоров, И.П.Подласый, В.М.Полонский, Н.М.Розенберг, М.Н.Скаткин и др. плохая организация системы отслеживания результативности процесса обучения является одной из причин «деградации образования». Она приводит к двум полярным явлениям: тотальному либерализму, с одной стороны, а с другой - к проявлению субъективизма и предвзятости. «Все известные в мире попытки улучшения качества образования, - пишет В.С.Аванесов [5], - не подкрепленные действенной реформой системы проверки знаний, не приносили, как правило, желаемых результатов».
Анализ отечественной психолого-педагогической литературы позволяет выделить следующие направления в изучении проблем контроля и оценки знаний и умений учащихся:
Проблемами контроля знаний по графическим дисциплинам занимались Анякина О.В. [12, 13], Гервер В.А. [44], Горшков Г.Ф. [46], Катханова Ю.Ф. [66], Дерягина О.В. [55], Мальцева Г.А. [13, 99] и др.
Как отмечается в [5], в настоящий момент в образовании сложилась такая ситуация, которая обеспечивает мирное сосуществование многообразных форм и методов контроля знаний. Это устные опросы, письменные контрольные и самостоятельные работы студентов, семинары и индивидуальные собеседования, зачеты и экзамены. Каждое из перечисленных средств диагностики имеет достоинства и недостатки, влияющие в заметной степени на результаты контроля.
Процесс педагогического контроля регламентируется рядом принципов, среди которых ведущими являются: принципы научности и эффективности, иерархической организации, объективности, систематичности, справедливости и всесторонности. Главная роль, несомненно, принадлежит принципу научности, так как именно он определяет возможность эффективного определения уровня знаний. Но проблема состоит в том, что далеко не все средства контроля позволяют научно обоснованно оценить их качество.
Письменные работы являются наиболее часто используемой формой контроля знаний в российской системе образования, позволяющей документально установить уровень усвоения материала. На протяжении многих десятилетий их оформление претерпело лишь несущественные изменения. Научно проверенные методы, направленные на улучшение методики оценки письменных работ, немногочисленны и редко применяются на практике.
Объективность проверки письменных работ изучалась недостаточно. Скорее всего, она может быть обеспечена в работах по начертательной геометрии с одинаковой постановкой задач, с одними и теми же вспомогательными средствами, одинаковыми сроками выполнения работы и едиными критериями оценивания. Первые попытки изучения объективности оценки традиционных письменных работ относятся к 1912-13 годам [189]. Например, работа по геометрии с 10 заданиями, выполненная одним учащимся немецкой школы, была размножена и разослана в 180 школ с просьбой учителям - предметникам оценить эту работу по шкале в 100 баллов. Оказалось, что оценка этой работы, данная учителями, располагалась в интервале от 28 до 92 баллов, т.е. одна и та же работа могла обеспечить ее автору или полный провал, или блестящую сдачу экзамена. Были проведены также исследования в 37 классах шестого года обучения, затем было подсчитано, какие средние величины имели ученики с различными оценками в каждом классе. Оказалось, что в различных классах одной и той же отметке по математике соответствуют совершенно разные средние величины тестирования. Это означало, что полученная учеником отметка зависит не столько от фактического уровня его знаний, сколько от случайной принадлежности к тому или иному классу. В практике выставления оценок учитель ориентируется на уровень знаний класса, причем, как правило, он не осознает этого положения. Такая же ситуация складывается и в высшей школе. По различным предметам в одном и том же учебном заведении оценки могут выставляться на основе разных требований. Так, К. Ингенкамп [64] отмечает, что количество исследований, в которых доказана недостаточная объективность оценки письменных работ по всем предметам столь велико, что невозможно даже перечислить фамилии авторов. Исследователи уже перешли от констатации расхождений в оценках к изучению факторов, препятствующих объективности.
Целеполагание и планирование содержания педагогических тестов
Первым и наиболее важным этапом разработки педагогического теста является определение целей тестирования. Каждая цель должна быть поставлена диагностично, то есть так, чтобы ее достижение можно было проверить. Диаг-ностичность описания цели и определение степени ее достижения обеспечивается следующими критериями [24]:
1) детальным изучением объекта цели;
2) созданием надежного инструмента для оценки заданного в цели признака;
3) наличием соответствующей измерительной шкалы;
4) возможностью проведения достаточно надежных измерений по отношению к объекту цели. В нашем исследовании достижение сформулированных целей будет проверяться с помощью соответствующего педагогического теста.
Педагогические тесты могут использоваться для реализации различных целей. Прежде всего, контроль - проверка усвоения конкретных знаний, умений и навыков - это заложено в самой сущности педагогического теста. С его помощью также можно диагностировать: степень готовности к усвоению некоторой темы (раздела); уровень усвоения пройденного материала; степень овладения определенными действиями; трудности, возникающие у студента в процессе усвоения и т.п. [154]. Кроме того, тест может использоваться с целью обучения, когда во время его выполнения студенты не только демонстрируют знание усвоенного материала и умение применять его в различных ситуациях, но и получают некоторую новую информацию и осваивают новые виды деятельности. Обучающие тесты могут быть использованы для аудиторной и домашней работы студентов. С помощью тестов можно также прогнозировать результаты обучения. Выбор определенной методики использования и интерпретации результатов позволяет при помощи теста оценить не только знания студента, но и эффективность выбранной технологии обучения.
Правда, сама по себе правильная постановка целей создания теста довольно непроста. С одной стороны, различные школы в современной педагогике при формулировке целей используют разные системы понятий и представлений, часто плохо сочетающиеся между собой. С другой стороны, использование отличающихся слов и выражений естественного языка в качестве терминов порождает изрядную путаницу, нередко контекст ряда педагогических подходов недостаточен для осуществления терминообразующей функции.
Таким образом, сложившиеся на сегодняшний день представления о наиболее общих целях контроля не позволяют непосредственно перейти к разра 48 ботке средств измерения. Для формулировок образовательных целей характерны излишняя общность, расплывчатость, многообразие и неопределенность. Поэтому, для создания средств измерения в первую очередь необходима предварительная операционализация целей.
Процесс операционализации заключается в придании содержанию и форме представления целей характеристик, позволяющих отобразить цели в содержании стандартизованных средств измерения [29]. Идея операционализации очень близка отдельным положениям работы М.В. Кларина [69], где вместо слова «операционализация» используется иной термин «конкретизация».
Конкретизация, по мнению М.В. Кларина, должна начинаться с описания направленности воздействия обучения на студента, прояснения характера воздействия и детализации его результатов. В этой связи Кларин выделяет ряд вопросов, решение которых с необходимостью сопутствует процессу конкретизации:
1) Определить характеристику образовательных условий, создаваемых для реализации целей.
2) Выявить латентные характеристики учащихся, их способности к усвоению нового учебного материала.
3) Характеризовать результаты образовательного процесса.
Приведенные М.В. Клариным узловые моменты процесса конкретизации нуждаются в некоторых уточнениях — изменении не содержания, а просто порядка постановки вопросов. Поскольку порядок постановки вопросов подчинен определенной иерархии, то для отражения сущности происходящих при контроле процессов второй и третий вопросы следует поменять местами. Судить о внутренних параметрах учащегося можно только на основе анализа внешней стороны учебной деятельности, проявляющейся в результатах обучения. По сути, идея перехода от внешнего к внутреннему, идея интериоризации, составляет ядро теории педагогических измерений, когда по наблюдаемым результатам контроля с той или иной степенью точности пытаются сделать вывод о внут 49 ренних устойчивых характеристиках — педагогических параметрах обученно-сти студентов ВТУЗов [151].
При создании теста ставится задача отобразить в его содержании то главное, что должны знать студенты в результате обучения, поэтому ограничиться простым перечислением целей обучения нельзя. В тест невозможно включить все, поэтому часть целей приходится просто отбросить и не проверять степень их достижения учащимися. Для того чтобы не утратить самое главное, необходимо структурировать цели и ввести определенную иерархию в их взаимное расположение.
Для случая, когда представление об элементах как о несвязанных составляющих можно считать адекватным системе целей обучения, работа по построению системы целей была проведена Б.С. Блумом (B.S. Bloom) [168]. В настоящее время его классификация целей (или, как ее иначе называют, таксономия целей), является наиболее известной в мировой педагогической литературе. Она же является наиболее технологичной с точки зрения большинства зарубежных разработчиков педагогических тестов.
В своей классификации Б.С. Блум выделяет:
1) знание названий, имен, фактов;
2) фактуальные знания;
3) знание определений и понимание их смысла;
4) сравнительные, сопоставительные знания;
5) классификационные знания;
6) знание противоположностей, противоречий, синонимичных и антони-мичных объектов;
7) ассоциативные знания;
8) причинные знания;
9) алгоритмические, процедурные знания;
10) обобщенные, системные знания;
11) оценочные знания; 12) процессуальные знания;
13) абстрактные знания;
14) структурные знания;
15) методологические знания.
Но отдельные цели заметно связаны между собой, и потому простого представления о системе целей как об упорядоченном наборе без рассмотрения связей между элементами недостаточно. В ряде появившихся в нашей стране работ таксономия Б.С. Блума также неоднократно подвергалась критике, в частности, из-за того, что в ней произошло методологически недопустимое смешение конкретных результатов обучения (знания, понимание и т.д.) с операциями, представляющими необходимое условие их достижения (анализ, синтез, оценка). В этой связи мы приняли иную классификацию целей. В ее основу положен уровневый системный подход описания достижений учащихся (И.Я. Лернер, В. П. Беспалько и др.), который позволяет сгруппировать результаты обучения в зависимости от уровней учебной деятельности.
Первый уровень связан с непосредственным воспроизведением по памяти содержания изученного материала и его узнаванием.
Второй уровень предполагает понимание и применение знаний в знакомой ситуации по образцу, выполнение действий с четко обозначенными правилами.
Третий уровень включает применение знаний в измененной или незнакомой ситуации.
Эта классификация близка к четырехуровневой структуре уровней усвоения знаний, умений и навыков, предложенной В.П. Беспалько, в которой выделялись информационный, алгоритмический, эвристический и творческий уровни. Но и третий и четвертый уровни этой классификации предполагают деятельность в незнакомой ситуации.
Автоматизация тестового контроля знаний
Эта форма является наименее предпочтительной и используется в том случае, если у преподавателя отсутствует доступ к скоростному сканеру и компьютеру с системой распознавания и обработки бланков тестирования. Технология разработки заданий и тестов в целом и процедура тестирования остается такой, как описаны в главе 2. Предлагаемый нами шаблон приводится в Приложении №2. При этом преподаватель либо проверяет бланки и выставляет оценки вручную, тогда возможности шкалирования и совершенствования теста значительно сужаются, либо вносит ответы экзаменуемых и ключи к вариантам ответов в специализированную программу, которая выставляет оценки и проводит статистический анализ результатов тестирования. К таким программам относятся Conquest, ItemStat, Testan, Test Analyser, Tiamix и многие другие.
В наших исследованиях мы использовали программу ItemStat 1.0., которая позволяет оценивать статистические параметры тестовых заданий на основе классической тестовой теории, а именно:
- уровень трудности (обозначение - Pj);
- коэффициент дискриминативности (обозначение - Dj);
- точечно - бисериальный коэффициент корреляции (обозначение - Rpbisj); -фи - коэффициент корреляции задания с тестовым баллом (только для критериально-ориентированного теста, обозначение - PHIj).
ItemStat 1.0 имеет возможность оценить эффективность дистракторов в заданиях с выбором ответа.
Item Stat 1.0 оценивает информационные данные и показатели качества всего педагогического теста такие как:
- минимальный тестовый балл;
- максимальный тестовый балл;
- среднее значение тестового балла выборки испытуемых;
- дисперсия тестовых баллов;
- стандартное отклонение тестовых баллов;
- форму распределения тестовых баллов;
- коэффициент надежности теста по формуле KR-20;
- коэффициент надежности теста по методу расщепления;
- стандартная ошибка измерения; - количество аттестованных испытуемых (только для критериально-ориентированного теста);
- количество неаттестованных испытуемых (только для критериально-ориентированного теста);
- матрица сопряженности результатов "2x2" (только для критериально-ориентированного теста);
- фи-коэффициент корреляции при двукратном критериально-ориентированном тестировании (показатель надежности критериально-ориентированного измерения);
- каппа-коэффициент согласованности результатов критериально-ориентированного теста (показатель надежности критериально-ориентированного измерения);
Нами были проанализированы существующие программно-технические комплексы, предназначенные для автоматизации бланкового тестирования, но ни один из них не соответствовал предъявляемым требованиям, либо универсальности, либо надежности и безопасности. Поэтому было принято решение о создании «Автоматизированного комплекса контроля знаний», который позволил бы автоматизировать регистрацию участников, сканирование и распознавание бланков, обработку результатов с заданным уровнем надежности, распечатку итоговых ведомостей и статистический анализ. Сейчас активно ведутся исследования в области автоматизации документооборота вузов, разработки баз данных, в которых будет отслеживаться успеваемость студента с момента его поступления и до окончания вуза. Поэтому системы как компьютерного, так и бланкового тестирования должны иметь способность передачи данных во внешнюю базу данных, а не только в ведомость. К комплексу были предъявлены требования интегрированности с действующей системой учета абитуриентов и студентов Омского государственного технического университета и соблюдения контролируемого уровня секретности, а также возможности использования некоторых подсистем данного комплекса для организации и проведения вступительных испытаний в вуз.
За основу формы бланка тестирования был взят шаблон Централизованного тестирования, в который были добавлены необходимые поля, например, номер группы студента. Образцы бланков с разным количеством предусмотренных в тесте заданий находятся в Приложении №2.
Отличительной особенностью разработанного комплекса является реализация идеи раздельной проверки областей ответов и паспортных данных. Так как при распознавании и верификации части ответов оператор не должен знать, чей именно бланк ответов он проверяет, то изображение обрабатывается таким образом, чтобы разделить его на область ответов и область регистрационных данных, причем на каждой обрабатываемой части одной работы ставится один уникальный номер. Номер ставится программно на этапе разделения бланка, на бумажном бланке его нет, поэтому оператор никак не может идентифицировать работу. Для этих же целей в изображении области ответов подписи тестируемых программно затираются. После чего части бланков, содержащие ответы, отправляются на распознавание и верификацию операторами. После обработки частей бланков, содержащих области ответов, осуществляется проверка работ и выставление оценок. Только после этого становится доступной функция проверки и верификации частей бланков ответов, содержащих регистрационные данные.
Общую процедуру проведения экзаменов на основе бланочного тестирования можно представить схемой, изображенной на рисунке 3.1.
Программно-технический комплекс предназначен для автоматизации организационно-технологических процедур проведения массового тестирования студентов и школьников, централизованного тестирования, вступительных экзаменов в вузе. Реализация автоматизированного комплекса выполнена в соответствии с инструкцией по организации и проведению централизованного тестирования и положением о проведении вступительных испы 85 таний в ОмГТУ. Данный продукт максимально упрощает и ускоряет работу преподавателей и приемной комиссии в связи с проведением экзаменов. При проверке бланков практически исключена возможность неправильной проверки бланков ответов, связанная с ошибкой распознавания или ошибкой в модуле проверки.
