Содержание к диссертации
Введение
Глава 1. Управление качеством общего среднего образования как научная проблема12
1.1. Конкретизация целей обучения в рамках компетентностного и системного подхода в образовании 12
1.2. Педагогическое тестирование в современной образовательной практике как метод управления качеством образования 37
Глава II. Методология создания компетентностных тестов на основе компетентностных моделей выпускника и теста 79
2.1. Математический аппарат моделирования выпускника и теста. Графы и семантические сети 79
2.2. Компетентностные модели выпускника и теста 84
2.3. Проектирование тестовых заданий на основе компетентностной модели тестирования как инструмент повышения качества образования 89
2.4. Системный подход к проектированию базы тестовых заданий по предметам общеобразовательной школы (математика, физика, информатика и ИКТ) на основе компетентностной модели тестирования 101
Глава III. Экспериментальное исследование реализации технологии педагогического тестирования как средства эффективного управления качеством образования 110
3.1. Применение корреляционного анализа для обработки данных тестирования110
3.2. Анализ результатов эксперимента по общей физике (раздел «Термодинамика») и по информатике и информационным технологиям (раздел «Основы информатики») 119
Заключение 135
Список сокращений и условных обозначений 139
Библиографический список 140
- Педагогическое тестирование в современной образовательной практике как метод управления качеством образования
- Компетентностные модели выпускника и теста
- Системный подход к проектированию базы тестовых заданий по предметам общеобразовательной школы (математика, физика, информатика и ИКТ) на основе компетентностной модели тестирования
- Анализ результатов эксперимента по общей физике (раздел «Термодинамика») и по информатике и информационным технологиям (раздел «Основы информатики»)
Введение к работе
Актуальность исследования. Приоритетной задачей государственной политики в области образования является обеспечение высокого качества обучения, основанного на фундаментальности знаний и развитии творческих компетенций учащихся в соответствии с потребностями личности, общества и государства. При этом все более очевидным и актуальным становятся факторы, определяющие новые требования к качеству школьной подготовки в современной России. Управление качеством – ключевой элемент любой образовательной системы, который с необходимостью требует эффективных средств объективного контроля и оценки учебных достижений. Именно поэтому за рубежом широко развит, а в России активно внедряется в практику учебного процесса целый комплекс методов оценки учебных успехов, важное место в котором занимает тестирование школьников, студентов и слушателей разнообразных курсов. Для активизации познавательной деятельности школьников и получения объективной оценки результатов обучения необходимо сочетать традиционное педагогическое оценивание, тестирование, метод портфолио и др., т.е. обеспечить комплексное применение методов оценки.
Педагогические тесты стали одним из наиболее популярных и хорошо разработанных методов оценки учебных достижений учащихся. Однако педагогическое тестирование до настоящего времени рассматривалось в рамках знание-вого подхода.
В настоящее время настоятельный запрос со стороны практики образования на различных уровнях вызывает оценка сформированности компетентности и компетенций обучаемых. Для оценки уровня сформированности компетенций, определяющих качество образования, необходимо создание тестов нового поколения, на основе педагогической модели тестирования компетенций.
Анализ результатов зарубежных и отечественных исследований проблем тестирования показал, что разработчики тестовых заданий особое внимание уделяют форме и нормированию тестовых заданий, методам автоматического формирования тестов из базы тестовых заданий, вопросам математической обработки результатов тестирования и интерпретации последних. При этом важнейшие вопросы содержания тестов, их валидности, не только по форме, но и по существу остаются не до конца исследованы, как в силу новизны проблематики в целом, так и из-за сложности анализа содержания образования ввиду отсутствия методик и технологий, гарантирующих соответствие содержания образовательному стандарту.
Степень разработанности проблемы. Ученые и исследователи многократно обращались к различным аспектам контрольно-оценочной деятельности в процессе обучения. Значительный вклад в изучении проблемы контроля и оценки результатов обучения внесли: В. С. Аванесов, Ю. К. Бабанский, В. П. Беспалько, Б. Х. Кривицкий, А. Н. Майоров, П. И. Пидкасистый, Н. Ф. Талызина, М. Б. Челышкова и др. Вопросы научных подходов к организации про-
ведения контроля знаний рассматривались в трудах И. А. Антуфьева, Ж. А. Бай-рамовой, Г. В. Канакова и др. Разработками форм, видов, средств, методов и функций контроля занимались С. И. Архангельский, Ю. К. Бабанский, О. С. Богданова, В. П. Беспалько, В. В. Давыдов, И. Я. Лернер, Е. И. Перовский, В. М. Соколов, В. А. Якунин, Е. А. Ямбург и др. Изучением контроля и оценкой знаний по предметам занимались Л. В. Ильина, М. В. Блиснов, С. И. Григорьев и др. Исследования в области уровневого подхода к учебным достижениям осуществляли В. П. Беспалько, Б. Блум, О. Е. Лебедев, И. Я. Лернер и др.
Исследованием общих вопросов педагогического тестирования занимались: В. С. Аванесов, В. П. Беспалько, В. И. Васильев, М. В. Кларин, Г. С. Ковалева, О. Б. Логинова, А. Н. Майоров, Т. Н. Тягунова, М. Б. Челышкова, В. В. Хубула-швили, Дж. Равен и др. Вопросами конструирования тестовых заданий занимались В. С. Аванесов, В. П. Беспалько, Н. В. Кузьмина, А. Н. Майоров, В. Ю. Пе-реверзера, В. В. Свиридов, М. Б. Челышкова и др.
Вопросы в области компетентностного подхода рассматривались в трудах педагогов и психологов С. П. Архангельского, В. В. Давыдова, И. А. Зимней, В. А. Караковского, Н. В. Кузьминой, О. Е. Лебедева, Дж. Равена и др. Сущность компетентностной модели образования раскрыта в трудах А. Л. Андреева, А. С. Белкина, И. А. Зимней, Дж. Равена, В. В. Серикова, О. В. Соколова,
A. В. Хуторского, И. С. Якиманской и др.
Проблемами системного подхода и моделирования педагогических систем занимались В. П. Беспалько, И. В. Блауберг, Т. Л. Ильина, Л. Я. Зорина,
B. П. Кузьмин, Н. В. Кузьмина, В. С. Лазарев, Э.Г. Юдин и др. Разработкой тео
рии графов занимались А. Берзтисс, А. С. Гофмарк, Ф. Харари и др.
Несмотря на изученность различных аспектов педагогического тестирования, целостно реализация педагогической модели тестирования компетенций в процессе контроля и оценки результатов обучения в школе до настоящего времени не рассматривалась, применение тестов и методы их разработки в рамках компетентностной парадигмы остаются недостаточно разработанными, что делает тему работы актуальной и новой.
Анализ научной педагогической литературы помог выявить следующие противоречия:
между растущей потребностью в использовании педагогического тестирования как средства эффективного управления образовательной системой с одной стороны, и недостаточной разработанностью технологии тестирования в педагогической науке, с другой;
между переходом к формированию компетенций выпускника школы и отсутствием модели педагогического тестирования, направленной на оценку сформированности компетенций;
между широкой практикой использования тестов, выходящих за рамки компетентностного метода, и потребностью в тестах, предназначенных для оценивания сформированности компетенций.
Недостаточная теоретическая и практическая разработанность вопросов реализации педагогической модели тестирования компетенций школьника в процессе контроля и оценки результатов обучения и перечисленные противоречия определили научную задачу настоящего исследования, которая заключается в разработке и реализации педагогической модели тестирования компетенций школьника в процессе контроля и оценки результатов обучения.
Объект исследования - контроль и оценка результатов обучения в школе.
Предмет исследования -реализация педагогической модели тестирования компетенций школьника в процессе контроля и оценки результатов обучения.
Цель исследования -разработка, обоснование и реализация педагогической модели тестирования компетенций школьника в процессе контроля и оценки результатов обучения.
В соответствии с обозначенной проблемой, объектом, предметом и целью исследования были поставлены следующие задачи:
уточнить содержание понятий, связанных с тестовой оценкой и контролем результатов обучения, а также компетентностным подходом;
разработать и реализовать педагогическую модель тестирования компетенций школьника, основанную на применении компетентностных тестов;
разработать алгоритм конструирования тестовых заданий, ориентированных на оценку сформированности компетенций школьника.
Гипотеза исследования заключается в предположении, что реализация педагогической модели тестирования компетенций школьника в процессе контроля и оценки результатов обучения будет успешной, если:
уточнить содержание понятия «тестовый контроль» и смежных с ним понятий, систематизировать основные подходы в области контрольно-оценочной деятельности, что позволит более целенаправленно создавать тестовые задания;
положить в основу модели тестирования модель компетенций выпускника, таксономию педагогических целей (Б. Блума), которые составят научную базу алгоритма конструирования тестовых заданий и последующих этапов тестирования;
разработать алгоритм конструирования тестовых заданий, ориентированных на оценку сформированности компетенций, что позволит конструировать и экспериментально проверять эффективность компетентностных тестов по предметам общеобразовательной школы.
Методологической основой диссертационного исследования являются: компетентностный подход (С. П. Архангельский, В. В. Давыдов, А. Н. Да-хин, И. А. Зимняя, В. А. Караковский, О. Е. Лебедев, А. В. Хуторской, Дж. Равен и др.), обеспечивающий единство образовательного процесса и личностного развития, в ходе которого происходит становление личностной позиции учащегося, его отношения к деятельности;
системный подход (В. П. Беспалько, И. В. Блауберг, Т. Л. Ильина, Л. Я. Зорина, Ф. Ф. Королев, В. П. Кузьмин, Н. В. Кузьмина, А. В. Могилев, В. Н. Са-
довский, Э. Г. Юдин и др.), обеспечивающий включенность учителей и школьников в системное конструирование учебного материала на основе его моделирования;
знаниевый подход (В. С. Аванесов, Ю. Н. Афанасьев, Б. Блум, Г. Д. Буха-рова, В. А. Сластенин и др.), обеспечивающий понимание значимости результативности образовательного процесса.
В исследовании применяется математическая теория графов (А. Берзтисс,
A. С. Гофмарк, Ф. Харари и др.).
Теоретическую основу исследования составили труды классиков мировой педагогической мысли, современных отечественных и зарубежных исследователей: в области контроля и оценки учебных достижений (Б. Блум, Ю. К. Бабан-ский, В. П. Беспалько, О. Е. Лебедев, И. Я. Лернер, П. И. Пидкасистый, Н. Ф. Талызина и др.); в области педагогического тестирования (В. С. Аванесов,
B. П. Беспалько, В. И. Васильев, М. В. Кларин, О. Б. Логинова, А. Н. Майоров,
Т. Н. Тягунова, М. Б. Челышкова, В. В. Хубулашвили, Дж. Равен и др.), в обла
сти уровневого подхода к учебным достижениям (В. П. Беспалько, Б. Блум,
О. Е. Лебедев, И. Я. Лернер и др.).
В диссертации были использованы следующие методы исследования:
теоретические: анализ философской, психолого-педагогической литературы по проблеме исследования, моделирование, анализ, синтез, обобщение, систематизация;
эмпирические: анкетирование, опрос, тестирование, проективный метод, констатирующий и формирующий эксперименты,
статистические методы анализа экспериментальных данных (критерий Браве-Пирсона, графический и аналитический: ковариация, коэффициент корреляции, корреляционное отношение).
Опытно - экспериментальной базой исследования стали: МБОУ «Привет-ненская СОШ», МБОУ «Кондратьевская СОШ» Выборгского района Ленинградской области; МБОУ «Средняя общеобразовательная школа № 7» г. Выборга и МБОУ гимназия № 7 имени В.М. Воронцова г. Воронежа. В исследование приняли участие 61 преподаватель общеобразовательных дисциплин и 163 школьника - участников тестирования.
Научная новизна исследования заключается в следующем:
выявлены ограничения и проблемы в системе контрольно-оценочной деятельности на основе знаниевой парадигмы, что позволило развить модель тестирования и разработать алгоритм конструирования тестовых заданий в рамках компетентностного подхода;
разработана и реализована педагогическая модель тестирования компетенций школьника, включающая в себя модель компетенций выпускника, которая показывает возможность внедрения компетентностного подхода на всех ступенях российской образовательной системы, намечает направления совершенствования образовательных стандартов; ориентирована на становление личностных характеристик выпускника (формирование «портрета выпускника
школы»). Предложенная педагогическая модель тестирования обеспечивает конструирование компетентностных тестовых заданий и, собственно, проведение тестирования с последующей обработкой результатов оценки обучения;
- предложен алгоритм конструирования тестовых заданий, ориентированных на оценку сформированности компетенций. Данный алгоритм обладает следующими преимуществами: системно реализует компетентностную парадигму; углубляет известные методы конструирования базы тестовых заданий (В. С. Аванесов); позволяет создавать тестовые задания, связанные между собой сетевой структурой знаний; позволяет ранжировать понятия (элементарные дидактические единицы, их взаимоотношения, взаимосвязи) по их значимости, что находит отражение в составе и структуре базы тестовых заданий.
Теоретическая значимость исследования состоит в том, что его результаты вносят вклад в развитие теории обучения (дидактики), а также в разделы педагогики, связанные с оценкой результатов обучения: обобщены подходы к процессу контроля и оценки результатов обучения в школе; расширены представления о модели компетенций выпускника с позиции требований федеральных государственных образовательных стандартов; развита методология компе-тентностного тестирования, состоящая в использовании предложенной педагогической модели тестирования, ориентированной на создание тестов компетенций школьников, а также алгоритме конструирования компетентностных тестов.
Практическая значимость исследования: разработанные базы тестовых заданий для итогового компетентностного тестирования по физике (10 класс, раздел «Термодинамика») и информатике и ИКТ (10 класс, раздел «Основы информатики»), а также предложенный и апробированный в исследовании алгоритм конструирования тестовых заданий(ориентированных на оценку сформированности компетенций) использованы для организации учебного процесса в школе и в процессе подготовки студентов педагогического вуза, а также курсантов ВУНЦ ВВС «ВВА» (г. Воронеж). Разработанные тесты используются в указанных в диссертации школах Ленинградской и Воронежской областей. Предложенный в диссертационной работе алгоритм конструирования тестовых заданий апробирован в учебном процессе ВГПУ (г. Воронеж) и в учебном процессе ВУНЦ ВВС «ВВА» (г. Воронеж).
Этапы исследования. Исследование проводилось с 2009 по 2017 гг. и состояло из трех этапов:
Первый этап (2009-2011гг.) - изучение научной и учебно-методической литературы по проблеме исследования, анализ основных теоретико-методологических подходов, обобщение понятийного аппарата, практики тестирования, осмысление проблем и ограничений знаниевого тестирования, определение объекта, предмета, цели, задач, рабочей гипотезы исследования.
Второй этап (2011-2015гг.) - разработка модели компетенций выпускника и педагогической модели тестирования компетенций, составление и апробация компетентностных тестов, созданных по предложенному алгоритму конструирования тестовых заданий, осуществление опытно-экспериментальной проверки гипотезы, анализ полученных результатов экспериментальной работы.
Третий этап (2016–2017гг.) – формулирование выводов и положений, выносимых на защиту, целостное оформление диссертации.
Достоверность научных результатов и выводов определяется четким определением исходных методологических предпосылок, опорой на положения современной педагогической теории; использованием комплекса надежных методов и валидных методик диагностирования; системным подходом к изучению проблемы; сочетанием качественного и количественного анализа полученных данных; повторяемостью результатов экспериментального исследования, использованием методов математической статистики; обработкой экспериментальных данных с помощью вычислительной техники, а также результатами внедрения методических разработок по материалам исследования в учебный процесс обучения средних общеобразовательных школ.
Положения, выносимые на защиту.
-
Тестовый контроль является научно обоснованным методом контроля и оценки результатов обучения, отличающимся надежностью, валидностью и эффективностью в отношении выявления уровня сформированности компетенций при условии создания тестов нового поколения – компетентностных, под которыми понимается система тестовых заданий, созданных на основе системного подхода с учетом требований к результатам освоения выпускниками школ основной образовательной программы.
-
Педагогическая модель тестирования компетенций реализует системный подход к составлению тестовых заданий, который позволяет создавать компетентностные тесты, обеспечивающие контроль не только усвоения элементарных дидактических единиц, но и выявляющие между ними связи, образующиеся в процессе обучения.
Педагогическая модель тестирования компетенций включает в себя:
-
модель компетенций выпускника, которая определяется нами как набор ключевых компетенций (требований к результатам освоения основной образовательной программы), предъявляемых к школьникам для успешного достижения целей образования;
-
таксономию педагогических целей (Б. Блума), в которой показана дифференциация знаний на различные уровни;
-
алгоритм конструирования тестовых заданий, ориентированных на оценку сформированности компетенций;
-
совокупность ряда этапов реализации тестирования: планирование, составление и апробация теста, а также обработка и интерпретация его результатов, которая позволяет сделать оценку обученности тестируемых.
3. Алгоритм конструирования тестовых заданий разработан (на основе из
вестных приемов создания тестовых заданий В. С. Аванесова и Н. В. Кузьминой)
на основе применения компетентностной парадигмы к проектированию базы те
стовых заданий, который предполагает построение тестовых заданий, связанных
между собой общей факторной структурой знаний (проверяют не только знание
элементарных дидактических единиц, но, и понимание взаимоотношений между
ними, а также свойств, приобретаемых элементарными дидактическими единицами в составе данной системы знаний). В соответствии с данным алгоритмом:
определяются цели компетентностного теста;
формулируются дидактические задачи;
определяются условия применения (контингент, объем знаний, период обучения, время тестирования);
происходит отбор содержания тестовых заданий на основе построения граф-дерева предметной области;
определяется вид тестовых заданий;
проводится экспертиза подготовленных заданий, апробация разработанного компетентностного теста, статистическая обработка результатов тестирования.
Апробация и внедрение результатов исследования осуществлялись в процессе экспериментальной работы в МБОУ «Приветненская СОШ», «Кондратьевская СОШ» Выборгского района Ленинградской области; в МБОУ «Средняя общеобразовательная школа № 7» г. Выборга и гимназия № 7 имени В. М. Воронцова г. Воронежа.
Основные результаты исследования обсуждались на международных и всероссийских научно-практических конференциях:
международных - VIII Международной научно-методической конференции преподавателей вузов, ученых и специалистов «Инновации в системе непрерывного профессионального образования» (Нижний Новгород, 2007.), IX Международной конференции «Физика в системе современного образования (ФССО -07)» (Санкт-Петербург, 2007), X Международной заочной научно-практической конференции «Научная дискуссия: вопросы педагогики и психологии» (Москва, 2013), Международной научно-практической конференции «Инновационные технологии в науке и образовании» (Чебоксары, 2015);1Х Международной научно-практической конференции «Педагогика и психология: актуальные вопросы теории и практики» (Чебоксары, 2016).
всероссийских- Всероссийской научно-практической конференции с международным участием «Управление инновационными процессами обеспечения качества обучения и воспитания в условиях медицинского вуза» (Курск, 2008),Х1 и XII всероссийской (с международным участием) научно-практической конференции «Теория и практика измерения латентных переменных в образовании и других социальных и экономических системах» (Славянск-на-Ку-бани, 2009), Третьей Всероссийской заочной научно-методической конференции студентов и аспирантов «Вопросы совершенствования предметных методик в условиях информатизации образования» (Славянск-на-Кубани, 2011).
Разработанная педагогическая модель тестирования компетенций апробирована, тесты по ряду предметов общеобразовательной школы разработаны и внедрены, о чем имеются акты внедрения. Основные положения диссертации отражены в 16 публикациях автора, пять из которых опубликованы в журналах, рекомендуемых ВАК Министерства образования и науки РФ.
Структура диссертации. Работа состоит из введения, двух глав, заключения, списка литературы, включающего 219 наименований, приложений.
Педагогическое тестирование в современной образовательной практике как метод управления качеством образования
Ключом к технологическому построению учебного процесса является последовательная ориентация на четко поставленные цели обучения. Контексту проблематики качества обучения адекватен способ постановки целей, характеризуемый инструментальностью. Состоит он в том, что цели обучения формулируются через результаты обучения, выраженные в действиях учащихся, которые учитель или эксперт смогут однозначно опознавать.
О.А. Бутакова раскрывает определение цели в общенаучном смысле, где под целью понимается один из элементов поведения, непосредственный мотив сознательной деятельности, характеризующийся предвосхищением в сознании, мышлении результата деятельности и способов его достижения. Таким образом, взаимосвязь цели и результата заложена в самом определении цели, что и предполагает наличие обратной связи, а, следовательно, и управленческой составляющей деятельности педагога. Целенаправленная педагогическая деятельность приводит к определенным результатам, причем процесс их достижения цикличен, он происходит до тех пор, пока не выравниваются различия между целью и результатом2.
Цели современного образования в целом и общем отражают совокупность социальных требований, соответствующих основным тенденциям общественного развития. Образовательные учреждения, а вместе с ними и педагоги, получают целевые ориентиры («социальный заказ») в виде обобщенных абстрактных формулировок. При организации процесса обучения цели конкретизируются и уточняются. Выстраивается определенная логика декомпозиции целей: общие требования социума задачи образовательной системы задачи образовательного учреждения общие цели совокупности учебных программ общие цели предметной области (программы) цели разделов, тем цели учебного занятия. Иначе говоря, каждая подсистема, каждый элемент системы обучения, реализуя свою частную цель, дает вклад в достижение общей цели. Единая цель образовательной системы выражается в виде развернутой конструкции целей ее подсистем и элементов, образующих «дерево целей», вершиной которого является генеральная цель1.
В.Г. Северов считает, что в условиях традиционной системы обучения в российской школе целевая ориентация на содержание обучения приводит к совпадению целей и содержания: цель – усвоение основ наук; содержание – сами эти основы, представленные в знаниях и умениях2. В отвечающей же современным требованиям системе обучения, как подчеркивает К.А. Романова, «целью становится «выращивание» личностного потенциала человека, развитие способностей к адекватному (компетентному) поведению в неизвестных заранее предметных и социальных ситуациях, а содержанием - все то, что обеспечивает достижение этой цели»3.
В настоящее время в мировой образовательной практике наблюдается тенденция к конкретизации целей образования, накоплен обширный материал, касающийся целеполагания как процесса формирования и развертывания цели. Предлагаются процедуры уточняющего прояснения целей, формируются приемы их уточнения через выделение условных ролей идеального выпускника, разработана таксономия целей обучения.
Под таксономией понимается классификация и систематизация объектов, которая построена на основе их естественной взаимосвязи и использует для описания категории объектов, расположенные в иерархическом порядке (в порядке подчинения).
К.А. романова. – Н.Новгород: Изд-во ВГИПУ. – 2005. – 360с. Представляется крайне важным построить таксономию когнитивных целей, целей образования. Н.В. Юрченкова к когнитивной сфере относит цели от запоминания и воспроизведения учебного материала до решения проблем, в ходе которого необходимо переосмыслить имеющиеся знания, построить их новые сочетания с предварительно изученными идеями, методами, способами действий, включая создание нового1. Сюда относится большинство целей обучения, выдвигаемых в программах, в учебниках, в повседневной практике учителя.
Наиболее известной в образовании является таксономия педагогических целей Б.Блума, разработанная им во главе большого коллектива исследователей в 1950-е годы на основе массового педагогического эксперимента (однако, долгое время замалчивавшаяся в нашей стране).
Конкретизация целей учебного предмета на основе таксономии Б. Блума проводится в два этапа. На первом выделяются цели курса, на втором – цели текущей, повседневной деятельности. Чтобы сделать цели полностью диагностируемыми, полностью проверяемыми, а обучение - воспроизводимым, необходимо выдвинуть критерий достижения каждой цели. Иными словами, учебная цель должна быть описана так, чтобы о ее достижении можно было судить однозначно2.
В последствии Д. Кратволем и другими учёными была создана вторая часть «Таксономии» (в аффективной области).
В рамках данного исследования целесообразно охарактеризовать области деятельности и соответственно цели, которые она охватывает, для того, чтобы отли 1 Юрченкова Н.В. Технология постановки учебных целей (на примере математики) [Электрон. ресурс]:
Галиев И.Х. Инновационная образовательная практика: технология педагогической мастерской [Электрон. ресурс]. – Электрон.дан. – М.: 2010, 8 сентября. – Режим доступа: WWW.URL: http://irgali.ru/joom/content/view/88/64/1/3/. - синтез (разработка плана и возможной системы действий, получение системы абстрактных отношений); - критическая оценка (суждение на основе имеющихся данных, суждение на основе внешних критериев, аргументация, доказательство)1. Таксономия Б. Блума неоднократно подвергалась критике различными учеными, поскольку в ней происходит смешение конкретных результатов обучения (таких как: знание, понимание, применение) с мыслительными операциями, необходимыми для их достижения (анализ, синтез, оценка).
Следует отметить, что помимо вышеизложенного подхода, существует ряд отечественных разработок, в основу которых положен уровневый системный подход описания достижений учащихся, позволяющий сгруппировать результаты обучения в зависимости от уровней учебной деятельности. Для сравнения, приведем таблицу в которой указаны группы педагогических целей, выделяемые зарубежными и отечественными специалистами2
Компетентностные модели выпускника и теста
Помимо рассмотрения сущности тестов и их классификаций, хотелось бы отметить неоднозначную оценку тестов и тестовых заданий, сложившуюся в научно-педагогическом сообществе. Многие преподаватели отрицательно относятся к введению в свою деятельность тестирования, мотивируя это трудоемкостью разработки тестовых заданий, невозможностью сохранения конфиденциальности информации, излишней формализованностью ответов тестовых заданий, неосуществимостью учета индивидуальных особенностей школьников, ограниченностью тестовых технологий в оценке мыслительной и творческой активности.
Невозможно не отметить ряд недостатков тестового метода проверки знаний:
1) Возможность случайного выбора правильного ответа тестового задания, при отсутствии необходимых знаний.
2) Опасность непроизвольного запоминания заведомо неверных ответов. (Наряду с верными вариантами ответов в списке для выбора содержатся неправильные, причем в подавляющем большинстве).
3) Осуществление нетворческой операции сравнения и выбора. (При опросе учащегося идет активная осмысленная речевая учебная деятельность, при применении тестов - операция перебора вариантов).
4) Противоречие воспитательным целям обучения. (При работе с тестами у учащегося возникает стремление достичь нужного результата любыми путями, в том числе и недозволенными, что способствует развитию низменных интересов учащихся). Необходимо оценить реальную значимость каждого из приведенных аргументов с тем, чтобы сделать правильные выводы о реальных особенностях использования тестов в учебной практике.
В качестве контраргумента по первому пункту хотелось бы отметить: если учащемуся предлагается один вопрос и одна альтернатива, то вероятность угадывания, действительно, недопустимо велика. Но при контроле предлагается целая серия вопросов, на каждый из которых дается несколько вариантов ответа. В этих условиях практическая вероятность угадывания при случайном выборе измеряется единицами процентов и с нею можно мириться (в главе 4 пп. 3.4.2 приводится формула коррекции угадывания). Систематическое применение тестов приучает учащегося к мысли, что рассчитывать на угадывание при работе с машиной не приходится и к каждой встрече с машиной контроля необходимо готовиться.
Второй из приведенных аргументов противников использования тестов только кажется основательным, но в действительности его значимость невелика. Более того, рациональный подбор вариантов ответа позволяет обратить внимание учащегося на возможность правдоподобных, но не полных, неточных, а, может быть, и неверных ответов. Рациональный подбор таких вариантов ответов недостаток обращается в достоинство.
Касательно третьего из отмеченных пунктов: даже самый добросовестный учащийся при ответе на вопрос занимается сравнением предложенных вариантов ответов и выбором наиболее подходящего. Психологическую деятельность учащегося в процессе решения тестовых заданий нельзя считать примитивной и малосодержательной, при определенных условиях она становится вполне творческой. Все определяется содержанием вопроса и предлагаемым набором вариантов ответов и организацией процедуры контроля. К.Д. Ушинский считал, что все в мире узнается не иначе как через сравнение, и что сравнение является основой всякого познания и мышления.
И последний контраргумент: для ограничения негативных побуждений, возникающих у учащихся при обращении с контролирующим устройством, необходимо выбирать такие тесты, для которых возможности подделки или поиска обходных путей для получения правильных ответов являются минимальными.
Хотелось бы привести самую яркую критику тестирования Джона Равена, отметившего. Научные и этические аспекты экспансии тестологии в сфере образования. По его мнению, отказ от учета профессионалами того ущерба, который практика тестирования наносит судьбам детей и интересам общества, «является крайне безнравственным»1. «Играя такую важную роль при распределение должностей и социальных позиций, современная система оценивания отвлекает школы от их истинных целей, сталкивает дискуссии по политике в сфере образования на обсуждение тривиальных вопросов, и приговаривает людей с ценными для общества способностями к убогому и нищенскому существованию, хотя школы вполне могли бы содействовать их развитию»2. Так же Джон Равен отмечает необъективность тестовой оценки, отсутствие у нее конструктивной и прогностической ва-лидности. Данная система не помогает ни отбирать кандидатов на влиятельные посты в обществе, ни исключать допуск к этим должностям людей не подходящих. Не помогает учителям при диагностике трудностей в обучении детей, при определении необходимых мер для их преодоления и при руководстве индивидуализированными обучающими программами, ориентированными на развитие компетентностей. Не помогает политикам и менеджерам в создании более эффективной системы образования и управления ею, а так же развитию разных образовательных систем. Принятая система держит пользователей тестовых методов в плену ложных представлений об оценке, а педагогов – исследователей в целом – в плену ложных представлений о науке. И поскольку в долгосрочной перспективе последствия применения этих оценочных процедур деструктивны как для отдельных людей, так и для общества в целом, такие методы можно рассматривать как безнравственные, по определению Равена.
Новые диагностические методы, — к их числу Дж. Равен относит технику описательных заключений1, событийно-поведенческое интервью, процедуру выявления ценностных ожиданий, — должны отвечать целому ряду принципиально иных требований сравнительно с общепринятыми тестовыми измерениями: быть чувствительными к особенностям приобретаемого опыта, который у каждого ребенка будет своим; применяться исключительно при условии создания для данного ребенка адекватной образовательной среды; учитывать его индивидуальные способности, интересы и ценности; фиксировать динамику развития индивидуальных способностей; гарантировать выявление разных типов детской одаренности. В работе Дж. Равена [157] было показано, что традиционные тесты достижений не могут должным образом оценить результаты педагогического процесса; что они не подходят для выявления одаренности учащихся; что при попытках улучшить качество образования доверие к тестам уводит внимание учителей от тех целей, которые особо подчеркиваются при обсуждении недостатков системы образования; что они сужают наши представления об образовании вообще и об академическом образовании в частности и что их общепринятое применение при экспертизе содержания и методов обучения приводит к выводам, которые в лучшем случае не корректны, а по большому счету противоречат интересам ученика, так и всего общества2. В целом, критике подвергаются качество тестов, их возможные вредные воздействия на учащихся, правомерность использования по отношению к национальным меньшинствам, потенциальный риск вторжения в частные права граждан3.
Что касается стандартизированных тестов, то в них наибольшее недовольство вызывает использование заданий, предполагающих выбор правильного ответа. Еще в начале 1960-х гг., Б.С. Гоффман и его сторонники утверждали, что такие задания ставят более умных, оригинально мыслящих учащихся в невыгодное положение. Б.С. Гоффман доказал, что более сильные ученики могут видеть в них скрытый смысл, ставя, таким образом, под сомнение правильность ключевых ответов. После этого создатели тестов стали дополнять статистический анализ заданий более тщательным логическим анализом1.
Существуют и такие мнения, что тесты проверяют только ограниченные стороны человеческих возможностей, надежность и валидность результатов также часто вызывает сомнение. Как правило, происходит из-за недостаточного знания вопроса, ошибочно считать, что тесты должны быть абсолютно надежными и могут полностью предсказать успех в учении2.
В дополнении к вышесказанному, многие критики обеспокоены тем, что тестирование оказывает нежелательное воздействие на учащихся. Во-первых, оно вызывает излишнее волнение и нервозность. Чтобы этого избежать, можно предпринять ряд мер: тщательно готовится к тесту, практиковаться в выполнении задания в ограниченное время, учитывая возможность решения тренировочных вариантов.
Во-вторых, тесты делят учащихся на способных и неспособных, что формирует разнящееся отношение к ним со стороны преподавателей и сверстников. Конечно, распределение учащихся по разным группам и потокам способствует более эффективному использованию учебного времени и ресурсов школы, однако при этом необходимо помнить, что дети постоянно меняются и развиваются.
В-третьих, тесты наносят ущерб самооценке учащихся - одно из самых серьезных обвинений к данному виду испытаний. При правильном использовании тесты могут помочь развить реалистическое понимание своих достоинств и недостатков и, таким образом, способствовать учению и позитивной самооценке.
Системный подход к проектированию базы тестовых заданий по предметам общеобразовательной школы (математика, физика, информатика и ИКТ) на основе компетентностной модели тестирования
Выше речь шла о линейной зависимости, но существуют ситуации, когда при низком или нулевом значении парного коэффициента корреляции зависимость между переменными все-таки существует. В таких случаях она носит нелинейный характер, и необходимо находить показатель корреляционного отношения .
Корреляционное отношение. Является, наряду с ковариацией и коэффициентом корреляции, еще одним показателем наличия и силы связи между переменными X и Y.
Корреляционное отношение т/ обычно рассчитывается на основе разбиения переменной X на т групп, для каждой из которых рассчитывается свое среднее у. и стандартное отклонение S и математически п представляет собой отношение стандартных отклонений к общему стандартному отклонению :
Хотя корреляционное отношение в целом и похоже по смыслу на коэффициент корреляции, оно имеет ряд довольно существенных отличий от него. Оно так же принимает значения в интервале от 0 до 1, но только положительные [0…+1]. Строго говоря, нулевое значение коэффициента корреляции г = 0 говорит только о
Смоленский В.В. Статистические методы обработки экспериментальных данных: Учеб.пособие. – СПб. – Санкт - Петербургский государственный горный институт (технический университет), 2003. – 101с. – ISBN: 5-94211-071-9. полном отсутствии линейной связи между переменными X и Y, в то время как нулевое значение корреляционного отношения /7 = 0 свидетельствует вообще о полном отсутствии корреляционной связи между этими переменными, т.е. об их независимости друг от друга. Поэтому корреляционное отношение может помочь установить наличие нелинейной связи между X и Y, когда проверка коэффициента корреляции показывает отсутствие связи.
Для удобства и точности вычисления решим задачу теории корреляции, используя программу Microsoft Office Excel. В состав Microsoft Excel входит набор средств анализа данных, предназначенный для решения сложных статистических и инженерных задач. Корреляционный и ковариационный анализ можно использовать для одинаковых значений, если в выборке наблюдаются N различных переменных измерений. Оба вида анализа характеризуют область, в которой две переменные «изменяются вместе». Данный анализ позволяет установить характер и тесноту связи между случайными величинами, а именно - оценками школьников по двум тестированиям и оценкам эксперта, а это всегда дает подробную информацию для дальнейших рассуждений о свойствах изучаемого объекта. Необходимо помнить о специфичности объекта измерения, потому как результаты существенно зависят от возможностей разумно формализовать этот объект.
Далее, используя предложенную теорию в области изучения корреляционных зависимостей, проанализируем полученные в ходе исследования данные.
Для сравнения результатов тестирования по БТЗ, разработанных по обычной методике и по предлагаемой системной методике, был поставлен эксперимент. БТЗ в полном объеме была предложена школьникам Ленинградской и Воронежской области. БТЗ составлена по предложенной в диссертационном исследовании системной методике.
Данные в статистике - это основные элементы, подлежащие анализу. В нашем исследовании данные - это количественные результаты, оценки, которые получили школьники: 1. В результате выполнения классического теста (тот тест, который проводит преподаватель в данном классе);
Указанные соотношения анализировались как для всей выборки, так и для сильных групп (тех, у кого баллы от 4 до 5 включительно) и групп слабых школьников (тех, у кого баллы от 3 и ниже).
Чтобы определить насколько связаны между собой две переменные (оценка эксперта и оценка по системному тестированию или оценка эксперта и оценка по классическому тестированию) воспользуемся одним из разновидностей статистических методов, позволяющих вычислять степень корреляции с тем, чтобы можно было предсказывать возможные значения одной из них, если знаем другую. При изучении корреляции стараются установить, существует ли какая-то связь между двумя показателями в одной выборке либо между двумя выборками, и если эта связь существует, то сопровождается ли увеличение одного показателя возрастанием или уменьшением другого. Иными словами, корреляционный анализ помогает установить, можно ли предсказывать возможные значения одного показателя, зная величину другого. В гуманитарных науках (например, педагогике, педагогических исследованиях) корреляция считается сильной, если ее коэффициент выше 0,60; если же он превышает 0,90, то корреляция считается очень сильной. В случае если коэффициент корреляции равен 0, обе переменные полностью независимы друг от друга. Однако для того, чтобы можно было делать выводы о связях между переменными, большое значение имеет объем выборки: чем выборка больше, тем достовернее величина полученного коэффициента корреляции.
Анализ результатов эксперимента по общей физике (раздел «Термодинамика») и по информатике и информационным технологиям (раздел «Основы информатики»)
Проанализируем полученные графики: в обоих случаях точки пересечения значений каждой пары данных не выстраиваются по точно прямой линии, а образуют «облако»; «облако» однородное, выстроенное в определенном положительном направлении, сила связи средняя и невозможно определить по графику, в каком из двух случаев она наибольшая. Поэтому перейдем ко второй задачи теории корреляции – оценим тесноту (силу) корреляционной связи:
А) Найдем ковариацию между оценкой эксперта и результатами системного тестирования, она составляет 0,36. Ковариация между оценкой эксперта и результатами классического тестирования составляет 0.33.
Ковариационный анализ дает возможность установить ассоциированы ли наборы данных по величине. И в первом и во втором случаях ковариация положительная, то есть, большие значения из одного набора данных связаны с большими значениями другого набора, две величины отклоняются «синхронно от своих средних значений».
Анализируя полученные данные в нашем эксперименте, видим, что сov (Эксперт - СисТЗ) cov (Эксперт – КТЗ), следовательно, взаимозависимость случайных величин (степень связи) в первом случае превышает взаимосвязь случайных величин во втором случае. Это говорит о том, что оценки, полученные за выполнение СисТЗ наиболее близки и взаимосвязаны с оценками эксперта; тест, составленный по предложенной в гл. 2 методике, наиболее точно характеризует уровень учебных достижений каждого школьника.
Чтобы это подтвердить, с помощью ковариации определим коэффициент корреляции и, для более точного анализа, корреляционное отношение.
Б) Коэффициент корреляции между оценкой эксперта и результатами системного тестирования составляет 0,60, что соответствует сильной корреляции (для сравнения, критическое значение коэффициента корреляции Браве – Пирсона для данной выборки составляет 0,36) – то есть можно сказать, что между двумя выборками существует сильная связь, оценки полученные по системным тестам очень близки оценкам эксперта, которые мы принимаем в нашем исследовании за эталон.
Коэффициент корреляции между оценкой эксперта и результатами обычной методики составляет 0,56, что тоже указывает на сильную корреляцию (коэффициент корреляции Браве - Пирсона составляет 0,31), связь есть и совсем немного меньше первого случая. Следовательно, и первый (в большей степени) и второй тесты дают результаты близкие оценке эксперта.
В) Для более точного результата, в связи с тем, что на графике точки образуют вытянутое «облако» и коэффициенты корреляции почти совпадают, найдем величину корреляционного отношения. Анализ величин корреляционного отношения между оценкой эксперта и результатами обычной методики (составляет 0,57) и между оценкой эксперта и результатами системного тестирования (составляет 0,61) школьников показал - связь существует и сильная, особенно во втором случае.
Представим полученные рассуждения в виде таблицы.
Метод изучения корреляционной зависимости Соотношение между оценкой эксперта и результатами системного тестирования Соотношение между оценкой эксперта и результатами обычного тестирования Выводы
Графический Выборка не засорена аномальными значениями, зависимость положительная, не строгая, сила связи средняя, линии регрессии – прямые. Невозможно по графику определить, какое из соотношений наиболее удачное Аналитический: А) Ковариация covxy = 0,36 covxy = 0,33 covxy(СисТЗ) cov xy(КТЗ) Б) коэффициент корреляции rxy = 0,60 rxy = 0,56 rxy(СисТЗ) rxy(КТЗ) В) корреляционное отношение = 0,61 = 0,57 ri(СисТЗ) rj(КТЗ)
Следующим этапом проанализируем данные соотношения для сильных групп и отдельных слабых школьников. Как и в рассмотренном выше анализе данных, обратим внимание на графический метод: при построении точечной диаграммы по рядам данных поместим на диаграмму величину достоверности аппроксимации r 2 , который находится в параметрах диаграммы, отсюда выразим коэффициент корреляции. Получаем следующие графы и таблицу показателя коэффициента корреляции по группам данных.
СисТЗ, как и КТЗ (но в меньшей степени), позволяет с большей вероятностью идентифицировать сильных школьников и плохо определяет слабых. Для сильных школьников, оба коэффициента почти одинаковы и выше критического значения для данной выборки (для СисТЗ коэффициент Браве - Пирсона составляет 0,304, для КТЗ – 0,167), что говорит о сильной связи между переменными. То есть, уровень знаний сильных школьников позволяет с большой вероятностью выполнить и тот и другой тест. При сравнении значений коэффициента корреляции для слабых школьников видно, что эти значения очень малы, это указывает на слабую связь и идентифицировать слабого школьника, что по системным, так и по классическим тестам очень трудно. Чтобы убедится, что тест, разработанный нами, более близок оценке эксперта, представим таблицу среднего балла по всем видам тестирования.
По данным таблицы 4 видим, что в среднем оценки, полученные в результате системного тестирования и оценки, полученные в результате обычного тестирования, совпадают и близки оценке эксперта. То есть тест, разработанный в результате нашего исследования близок по содержанию тому классическому тесту, который использует преподаватель в данном классе.
Таким образом, в данной главе, в результате анализа проведенных экспериментов по общей физике (раздел «Термодинамика») и по информатике и ИТ (раздел «Основы информатики») получили следующие выводы:
Если анализировать результаты разделенных школьников по группам сильных и слабых, то в обоих экспериментах СисТЗ позволяют определить сильных школь ников. Причем, как отмечалось выше, гху(СисТЗ) гху(КТЗ), то есть для сильных по уровню учебных достижений школьников нет значения, какой тест писать, их уровень знаний позволяет с большой вероятностью выполнить и тот и другой тест. Вместе с тем, СисТЗ в первом эксперименте по физике с большой вероятностью позволяет идентифицировать слабого школьника. Тогда как значение коэффициента «силы связи» между оценкой эксперта и результатами обычного классического тестирования близко нулю, то есть трудно предугадать результат выполнения тестирования слабыми школьниками, идентифицировать слабого школьника по КТЗ практически невозможно. Во втором эксперименте по информатике не возможно определить слабых школьников, значения коэффициента корреляции и между Экспертом и СисТЗ и между Экспертом и КТЗ близка нулю;
С практической точки зрения, получили хорошие результаты по системному тестированию, что дает основание надеяться на существенное повышение достоверности оценки. Хотя это не говорит о том, что ТЗ диссертационного исследования лучше, качественнее стандартных, классических и отвечают всем свойствам и требованиям, предписанным ТЗ. Разумным представляется при дальнейшем изучении данной темы обратить внимание, во-первых, на качество самих ТЗ; во-вторых, апробировать разработанную БТЗ для большего числа выборки испытуемых школьников, что уменьшит вероятность подтасовки результатов; в- третьих, рассмотреть и использовать более современные и точные методы статистической обработки результатов тестирования.