Содержание к диссертации
Введение
Глава I. Научно-теоретические основы процесса критериально-ориентированного педагогического тестирования курсантов вузов 13
1. Сущность и основные особенности процесса критериально-ориентированного педагогического тестирования 14
2. Педагогические принципы технологии разработки тестовых заданий для критериально-ориентированных педагогических тестов30
3. Проблемы моделирования процесса критериально-ориентированного педагогического тестирования 49
Глава II. Опытно-экспериментальное исследование моделирования процесса критериально-ориентированного педагогического тестирования курсантов вузов 79
1. Программа экспериментального исследования процесса критериально-ориентированного педагогического тестирования 79
2. Экспериментальная оценка процесса критериально-ориентированного педагогического тестирования с помощью математических моделей и экспертных методик 93
3. Интерпретация результатов экспериментального критериально-ориентированного педагогического тестирования 115
Глава III. Основные пути повышения эффективности моделирования процесса критериально-ориентированного педагогического тестирования курсантов вузов 123
1. Обеспечение высокой результативности моделирования основных. , этапов разработки критериально-ориентированных педагогических тестов 123
2. Совершенствование моделей разработки эффективных тестовых заданий 133
3. Достижение высокой эффективности компьютерного тестирования у курсантов на основе модели последовательного анализа его результатов 152
Заключение 163
Список литературы 170
Приложения 182
- Сущность и основные особенности процесса критериально-ориентированного педагогического тестирования
- Программа экспериментального исследования процесса критериально-ориентированного педагогического тестирования
- Интерпретация результатов экспериментального критериально-ориентированного педагогического тестирования
- Обеспечение высокой результативности моделирования основных. , этапов разработки критериально-ориентированных педагогических тестов
Введение к работе
Актуальность работы. В соответствии с законом «Об образовании» в практику современного высшего профессионального образования вошло понятие государственного образовательного стандарта. Однако, без эффективной системы контроля выполнения его требований адекватное функционирование образовательного стандарта практически невозможно. Как показало исследование, существующие методы контроля уровня обу-ченности курсантов во многом субъективны и нуждаются в совершенствовании. Объективным средством определения параметров качества и результативности образовательного процесса может выступать тестовый контроль как один из элементов педагогического контроля. Тесты позволяют обеспечить своевременное выявление уровня знаний, практических навыков и умений обучаемых в соответствии с образовательными стандартами, вносить коррективы в содержание, организацию и методику преподавания учебных дисциплин.
Проведенное исследование показывает, что тестовые методы контроля повышают достоверность и объективность оценки учебных достижений курсантов, однако должного научного обоснования и методического обеспечения педагогического аттестационного тестирования в высших военно-учебных заведениях в настоящее время нет. Недостаточная разработанность данной проблемы порождает стихийность и самодеятельность на местах, что, в конечном счете, компрометирует саму идею критериально-ориентированного педагогического тестирования.
Актуальность диссертационного исследования обуславливается следующими обстоятельствами.
Во-первых, комплексное научно-методическое обеспечение процесса тестирования требует создания адекватных математических моделей, экспериментально обоснованных тестовых технологий.
Во-вторых, задачи реформирования высшей военной школы предполагают усиление объективности в оценке результатов учебной деятельности обучаемых, использование при этом научно обоснованных критериев и показателей. На практике преподаватели вузов зачастую или отличаются излишним "либерализмом", что ведет к завышению оценок, или предъявляют явно завышенные требования к обучаемым. Целесообразно отметить и малую дифференцированность шкалы традиционных оценок. В данных условиях возрастает роль объективного тестового контроля. Это вытекает и из требований программы "Национальная система оценки качества образования" (Федеральная программа "Развитие образования в России" -М.1995).
В-третьих, в условиях, когда все ВУЗы Министерства обороны Российской Федерации должны пройти государственную аттестацию и аккредитацию, остро стоит вопрос о разработке по всем учебным дисциплинам комплектов тестов, позволяющих оценить уровень подготовленности курсантов. Анализ состояния дел вузовской практики показывает, что разработкой педагогических тестов преподаватели вузов систематиче-ски не занимаются. В общей системе форм контроля учебной деятельности курсантов тестовые методики занимают не более 7%. Более того, разработанные в инициативном порядке педагогические тесты часто не соответствуют требованиям теории и практики тестового контроля. Их валидность, надежность и эффективность не соответствуют задачам, предъявляемым к объективному педагогическому тестовому контролю.
В-четвертых, исследование показало, что анализу проблем педагогического контроля посвящен ряд монографий, учебных пособий, статей, диссертаций. Работы представителей высшей военной школы позволили конкретизировать требования к контролю, определить оптимальные условия их реализации в учебно-воспитательном процессе. Вместе с тем, изучение и анализ этих источников показал, что развитием теории и практики педагогического тестирования отечественные ученые занимались недостаточно. Процесс педагогического тестирования в научно-педагогической литературе разработан значительно хуже, чем методы и приемы традиционного педагогического контроля. Недостаточно проработана в отечественной и зарубежной литературе проблема моделирования процесса критериально-ориентированного педагогического тестирования.
В отечественной литературе отдельным аспектам критериально -ориентированных педагогических тестов посвящены труды B.C. Аванесо-ва, В. П. Беспалько, Д.В. Люсина, Б.У. Родионова, А.О. Татура, М.Б. Челышковой и др. В их работах предпринята попытка анализа различных методов конструирования критериально-ориентированных педагогических тестов1, оценки их надежности и валидности. Однако многие вопросы остались за пределами их исследований, особенно проблемы моделирования процесса критериально-ориентированного педагогического тестирования, использующие сложный математический аппарат.
1 АванесовВ.С. Композиция тестовых заданий. -М.: Ассоциация инженеров-педагогов, 1996.; ЛюсинДВ. Основы разработки и применения критериально - ориентированных педагогических тестов. - М.: Исследовательский центр, 1993.; Беспалько В.П. Слагаемые педагогической технологии. -М.: Педагогика, 1989.; Родионов Б.У.,ТатурА.О. Стандарты и тесты в образовании. М., 1995.;ЧелышковаМ.Б. Разработка педагогических тестов на основесэдременных\шематических моделей. Учебное пособие. -М: Исследовательский центр, 1995.
Проблемой моделирования процесса педагогического тестирования в высшей военной школе занимался А.И. Буравлев 1. Он отмечает, что контроль знаний курсантов является ключевым элементом педагогической технологии. Поэтому организация текущего, промежуточного и итогового контроля на основе критериально-ориентированных педагогических тестов позволяет объективно, с высокой надежностью и валидно-стью, с минимальными временными затратами оценить на том или ином этапе результаты обучения курсантов.
Большое внимание технологии создания и применения критериально-ориентированных педагогических тестов уделено в зарубежной научной литературе. Значительный вклад в развитие теоретической базы и в практику критериально-ориентированного педагогического тестирования внесли такие ученые, как Р.А. Верк, Р. Глейзер, Р. Хэмбелтон, Д. Миллман, и ряд других. В их исследованиях разработаны научно -теоретические основы критериально-ориентированного педагогического тестирования2, алгоритмы и процедуры выбора критериев оценивания3, методы моделирования оптимальной длины тестов1, анализа стандартов качества тестов и тестовых заданий.
Сложный и широкий спектр задач педагогического контроля, решаемых с помощью критериально-ориентированных педагогических тестов, обусловил практическую значимость и прикладную направленность диссертационного исследования.
1 Буравлев А.И. и др. Выбор оіггимальной длины педагогического теста и оценка надежности его результатов
//Дистанционное образование. 1999. №2. с.23-26.
2 Berk R. A Criterion-referenced measurement: The state of art. Baltimor,MD: Johns Hopkins University Press, 1980.432
?'
' Millman J. Criterion-referenced measurement II In W.J. Popham (Ed.). Evaluation in Education: Current applications.
Barkelev CA.: McCutchan, 1974. pp. 311-397.
В настоящее время в высших военно-учебных заведениях существует потребность в объективных методах контроля учебных достижений курсантов. Данное диссертационное исследование нацелено на создание целостной системы моделирования критериально-ориентированных педагогических тестов, основанных на научно-обоснованных и эффективных методах разработки тестовых заданий и тестов, которые могут всесторонне применяться в системе военного образования.
Объектом диссертационного исследования является педагогическое тестирование уровня обученности курсантов, а его предметом - моделирование процесса критериально-ориентированного педагогического тестирования в условиях вузов МО РФ.
Целью диссертационной работы является исследование теоретических и прикладных основ процесса критериально-ориентированного тестирования курсантов вузов и разработка комплекса моделей для создания педагогических тестов, отвечающих требованиям государственных образовательных стандартов.
Задачи диссертационного исследования:
Выявить сущность, содержание и особенности критериально-ориентированного педагогического тестирования курсантов.
Теоретически обосновать и экспериментально проверить основные модели разработки и оценки качества критериально-ориентированных педагогических тестов, принципы разработки тестовых заданий.
Обосновать основные пути повышения эффективности моделирования процесса критериально-ориентированного педагогического тестиро-
1 Hambelton, Ronald К., and others, Criterion-Referenced Testing and Measurement: A Review of Technical Issues and Development II Review of Educational Research, 48, no. 1 (Winter 1978), 1-48.
вания курсантов вузов и практические рекомендации по его совершенствованию.
Гипотеза исследования состоит в том, что в современных условиях развития образовательного процесса существует противоречие между необходимостью в постоянной объективной информации об уровне обученно-сти курсантов, степени овладения ими учебным материалом и ограниченными возможностями традиционных субъективных методов педагогического контроля, недостаточно полно разработанными методами тестового педагогического контроля.
Разрешение данного противоречия может быть осуществлено за счет обеспечения высокой результативности моделирования основных этапов разработки критериально-ориентированных педагогических тестов, совершенствования моделей разработки тестовых заданий, достижения эффективного компьютерного тестирования курсантов на основе модели последовательного анализа его результатов.
Внедрение критериально-ориентированного педагогического тестирования в учебно-воспитательный процесс позволит повысить систематичность и постоянство педагогического контроля, его объективность, своевременность, придаст ему диагностический и стимулирующий характер, в целом повысит эффективность образовательного процесса в высших военно-учебных заведениях.
Методология и методика исследования основывается на теории военно-педагогического процесса, закономерностях и принципах обучения курсантов в высшей военной школе, основах программированного обучения, педагогической диагностики и тестологии. Исследование ряда проблем диссертации базировалось на методах математической статистики и
математического моделирования. Для решения задач и достижения целей диссертационного исследования использовались общенаучные и частные педагогические методы познания: педагогический эксперимент, наблюдение, беседа с курсантами и профессорско-преподавательским составом ряда вузов, экспертная оценка, опросы и другие.
Этапы исследований. Исследования проводились в течение 5 лет и осуществлялись в три этапа.
На первом этапе (1995-1996 гг.) проводился анализ литературных источников и научных исследований по проблемам педагогического тестирования уровня обученности курсантов, разрабатывалась методика исследований, формулировались и уточнялись цели и задачи диссертационной работы.
Второй этап (1997-1998 гг.) включал проведение педагогического эксперимента и серии опытно-экспериментальных тестовых исследований.
На третьем этапе (1999-2000 гг.) анализировались результаты экспериментальных тестовых испытаний, апробировался комплекс моделей критериально-ориентированного аттестационного тестирования обучаемых, проводилась окончательная доработка методов совершенствования качества критериально-ориентированного тестирования.
Научная новизна диссертационного исследования заключается в следующем:
Обоснованы и приведены в систему научно-теоретические основы создания и моделирования критериально - ориентированных тестов для определения уровня обученности курсантов вузов.
Разработаны и предложены модели: разработки эффективных тестовых заданий; оптимального выбора критерия оценивания результа-
тов тестирования; последовательного анализа результатов компьютеризованного тестирования при полит омическом оценивании уровня учебных достижений курсантов.
3. Выявлены основные пути повышения эффективности моделирования процесса критериально-ориентированного педагогического тестирования.
На защиту выносятся:
Научное понимание сущности критериально-ориентированных педагогических тестов, их разновидности и особенности по сравнению с психологическими и нормативно-ориентированными педагогическими тестами, классификация тестовых заданий.
Технология разработки тестовых заданий, позволяющая проектировать адекватные задачам контроля критериально - ориентированные педагогические тесты.
Разработанные и экспериментально апробированные пути совершенствования процесса критериально-ориентированных педагогического тестирования: комплекс моделей для разработки эффективных критериально-ориентированных педагогических тестов; экспертная и экспериментальная методика оптимального выбора критерия оценивания уровня овладения курсантами вузов содержанием той или иной дисциплины, позволяющая повысить объективность и достоверность результатов тестирования; математическая модель индивидуализации компьютерного критериально-ориентированного педагогического тестирования, повышающая эффективность тестового контроля.
Теоретическая значимость исследования заключается в выявлении теоретических основ процесса критериально-ориентированного тестирования уровня обученности курсантов вузов, обосновании его целей и
задач, сущности, содержания и функций. Особое внимание в исследовании уделено разработке теоретических основ технологии процесса критериально-ориентированного педагогического тестирования и моделей его осуществления. Теоретическую значимость представляет определение критериев эффективности и показателей качества процесса критериально-ориентированного тестирования.
Практическая значимость диссертации заключается в применении комплекса моделей и алгоритма проектирования критериально-ориентированных педагогических тестов, обладающих высокими качественными показателями. На основе математических моделей разработаны методики создания тестовых заданий и оценки их качества, определения показателей надежности и валидности критериально-ориентированных педагогических тестов, оптимального выбора критерия оценивания (критериального балла) уровня обученности курсантов вузов. Разработана технология повышения эффективности компьютерного критериально-ориентированного педагогического тестирования на основе модели последовательного анализа результатов. Критериально-ориентированные педагогические тесты дают возможность оценить объем учебного материала, усвоенный курсантами. Практическое применение критериально-ориентированных тестов, разработанных на базе предложенных моделей, позволит руководителям учебных заведений, профессорско-преподавательскому составу, курсантам объективно сопоставлять уровень учебных достижений обучаемых с требованиями государственных образовательных стандартов. Внедрение в практику критериально-ориентированного тестового контроля создает возможность проводить аттестацию военно-учебных заведений на основе сравнительного анализа
результатов тестирования курсантов с требованиями государственных образовательных стандартов.
Апробация результатов исследования осуществлялась путем проведения педагогического эксперимента в Военном авиационном техническом университете (ВАТУ). Материалы исследования использовались для организации тестового контроля курсантов Тамбовского высшего военно-авиационного технического института и Учебного Центра при Исследовательском центре проблем качества подготовки специалистов (г. Москва) . Теоретические выводы и практические рекомендации докладывались на заседании кафедры педагогики Военного университета, кафедры гуманитарных и социально-экономических дисциплин ВАТУ.
Положительные результаты внедрения практических рекомендаций подтверждены отзывами соответствующих вузов и научно-исследовательских центров.
Структура работы: Диссертация состоит из введения, трех глав, заключения, списка литературы и приложений. В списке использованной литературы 105 наименований, из них 49 на английском языке.
Сущность и основные особенности процесса критериально-ориентированного педагогического тестирования
Прежде чем раскрыть сущность и особенности педагогических тестов, необходимо установить, что понимается вообще под педагогическим тестом и отделить педагогические тесты от тестов, применяемых в других сферах - психологии, социологии и т.п. Особенно важно установить различия между педагогическими и психологическими тестами, так как их нередко смешивают в научной литературе.
На наш взгляд, в основу разделения педагогических и психологических тестов может быть положен предмет измерения - что, какую реальность измеряет тот или иной тест. Так, психологические тесты измеряют некоторые психические свойства человека: способности, особенности характера, темперамента, познавательной сферы и т.д. В отличии от этого предмет измерения педагогических тестов - степень усвоения знаний, навыков и умений, которым и овладевал испытуемый, иначе говоря - результаты обучения.
Иногда смешение педагогических и психологических тестов происходит из-за того, что психологические тесты широко используются в педагогической диагностике для изучения умственного развития обучаемых, учебной мотивации людей. Однако в данном случае предметом измерения все равно остаются психические свойства испытуемого, а не результаты обучения, поэтому такие тесты являются психологическими. Педагогические тесты имеют общие черты с психологическими тестами. Так, в большинстве интеллектуальных тестов существуют так называемые шкалы общей осведомленности. Шкалы осведомленности измеряют уровень овладения базовым набором знаний, необходимых человеку в жизни, то есть по предмету измерения они идентичны педагогическим тестам. Задания, включаемые в другие шкалы интеллектуальных тестов также направлены на измерение уровня овладения определенными знаниями, навыками или умениями. Поэтому по характеру заданий, по некоторым особенностям процедуры тестирования и способом обработки результатов педагогические тесты близки тестам интеллекта, используемых в психологии.
В тестологии принято выделять так называемые тесты достижений. Эти тесты измеряют влияние на испытуемого прошлого опыта и не применяются для прогнозирования будущего, то есть успешности учебы, профессионально деятельности и т.д. Педагогические тесты по своей природе также являются тестами достижения, так как они измеряют результаты обучения. А в качестве прошлого опыта здесь выступает изучавшийся испытуемыми определенный учебный курс, определенная учебная дисциплина. Педагогические тесты направлены на оценку степени усвоения содержания учебного материала.
В педагогической науке не существует общепринятого понимания критериально-ориентированного теста. В настоящее время насчитывается десятки его определений. Кроме того, положение осложняется тем, что существующее в настоящее время различные виды критериально-ориентированных тестов, заметно отличаются друг от друга, и каждый такой вид имеет свое название. Теоретический анализ существующих подходов к пониманию критериально-ориентированных тестов целесообразно начать с зарубежной литературы. Это связано с тем, что именно за рубежом, прежде всего в США, опубликовано большое количество работ по критериально-ориентированному тестированию и наибольшей степени развита терминология в этой области.
Термин «критериально-ориентированное измерение» впервые ввел в научный оборот Р.Глейзер в 1963 году [70] . Автор рассматривал измерение учебных достижений испытуемого как оценку его «критериального поведения » (criterion behavior). Под критериальным поведением им понимались те формы поведения, которыми испытуемый должен овладеть в процессе обучения. Слово «поведение» (behavior) здесь в соответствии с американской бихевиористской традицией рассматривается предельно широко. Это понятие охватывает не только навыки и умения, но и знания, представления, убеждения, которыми овладевает обучаемый.
Р.Глейзер ввел новый термин и четко выразил идею нового подхода в области педагогического измерения, но он не дал определения критериально-ориентированного теста. Такие определения появились несколько позже. Наиболее распространенным стало определение В. Попхэм: «критериально-ориентированный тест используется, чтобы установить статус испытуемого по отношению к четко определенной области поведения» [92, р.93] .
Программа экспериментального исследования процесса критериально-ориентированного педагогического тестирования
Педагогический эксперимент проводился в Военном авиационном технологическом университете в период с сентября 1997 г. по декабрь 1998 г. Замысел педагогического эксперимента состоял в том, чтобы:
а) В соответствии с основополагающими принципами тестовой тео рии, а также математическими моделями оценки надежности и валидности педагогических тестов, разработать в экспериментальных целях критериально-ориентированные педагогические тесты для определения уровня обученности курсантов по учебной дисциплине «Информатика»;
б) Осуществить экспериментальное тестирование курсантов 1 курса факультета базовой подготовки университета перед началом экзаменаци ,, онной сессии, после изучения ими указанной учебной дисциплины;
в) Опираясь на полученные результаты тестирования, провести выбор стандартов оценивания, оценить и обосновать надежность, содержательную и критериальную валидность теста, соотнести экспериментальные данные с рабочей гипотезой, сформулировать теоретические выводы и обобщения;
г) Провести формирующий эксперимент на основе сравнения результатов обучения по дисциплине «Информатика» экспериментальных и контрольных групп, причем главной целью которого явилась проверка эффективности использования критериально-ориентированных педагогических тестов и их влияния на уровень обученности курсантов.
Исходя из замысла педагогического эксперимента, была подготовлена программа экспериментальной работы, которая включала в себя следующие составляющие: определение содержания учебной дисциплины и цели тестирования; разработку спецификации теста; создания конгруэнтных тестовых заданий; социально-педагогическую экспертизу тестовых заданий; формирование теста и его параллельных форм; подготовку про-фессорско - преподавательского состава и технического персонала кафедры информатики и вычислительной математики к экспериментальному тестированию курсантов; анализ результатов тестирования и комплексную проверку надежности и валидности КОП теста; интерпретацию полученных данных и др.
В соответствии с замыслом и программой исследования был разработан план педагогического эксперимента, в который включен ряд конкретных мероприятий. Рассмотрим, по возможности кратко, особенности основных мероприятий педагогического эксперимента.
На начальном этапе из числа профессорско-преподавательского состава кафедры информатики и вычислительной математики, научных сотрудников НИО университета и сотрудников учебной части факультета базовой подготовки была организована рабочая группа по подготовке и проведению педагогического эксперимента. Она насчитывала 8 человек.
Профессорско-преподавательский состав кафедры, руководители и сотрудники факультета были ознакомлены с замыслом, программой и планом педагогического эксперимента. Кроме того, с членами рабочей группы было проведено двухчасовое инструкторско-методическое занятие на тему: «Основы технологии критериально-ориентированного педагогического тестирования курсантов». В дальнейшем, по мере необходимости, проводились рабочие совещания, инструктажи, индивидуальное консультирование по вопросам методики и порядка проведения педагогического тестирования.
Собственно экспериментальная работа началась с определения области содержания учебной дисциплины и конкретизация целей педагогического тестирования.
Учебная дисциплина «Информатика» изучается с курсантами 1 курса факультета базовой подготовки университета в 1 и 2 семестрах. На ее изучение отводится 100 часов учебного времени. Из них 30 часов на лекции, 36 часов на практические занятия, 24 часа - на лабораторные занятия, 10 часов отводится на курсовую работу.
В итоге изучения учебной дисциплины курсанты сдают зачет и экзамен. Область содержания учебной дисциплины ограничена учебной программой, которая предусматривает изучение курсантами следующих основных тем: информатика - предмет и задачи; система понятий теории информации и кодирования, сведения о персональном компьютере (ПК) , структура программного обеспечения ПК, операционная система/ введение в MS DOS, программа-оболочка Norton Commander, архивация файлов, компьютерные вирусы и антивирусные программы, общие сведения о Windows, графический интерфейс, пользовательский интерфейс, работа с дисками, папками и файлами, ярлыки, стандартные программы Windows-95, o63opWindows-98, Windows NT, общие сведения о редактировании текстов, назначение и классификация текстовых редакторов Лексикон, Word, Word Perfect, издательская система Page Maker, табличные процессоры- основные понятия, краткая характеристика табличных процессоров Super Calc, Qutro Pro, электронные таблицы Excel, основные понятия баз данных, основы работы с текстовыми БД, СУБД Access, СУБД dBase, основные понятия теории алгоритмов, языки программирования, этапы решения задачи с помощью ПК, основные понятия о глобальных и локальных сетях, командные файлы, обслуживание дисков. Все указанные выше темы сведены в четыре тематических раздела.
Интерпретация результатов экспериментального критериально-ориентированного педагогического тестирования
Анализируя полученные показатели надежности, можно отметить близость значений фи - коэффициента корреляции и каппа-коэффициента согласованности. С другой стороны, значение тетрахорического коэффициента корреляции резко превышает остальные показатели и является явно завышенным показателем надежности теста- Как показывают теоретические и экспериментальные работы исследователей [66], это связано с тем, что распределение результатов тестирования далекого от нормального и недостаточно большая выборка испытуемых.
В нашем экспериментальном исследовании показатель надежности КОП теста более 0,75. Согласно тестовой теории значение коэффициента надежности педагогического теста более 0,75 говорит об его хорошем качестве. Однако для повышения качества данного КОП теста по нашему мнению следует провести мероприятия по повышению надежности, а именно: - увеличить длину теста (количество заданий в одном варианте); - провести анализ валидности тестовых заданий; - провести статистический анализ качества тестовых заданий и удалить из банка те задания, которые имеют низкие значения дифференцирующей способности; - при возможности увеличить количество вариантов ответов в каждом задании, чтобы уменьшить влияние «случайного угадывания» на результаты тестирования.
Для оценки критериальной валидности (а фактически текущей валидности) в экспериментальном исследовании мы применили метод определения корреляции между средним баллом и оценками за тестирование, а также между результатами экзамена по той же дисциплине и результатами тестирования.
Расчет этих двух коэффициентов корреляции дает близкие и достаточно высокие значения 0,594 и 0,-566. Это позволяет сделать следующие выводы: - критериальная валидность экспериментального КОП тестирования, рассчитанная двумя способами, показывает близкие и достаточно высокие (более 0,55) коэффициенты корреляции; - выбор внешней критериальной переменной для оценки текущей ва-лидности КОП теста играет важную роль, причем большее значения корреляции достигается между средним баллом и оценками за тестирование.
Интерпретация экспериментальной оценки качества тестовых заданий. Результат статистического анализа ответов курсантов на задания варианта теста приведен в таблице 2.7. Для КОП тестов существенным показателем качества задания является не уровень трудности, а коэффициент различающей способности (D) и точечно-бисериальный коэффициент корреляции ( rpbis) . Недостаточная надежность экспериментального КОП тестирования показывает на наличие в банке таких тестовых заданий, которые имеют те или иные дефекты формы или содержания, и как следствие, показывают низкие значения D и r is. Для повышения качества КОП теста следует либо изъять из банка задания с низкими показателями D и Грыз, либо значительно их переработать.
В результате анализа результатов тестирования обнаружились определенные трудности у обучаемых при изучении некоторых тем дисциплины «Информатика». По нашему мнению основные трудности у курсантов вызвали тестовые задания по темам: архивация файлов, компьютерные вирусы и антивирусные программы, основные понятия баз данных, основы работы с текстовыми БД, СУБД Access, СУБД dBase, языки программирования, основные понятия о глобальных и локальных сетях, командные файлы, обслуживание дисков.
Таким образом, реализованные в диссертации три методики определения стандартов оценивания дают достаточно близкие значения, однако наиболее точные и валидные значения стандартов оценивания получены путем моделирования шкалы КОП теста.
Значения коэффициентов корреляции (фи и тетрахорического), а также коэффициента согласованности (каппа-коэффициента) свидетельствуют о хорошей надежности экспериментального теста. В тоже время, его надежность в дальнейшем может быть повышена путем увеличения длины теста, анализа валидности тестовых задании и др. Показатели валидности теста соответствуют требованиям качества, что подтверждает гипотезу диссертационного исследования.
Для осуществления формирующего эксперимента из числа курсантов 1-го курса ВАТУ были выбраны шесть экспериментальных групп, в которых проводилось критериально-ориентированное педагогическое тестирование по дисциплине «Информатика», и две контрольные группы, в которых тестирование не проводилось. Группы существенно не отличались по результатам учебной деятельности.
Обеспечение высокой результативности моделирования основных. , этапов разработки критериально-ориентированных педагогических тестов
Экспериментальное исследование, проведенное в ряде военных и гражданских вузов г. Москвы позволило выделить основные этапы разработки критериально-ориентированных педагогических тестов, а именно: а) определение области содержания и цели тестирования; б) разработка спецификации и плана теста; в) составление тестовых заданий; v) педагогическая экспертиза тестовых заданий и подготовка пробных (пилотажных) тестов; д) проведение пробного тестирования и анализ его результатов; е) выбор стандартов оценивания экспертным и эмпирическими методами; ж) оценка надежности, содержательной и критериальной ва-лидности теста; з) составление окончательного варианта теста м его параллельных форм; и) тиражирование педагогического теста и связанных с ним рабочих материалов.
Рассмотрим последовательно все эти этапы разработки критериально-ориентированных педагогических тестов и особенности их моделирования.
а) Определение области содержания и цели тестирования. Разработка педагогического теста начинается с формулирования его цели, то есть определения того, что данный тест должен измерить. В педагогическом тестировании, как показывает опыт, обычно измеряются учебные достижения курсантов по отдельным учебным дисциплинам, разделам или отдельным, очень важным темам учебных занятий. Цель педагогического теста реально определяется например так: - «измерить уровень знаний и умений по учебной дисциплине «Информатика» («Психология», «Педагогика», «Иностранный язык» и т .д.).
Цель теста первоначально формулируется в общем виде, а затем, перед непосредственной разработкой тестовых заданий, конкретизируется.
На основе требований учебной программы той или иной учебной дисциплины, а также образовательных стандартов подробно описываются необходимые знания, навыки и умения, уровень владения которыми устанавливается при помощи КОП теста.
При этом содержание теста должно оптимально соответствовать содержанию учебной дисциплины, раздела или учебной темы.
При разработке гомогенного педагогического теста, измеряющего владение каким-либо одним видом знаний или умений, значительно легче добиться адекватной репрезентативности области содержания. Поэтому удобнее разрабатывать критериально-ориентированные тесты для проверки элементарных знаний, навыков и умений. Однако такие тесты имеют узкую сферу применения, в основном при текущем контроле, когда необходимо оценить степень усвоения курсантами небольших разделов учебной дисциплины или отдельных тем.
При разработке гетерогенного педагогического теста, измеряющего владение разнообразными знаниями и умениями, достичь адекватной репрезентации области содержания становится гораздо труднее. Для того, чтобы в гетерогенном тесте оптимальным образом отразилась область содержания, в экспериментальном исследовании использовались два способа его конструирования. Сущность первого способа состоит в том, что в тест включается разнообразные по содержанию задания, но выполняются при этом следующие требования: проработанный курсантами учебный материал представляется в тесте в полном объеме, в него включаются все основные разделы и темы, проверяются все знания, навыки и умения, которые должны быть прио бр е т е ны; все разделы изученной дисциплины представляются тесте пропорционально их удельному весу в учебном курсе, - наиболее объемные и важные разделы имеют большее число заданий и наоборот; все тестовые задания однозначно соотносятся с областью содержания педагогического теста, так чтобы для ответа на то или иное тестовое задание было достаточно владения только тем материалом, который изучался курсантами. Второй способ заключается в том, что гетерогенный педагогический тест конструируется из соответствующих гомогенных субтестов, каждый из которых измеряет владение обучаемыми только отдельных видов знаний, навыков или умений. При этом, как показывает опыт разработки педагогических тестов, необходимо чтобы набор субтестов и тестовых заданий удовлетворял тем же требованиям, которые были сформулированы выше. В этом случае итоговый тестовый балл рассчитывается путем простого сложения баллов, полученных курсантами за выполнение каждого субтеста, включенного в гетерогенный педагогический тест. Преимущество второго способа конструирования теста состоит в том, что баллы по отдельным субтестам дают возможность эффективно осуществить диагностику трудностей в обучении, выявляя разделы и темы, хуже усвоенные курсантами вузов.
б) Разработка спецификации и плана теста. Приступая непосредственно к созданию КОП теста, необходимо составить подробную его спецификацию. Как показывает исследование, спецификация дает разработчикам теста определенные правила и нормы, в соответствии с которыми можно конструировать тестовые задания, позволяет экспертам оценивать имеющиеся задания с точки зрения их адекватности области содержания и аннулировать из теста неудачные задания. Кроме того, она помогает интерпретировать результаты тестирования, так как в ней ясно и четко указывается на то, что измеряет тест, дает пользователю теста четкое представление об измеряемых знаниях, навыках и умениях.
