Введение
Глава 1. Педагогический контроль на основе тестовых технологий современный способ оценки знаний студентов 9
1.1. Базовые понятия современною педагогического контроля 9
1.1.1. Виды и методы педагогического контроля 9
1.1.2. Требования к педагогическому контролю 12
1.1.3. Место теста в педагогической практике 13
1.1.4. Компьютерное тестирование - современный способ контроля знаний студентов 19
1.2. Основы теории тестов 21
1.2.1. Основные понятия теории тестов 21
1.2.2. Формы тестовых заданий 25
1.2.3. Соотношение формы тестовых заданий и оцениваемою уровня владения учебным материалом 36
1.2.4. Критерии качества и эффективности педагогических тестов
1.3. Современные компьютерные тестирующие программы 44
1.4. Заключение 50 Глава 2. Методы и организация исследования 52
2.1. Методы исследования 52
2.1.1. Анализ научно-мегодической литературы и Интернет ресурсов
2.1.2. Анкетный опрос 52
2.1.3. Тестирование 53
2.1.4.Педагогический эксперимент 54
2.1.5. Статистическая обработка результатов исследования 54
2.2. Организация исследования з
Глава 3. Социально-педагогические условия внедрения тестовых тех
нологий в учебный процесс вузов физкультурного профиля 61
3.1. Применение методов статистическою анализа для исследования структуры и силы связи между переменными 62
3.2. Отношение респондентов к реформе образования и работе правительства 73
3.3. Отношение респондентов к тестированию 79
3.4. Желание и возможности преподавателей использовать тестирование в учебном процессе 92
3.5. Место тестирования в учебном процессе 95
3.6. Заключение 97
Глава 4. Методические и организационные условия применения тесто
вых технологий в ву.зах физкультурного профиля 1Q0
100
4.1. Оценка решаемости тестовых заданий и тестов но различным дисциплинам
4.2. Оценка времени, необходимого на проведение тестирования 117
4.3. Критерии подбора компьютерных тестирующих программ- ,?.
оболочек
4.4. Заключение 128
Рекомендации но совершенствованию педагогического контроля
знаний студентов вузов физической культуры 132
Выводы 136
Литература 138
Приложения 1
Контроль качества учебного процесса представляет собой систему плановых мероприятий, направленных на определение уровня организации и проведения всех видов учебных занятий, а также качества усвоения обучаемыми учебного материала. Задачами педагогического контроля являются:
• определение степени достижения поставленной цели обучения;
• получение информации, необходимой для управления процессом обучения, совершенствования методики образования и организационных форм учебной работы;
• стимулирование учебного процесса.
Педагогический контроль заключается в проверке учебных достижений обучающегося по конкретной дисциплине на основе контрольных заданий различного вида.
1.1.1. Виды и методы педагогического контроля
В процессе изучения учебной дисциплины контроль может быть текущим, периодическим и итоювым [109].
Текущий (оперативный) контроль является основным средством обеспечения обратной связи в учебном процессе. Он стимулирует самостоятельную работу студентов и дает необходимую информацию для совершенствования методики преподавания данной учебной дисциплины [15, 114]. Периодический контроіь отличается от текущего тем, что в нем больше проявляется проверочная функция. Он проводится реже, чем текущий, и обычно охватывает целые разделы учебной программы [15, 114].
Основная цель итогового контроля - определить степень достижения поставленной цели. Его результаты служат основанием для выводов о качестве организации учебного процесса и присвоения выпускникам соответствующей квалификации [93, 92, 15, 114]. В стандарте СПбГУФК им. П.Ф.Лесгафта (Положение о баллыю-рейтинговом контроле, 2006) используется несколько иная классификация видов контроля. Педагогический контроль подразделяется на следующие виды: текущий, рубежный, промежуточный и итоговый.
Текущий контроль успеваемости - систематическая проверка учебных достижений обучающихся по каждой теме и (или) разделу учебной дисциплины, проводимая преподавателем, ведущим учебные занятия.
Рубежный коптрочъ успеваемости {Midterm Пхат І nation) -периодическая проверка учебных достижений обучающихся, проводимая согласно утвержденному академическому календарю преподавателем, ведущим учебные занятия, или учебно-методическим управлением совместно с деканатами.
Промежуточный контроль успеваемости (Final Examination) -проверка учебных достижений обучающихся, проводимая после завершения изучения учебной дисциплины в семестре, как правило, завершающая академический период.
Итоговый контроль осуществляется в виде сдачи междисциплинарного экзамена и защиты квалификационной работы.
Первая классификация используется при обучении специалистов по ФК и более привычна, поэтому в своей работе мы будем придерживаться ее.
В настоящее время общепринято, что существует пять основных методов контроля процесса обучения: • устный контроль,
• письменный контроль,
• лабораторный контроль,
• самоконтроль,
• тестовый контроль.
Метод устного контроля. Устный контроль осуществляется путем индивидуальною и фронтального опроса. При индивидуальном опросе учитель ставит перед учеником несколько вопросов, отвечая на которые он показывает уровень усвоения учебного материала. При фронтальном опросе учитель подбирает серию логически связанных между собой вопросов и ответов тех или иных учеников.
Методы письменного контроля. В процессе обучения эти методы предполагают проведение письменных контрольных работ, сочинений, изложений, диктантов, письменных зачетов и пр. Письменные контрольные работы могут быть как кратковременными, проводимыми в течение 15-20 минут, так и занимающими весь урок.
Методы лабораторного контроля. Контрольные лабораторные работы проводятся с целью проверки умений пользоваться приборами и инструментами. В них включается также и решение экспериментальных задач, требующих проведения опытов, которые можно реально осуществить во время контрольной работы.
Методы самоконтроля. Существенной особенностью современного этапа совершенствования контроля является всемерное развитие у учащихся навыков самоконтроля за степенью усвоения учебного материала, умение самостоятельно находить допущенные ошибки, неточности, намечать способы устранения обнаруживаемых пробелов.
Тестирование (компьютерное тестирование). В практику обучения постепенно входят методы компьютерного тестирования за качеством усвоения знаний. С этой целью используются программы контроля, составленные, как правило, по контрольным программированным упражнениям. Ответы набирают или цифрами, или в виде формул.
1.1.2. Требования к педагогическому контролю
Педагогика давно ищет средства, которые повышают объективность контроля. Поиски в этой отрасли привели к созданию тестового способа оценки знаний [60].
Контроль обучения несет две основные функции: контроль в процессе обучения с целью его корректировки и контроль результатов обучения для оценки его эффективности [60].
Различают объективные и субъективные методы контроля. К первым принадлежит тестовый контроль, ко вторым социометрический [108]. Теорией и практикой обучения установлены следующие педагогические требования к организации контроля учебной деятельности учащихся:
1. индивидуальный характер контроля, требующий осуществления контроля работы каждого ученика за его личной учебной деятельностью, не допускающий подмены результатов обучения отдельных учащихся итогами работы коллектива (іруїшьі или класса), и наоборот;
2. систематичность, регулярность проведения контроля на всех этапах процесса обучения, сочетание его с другими сторонами учебной деятельности;
3. разнообразные формы контроля, обеспечивающие выполнение обучающей, развивающей и воспитывающей функций контроля, повышение интереса учащихся к его проведению и результатам;
4. всесторонность, заключающаяся в том, что контроль должен охватывать все разделы учебной программы, обеспечивать проверку теоретических знаний, интеллектуальных и практических умений и навыков учащихся;
5. объективность контроля, исключающая преднамеренные, субъективные и ошибочные оценочные суждения и выводы учителя, основанные на недостаточном изучении учащихся или предвзятом отношении его к некоторым из них;
6. дифференцированный подход, учитывающий специфические особенности каждого учебного предмета и отдельных его разделов, а также индивидуальные качества учащихся, требующие применение в соответствии с этими особенностями различной методики проведения контроля и педагогического такта учителя;
7. единство требований учителей, осуществляющих контроль учебной работы учащихся [93].
Базовым звеном в управлении качеством образования является блок кв ал и метрических оценок. Область применения оценочных средств распространяется на все составляющие образовательного процесса, а также на содержание образования, образовательные технологии, результаты образования [40]. В настоящее время достаточно глубоко и детально разработаны теория, методология и практика получения обобщенных оценок и интегративных показателей по совокупности частных измерении, включая экспертные оценки [117,105].
Важно подчеркнуть, что искомые обобщенные оценки качества составляющих образовательного процесса должны быть максимально реалистичны. Поэтому важно, чтобы были учтены и негативные показатели. Последние должны отражать, в частности, то состояние, в котором находится образование на перекрестке демократических преобразований в России [40].
1.1.3. Место теста в педагогической практике
Довольно часто тестовую форму контроля знаний отождествляют с экзаменами. Развитие педаюгической науки в последнее время показало, что традиционные экзамены как форма контроля приемлемы только до тех пор, пока они сами не становятся предметом научного исследования. Большие затраты труда преподавателей и субъективизм экзаменационных оценок делают экзамен не соответствующим современным требованиям педагогической технологии. С другой стороны экзамен - критерий надежности, валидности и эффективности педагогической информации. Экзамен представляет собой трудоемкую процедуру и поэтому не годится для массовой оценки знаний. Социально-психологические и экономические издержки экзаменов заставляют думать об использовании других методов. С одной стороны, многие отечественные и зарубежные авторы подвергают критике качество тестов и их возможные вредные воздействия на учащихся, а также отмечают, что в некоторых областях невозможно оценить знания с помощью тестов [148, 147, 39J. С другой - тестовый контроль постепенно внедряется в систему контроля качества образования во многих странах с развитой высшей школой [5, 150, 28, 106].
Некоторые авторы говорят об эффективности применения тестового контроля для оценки остаточных знаний студентов [61]. Большинство авторов считают, что тестовый контроль более эффективен по сравнению с традиционными видами контроля при текущем и периодическом контроле [35,71, 18, 136,83,36].
Т.С.Бородулина с соавт. [18] утверждают, что тестовый контроль -эффективный способ итоговых испытаний и может заменить традиционный экзамен. Л.Г.Тер-Акопянц [119] предлагает использовать тестирование только как начальный этап экзаменов. Данный подход позволяет, как отмечает автор, быстро прекратить экзамен для неподготовленных студентов и учесть полученные результаты для ост&чьных.
Таким образом, можно констатировать противоречивые мнения о пользе тестов и месте тестового контроля в педагогической практике.
Многие авторы указывают на пользу тестирования в самоконтроле [95, 35, 37]. Например, Л.Х.Малинская с соавт. [78] использовали тестирование по теоретической части курса на лекционных занятиях, что позволило студентам не только быстро обнаружить пробелы в своих знаниях, но и выделять в курсе главные элементы. Большую пользу приносит компьютерное тестирование при работе с отстающими студентами [62, 78]. Результаты тестирования могут быть частью зачета или экзамена [78, 59].
Некоторые авторы [35, 139, 98, 91, 102, 83, 10] используют тестирование как метод обучения. Как отмечает Е.И. Голикова [35] метод обучения через тесты - совместная деятельность, осуществляемая педагогом и учеником через решение системы тестовых заданий, объединенных в тесты, и ориентированных на получение теоретических знаний.
Важное место занимает тестирование в электронных учебниках. Помещенные в конце разделов тесты позволяют не только осуществлять самоконтроль, но и повысить обучающий эффект электронных учебников. [73,101,7].
Одной из серьезных проблем организации массового тестирования является организация статистической обработки больших объемов информации, а именно результатов тестирования [44, 129]. Решением данной проблемы является компьютерное тестирование.
В отличие от традиционных форм опроса, компьютерное тестирование при определенных условиях позволяет проверить знания более широко и эффективно. Это связано с тем, что в современных компьютерных тестирующих программах появилась возможность не только задавать большое количество вопросов, а также намного быстрее обрабатывать результаты тестирования, но и при каждом новом тестировании обновлять задаваемые вопросы и перемешивать варианты ответа на них. Также современные технолої ии позволяют не только выявить уровень подготовки, но и структуру знаний занимающихся, вернее степень ее отклонения от идеальной структуры, планируемой педагогом на момент начала обучения. Элементарное представление о степени отклонения знаний позволяет произвести анализ профиля ответов обучаемого на различные задания теста. Так как один и тот же уровень подготовки может быть получен за счет ответов на различные задания, то можно сравнить ответы учащихся с одинаковым уровнем подготовки. Если задания ранжированы по нарастанию трудности и отражают по содержанию и порядку расположения идеальную, планируемую преподавателем при обучении структуру знаний, то общий вывод о качестве подготовки учащихся сделать довольно просто. Чем меньше пробелов в ответах обучаемого на задания теста, тем лучше структура его знаний, тем выше качество подготовки в группе других учеников или студентов, имеющих одинаковый с ним уровень подготовки но предмету [32, 56].
Как отмечает В.С.Аванесов [98] существует 10 основных направлений развития тестирования:
Первое направление - определение целей разработки и применения тестов. Это работа методологического характера: она обращена в сферу научных основ управления учебным процессом, выходит за пределы учебно-дисциплинарного анализа и требует управленческого подхода. Цели и задачи разработки теста для итоговой аттестации студентов формулируются организацией, заинтересованной в объективном проведении аттестации.
Второе направление - разработка требований к тесту. В западной литературе такие требования называются спецификацией теста. Среди основных требований - обязательность описания концепции содержания тестов, формы и примерного числа тестовых заданий, предельно допустимого времени тестирования, условий проверки качества подготовленного теста, условий автоматизации тестового контроля. Это направление работы также выходит за пределы компетенции преподавателей.
Третье направление - разработка содержания тестовых заданий. Это чисто предметная деятельность, осуществляемая опытными преподавателями - экспертами в своей области. Именно они решают -усвоение какого учебного материала, в каком объеме, с какой степенью аргументации должно проверяться с помощью нужною теста. Содержание каждого задания оценивается с точки зрения таких уже упоминавшихся факторов знаний, как полнота, глубина, систематичность, оперативность, гибкость, обобщенность, свернутость, конкретность, осознанность, прочность. Главным критерием правильности отобранного контрольного материала является его соответствие образовательным стандартам.
Четвертое направление - разработка заданий в тестовой форме. Эта форма заметно отличается or привычных задач, вопросов, примеров и упражнений. Хочется подчеркнуть, что этому направлению альтернативы нет. Как нельзя построить добротный дом без строительных материалов, так не может быть теста без хороших заданий в тестовой форме. Тест - это система заданий, представленных в тестовой форме.
Пятое направление - логический контроль качества заданий. С точки зрения логики тестовое задание представляет собой высказывание, которое в зависимости от ответа может быть истинным или ложным. Практически все создаваемые задания нуждаются в логическом контроле из-за распространенности логических ошибок при формулировании высказываний. Поэтому нет необходимости подчеркивать важность логического анализа качества знаний.
Шестое направление - эмпирическая проверка возможности превращения заданий в тестовой форме в тестовые задания. Эмпирическая проверка заданий позволяет выйти за пределы чисто предметного мышления и опереться при оценке их качества на принятые в теории критерии. Два из этих критериев традиционные - это надежность и валидность тестов. Третий критерий - эффективность тестов и тестовых заданий.
Седьмое направление - математико-статистическое обоснование качества теста и тестовых заданий. Необходимость такого рода внешнего для педагогики контроля качества контрольного материала уже давно стала нормой для многих развитых наук. Так, например, Б.С.Иванов [57] широко использовал методы статистического анализа для селекции тестовых заданий с высокими диагностическими свойствами.
Восьмое направление - программно-инструментальное оснащение тестирования. К этому направлению можно отнести разработку инструментальных средств автоматизированного сбора и хранения информации в форме компьютеризированных банков, создание программ для математического моделирования тестов, а также программ адаптивного контроля и систем контроля качества учебного процесса.
Девятое направление - интерпретация результатов тестирования, Чисто педагогическое истолкование этих результатов характерно для критериально-ориентированной интерпретации данных тестирования. Цель создания тестов с такой интерпретацией - выявление усвоенного содержания учебного предмета, в то время как основная цель нормативно-ориентированной интерпретации тестовых результатов является управленческой: определение сравнительного места (рейтинга) учащихся на основе объективного педагогического измерения их учебных достижений, сопоставление достижении одних образовательных учреждений с другими. Теоретически можно попытаться создать тест, который позволит интерпретировать данные как с содержательно-диагностической точки зрения, так и организационно-управленческой.
Десятое направление - мониторинг качества образовательного процесса на основе применения тестов и современных технологий автоматизированного сбора, передачи, обработки, интерпретации и хранения информации в соответствующих тестовых банках. Мониторинг определяется как форма технически оснащенного текущего отслеживания состава, уровня и структуры приобретаемых знаний.
1.1.4. Компьютерное тестирование - современный способ контроля
знаний студентов
Одним из действенных средств достижения системности знаний является тестирование, как наиболее эффективная форма оценки уровня знаний в условиях массового и индивидуального контроля (например, при организации довузовской подготовки). Тестирование обладает рядом существенных преимуществ, по сравнению с традиционными видами контроля, а именно: объективностью, наличием многобалльной шкалы фиксации результатов, возможностью статистического анализа итогов, высокой экономичностью [142, 58, 103 ,65, 50].
В начале семидесятых годов в нашей стране стали активно внедряться контролирующие машины как часть программированного обучения. [88]. В основе контроля использовались тесты, состоящие из тестовых заданий закрытого типа.
В феврале 1963 года была выпущена машина КИСИ - Э2 [88], предназначенная для выполнения функций контроля, самоконтроля и репетирования.
В данной машине информация сообщалась путем последовательного подсвечивания десяти билетных полей, в которых размещались в произвольном порядке билеты с вопросами и ответами на них. Билетное поле и билеты были выполнены так, что читался только билет, под которым в данный момент включено подсвечивание. Билеты подсвечивались последовательно. В машине был применен выборочный метод ввода ответа, при котором обучаемому одновременно с вопросом предлаїалось четыре варианта ответа. Использовался численный ввод в пределах первых четырех цифр.
Уже тогда исследователи стали поднимать вопрос о том, что обычные методы контроля: устный экзамен или зачет - отнимают у преподавателя значительное количество времени в отличие от программированного опроса [111,90,118,84].
Проведенный Н.П.Макаровой [78] анализ традиционной системы обучения в вузе показал, что существующие методы проверки и оценки знаний эпизодичны, не дают объективных характеристик учебного процесса, а это затрудняет управление деятельностью студентов, коррекцию результатов этой деятельности, не позволяет преподавателю выявить сильные и слабые стороны подготовки студентов, увидеть их затруднения, ошибки и достижения, и следовательно, определить уровень своею преподавания. По ее мнению, одним из путей преодоления этого недостатка является использование в учебном процессе программированного контроля на основе тестовой методики.
Наиболее успешно это задача решалась в технических дисциплинах. Были разработаны специальные комплексы, позволяющие проводить обучение и контроль знаний студентов. Примерами таких комплексов являются: "ДиИМ-7", "Экзаменатор К-54", разработанные доцентом кубанского университета Э.Г.Малиночка [77]. Но данные комплексы подходили больше для проведения тестирования по техническим дисциплинам.
При обучении гуманитарным дисциплинам Н.М.Макарова [78] предлагала использовать карточки программированного опроса.
Самым важным недостатком программированного опроса как машинного, так и с использованием карточек, является ограниченное количество вопросов, задаваемых испытуемому в одном тестировании (не более 10) и отсутствие возможности менять порядок вопросов и ответов, что снижало эффективность данного способа контроля знаний [149]. Развитие компьютерных технологий позволило уже в девяностых юдах разрабатывать тестирующие программы, состоящие из большого числа тестовых заданий. В этих программах можно было применить открытую форму тестовых заданий, а также выдавать вопросы в случайном порядке. Тестирующие программы позволяли адаптировать тест под экзаменуемых [146, 151, 143, 144, 80, 41]. Кроме того, при использовании компьютерного тестирования можно сравнивать свое мнение с мнением компьютера, что способствовало развитию таких качеств, как самооценка, самоанализ, саморегуляция [23,29, 127,12,128, 103].
В настоящее время компьютерные тестирующие программы имеют развитые базы данных, в которых применяются все формы тестовых заданий. Применяются различные сценарии выбора следующего задания. Ведется журнал тестирования с сохранением результатов тестирования и ведением рейтинга студентов. Проводится анализ результатов тестирования с выставлением оценки тестируемому [145, 58, 131, 133,45,27].
