Содержание к диссертации
Введение 3
Глава 1. Языковое тестирование как методологическая проблема 11
1.1 Понятие «гест» 11
1.2 Возникновение метода тестов и современное состояние проблемы языкового тестирования в нашей стране и за рубежом 18
1.3 Типология лигатаддидактических тестов 28
1.3.1 Различия между психологическими и педагогическими с тестами 28
1.3.2 Классификация педагогических тестов 31
1.3.3 Основные требования к составлению теста *. 43
1.4 Выводы 49
Глава 2. Методологическое исследование американских и британских лингводидактических тестов 50
2.1 Речевая деятельность как объект обучения и контроля 50
2.2 Материал исследования 65
2.2.1 Сравнительный анализ американских и британских лингводидактических тестов (на примере тестов TOEFL и FCE) 65
2.2.2 Спецификация субтеста по проверке навыка восприятия и понимания устной речи на слух 7
22.2.3 Спецификация субтеста по проверке навыка чтения и понимания прочитанного 78
2.3 Классификация тестовых заданий по методологическим приемам (на примере рецептивных видов речевой деятельности) 83
2.4 Выводы 112
Глава 3. Экспериментальное исследование тестов TOEFL, FCE, САЕ 114
3.1 Методика проведения педагогического эксперимента 114
3.2 Посттестовый анализ полученных данных. 120
3.2.1 Измерение внутритестовых параметров тестов TOEFL,
FCE, САЕ 121
3.2.2 Методика статистического анализа кросстестовой
корреляции 128
3.3 Обсуждение полученных данных 132
3.3.1 Распределение баллов в рамках отдельно взятого
субтеста 132
3.3.2 Распределение баллов в рамках первого / второго срезов по исследуемым субтестам 135
3.3.3 Распределение баллов испытуемых в зависимости от их принадлежности
к разным факультетам 138
3.3.4. Результаты измерения внутритестовых параметров 140
3.3.5 Обсуждение результатов второго этапа статистической обработки поиск кросстестовой корреляции 153
3.4 Выводы 156
Заключение 158
Список литературы 163
Список сокращений 173
Список приложений 174
Введение к работе
Проблема контроля уровня владения иноязычной речью является одной из актуальных в современной методике преподавания иностранного языка.
Несмотря на предпринимаемые попытки усовершенствовать существующие формы контроля (письменные контрольные работы, экзамены, зачеты и др.) они все же страдают существенными недостатками, основным из которых является низкий уровень объективности оценки знаний, умений и навыков (ЗУН).
Вполне оправдан интерес, проявляемый в последние годы отечественными и зарубежными методистами, к тестовой методике контроля по иностранному языку (ИЯ), справедливо видящих в ней средство «повышения эффективности и объективности проверки языковых ЗУН и, следовательно, оптимизации процесса обучения ИЯ» (Рапопорт 1980).
Так, зарубежные методисты занимаются разработкой тестов (J. Upshur, G. May, J. Harries 1961; G. Weir 1993), экспериментальными исследованиями в области коммуникативной компетенции (L. Bachman 1990; М. Byram 1997; М. Halliday 1970; S. Savignon 1982; A. Palmer 1972), а также вопросами посттестового анализа (Alderson 2000; В. North 1990; A. Pollit 1990) и унификации шкал (V. Ek, J. Trim 1990; В. North 2000).
Интерес отечественных методистов к указанной проблеме нашел свое отражение в ряде методических исследований, рассматривающих организацию проверки по отдельным аспектам языка и видам речевой деятельности (РД) как в школе, так и в вузе (Л.В. Банкевич 1981; Ю.А. Веденяпин 1969; М.М. Нахабина 1973; И.А. Рапопорт 1987; Г.В. Ратинский 1974; Г.В. Рогова 1974; И.А. Цатурова 1971 и др.)- Однако, проблема выявления специфики языкового тестирования (ЯТ) при организации контроля рецептивных видов РД в обучении ИЯ в вузе недостаточно освещена в российской литературе.
Актуальность данного исследования определяется следующими факторами:
1) недостаточной теоретической разработанностью вопросов, связанных с проблемой контроля иноязычной речи и рецептивных видов РД в частности, в свете требований методической науки на современном этапе;
2) необходимостью создания более адекватных и надежных тестов, рассчитанных на контингент выпускников средних школ российской образовательной системы и выработки критериев их оценки в связи с введением всеобщего независимого тестирования на федеральном уровне.
Объектом исследования явились языковые тесты.
Предметом исследования - педагогические возможности языковых тестов в организации контроля при обучении ИЯ.
В качестве основной рабочей гипотезы было выдвинуто предположение о том, что тестовая методика является эффективным методом контроля рецептивных видов РД в процессе обучения ИЯ.
Основное гипотетическое положение раскрывается посредством введения частных гипотез:
1. Система осуществления контроля средствами языкового тестирования (ЯТ) благодаря своим возможностям позволяет:
а) стимулировать интерес студентов к изучению предмета;
б) проверить успешность процесса обучения ИЯ;
в) дать объективную оценку ЗУН.
2. Языковые тесты позволяют количественным путем измерить ЗУН в статике и динамике.
Цель работы - исследовать американские и британские тестовые методики проверки как инструмент осуществления контроля рецептивных видов РД студентов и разработать параметры сопоставительного анализа результатов тестирования по американской и британской тестирующим системам для их сравнения и в перспективе создания единой шкалы оценки.
В связи с целью работы предстояло решить следующие задачи;
1) исследовать понятие тест, выявить основные различия между психологическими и педагогическими тестами и проследить современное состояние проблемы ЯТ;
2) проанализировать основные виды педагогических тестов, выявив принципы их составления, и дать их классификацию;
3) рассмотреть специфику лингводидактического тестирования на примере рецептивных видов РД;
4) провести методический эксперимент, проверяющий рабочую гипотезу;
5) провести количественный и качественный анализ полученных результатов испытуемых по рецептивным видам РД на материале американских и британских тестов;
6) измерить внутритестовые параметры американского теста TOEFL (Test of English as a foreign Language) и британских тестов FCE (First Certificate in English), CAE (Certificate in Advanced English) с целью выявления их адекватности в условиях русскоязычной студенческой аудитории;
7) определить кросстестовую корреляцию уровня владения рецептивными навыками тестов TOEFL и FCE, TOEFL и САЕ для разработки единой шкалы оценки.
Для решения поставленных задач были использованы следующие основные методы исследования: метод педагогического наблюдения, контент-анализ исследуемых тестов, методический эксперимент, лингводидактическое тестирование, метод статистической обработки данных (по классической методике посттестового анализа).
Материалом исследования послужили:
а) для контент-анализа — американский тест TOEFL (Test of English as a foreign Language), предложенный службой педагогического тестирования (Educational Testing Service - ETS), ECPE (Examination for the Certificate of Proficiency in English, созданный Мичиганским университетом, а также FCE (First Certificate in English) и САЕ (Certificate in Advanced English), разработанные синдикатом Кембриджского университета UCLES (The University of Cambridge Local Examination Syndicate);
б) для экспериментального исследования — тестовые работы студентов СПбГУ (в эксперименте принимали участие студенты факультета международных отношений и студенты юридического факультета). . .
Выбор вышеназванных тестов в качестве материала для исследования обусловлен тем, что они востребованы в российской образовательной среде выпускниками средних школ, слушателями курсов и студентами высших учебных заведений. Результаты сдачи этих тестов требуются для участия в различных языковых программах и проектах, поскольку принятые ими стандарты в оценке знаний языка признаются во всем мире.
Научная новизна состоит в следующем:
1) впервые в отечественной тестологии применен строгий статистический анализ для обработки результатов англоязычных тестов;
2) в соответствии с выделенными методическими приемами в работе обобщается структура подачи материала в тестах и систематизируется методика проверки рецептивных видов РД;
3) на основании проведенного исследования осуществляется сопоставительный анализ американской и британской тестирующих систем и намечаются пути унификации шкал оценки.
Теоретическое значение настоящего исследования обусловлено тем, что в нем научно обосновывается возможность использования тестовой методики для контроля рецептивных видов РД.
Практическая значимость исследования заключается в том, что проведенный анализ тестовых заданий (ТЗ) в соответствии с методическими приемами и выявленные объекты контроля рецептивных видов РД являются практическим материалом для преподавателей, которые будут использовать языковые тесты.
Методика посттестовой обработки полученных количественных данных дает создателям и разработчикам тестов обширный материал для усовершенствования имеющихся и создания новых тестов.
На защиту выносятся следующие положения:
1. Объектом контроля тестовой методики должны быть в первую очередь рецептивные виды РД (аудирование и чтение), поскольку они легче, чем продуктивные, подвергаются измерению и обсчету.
2. Тест является объективным инструментом измерения ЗУН, если он составлен на основе методических требований пригодности, надежности, практичности, экономичности, возможности проведения и легкости для подсчета.
3. Типологическая классификация тестов (по основной цели и периодичности применения, по структуре построения, по содержанию, по форме выполнения, по условиям и месту проведения, по технике организации и проведения и по способу приготовления и количественной обработке данных) позволяет найти место для каждой категории тестов и выделить технологические приемы тестирования по проверке рецептивных видов РД: открытый вопрос дискуссионного типа, методика множественного выбора и методика дополнения с элементами выбора, методика двойного выбора "верно-неверно" и методика восстановления.
4. Тестовые задания классифицируются в соответствии с методическими приемами: по структуре подачи материала, по методике проверки навыка и по принципу построения ТЗ и принятия решения.
5. Субтесты TOEFL, FCE, САЕ по проверке рецептивных видов РД позволяют проследить распределение баллов испытуемых (в зависимости от их принадлежности к разным факультетам, в рамках отдельно взятого субтеста и т.д.) и судить о динамике развития как отдельно взятого испытуемого, так и группы испытуемых в целом.
6. Специфика британских тестов (FCE, САЕ, СРЕ) позволяет применять их на этапе текущего или итогового контроля на языковых специальностях, где английский язык является профессионально-ориентированным предметом; специфика американского теста TOEFL — на этапе предварительного контроля при вступительном тестировании по английскому языку студентов I курса неязыковых специальностей.
Апробация работы.
Основные положения и результаты исследования были представлены на II научно-практической конференции филологического факультета СПбГУ «Дополнительные
образовательные программы по иностранным языкам» (февраль 2002 г.), на XXXI всероссийской научно-методической конференции преподавателей и аспирантов в СПбГУ (март 2002), на XXXII международной филологической конференции СПбГУ (март 2003 г.), а также в докладах на заседаниях кафедры иностранных языков и лингводидактики СПбГУ (2000-2002).
Объем и структура исследования.
Содержание диссертации изложено на 295 страницах печатного текста и включает введение, три главы, заключение, список сокращений, список литературы из 121 наименования, в том числе 44 на иностранном языке, список словарей (5 наименований) и 39 приложений, содержащих 42 таблицы, 22 рисунка, 4 гистограммы и образцы тестовых заданий по проверке рецептивных навыков.
Исследование проходило в три этапа;
На первом этапе проводился анализ психолого-педагогической и лингво-дидактической литературы по вопросам РД, языкового тестирования и тестовой методики контроля в теории и практике среднего и высшего образования в нашей стране и за рубежом, применения количественных методов для экспериментальной проверки тестов и обработки результатов (на основе статистического анализа).
На втором этапе (на основе лингво-дидактического анализа) были выявлены объекты контроля для установления уровня сформированности того или иного навыка, выделены и систематизированы образцы ТЗ, пригодные для оценки уровня владения рецептивными навыками при обучении иноязычной речи. В соответствии с выделенными методическими приемами проведена классификация тестовых заданий и рассмотрены их типы и специфические особенности по проверке рецептивных видов речевой деятельности. Третий этап представлял собой экспериментальную часть исследования, состоящую из педагогического наблюдения, методического эксперимента, статистической обработки и обсуждения полученных данных. Проведена диагностика уровня сформированности рецептивных навыков у испытуемых в начале и в конце академического года с использованием тестов TOEFL, FCE и САЕ. Измерены внутритестовые параметры вышеназванных тестов и проверена адекватность использования тестов в русскоязычной студенческой аудитории. Проведен сопоставительный анализ результатов тестирования по американской и британской системам тестирования.
Автор приносит глубокую благодарность научному руководителю проф. Павловской И.Ю., рецензентам проф. Баевой Г.А., доц. Гребенникову А.О., доц. Божевольнову В.Б., доц. Борисову Б.Ф., консультации которых послужили руководством к работе.
