Содержание к диссертации
Введение
ГЛАВА 1.ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ТЕСТИРОВАНИЯ ЧТЕНИЯ КАК ФОРМЫ КОНТРОЛЯ РЕЧЕВЫХ УМЕНИЙ 15
1.1 Чтение как вид речевой деятельности в контексте тестирования 15
1.2 Факторы и характеристики текста 34
1.3 Основные виды тестовых заданий и их характеристики 57
ВЫВОДЫ ПО ГЛАВЕ 1 91
Глава 2. АНАЛИЗ СОВРЕМЕННОЙ ПРАКТИКИ КОНТРОЛЯ ЧТЕНИЯ ДЛЯ АКАДЕМИЧЕСКИХ ЦЕЛЕЙ В ОТЕЧЕСТВЕННЫХ И МЕЖДУНАРОДНЫХ ЭКЗАМЕНАХ 95
2.1 Анализ международных тестов по академическому английскому 97
2.2 Анализ Федерального Интернет-экзамена в сфере профессионального образования (ФЭПО) 123
ВЫВОДЫ ПО ГЛАВЕ 2 ,. 135
Глава 3. МЕТОДИКА РАЗРАБОТКИ ТЕСТОВОГО КОНСТРУКТА «ЧТЕНИЕ ДЛЯ АКАДЕМИЧЕСКИХ ЦЕЛЕЙ» В СИСТЕМЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ И ПОДХОДЫ К ЕГО ОПЕРАЦИОНАЛИЗАЦИИ 138
3.1 Общая характеристика спецификации раздела «Чтение» итогового теста за курс обучения иностранному языку в неязыковом вузе 139
3.2 Определение тестового конструкта при измерении умений и стратегий чтения для академических целей 142
3.3 Методика операционализации конструкта 163
3.4 Структура и содержание теста 183
ВЫВОДЫ ПО ГЛАВЕ 3 186
ЗАКЛЮЧЕНИЕ 190
БИБЛИОГРАФИЯ 198
ПРИЛОЖЕНИЯ 225
- Чтение как вид речевой деятельности в контексте тестирования
- Анализ международных тестов по академическому английскому
- Общая характеристика спецификации раздела «Чтение» итогового теста за курс обучения иностранному языку в неязыковом вузе
Введение к работе
В современном обществе чтение является одним из важнейших средств получения информации, поэтому важность умения читать на иностранном языке определяется для современного человека потребностью адекватного включения в глобальное информационное поле. Для сегодняшнего студента это также означает возможность получения доступа к общеевропейской зоне высшего образования, где, как показывают исследования, чтение остается самым важным видом речевой деятельности (Ostler, 1980, Benson, 1991, Grabe и Stoler, 2002 и др.). При этом в академической среде, как отечественной, так и зарубежной, на первый план выходит готовность студента к самостоятельной работе с большим, нелинейным потоком информации (термин Е.Н.Солововой), и значит, особое значение приобретают когнитивный и метакогнитивный аспекты чтения, которые обусловливают необходимость формирования и развития у студентов соответствующих умений и стратегий академического чтения, т.е. чтения литературы, относящейся к определенному функциональному стилю (научному, учебно-научному, научно-справочному), в контексте обучения в высшей школе. Специфика процесса и содержания обучения академическому чтению на иностранном языке также связана с необходимостью формирования предпосылок, способствующих успешной реализации деятельности, к которым, в частности, относятся достижение обучаемыми соответствующего уровня языковой компетенции и адекватной скорости чтения, знакомство обучаемых с особенностями иноязычного научного дискурса, наличие у них общенаучных и профессиональных знаний.
Особенности процесса и содержания обучения чтению для академических целей должны найти свое отражение в формате и содержании контроля. Особое звучание приобретает данный вопрос в связи с вхождением России в европейское образовательное пространство, что вызывает необходимость корреляции российских реформ в системе высшего профессионального
4 образования с реалиями общеевропейской системы образования. Данные процессы в значительной мере касаются обеспечения эффективного контроля качества образования, в частности, сопоставимости критериев и методологий оценивания. (Совместное заявление европейских министров образования, Болонья, 1999). В полной мере данные положения касаются системы контроля уровня обученности иностранной компетенции, и современные программы курса иностранного языка для вузов неязыковых специальностей их учитывают, указывая, в частности, на то, что конечный уровень подготовки по иностранному языку соответствует параметрам общеевропейских компетенций владения иностранным языком 1. При этом, однако, как показывает анализ теоретической, методической литературы и действующих нормативных документов, наблюдается целый ряд противоречий, касающихся, в том числе, оценки качества обученности владения чтением, а именно:
противоречия между европейской и отечественной системами контроля: преобладание письменных тестовых форм контроля в европейских университетах и различных видов устного опроса или перевод как способ проверки прочитанного в российских вузах;
несоответствие между терминологическими аппаратами, принятыми в отечественной и зарубежной практике контроля коммуникативных умений;
противоречие между необходимостью проводить сравнение и сопоставление качества обучения студентов различных учебных заведений и отсутствием стандартизации процедуры оценивания, закрепленной в нормативных документах ГОС ВПО;
указание в нормативных документах на возможность применения тестирования в качестве одной из форм итогового контроля (Программа, 2004), и отсутствие методики детализированной разработки параметров
1 Программа курса иностранного языка для вузов неязыковых специальностей (170 - 240 часов аудиторных занятий/ под ред. проф. К.Г. Павловой.- Москва, 2004. С. 14.
спецификаций лингводидактического теста, в частности определения
параметров тестового конструкта;
указание в Программе курса иностранного языка для вузов неязыковых
специальностей на соответствие конечного уровня подготовки по
иностранному языку параметрам «порогового уровня» Общеевропейских
компетенций (Программа, 2004) , и расхождение содержания контроля
обученности владения чтением, обозначенное Программой, с параметрами
«порогового уровня» Общих европейских компетенций владения
иностранным языком (например, несоответствие реестра измеряемых
умений; требований к характеристикам текстов и т.д.). Более того, как
указывают отечественные и зарубежные исследователи, на «пороговом»
уровне Общеевропейские компетенции определяют умения лишь в рамках
повседневно-бытового общения, в то время как умения, определяющие
успешность обучения в академической профессионально-ориентированной
среде, появляются лишь на уровне В2 (Сафонова, 2004).
Положение усугубляется тем, что в отечественной системе непрерывного
образования создание национальной системы языкового контроля, о
необходимости которой говорят ведущие российские ученые (Е.Н. Соловова,
В.В. Сафонова, И.А. Цатурова, М.В. Вербицкая, В.Н.Симкин, Р.П. Мильруд и
др.), находится на самой начальной ступени формирования. Анализ учебных и
тестовых материалов для высших учебных заведений подтвердил, что
отсутствие целостной системы тестирования уровня сформированности
иноязычной коммуникативной компетенции на различных этапах обучения
приводит к появлению тестов очень низкого качества, дискредитирующих
тестирование как валидную и надежную форму контроля. Анализ также
показал, что, поскольку основной формой контроля уровня обученности
умениям чтения в системе профессионального образования остается перевод,
2 Ibid.
большинство учебников и учебных пособий отрабатывают именно это умение. Хотя еще в 1970 году Берман И.М. со всей определенностью указал на то, что «чтение иностранного текста, предполагающее его точное понимание, может быть представлено в учебном процессе как самостоятельный объект обучения, независимый от обучения переводу, поскольку понимание иностранной речи может быть вполне достаточным и точным и без перевода на родной язык» [Берман, 1970,с.83]. При занятии переводом речевая деятельность студента смещается с занятий иностранным языком на занятия родным языком, «поскольку перевод связан со специфическими трудностями, лежащими в области русского языка, что выходит за пределы проблемы собственно понимания английского текста». Более того, отмечает Берман, перевод является процессом вторичным. На основе восприятия английского текста сначала происходит непосредственное перекодирование речевой посылки в образ, то есть наступает понимание ее смысла, а затем уже, при необходимости, совершается вторичный процесс оформления смысла средствами родного языка [Там же].
Несмотря на разработанную отечественными учеными эффективную и рациональную методику обучения чтению, гипертрофированной акцент, который делается на перевод как основной способ контроля прочитанного, приводит к тому, что в большинстве проанализированных учебников не представлена система упражнений, направленных на различную степень беспереводного понимания прочитанного. Между тем, как показывают исследования, подавляющее число специалистов пользуется в своей профессиональной деятельности именно беспереводным чтением причем с различной полнотой, точностью и глубиной понимания (Бухбиндер, 1977, Фоломкина, 1987, 1991, Кузнецова, 2002). Этот же фактор обратного влияния контроля (backwash effect) приводит к тому, что в вузе, как правило, отрабатываются только умения изучающего чтения, а умения остальных видов чтения, которые являются наиболее важными для специалистов, остаются несформированными.
Международная практика оценки качества обучения свидетельствует о том,
что грамотно разработанный тест по чтению помогает быстро, объективно и
достаточно точно измерить уровень сформированности данного речевого
умения. При этом проверка уровня сформированности умения чтения с
помощью тестирования имеет ряд преимуществ перед традиционным экзаменом: больший, по сравнению с традиционным экзаменом, объем проверяемого материала, практичность, обеспечение равных возможностей для всех испытуемых, многобалльная система оценивания, обеспечивающая должную дифференциацию результатов.
Создать хороший тест по чтению, который бы отвечал всем основным характеристикам теста — надежности, валидности, практичности, аутентичности — достаточно сложно, поскольку в отличие от тестирования продуктивных видов РД, когда мы напрямую оцениваем продукт в соответствии с четко заданными параметрами и критериями (полнота, точность высказывания, произношение, орфография и т.д.), при тестировании чтения мы оцениваем продукт опосредованно, через комплекс тестовых заданий, которые выполняет испытуемый, а критерии оценки, как правило, весьма ограничены: «задание выполнено правильно/неправильно/частично». При этом очень сложно оценить, какими именно путями испытуемый пришел к выполнению или невыполнению конкретного задания, поскольку этот процесс мы не в силах проследить и оценить. Соответственно, чтобы тест по чтению стал валидным и надежным инструментом измерения, необходимо правильно сформулировать измеряемый конструкт и задать адекватные способы его реализации.
Надо отметить, что в зарубежной тестологии отсутствует единодушие по вопросу того, что входит в понятие «конструкт» (Alderson, 2000, Douglas, 2000, Brown, 2005 и др). В отечественной литературе, на наш взгляд, в большинстве работ дается упрощенная трактовка данного понятия, которая сводится, в основном, к терминам психологического и педагогического тестирования.
С нашей точки зрения, конструкт - это детализированный объект контроля, который определяется на основе выделения теоретически обоснованной
8 совокупности измеряемых характеристик, составляющих суть измеряемого объекта контроля. Если конструкт верно определен и адекватно реализован, то это даст возможность экстраполировать результаты теста на естественную, а не тестовую ситуацию, в которой будет применяться измеряемый объект контроля. Следовательно, определение и реализация (операционализация) конструкта взаимосвязаны и взаимозависимы.
Таким образом, наличие вышеназванных противоречий, недостаточная теоретическая и практическая разработанность основ национальной системы языкового контроля определяют актуальность выбранной темы исследования.
Объектом исследования данной работы является содержание и формат контроля чтения как самостоятельного вида речевой деятельности.
Предмет исследования: содержание тестового конструкта «чтение для академических целей» и определение характеристик чтения как измеряемого конструкта в контексте организации системы стандартизированного контроля в неязыковом вузе.
Цель диссертационного исследования состоит в разработке методики определения параметров тестового конструкта «чтение для академических целей», и создании примерной спецификации тестов с указанием номенклатуры умений, типологии текстов и видов заданий для «порогового уровня» владения английским языком по Общеевропейской шкале компетенций.
Гипотеза исследования сформулирована следующим образом: для валидной и надежной оценки уровня сформированности умения чтения для академических целей необходимо разработать методику определения тестового конструкта и выявить адекватные способы реализации (операционализации) заданного конструкта.
Цель, объект, предмет и гипотеза исследования определили необходимость решения следующих задач: 1. Рассмотреть теоретические основы тестирования чтения как одной из форм
контроля и привести в соответствие термины и понятия, используемые в
отечественной и зарубежной практике тестирования.
Определить основные характеристики триады « читатель-текст-тестовое задание» и выявить те из них, которые являются релевантными для тестового конструкта «чтение для академических целей»
Выделить параметры и критерии анализа тестов по чтению для академических целей.
Проанализировать международные и отечественные экзамены с точки зрения реализации положений теории тестирования чтения как вида речевой деятельности, а также путей разработки тестового конструкта и способов его операционализации.
Проанализировать имеющиеся шкалы компетенций, применяемые в международной практике тестирования для измерения умений академического чтения, и выявить номенклатуру умений, соответствующую «пороговому уровню» Общеевропейских компетенций.
Разработать методику определения параметров тестового конструкта «чтение для академических целей» для целей и задач контроля результатов обучения данному виду речевой деятельности в системе профессионального образования.
Разработать общий формат и примерную спецификацию раздела «чтение для академических целей» итогового экзамена за курс обучения иностранному языку в вузах неязыковых специальностей (170-240 аудиторных часов) Научная новизна работы состоит в следующем:
впервые научно обоснована и экспериментально опробирована методика определения параметров тестового конструкта «чтение для академических целей» для системы высшего профессионального образования. Данная методика разработана на основе сочетания отечественной и международной систем контроля коммуникативной компетенции
определена номенклатура умений, соответствующих специфике академического чтения уровня В1 Общеевропейских компетенций владения английским языком
10 3) разработан проект спецификации итогового экзамена за курс обучения иностранному языку в неязыковом вузе. Теоретическая значимость исследования определяется тем, что предложена развернутая формулировка понятия «тестовый конструкт»; выявлены компоненты конструкта «чтение для академических целей» и обоснованы способы его реализации для спецификаций итогового экзамена в неязыковом вузе; выделены и систематизированы показатели сложности текста и тестовых заданий.
Практическая значимость работы состоит в предложенной методике определения конструкта для теста по чтению для академических целей, которая может найти широкое применение при организации контроля качества обучения чтению в системе разноуровневой подготовки по иностранному языку в вузах неязыковых специальностей. Практическую значимость для разработчиков тестов также имеют примерная спецификация тестов на проверку уровня сформированности умения чтения «порогового уровня» по окончанию курса иностранного языка в неязыковом вузе (170-240 часов аудиторных занятий); таксономия умений инференции; матрица определения сложности задания по параметру «убедительность дистрактора»; матрица определения уровня сложности тестовых заданий для академического чтения; типология заданий, применяемых для проверки разных видов академического чтения; сводная таблица характеристик текстов, учитываемых при отборе материала для тестирования уровня сформированности умений академического чтения.
Методологическую основу исследования составили положения по: теории, психологии и методике обучения чтению (И.М. Берман, В.А.Бухбиндер, И.Н.Верещагина, И.А.Зимняя, А.А.Миролюбов, Б.А.Лапидус, З.И.Клычникова,О.Д.Кузьменко,Г.В. Рогова, А.А. Леонтьев, Р.П. Мильруд, И.В. Рахманов, B.C. Цетлин, Е.И. Пассов, Е.Н.Соловова, С.К. Фоломкина, А.Н. Щукин, Е. Bernhardt, D.H Brown, М.А. Clarke, J. Coady, Т.
11 Duddley-Evans, M.J. St John, R. Farr, K.S Goodman, W. Grabe, F. Grellet, J.W. Irwin, V. Just, P.A. Carpenter, J. Munby, С Nuttall, и др);
лингвистике текста (Н.С. Валгина, Т.М. Дридзе, Л.И. Зильберман,
О.Л. Каменская , Ю.А. Сорокин, 3. Я. Тураева, К.Я. Филиппов, R. de Beaugrande, М. Bensoussan, P.L. Carrell, W. Kinsch, T.A. van Dijk, M.McCarthy, J.M.Swales и др);
теории и практике тестирования ( В.А.Коккота, М.Б. Челышкова, В.Н.Симкин, И.А.Цатурова, М.В.Вербицкая, C.Alderson,C. Clapham, L.F. Bachman, A.S.Palmer, С. Chapelle, A.D. Cohen, J.D. Brown, T. Hudson, M.Canale, I. Chikalanga, D. Douglas, J. Flowerdew, G.Fulcher, M. Peacock, J.B.Heaton, A. Hughes, K. Koda, V.Ludo, J. de Jong, P. Mosenthal, J. W. Oiler, E. Shohamy, M. Swain, S. Urquhart, C.Weir и др.);
теории и практике многоуровневого описания компетенций (В.В.Сафонова, И.Л.Бим, А.А. Миролюбов, С. Alderson, N. Jones, R.J. Tannenbaum, E.C. Wylie, R.L. Trammell, B.North, J.A. van Ek, J.L.M. Trim).
Методы исследования:
описательно-аналитический (сопоставительное изучение теоретических работ отечественных и зарубежных исследователей);
гипотетико-дедуктивный(выдвижение рабочей гипотезы);
экспериментальный (проектирование и разработка тестов, разработка, организация и проведение тестирования, анализ результатов);
статистические методы.
Экспериментальная база исследования: гуманитарные факультеты Самарского государственного университета. Исследованием были охвачены студенты 1—3 курсов в течение 4 лет.
Апробация работы: Основные положения проведенного исследования отражены в публикациях по теме диссертации. Результаты исследования обсуждались на заседаниях кафедры иностранных языков гуманитарных факультетов Самарского
12 государственного университета и были представлены в пленарных и секционных докладах, а также мастерских на следующих конференциях: XI конференция НОПАЯЗ «English in a Multi-Cultural Community» (ИжГТУ, Ижевск, 2005), XII международная научно-практическая конференция «Обучение иностранным языкам: настоящее и будущее» (Международный Институт Рынка, Самара, 2006), региональная научно-практическая конференция с международным участием «Проблемы профессионального роста учителей иностранного языка в едином поле российского вузовского и послевузовского образования» (МГУ, Саранск, 2006), XIII международная научно-практическая конференция "Профессиональное развитие: к новым вершинам" (Международный институт рынка, Самара, 2007), региональная научно-практическая конференция «Новые подходы к разработке учебных материалов» ( КГТУ, Казань, 2007), Международный форум специалистов в области лингвистики и иноязычной коммуникации «XXI век: содружество лингвокулыур» (Самара, 2008), Международная научно-практическая конференция «Language as a Tool of Understanding and Misunderstanding: Russian-American Linguistic and Cultural Comparisons» (РГГУ, Москва, 2008), a также на осенних и летних сессиях Международного Института повышения квалификации преподавателей английского языка: «Communication, Connection, and Collaboration» (Иркутск, 2004, Самара, 2005), «Materials development: from low-tech to high-tech» (ДВГУ, Владивосток, 2007), «Testing for Language Teachers» (Самара, 2008)
По теме диссертации опубликовано 10 статей, из них три статьи вышли в изданиях, рекомендованных ВАК.
На защиту выносятся следующие положения: 1. Несмотря на то, что уровень В1 (пороговый уровень) Общеевропейской шкалы уровней коммуникативной компетенции включает только умения работы с текстами в рамках повседневно-бытовой сферы общения, практика преподавания иностранных языков в российский неязыковых вузах показывает, что студенты - нефилологи на уровне В1 могут справляться с
13 профессионально-ориентированными текстами, что дает основание расширить рамки номенклатуры умений в итоговом контроле, включив задания на контроль умений для работы с академическими текстами.
2. Разработанная в данном исследовании Примерная спецификация раздела
«чтение для академических целей» итогового экзамена за курс обучения
иностранному языку в вузах неязыковых специальностей (170-240
аудиторных часов) соответствует обозначенному целевому назначению
итогового экзамена, ориентируется на национальные образовательные
стандарты третьего поколения и общеевропейские тенденции развития
языкового образования, устраняет существующие несоответствия
Программы в плане обозначенных в ней требований к итоговому контролю обученности владения этим видом речевой деятельности на уровне В1 Общеевропейских компетенций, содержит необходимые компоненты управления разработкой тестов и тестовых заданий, носит компетентностный характер.
Правильное определение тестового конструкта является одним из условий надежности и валидности теста как формы контроля. Основу определения параметров тестового конструкта «чтение для академических целей» составляет теоретически и эмпирически обоснованная совокупность характеристик триады «читатель - текст - тестовое задание» для целей и задач конкретного теста.
Совокупность характеристик читателя включает: характеристики испытуемых (возраст, пол, наличие фоновых знаний и т.д.); характеристики измеряемого речевого умения, присущих читателю на уровне В1; адекватность мыслительных процессов, активизируемых испытуемыми в процессе работы над тестом.
Совокупность факторов и характеристик, определяющих уровень
3 Ibid
14
сложности текстов, отбираемых для тестирования умений чтения в
соответствии с заданным тестовым конструктом включает факторы
содержания текста (тематика, функциональный стиль, жанр текста, его
прагматическая функция, тип речи, регистр, сложность понятий,
информационная насыщенность, плотность концепций); факторы структуры
текста (глобальная и локальная связность); лингвистические факторы
(синтаксические/ лексические трудности, аутентичность текста), статистические факторы (читабельность, т.е. сложность текста, вычисляемая по заданной формуле; соотношение знаменательных и служебных слов); факторы модальности (термин В.А.Коккоты4): длина текста, удобочитаемость (шрифт, цвет, расстояние между строчками и т.д.)
6. Совокупность факторов, влияющих на уровень сложности тестового задания в рамках измеряемого конструкта, включает способ его формулировки, тип запрашиваемой информации (конкретная/абстрактная, эксплицитно/имплицитно представленная информация), наличие или отсутствие дистракторов в заданной и запрашиваемой информации, локализация требуемой информации в тексте (в одном абзаце/ в нескольких абзацах, расположенных в начале/середине/конце текста).
КоккотаВ.А. Лингводидактическое тестирование. М. :Высшая школа, 1989.С.
Чтение как вид речевой деятельности в контексте тестирования
Для целей данного исследования мы используем следующее определение чтения С.К.Фоломкиной: Чтение как вид речевой деятельности есть перцептивно-мыслительная деятельность, которая направлена на извлечение информации из печатного текста и процессуальная сторона которой носит аналитико-синтетический характер, предопределяемый конкретной целью читающего [Фоломкина, 1987,с. 22]. В данном определении отражены два плана деятельности, а именно, содержательный и процессуальный. Содержательный план составляют «цель (результат, на достижение которого направлена деятельность); условия деятельности (средства достижения результата); и задача (цель, соотнесенная с условиями ее достижения)» [Там же]. Целью чтения (ее результатом или продуктом) является понимание. Именно целеполагание определяет объем извлекаемой из текста информации и характер ее переработки. Она также определяет процессуальный план деятельности, и то, как происходит «процесс восприятия и активной переработки информации, графически закодированной по системе того или иного языка» [Клычникова, 1983,с.5]. Процессуальная сторона чтения обеспечивается перцептивными, мнемическими и мыслительными процессами. В анализируемой нами литературе приведены различные психолингвистические модели процессуальной стороны чтения [Берман, 1977, Клычникова, 1983, Фоломкина 1987, Mackay, R . t al, 1979, Samuels et al, 1988, Bemett, 1989, Bernhardt, 1991, Limzer et al, 1993, Goodman, 1998, Alderson, 2000, Grabe 1991, 1999, Urquhart et al, 1998 и др.]. Все модели, несмотря на их различия, выделяют два основных процесса: перцептивную и смысловую переработку текста. При этом некоторые психологи и психолингвисты считают, что читающий воспринимает и перерабатывает (process) текст пошагово, слово за словом, опираясь на свой лингвистический onbiT(bottom-up, text/data-driven). Последователи другого подхода к процессу чтения, который получил название top-down или reader-driven, уверены, что читатель приступает к чтению текста с определенной установкой и интерпретирует информацию в тексте на основе ситуационной модели (situation model), т.е. опираясь на свой жизненный опыт и знание ситуации. Третья распространенная модель чтения, интерактивно-компенсаторная (interactive-compensatory), в свою очередь, объясняет, что эти две модели дополняют друг друга и, если плохой читатель может иметь проблемы с узнаванием слов, но хорошо разбирается в теме, рассматриваемой в тексте, вероятностное прогнозирование поможет ему компенсировать этот недостаток и понять текст. С другой стороны зрелому чтецу совсем не обязательно прибегать к помощи антиципации, если он поймет текст, используя свои знания функциональной системы языка.
Исследователи когнитивных подходов в определении процесса чтения исходят из того, что взаимодействие «читатель-текст» можно подразделить на три стадии:(1) декодирование, при которой лингвистическая информация воспринимается из графических образов; (2) воссоздание текстовой информации, при которой выделенные идеи интегрируются и происходит понимание смысла читаемого, (3) создание ситуационной модели, при которой переработанная информация амальгамируется (amalgamate) с имеющимися знаниями [Just et al, 1987, Kinsch et al, 1978,1998, Perfetti, 1995].
Хотя процессы перцептивной и смысловой обработки информации происходят одновременно и взаимосвязано, их различение в теоретическом плане дает возможность понять, что отличает хорошего чтеца от плохого, а также определить парадигму тестирования отдельных аспектов чтения. Например, в модели Weir - Urquhart [Urquhart et al, 1998; Weir, 2005], построенной на основе когнитивных моделей чтения Кинча — ван Дейка [Kintsch and van Dijk, 1978] и Джаста—Карпентера [Just and Carpenter, 1987], делается попытка определить, какие процессы происходят при чтении текста и выполнении тестового задания испытуемым [Рис.1].
В данной модели на основе «Целеполагания» определяется общая цель чтения, а также выбирается вид чтения, который поможет достичь поставленной цели. Во время «Мониторинга» отслеживается, насколько успешно осуществляется каждый этап чтения, а поскольку мониторинг зависит от вида чтения, его активизация происходит при определении цели чтения. «Целеполагание» и «Мониторинг» можно рассматривать в качестве метакогнитивных механизмов, которые помогают различным умениям и навыкам читателя справляться с поставленной задачей, а также активизируют необходимые знания. Например, в ответ на тестовое задание испытуемый может активизировать стратегии поискового чтения, при котором необходимы минимальное кодирование слова и минимальная синтаксическая информация, без которой некоторые чтецы обходятся вовсе. При таком виде чтения испытуемому не надо также отслеживать когеренцию или макроструктуру. Монитор выполняет всего лишь две оценочные операции (да/нет), отслеживая, попадает ли отсканированное слово в заданный формат.
Анализ международных тестов по академическому английскому
Вначале проанализируем подходы к формулированию тестового конструкта, которые использовались при разработке крупномасштабных экзаменов TOEFL и IELTS. Затем сравним, каким образом заданные тестовые конструкты были реализованы в этих экзаменах через тексты и тестовые задания. Для анализа экзамена TOEFL была выбрана последняя версия данного теста, который иногда называется экзаменом «нового поколения» — ІВТ TOEFL (Internet-Based Test of English as Foreign Language). Были проанализированы все монографии (ETS Monograph Series) по чтению, связанные с этапом разработки и последующего анализа первых результатов этого экзамена; тестовые материалы, предоставляемые ETS в качестве демонстрационных вариантов; материалы интернет-семинаров для преподавателей, которые готовят студентов к сдаче данного экзамена [www.toefl.org], а также учебный курс Cambridge Preparation for the TOEFL Test [1994, 2002,2006], третье издание которого (2002 г.) было выбрано ETS среди основных учебников для анализа влияния TOEFL (washback) на процесс преподавания английскому языку для академических целей в странах Центральной и Восточной Европы [Wall, Horak, 2006].
Прежде всего, необходимо отметить, что iBT TOEFL был разработан для того, чтобы наиболее полно удовлетворять требованиям надежности и валидности теста, с учетом новейших исследований в лингвистике, методике, психолингвистике и тестологии.
Как известно, разработка любого теста начинается с определения его цели и подробного описания группы испытуемых, для которых этот тест пишется. Для решения этих задач в рамках нового формата экзамена TOEFL исследовательская группа экзаменационного центра Educational Testing System ( далее — ETS) проводила предпроектные исследования в течение нескольких лет, в ходе которых были уточнены подходы к определению конструкта «чтение для академических целей» с точки зрения современного определения коммуникативной компетенции [Hudson, 1996], выделена номенклатура умений, релевантных для обучения в университетах США американских и иностранных студентов [Ginther et al, 1996, Waters, 1996], выявлены компоненты коммуникативной компетенции, подлежащих тестированию в новом экзамене [Chapelle et al, 1997]. После анализа выявленных в ходе предпроектного исследования результатов, была обоснована и разработана общая структура нового 3K3aMeHa[Jamieson et al, 2000], на основе которой уточнены подходы к тестированию чтения [Enright et al, 2000]; а также определены виды заданий, которые наиболее часто приходится выполнять студентам американских университетов по разным видам речевой деятельности [Rosenfeld, 2001]. После того, как было проведено пилотирование нового формата экзамена, был разработан окончательный вариант теста iBT TOEFL, который стал проводиться в разных странах мира, заменяя предыдущий компьютерный вариант. Исследования первых полученных данных касались, прежде всего, валидности и надежности измерения умений, в том числе и чтения, в новом формате экзамена TOEFL. В частности, анализировались стратегии, применяемые испытуемыми в процессе выполнения заданий по чтению[Сопеп et al, 2006], репрезентативности академических текстов [Biber et al, 2004] и типов заданий [Rosenfeld,2004].
Проведенный нами анализ данных исследований и спецификаций экзамена TOEFL показал, что основная цель экзамена — измерить лингвистические способности абитуриентов, для которых английский не является родным. В рамках этой цели экзамена, задача раздела «Чтение» состоит в том, чтобы выявить, достаточно ли полно у испытуемых сформировано умение чтения для академических целей, чтобы они могли успешно справляться с программой обучения в любом американском университете. Дополнительная цель TOEFL -прогностическая, поскольку по его результатам можно прогнозировать, насколько в целом успешным может быть обучение тестируемого в университетах США. Именно поэтому при определении цели экзамена разработчики тестов подчеркивают разницу между понятиями «компетенции» и «способности» тестируемого. По определению Мессика, способность (ability) есть личностная характеристика индивида, которая в силу заложенного в ней потенциала, ориентирована на будущую свою реализацию [Messik, 1981]. В свою очередь, компетенции (competences) - это те практические умения и навыки, которым овладел обучаемый, и которые он может продемонстрировать на момент проведения экзамена. В формулировке цели экзамена TOEFL также указывается, что материалы экзамена отражают ситуации и виды заданий, характерные для университетской жизни в США, а сам тест носит интегративный характер и не включает дискретных заданий[Jamieson et al, 2000]. Результаты измерения сформированности умений во всех видах речевой деятельности отражаются в различных видах уровневых шкал, а информация о конечных результатах представляется в двух вариантах: нормативно-ориентированном (т.е. место испытуемого среди других испытуемых), и критериально-ориентированном (т.е. сформированность его умений относительно соответствующей шкалы уровня сформированности компетенции). Такая интерпретация результатов, с одной стороны, дает администрации университета возможность отбирать самых подготовленных в языковом плане абитуриентов, а с другой стороны, дает возможность администрации, преподавателям и самому абитуриенту понять, над какими конкретными умениями ему надо работать. Минимальный проходной балл составляет 80 баллов.
Общая характеристика спецификации раздела «Чтение» итогового теста за курс обучения иностранному языку в неязыковом вузе
Основным документом, определяющим структуру и содержание контрольно-измерительных материалов по учебному предмету, является спецификация. Существует несколько подходов к созданию данного документа. Наиболее общий подход описывает назначение экзаменационной работы, устанавливает распределение заданий по содержанию, видам деятельности и уровню сложности, утверждает систему оценивания отдельных заданий и работы в целом, обозначает условия проведения и проверки результатов экзамена. На основе плана экзаменационной работы, содержащегося в спецификациях, формируются контрольно-измерительные материалы (КИМы).
Чем точнее и подробнее составлены спецификации, тем больше вероятность того, что производимые измерения окажутся более надежными и валидными. Следуя рекомендациям известного тестолога Олдерсона, этот документ должен включать все или большинство из следующих компонентов:
1. цель тестирования;
2. характеристика испытуемого (возраст, пол, уровень владения языком и уровень фоновых и профессиональных знаний);
3. уровень трудности теста с точки зрения знаний и умений испытуемых;
4. конструкт теста;
5. указание подходящего учебника или курса для подготовки;
6. количество разделов теста;
7. время для выполнения каждого раздела;
8. значимость (или «вес») каждого раздела в процентном отношении к суммарной оценке теста;
9. ситуация с изучением языка в данном контексте (например, в неязыковом вузе при определенной сетке часов);
10. типы текстов для тестирования;
11 .длина текстов;
12. уровень сложности текста;
13.речевые умения, предназначенные для тестирования;
14.языковые элементы, предназначенные для тестирования (грамматические структуры, лексические единицы, разделы функциональной грамматики);
15.уровень сложности тестовых заданий;
16. количество и «вес» тестовых заданий;
17.тип (форма) тестовых заданий: открытый или закрытый;
18.инструкции; включение, если нужно, примеров выполнения заданий; полное описание оценочных критериев (например, «выполнение данного задания предполагает сформированность умения понимать значение слова по макроконтексту»);
19. начисление баллов по каждому заданию;
20.описание типичного речевого поведения на каждом уровне;
21. описание того, что испытуемый должен уметь делать на каждом уровне обученности данному речевому умению в учебной или реальной жизненной ситуации;
22.образцы тестовых заданий и способов их выполнения (обозначение номенклатуры предполагаемых действий испытуемого, необходимых для их выполнения).
[Alderson,2000,c.l69] В отечественной тестологии, при разработке теста по чтению, особенно крупномасштабного, указывается на необходимость включать в спецификации следующие компоненты [Челышкова, 2002,с.9б - 97]:
перечень нормативных документов (базисных программ, требований к уровню подготовки испытуемых), используемых при планировании содержания теста;
рекомендуемое время выполнения теста, в том числе и время, отводимое на каждый раздел, а также время выполнения одного задания с учетом специфики типа задания;
рекомендации по контингенту учащихся для апробации теста;
охват требований стандартов (для аттестационных тестов);
перечень требований, не вошедших в тест (для аттестационных тестов);
рекомендуемый автором способ расположения заданий в тесте.
Анализ существующих тестов по чтению для академических целей и апробация трех вариантов спецификации тестов по измерению уровня сформированности умения чтения для академических целей определили следующий комплект компонентов, обязательных для спецификаций:
1. цели и задачи теста;
2. шкала и критерии оценивания выполнения заданий, а таюке определение возможной интерпретации результатов теста и сферы их применения;
3. перечень нормативных документов (базисных программ, требований к уровню подготовки испытуемых), используемых при планировании содержания теста;
4. ситуация с изучением языка в данном контексте (например, в неязыковом вузе при определенной сетке часов);
5. характеристика испытуемого (возраст, пол, уровень владения языком и уровень фоновых / профессиональных знаний);
6. уровень трудности теста;
7. конструкт теста;
8. характеристика разделов теста;
9. характеристики заданий (ситуация реального использования, содержание материала, место, где происходит использования языка, цель чтения), тип/форма заданий, формулировка инструкции, способ выполнения каждого задания, уровень трудности, способ оценивания;
10.распределение заданий по разделам, количество в каждом разделе;
11. время для выполнения всего теста, в том числе и время, отводимое на каждый раздел, а также время выполнения одного задания с учетом специфики типа задания;
12. значимость (или «вес») каждого раздела в процентном отношении к суммарной оценке теста;
13.система оценивания каждого раздела и всего теста в целом;
14. текстовый материал (языковая составляющая, прагматическая составляющая, дискурсивная составляющая: риторический тип и структурные характеристики текста, длина текста);
15.рекомендуемый автором способ расположения заданий в тесте.
