Содержание к диссертации
Введение
ГЛАВА I. Теоретические аспекты обеспечения надежности тестирования письменной речи в формате эссе
1.1 Проблема тестирования письменной речи в формате эссе в современной методике обучения английскому языку 15
1.2 Проблема надежности тестирования письменной речи в формате эссе в современной методике обучения английскому языку 31
1.3 Особенности эссе как формата тестирования 53
Выводы по Главе 1 73
ГЛАВА II. Практические аспекты обеспечения надежности тестирования письменной речи в формате эссе
2.1 Методика вычисления надежности теста в формате эссе и факторы, t влияющие на надежность 76
2.2 Методика подготовки экспертов для обеспечения надежности тестирования письменной речи в формате эссе 91
2.3 Ход и анализ результатов опытной подготовки экспертов 107
Выводы по Главе II 129
Заключение 132
Библиографический список научной литературы 137
- Проблема надежности тестирования письменной речи в формате эссе в современной методике обучения английскому языку
- Особенности эссе как формата тестирования
- Методика подготовки экспертов для обеспечения надежности тестирования письменной речи в формате эссе
- Ход и анализ результатов опытной подготовки экспертов
Введение к работе
Актуальность исследования. Вхождение России в единое европейское образовательное пространство в рамках Болонского процесса, введение единой формы итоговой аттестации в средней школе Единого государственного экзамена способствует широкому распространению тестирования коммуникативной компетенции учащихся с помощью надежных контрольно-измерительных материалов. Их применение рассматривается как необходимое условие повышения качества обучения иностранным языкам (И.Л. Бим, Р.П. Мильруд, Е.И. Пассов, О.Г. Поляков, В.В. Сафонова, В.П. Симкин, С.К. Фоломкина, И.А. Цатурова, J. Alderson, N. Bacha, G. Brown, A. Cohen, A. Cumming, L. Hamp-Lyons, B. Spolsky, G. Widdowson и др.).
Особое значение приобретает тестирование письменной речи учащихся как показателя их коммуникативной компетенции. Среди всего разнообразия форматов языкового тестирования письменной речи, все большее внимание уделяется тестированию письменной речи учащихся в формате эссе, то есть самостоятельного письменного высказывания с разработкой исходного тезиса, логическим рассуждением и обоснованным выводом. Успешное написание эссе рассматривается как важный показатель готовности учащихся к письменному иноязычному общению (Е.Л. Бабушис, М.Я. Дубовик, Т.М. Еналиева, А.В. Конобеев, Л.Г. Кузьмина, Н.Б. Хохлова, J. Alderson, L. Bachman, J. Carroll, Erickson, Hale, A. Highes, B. Kroll, K. Kondo-Brown, R. Lado, G. Marcoulides, T. McNamara, Molly, B. Spolsky, Urquhart, G. Widdowson и др.).
Исследования показывают, что эссе постепенно становится все более распространенным тестом письменной речи на продвинутом уровне владения иностранным языком. Однако применение эссе как формата языкового тестирования осложняется не только тем, что пока еще недостаточно разработана методика эффективного обучения этому жанру письменной речи. Недостаточно исследованным остается эссе как формат языкового тестирования (И.Р. Гальперин, М.Я. Дубовик, А.В. Конобеев, Е.С. Кубрякова, А.В. Матиенко, Р.П. Мильруд, О.Г. Поляков, Н.Б. Хохлова, G. Fairbairn, M. Halliday, R. Hasan, G. Kinneavy, J. McCall, M. McCarthy, H. Weinrich, Ch. Winch. и др.).
Состояние и степень разработанности проблемы.
Языковое тестирование в формате эссе стало предметом исследования отечественных и зарубежных методистов (Т.М. Еналиева, Н.А. Ильиных, В.А. Коккота, В.А. Конобеев, Р.П. Мильруд, О.Г. Поляков, Е.В. Сергеева, В.П. Симкин, Н.В. Солдатова, С.К. Фоломкина, Н.Б. Хохлова, L. Alexander, N. Bacha, Coffin, A. Cumming, L. Hamp-Lyons, T. Hedge, P. Matsuda, T. McNamara, J. Myles, B. Spolsky, R. Valette, H.G. Widdowson и др.).
Большое значение приобретает валидность и надежность языкового тестирования коммуникативной компетенции учащихся в формате эссе. Внимание обращается на объект тестирования с помощью эссе и его соответствие содержанию обучения, на надежность эссе как формата тестирования письменной речи, а также на согласованность действий оценщиков (А.В. Матиенко, Р.П. Мильруд, О.Г. Поляков, L. Bachman, D. Douglas, C. Chapelle, A. Cumming, L. Hamp-Lyons, A. Highes, S. McKelvie, J. Mullane, C. Polio и др.).
В опубликованных работах рассматриваются различные форматы эссе, структурные характеристики и методика обучения их написанию (И.Р. Гальперин, М.Я. Дубовик, А.В. Конобеев, Е.С. Кубрякова, Т.М. Николаева, В.П. Руднев, Е.В. Сергеева, N. Chenoweth, U. Connor, L. Harklau, J. Hayes, R. Ivanic, R. Kubota, P. Matsuda, M. McCarthy, J. Myles, H. Weinrich, W. Zinsser и др.).
Изучается методический опыт тестирования письменной речи учащихся с помощью эссе и подчеркиваются проблемы, возникающие в ходе тестирования (Т.В. Маркова, Р.П. Мильруд, О.Г. Поляков, A. Applebee, N. Bacha, P. Belanoff, H. Boldt, W. Coffman, U. Connor, P. Elbow, R. Farr, K. Kondo-Brown, M. Reichelt, P. Stapleton, K. Yancey и др.).
Обращается внимание на подготовку оценщиков к проверке письменных работ учащихся в формате эссе и выставлению согласованных оценок (Р.П. Мильруд, G. Brindley, A. Cumming, M. Erdosy, Freedman, L. Hamp-Lyons, K. Hughes, Li-Weng Huang, T. McNamara, M. Mehrens, T. Moon, N. Sinclair, R. Thrasher, C. Turner и др.).
Несмотря на внимание, уделяемое исследователями решению проблемы обеспечения надежного тестирования письменной речи учащихся в формате эссе, до сих пор остаются нерешенными следующие противоречия:
между распространенностью эссе как форматом тестирования письменной речи учащихся и его надежностью как контрольно-измерительным материалом:
между попытками повысить надежность тестирования письменной речи учащихся в формате эссе и недостаточным учетом согласованности действий оценщиков как фактора надежности языкового тестирования;
между исследованиями действий оценщиков как фактора надежности языкового тестирования в формате эссе и путями повышения надежности этих действий.
Выявленные противоречия показывают, что пока еще не получила научно-обоснованного решения проблема обеспечения надежности тестирования письменной речи учащихся в формате эссе. Недостаточно полное решение этой проблемы имеет свои негативные последствия, которые выражаются в том, что тестирование письменной речи учащихся в формате эссе пока еще остается недостаточно надежным. Тестируемые учащиеся не всегда получают полностью обоснованные оценки сформированного у них умения письменной речи. Достигнутый уровень овладения учащимися этим видом речевой деятельности остается недостаточно определенным, получаемые результаты могут снижать учебную мотивацию учащихся в овладении письменной речью. Подготовка оценщиков к тестированию письменной речи учащихся в формате эссе, процедура оценивания и сам формат теста нуждаются в совершенствовании. Все сказанное обусловливает актуальность темы диссертационного исследования.
Цель исследования заключается в научно-обоснованном обеспечении надежности тестирования письменной иноязычной речи в формате эссе за счет подготовки оценщиков к процедуре тестирования, совершенствовании процедуры оценивания и оптимизации формата теста.
Объектом исследования является тестирование письменной речи учащихся в формате эссе.
Предмет исследования представляет собой обеспечение надежности тестирования письменной речи учащихся в формате эссе за счет подготовки оценщиков к процедуре тестирования, совершенствования процедуры оценивания и оптимизации формата теста.
Гипотеза исследования заключается в том, что надежность оценивания письменной речи учащихся в формате эссе может быть повышена, если
тестовый конструкт в формате эссе будет включать заголовок, исходный тезис, развитие тезиса, конечный тезис, языковые средства, целостность идеи и культурную норму;
будет выработана алгоритмическая последовательность оценивающих действий экспертов, предполагающая первичное безоценочное ознакомление с текстом эссе, оценку исходного тезиса, безоценочное ознакомление с конечным тезисом, оценку развития исходного тезиса, конечного тезиса, целостности идеи, заголовка, языковых средств, культурной нормы, выставление целостной оценки эссе;
будет обеспечена согласованность оценивающих действий экспертов в ходе их опытной подготовки на этапах выработки единого понимания процедуры оценивания, тренировочного оценивания эссе по общему впечатлению, выработки единого подхода к оцениванию компонентов тестового конструкта в формате эссе, тренировочного оценивания компонентов тестового конструкта, выработке единого подхода к алгоритмической процедуре оценивания эссе, тренировочного выстраивания оценивающих действий и опытной оценки согласованности действий и оценок экспертов.
В соответствии с целью и гипотезой сформулированы следующие задачи исследования:
-
Изучить теоретико-методологические основы надежности тестирования письменной речи учащихся в формате эссе.
-
Исследовать влияние способов оценивания на обеспечение надежности тестирования письменной речи учащихся в формате эссе.
-
Выявить пути обеспечения надежности тестирования письменной речи учащихся в формате эссе.
-
Показать роль межэкспертной надежности в тестирования письменной речи учащихся в формате эссе.
-
Проверить эффективность условий повышения надежности тестирования письменной речи учащихся в формате эссе в ходе опытной работы и проанализировать полученные результаты.
Методы исследования. Для достижения цели и поставленных задач использовались следующие методы исследования: анализ теоретико-методологической и методической литературы по проблемам обеспечения надежности тестирования письменной речи учащихся в формате эссе, изучение практического опыта обеспечения надежности тестирования письменной речи учащихся в формате эссе, опытное обучение, прямое и косвенное наблюдение, беседа, статистическая обработка результатов, повторная проверка показателей надежности тестирования письменной речи учащихся в формате эссе.
Методологической основой исследования являются исследования в области контроля знаний и тестирования (И.Л. Бим, И.А. Цатурова, О.Г. Поляков, Р.П. Мильруд, А. Матиенко, Л. Бахман. Г. Уиддоусон, Д. Даглас, Т. Мак Намара, Клэпэм, Б. Спольски и др.), в области методики обучения письменной речи (Александер, К. Триббл, Дж. Рейд, М. Мак Карти, Дж. Мак Кол, Р.П. Мильруд, А.В. Конобеев, Н.Б. Хохлова), в области статистического исследования педагогических измерений (Г. Раш, Ф. Лорд, Л. Кронбах, Л. Крокер, Дж. Алджина, Маллери и др.) и в области методики подготовки экспертов для оценивания результатов тестирования (Р. Трашер, Л.В. Хуанг, Т. Мун и др.).
Научная новизна исследования состоит в том, что в диссертации впервые:
выявлены дискурсивные особенности конструктной валидности эссе как формата тестирования, к которым относятся грамматика, лексика, связанность, целостность, логичность, доказательность, гибкость и релевантность текста;
раскрыты три основных подхода к оцениванию письменной речи учащихся в формате эссе, а именно: грамматико-орфографический с оцениванием грамматической и лексической компетенции учащихся, общего впечатления с оцениванием синтеза конкретных показателей и интуитивного впечатления, а также аналитический с оценкой строго определенных показателей по имеющимся критериям;
найдены методические условия обеспечения надежности тестирования письменной речи учащихся в формате эссе, включая компоненты тестового конструкта, согласованность алгоритмической процедуры оценивания эссе и этапы подготовки экспертов;
обнаружены три наиболее эффективных способа определения надежности оценок экспертами письменной речи учащихся в формате эссе, а именно, вычисление стандартного отклонения целостных оценок, коэффициента корреляции средних оценок компонентов тестового конструкта в формате эссе, коэффициента корреляции отдельных компонентов тестового конструкта в формате эссе.
Теоретическая значимость исследования заключается в том, что в нем:
расширено определение надежности экспертного оценивания письменной речи учащихся в формате эссе, которое представляет собой требование к оценивающим действиям экспертов выставлять оценки с минимальным стандартным отклонением от средней и максимальным коэффициентом корреляции при оценивании как целостного тестового конструкта в формате эссе, так и его компонентов на основе согласованного подхода к оцениванию, критериев оценки и алгоритма оценивающих действий;
доказано, что обеспечение надежности тестирования письменной речи учащихся в формате эссе зависит от структуры тестового конструкта (оценивание заголовка, исходного и конечного тезиса, его развития, используемых языковых средств, целостности идеи и культурной нормы); от алгоритмической последовательности (от безоценочного восприятия целого текста к оценке компонентов тестового конструкта и выставлению итоговой целостной оценки); от поэтапного формирования согласованных оценивающих действий экспертов (выработки единого понимания процедуры оценивания, тренировочного оценивания, единого подхода к оцениванию компонентов тестового конструкта в согласованном алгоритме и оценки согласованности действий экспертов);
конкретизированы шкалы оценивания письменной речи учащихся в формате эссе, к которым относится оценка формы (грамматика, лексика, языковые средства связанности текста); оценка содержания (формулирование заголовка, утверждение исходного тезиса, предъявление аргументов, подкрепление аргументов, обогащение исходного тезиса); а также оценку оформления эссе (заданного объема высказывания, использования требуемого количества доказательств, сохранения баланса доказательств «за» и «против», точное выделение абзацев);
уточнены условия повышения надежности оценивания экспертами письменной речи учащихся в формате эссе (опыта согласованного оценивания письменных работ по общему впечатлению, согласованных действий в оценивании компонентов тестового конструкта, согласованной процедуры применения критериев оценки эссе, согласованного совместного межэкспертного анализа результатов оценивания компонентов тестового конструкта).
Практическая ценность диссертации определяется следующим:
разработана методика поэтапного обеспечения надежности оценивания экспертами письменной речи учащихся в формате эссе;
готовы к внедрению методические материалы для поэтапной подготовки экспертов к надежному оцениванию письменной речи в формате эссе;
материалы диссертационного исследования могут быть использованы в курсе лекций по теории и методике преподавания английского языка, в спецпрактикуме «Обеспечение надежности тестирования письменной речи учащихся в формате эссе», а также для подготовки экспертов к оцениванию письменной речи учащихся на выпускных/вступительных экзаменах.
Достоверность научных результатов и обоснованность выводов исследования обеспечивается обоснованностью теоретических позиций, экспериментальной проверкой теоретических положений, внедрением результатов исследования в практику, опорой на современные достижения методики преподавания ИЯ, количественными и качественными показателями в ходе экспериментального обучения.
На защиту выносятся следующие положения:
1. Надежность тестирования письменной речи учащихся в формате эссе представляет собой требование к оценивающим действиям экспертов выставлять согласованные оценки на основе надежного формата задания и согласованных действий оценщиков, включая согласованность критериям, идентичные оценивающие действия и совпадение оценок.
2. Надежность тестирования письменной речи учащихся в формате эссе зависит от таких способов оценивания, как: грамматико-орфографический, общего впечатления, а также аналитического восприятия с учетом лексико-грамматических, орфографических, дискурсивных, прагматико-стратегических составляющих тестового конструкта.
3. Надежность тестирования письменной речи учащихся в формате эссе можно повысить, если конкретизировать компоненты тестового конструкта, стандартизовать тестовый формат эссе и детализировать оценку каждого из компонентов тестового конструкта в формате эссе, совершенствовать аналитическую шкалу оценивания (оценка заголовка, исходного и конечного тезиса, его развития, используемых языковых средств, целостность идеи, культурная норма).
4. Межэкспертная надежность тестирования письменной речи учащихся в формате эссе повышается в зависимости от опыта согласованных оценивающих действий по общему впечатлению, при оценивании компонентов тестового конструкта, согласованной алгоритмической процедуры оценивания и согласованного анализа результатов работы экспертов с применением методов математической статистики (стандартное отклонение и коэффициент корреляции).
5. Для повышения межэкспертной надежности тестирования письменной речи учащихся в формате эссе эффективны следующие этапы подготовки экспертов: выработка единого понимания процедуры оценивания, тренировочное оценивание эссе по общему впечатлению, выработка и тренировка единого подхода к оцениванию компонентов тестового конструкта в формате эссе, выработка единого алгоритма экспертных действий от безоценочного восприятия к оценке компонентов тестового конструкта, оценка согласованности действий экспертов.
Этапы исследования.
На первом этапе (2004–2005 гг.) изучались результаты научных исследования по проблеме; проводился анализ методической литературы в области современного тестирования письменной речи в формате эссе и обеспечения надежности такого тестирования. Были сформулированы гипотеза, цели и задачи исследования.
На втором этапе (2005–2006 гг.) были разработаны основные теоретические положения. Разработана последовательность этапов подготовки экспертов к оцениванию результатов тестирования письменной речи в формате эссе с применением аналитической шкалы оценивания, а также система заданий для каждого из этапов подготовки.
На третьем этапе (2006–2007 гг.) проводилась опытная проверка условий повышения надежности тестирования письменной речи учащихся в формате эссе, обрабатывались полученные опытным путем данные, велось оформление результатов исследования.
Апробация. Основные теоретические положения и практические результаты диссертационного исследования были представлены на заседаниях кафедры теории и практики преподавания английского языка ТГУ им. Г.Р. Державина, на аспирантских семинарах и вузовских конференциях, а также в опубликованных статьях и тезисах.
Внедрение результатов исследования. Результаты исследования внедрены в учебный процесс Института иностранных языков ТГУ им. Г.Р. Державина.
Структура диссертации. Работа состоит из введения, двух глав, заключения и списка литературы.
Проблема надежности тестирования письменной речи в формате эссе в современной методике обучения английскому языку
В 1980-х годах все большую популярность приобретает интегративный подход, направленный, прежде всего, на оценку общего умения использовать язык в конкретных коммуникативных контекстах. В качестве типичного примера теста в рамках интегративного подхода О.Г. Поляков (1999) приводит клоуз-тест, позволяющий оценить способность тестируемых декодировать тексты с пропущенными словами.
В конце 1980-х - начале 1990-х годов ведущим становится коммуникативный подход, в рамках которого основным тестируемым аспектом становится адекватность реализации коммуникативного намерения. Как пишет О.Г. Поляков, «тесты в данном случае нацелены на выявление способности и готовности испытуемого осуществлять иноязычное общение, и включают в основном задачи, которые максимально, насколько это возможно в учебных условиях, приближены к тем, с которыми учащимся приходится сталкиваться в реальной жизни» (Поляков О.Г., 1999:15).
Говоря о понятийном наполнении самого термина «языковое тестирование», следует отметить, что в методике обучения иностранным языкам вплоть до конца 1990-х годов существовали различные интерпретации этого понятия. Так под тестом понимали любые «формы контрольно-тренировочного задания, предназначенного для определения уровня обученности» (Цетлин B.C., 1970; Володин Н.В., 1972; Леонтьев А.А., 1977; Талызина Н.Ф., 1983; Штульман Э.А., Горчев А.Ю., 1984; Гальскова Н.Д., 1987; Рапопорт И.А., 1989), и «специфическую организацию, которая позволит всем учащимся а) работать одновременно в одинаковых условиях и б) записывать выполнение символами (Фоломкина С.К., 1985; Азимов Э.Л., Щукин А.И., 1999; Поляков О.Г., 1999). В своем исследовании В.А. Коккота (1989) определяет тест как «подготовленный в соответствие с определенными требованиями комплекс заданий, прошедший предварительное опробование с целью определения его показателей качества и позволяющий выявить у тестируемых степень их языковой (лингвистической) и/или речевой (коммуникативной) компетенции, а также результаты которого поддаются определенной оценке по заранее установленным критериям» (Коккота В. А., 1989).
О.Г. Поляков (1999) формулирует следующее определение языкового теста: «Тест есть средство (инструмент) контроля в обучении иностранному языку, состоящее из задания (серии заданий) и предполагающее непременное наличие инструментария для регистрации правильности/ошибочности его выполнения (измерения), а часто - но не обязательно - и шкалы оценивания» (Поляков О.Г., 1999).
Данное определение, в свою очередь, позволяет провести четкую грань между тестированием (testing) и оцениванием (assessment), при котором не обязательным является наличие инструментария для регистрации правильности/ошибочности выполнения задания. Оценка выставляется в значительной степени на основе общего впечатления, даже при наличии определенной шкалы оценивания, что снижает ее объективность по сравнению с оценкой теста, выведенной на основе измерения.
Рассмотренные определения понятия «тест» позволяют нам уточнить тип языкового теста, к которому относится эссе. Так, поскольку эссе представляет собой средство контроля тестируемого конструкта в обучении иностранному языку в форме задания и позволяет регистрировать успешность его выполнения с помощью шкалы оценивания, то под ним мы понимаем языковой тест антегративного типа. Следовательно, если эссе представляет собой тип языкового теста, то к нему с полным основанием предъявляются требования валидности и надежности. Рассмотрим подробнее содержание данных понятий применительно к эссе как формату языкового тестирования.
Валидность (validity) и надежность (reliability) рассматриваются большинством исследователей как основополагающие компоненты языкового теста (Гильбух Ю.З., 1978; Поляков О.Г., 1994, 1996, 1999; Ильиных Н.А., 2001; Мильруд Р.П., 2005, 2006; Widdowson Н., 1983; Bachman L., 1990; Douglas D., 1995; Chapelle С, 2003). Это означает, что валидность тестирования письменной речи учащихся в формате эссе представляет собой существенное требование к этому виду языкового тестирования.
Тест для оценивания письменной речи учащихся в формате эссе валиден, если он оценивает именно то, для чего он создан, и полученные результаты точно отражают уровень владения языком испытуемого (Поляков О.Г., 1999). В тестировании письменной речи учащихся в формате эссе, как и в языковом тестировании в целом, выделяют следующие виды валидности: - внешняя (face validity), - содержательная (content validity), - конструктная (construct validity), - критериальная валидность (criterion-related: concurrent and predictive), - внутренняя (internal/consistency validity) (Поляков О.Г., 1999; Мильруд Р.П., 2006; Huot В., 1990; Alderson J., Clapham C, Wall D., 1995; Baha N., 2001; Chapelle C, Carol A., Jamieson J., Hegelgeimer V., 2003). Рассмотрим вышеуказанные типы валидности более подробно. Внешняя валидность теста для оценивания письменной речи учащихся в формате эссе выражается в степени доверия испытуемых к
Особенности эссе как формата тестирования
В этом разделе диссертации будет сделана попытка доказать положение о том, что межэкспертная надежность является ключевым условием обеспечения надежности тестирования письменной речи в формате эссе.
Как показано в первой главе данного исследования, надежность в целом остается актуальной проблемой тестирования письменной речи учащихся в формате эссе. При этом исследователи не пришли к единому мнению насчет необходимых условий обеспечения надежности в рамках данного формата тестирования. Рассмотрим существующие исследования по данной проблеме с целью выявления условий, обеспечивающих надежность оценивания эссе как формата тестирования.
Некоторые исследователи считают, что надежность целиком и полностью зависит от экзаменуемых. В рамках гипотезы об унитарной компетенции (Unitary Competence Hypothesis) Дж. Оллер пишет, что результат выполнения большого количества тестов зависит от одной и той же определяющей способности конкретного испытуемого -способности интегрировать грамматические, лексические, контекстные и прагматические знания в процессе выполнения тестов (Oiler J., 1979).
Безусловно, результаты тестирования письменной речи учащихся в формате эссе зависят от уровня коммуникативной компетенции экзаменуемого. В своем исследовании С. Вейгле (1998) отмечает, что «на экзамене, включающем написание эссе, измеряется уровень сформированности некоторой способности, которая может быть определена в операционных терминах» (Weigle S., 1994). В рамках данного подхода к определению основных условий обеспечения надежности тестирования письменной речи учащихся в формате эссе, следует сказать и о качестве самого эссе, как текста, и его структурной сложности. Данные условия также в определенной степени зависят от отношения студентов к обучению и степени их знакомства с критериями оценивания (Campbell С, 1998; Конобеев А.В., 2001).
Надежность, таким образом, есть условие объективного измерения языковых знаний с повышенной сензитивностью измеряющего инструмента к индивидуальным различиям учащихся.
В методической литературе, присутствует ряд исследований, направленных на выработку единой процедуры оценивания как основного условия повышения надежности тестирования (Weigle S., 1994; Harrington К., Elander J., Reddy P., 2006). В рамках исследований по данному вопросу, учеными делаются попытки создания определенного набора критериев оценивания, которых бы придерживались все эксперты при тестировании письменной речи учащихся в формате эссе.
Как уже отмечалось ранее, ряд исследователей в качестве одного из основополагающих условий обеспечения надежности оценивания эссе выделяют формат данного типа тестирования. В частности, Р.П. Мильруд (2006), рассматривает тестирование продуктивных видов речевой деятельности, включая и тестирование письменной речи в формате эссе, как изначально менее надежное (Мильруд Р.П., Матиенко А.В., 2006:10).
Однако надежность тестирования письменной речи в формате эссе зависит не только от коммуникативных умений испытуемых, но и от подготовленности экспертов-экзаменаторов. В ряде исследований надежность, то есть повторяемость результатов оценивания тестов, рассматривается как свойство теста, прежде всего зависящее от личностных характеристик эксперта, оценивающего выполнение задания экзаменуемым. Как пишет Т. Макнамара (2005), «введение эксперта в процесс оценивания одновременно и необходимо, и проблематично. Оно проблематично, поскольку, экспертная оценка по определению субъективна» (McNamara Т., 2005:43-44), то есть, другими словами, оценка, отражает не только качество ответов экзаменуемых, но и профессиональные качества самих экспертов, оценивающих ответ.
Как показывают исследования, оценочная деятельность экспертов становится все более важной в преподавании и изучении иностранных языков. Т. МакНамара (2005) также отмечает, что «экспертная оценка языковых знаний соответствует административной потребности обеспечения отчетности в образовании» (McNamara Т., 2005:42).
Таким образом, в работах, посвященных выявлению условий обеспечения надежности тестирования письменной речи учащихся в формате эссе, показано, что мнение эксперта есть ключ к пониманию его мотивов выставления оценки, в то время как формат эссе и унифицированная процедура оценивания лишь облегчают задачу надежного оценивания, не решая ее.
При этом оценивание экспертами как условие обеспечения надежности тестирования письменной речи в формате эссе проявляется в том, насколько совпадают оценки, при оценивании его различными экспертами и при повторном оценивании одного и того же эссе одним и тем же экспертом. Выделяют два типа надежности — inter-rater (межэкспертная надежность, то есть совпадение оценок нескольких экспертов) и intra-rater {индивидуальная надежность, то есть совпадение оценок, поставленных одним и тем же экспертом при повторном оценивании).
Методика подготовки экспертов для обеспечения надежности тестирования письменной речи в формате эссе
С предложенным заданием успешно справились 100 % экспертов. Некоторые сомнения у экспертов вызвало задание № 1, поскольку, по их мнению, оно могло быть истолковано как задание на описание и задание на аргументированное изложение собственного мнения. После краткого обсуждения эксперты пришли к выводу о том, что коммуникативной целью данного задания является привести собственное мнение, аргументировав его включением описания различных сторон жизни в родном городе.
В завершение рассмотрения проблемы соответствия содержания эссе коммуникативной задаче экспертам было предложено дополнительное эссе (см. приложение 3). После рассмотрения и обсуждения данного примера эссе эксперты пришли к выводу, что коммуникативная задача в целом выполнена, поскольку автор дает ответ на поставленный вопрос и аргументирует свою точку зрения. Таким образом, эксперты научились оценивать содержания эссе по соответствию его типу задания и полноте выполнения коммуникативной задачи.
При обсуждении оценивания грамматического соответствия языковой норме выяснилось, что эксперты учитывали только лишь правильность употребления видовременных форм глаголов, артиклей и предлогов, то есть рассматривали грамматическую правильность на уровне предложения, но не оценивали роль грамматических средств в создании связности и целостности на уровне всего эссе.
В результате группового обсуждения и оценивания предложенного эссе у экспертов возникли некоторые вопросы (напр., насколько важно разнообразие использованных средств). В итоге эксперты пришли к единому мнению о том, что правильным следует считать такое использование средств логической связи, которое четко выражает связь между идеями всего эссе, не вызывает затруднений в понимании эссе и способствует четкому обозначению позиции автора. Разнообразие грамматических средств (когезии) должно быть оправдано темой эссе, и соответствовать коммуникативной задаче.
В ходе обсуждения и анализа используемой лексики, у экспертов возник ряд вопросов. В частности, проблемой явилось определение степени лексического соответствия тезису. Другими словами насколько демонстрируемый словарный запас соответствует коммуникативной задаче эссе. Половина экспертов считала, что демонстрация разнообразия лексического запаса должна быть одной из целей экзаменуемых, тогда как остальные 50 % экспертов утверждали, что используемая в эссе лексика должна, прежде всего, соответствовать требованиям учебных эссе, то есть быть стилистически нейтральной и свидетельствовать о знании учащимся темы, а не демонстрировать заученное количество слов за счет правильности их употребления. Частично достичь консенсуса по этим вопросам помогло понятие использования тематической лексики и реитерации и коллокации.
Анализ результатов деятельности экспертов показал, что оценка правильности употребления некоторых лексических единиц вызвала затруднения у 20 % экспертов. Затруднения были вызваны употреблением в эссе лексических единиц, являющихся принадлежностью разговорной речи. При этом, по словам самих экспертов, они не имеют достаточного доступа к современному разговорному английскому языку и им трудно оценить правильность или допустимость употребления таких единиц.
Также в результате обсуждения выяснилось, что ряд экспертов предпочитали не проверять правильность употребления разговорных лексических единиц в эссе при помощи словаря, а засчитывать их за ошибки, поскольку они не принадлежат к нейтральному стилю академического письма. После дискуссии эксперты пришли к консенсусу и отметили необходимость тщательной проверки стилистической окрашенности лексических единиц с помощью словарей. Было также принято решение о допустимости употребления лексических единиц, принадлежащих к разговорному стилю речи, в эссе-выражении собственного мнения, тогда как аргументированному эссе следует быть более нейтральным.
В отношении разнообразия или ограниченности лексических единиц, эксперты предложили считать систематические чистые повторы одной лексической единицы в тех случаях, когда в соответствие с программой и федеральным образовательным стандартом школьники должны знать синонимы или синонимичные выражения, будут считаться неоправданным сужением использования лексики. Систематическое употребление синонимов в рамках программы и стандарта будет свидетельствовать об адекватном словарном запасе экзаменуемых.
Следует отметить, то это решение было принято после долгой дискуссии и, на наш взгляд, не полностью решает проблему оценки адекватности лексического соответствия тезису.
Возвращаясь к грамматическому соответствию языковой норме, отметим, что вопрос о грамматической правильности и разнообразии, в отличие от проблемы лексической правильности и разнообразия, не вызвал затруднений у экспертов. В ходе дискуссии эксперты приняли решение считать достаточной демонстрацией грамматического разнообразия правильное употребление экзаменуемыми грамматических структур в соответствии с федеральным компонентом стандарта образования. В этом случае признаком недостаточного владения грамматикой будет употребление узкого набора времен (например, попытка построить эссе, используя только времена группы Simple) или грамматических ошибок.
Под «немногочисленными» ошибками, эксперты договорились понимать наличие 3-5 грамматических ошибок на эссе. Подобно проблеме адекватности употребления лексических единиц, сохранилась проблема «ошибок, затрудняющих понимание», но на практике, во время тренировки эксперты легко приходили к общему мнению. На наш взгляд это объясняется наличием единой базовой языковой подготовки у преподавателей-экспертов.
Ход и анализ результатов опытной подготовки экспертов
В завершение был проведен подробный анализ оценивавшегося эссе и еще раз рассмотрены критерии полноты выполнения коммуникативной задачи и соответствия эссе заданию. После анализа все 100 % экспертов пришли к согласию о том, что в предъявленном им примере эссе задание было выполнено не полностью.
Следующее эссе для индивидуального оценивания было направлено на соответствие риторической организации (см. приложение 5). В результате сравнения оценок было выявлено, что 80 % экспертов считают, что задание выполнено не полностью, поскольку, несмотря на наличие введения, основной части и заключения, введение не содержит постановки проблемы. Автор эссе приводит по 2 аргумента за и против обсуждаемой точки зрения, однако аргументы против читаются с трудом из-за нелогичности. Логичность также нарушена во втором абзаце эссе, хотя имеются отдельные нарушения логической связи между предложениями (предложение "And also children don t do their homework" не связано с предыдущим предложением).
После выполнения задания на индивидуальное оценивание, результаты сравнения оценок показали, что 80 % экспертов считают, что задание выполнено, 20 % экспертов решили, что задание выполнено неполностью, так как заключение неполностью соответствует тезису. Также 90 % экспертов обнаружили нарушения риторической организации в абзаце № 3 оценивавшегося эссе.
В заключение экспертам было предложено эссе для оценивания риторической организации и аргументированности как на уровне отдельных абзацев, так и всего текста (см. приложение 4).
После обсуждения выполненного задания, 80 % экспертов пришли к заключению, что оно выполнено, но недостаточно аргументов. 20 % экспертов придерживались мнения, что задание выполнено полностью, поскольку один из аргументов может считаться развернутым за счет приведенного повествования. Имеются отдельные недостатки в использовании средств логической связи, т.е. употреблении местоимений.
В результате подобных обсуждений эксперты отметили, что им стало значительно легче оценивать эссе и они «другими глазами» смотрят на письменные работы своих учеников. Другими словами, можно говорить об обратной связи проведенной работы с повседневной практикой преподавания английского языка учителями-членами группы экспертов в средней общеобразовательной школе. На пятом этапе опытной подготовки экспертов целью являлось выработка единого подхода к алгоритмической процедуре оценивания письменной речи учащихся в формате эссе. Основные задачи согласовательных совещаний были направлены на проведение анализа и сопоставления индивидуальных подходов к процедуре оценивания письменной речи учащихся в формате эссе для последующей выработки единой процедуры оценивания письменной речи учащихся в формате эссе. Результатом проведения шестого этапа, направленного на тренировочное выстраивание оценивающих действий экспертов, являлась разработка последовательности оценивающих действий экспертов, целью которой было преодоление поспешной оценки эссе на основе общего первого впечатления.
