Содержание к диссертации
Введение
Глава I. Теоретические основы разработки коммуникативных тестов с целью определения уровня сформированности иноязычной коммуникативной компетенции в устной речи 10
1.1 Ретроспективный анализ тестирования уровня сформированности иноязычной коммуникативной компетенции в устной речи 10
1.2 Определение иноязычной коммуникативной компетенции в рамках профессионально-ориентированного обучения английскому языку 20
1.3 Основные характеристики устных коммуникативных тестов для оценки, уровня сформированности иноязычной коммуникативной компетенции 42
1.4 Этапы разработки устных коммуникативных тестов в форме интервью и выбор методики контроля уровня сформированности иноязычной коммуникативной компетенции в рамках профессионально-ориентированного обучения английскому языку 50
Выводы к главе 1 78
Глава II. Методика составления устного коммуникативного теста в форме интервью для определения уровня сформированности иноязычной коммуникативной компетенции в рамках профессионально-ориентированного обучения английскому языку 80
2.1 Проектирование коммуникативного теста 80
2.2 Разработка тестовых заданий коммуникативного теста 88
2.3 Администрирование коммуникативного теста для определения уровня сформированности иноязычной коммуникативной компетенции испытуемых 104
2.4 Описание процедуры проведения тестирования и анализ полученных результатов 120
Выводы к главе II 129
Заключение 131
Библ иография 134
Приложение № 1 154
Приложение №2 155
Приложение № 3 161
Приложение № 4 172
- Ретроспективный анализ тестирования уровня сформированности иноязычной коммуникативной компетенции в устной речи
- Основные характеристики устных коммуникативных тестов для оценки, уровня сформированности иноязычной коммуникативной компетенции
- Разработка тестовых заданий коммуникативного теста
Введение к работе
В настоящее время важность языковой подготовки выпускников технического вуза уже не вызывает сомнения. Это обусловлено, по меньшей мере, тремя причинами. Во-первых, иностранный язык, как учебная дисциплина, выполняет гуманистическую функцию развития креативных и логических качеств личности; во-вторых, в современном взаимосвязанном и взаимозависимом мире знание языка на коммуникативно-достаточном уровне позволяет установить деловые контакты между специалистами; и, в-третьих, снятие языковых барьеров расширяет круг возможностей как для трудоустройства, так и для получения образования будущим инженером за рубежом. Проведение радикальных реформ во всех сферах жизни российского общества, в том числе и в образовательной, ставит отечественную высшую школу перед необходимостью не только существенного обновления содержания обучения иностранным языкам, но и форм контроля уровня сформированности иноязычной коммуникативной компетенции ее выпускников.
Вопросы, связанные с проблемой создания методики контроля иноязычной коммуникативной компетенции исследовались в рамках лингводидактического тестирования и представлены в работах ведущих отечественных и зарубежных методистов (Л.В. Банкевича 1965, И.А. Цатуровой 1969, 1970, А.Ю. Горчева 1976, Е.Д. Коноваловой 1983, С.К. Фоломкиной 1986, И.А. Рапопорта 1987, В.А. Коккоты 1989, Е.Л. Корчагина 1996, О.Г. Полякова 1996, СР. Балуян 1999, Е.Н. Гром 1999, Л.В. Фарисенковой 2001, L.J. Cronbach 1951, J.O. Roach 1971, R. Jones 1979, M. Canale 1980, J.B. Carrol 1980, S. Harold 1983, B. Spolsky 1985, N.A. Berkoff 1985, D. Douglas 1994, L.F. Bachman 1996 и др.). Тем не менее, приходится констатировать, что эта проблема еще не получила своего окончательного решения, так как рассматривалась в основном применительно либо к студентам языковых вузов, либо к выпускникам школ. Вопросы, связанные с определением уровня сформированности иноязычной коммуникативной компетенции студентов неязыкового вуза, не достаточно изучены на сегодняшний день и требуют специального исследования.
Очевиден тот факт, что сформированность иноязычной коммуникативной компетенции стала одним из важных компонентов социальной мобильности, а также критерием образованности выпускника вуза. Диссертация посвящена исследованию одной из актуальных и сложных проблем - тестированию уровня сформированности иноязычной коммуникативной компетенции специалистов-нелингвистов на основе устного коммуникативного теста в форме интервью. Выбор темы исследования связан с необходимостью поиска новых форм контроля уровня сформированности иноязычной коммуникативной компетенции, соответствующих современному этапу развития системы языкового образования в рамках личностно-ориентированного и коммуникативно-
деятельностного подходов в методике обучения иностранным языкам.
Так как формирование иноязычной коммуникативной компетенции
обучающихся (овладение языком как средством общения) стало главной
целью обучения иностранным языкам в высших учебных заведениях, роль
устной речи, как средства коммуникации, непрерывно возрастает [69].
Следовательно, актуальным является не только обучение неподготовленной
устной речи, но и разработка методики ее контроля. В связи с этим важно
определить достигнутый уровень иноязычной коммуникативной
компетенции выпускников технического вуза в устной речи, поскольку
существует социальный заказ на подготовку высококвалифицированных
специалистов, способных к полноценному устно-речевому,
профессионально-ориентированному иноязычному общению, и, владение
языком международного общения необходимо в их дальнейшей
профессиональной деятельности. Для определения уровня
сформированности иноязычной коммуникативной компетенции был выбран наиболее объективный метод контроля - тестирование на основе устных коммуникативных тестов в форме интервью в качестве итогового вида контроля. Последнее десятилетие характеризуется процессом обновления языкового образования в России и во многих странах мира. В апреле 1997 года Советом Европы был принят документ "Современные языки: изучение, обучение, оценка", и Россия, ставшая членом Совета Европы, присоединяется к установленным этой международной организацией положениям. Сегодня невозможно представить обучение иностранному языку без тестовой формы контроля, в частности: продолжается практика в области эксперимента ЕГЭ, широко применяются различные вступительные тесты, популярны тесты на получение международных сертификатов и т.д. Однако анализ специальной литературы свидетельствует о недостаточной разработке методики контроля уровня сформированности иноязычной коммуникативной компетенции в устной речи выпускников неязыкового вуза. Между тем необходимость такой разработки неоднократно отмечалась в методической литературе.
Очевидно, что к настоящему времени в области лингводидактического тестирования иноязычной коммуникативной компетенции сделано уже немало исследований отечественными и зарубежными специалистами, но тем не менее ряд вопросов так и остался открытым. К их числу относятся некоторые проблемы создания устных коммуникативных тестов в форме интервью для измерения уровня сформированности иноязычной коммуникативной компетенции, определения уровней ее развития, объектов тестирования, разработки методики контроля уровня сформированности иноязычной коммуникативной компетенции в рамках профессионально-ориентированного обучения иностранному языку, обеспечения эффективности устных коммуникативных тестов в форме интервью. Данное исследование представляет собой попытку в некоторой степени решить эти проблемы в современной методике преподавания иностранных языков.
Создание устных коммуникативных тестов в форме интервью для
определения уровня сформированности иноязычной коммуникативной
компетенции особенно важно, так как применение зарубежных тестов с
целью выявления уровня общего владения языком, является в большинстве
случаев необоснованным, в виду того, что они не соответствуют требованиям
программы профессионально-ориентированного обучения иностранному
языку в вузе. Тестирование уровня сформированности иноязычной
коммуникативной компетенции в устной речи органично вписывается в
современную систему языкового образования, поскольку соответствует
практической цели и содержанию обучения иностранным языкам. Таким
образом, в современной образовательной практике выявлены
противоречия: 1) между традиционно сложившейся методикой контроля устной речи студентов неязыкового вуза и современными требованиями, предъявляемыми к контролю; 2) между возросшими требованиями к профессионально-ориентированной языковой подготовке специалистов-нелингвистов и отсутствием четких критериев оценивания уровня сформированности иноязычной коммуникативной компетенции в устной речи; 3) между практикуемым многоуровневым подходом в обучении иностранным языкам в вузе и недостаточным вниманием к проблеме определения уровня сформированности иноязычной коммуникативной компетенции в устной речи выпускников технического вуза при осуществлении итогового вида контроля.
Вышеизложенное позволяет сформулировать актуальность исследования, которая определяется следующими факторами:
необходимостью разработки и применения эффективных устных коммуникативных тестов в форме интервью для определения уровня сформированности иноязычной коммуникативной компетенции студентов неязыкового вуза;
недостаточной реализованностью в методике обучения иностранным языкам в отечественной высшей школе тестовой формы контроля уровня сформированности иноязычной коммуникативной компетенции в устной речи специалистов-нелингвистов;
нерешенностью в научном плане проблемы определения уровней сформированности иноязычной коммуникативной компетенции в устной речи выпускников технического вуза.
Объектом исследования является процесс проектирования, разработки тестовых заданий и администрирования устного коммуникативного теста в форме интервью для определения уровня сформированности иноязычной коммуникативной компетенции студентов неязыкового вуза.
Предметом исследования, таким образом, выступает методика разработки, оценивания и применения устных коммуникативных тестов в форме интервью для измерения уровня сформированности иноязычной коммуникативной компетенции студентов-нелингвистов.
Цель исследования состоит в создании эффективной теоретически обоснованной и экспериментально проверенной методики контроля уровня сформированности иноязычной коммуникативной компетенции выпускников технического вуза на основе применения устных коммуникативных тестов в форме интервью.
Гипотеза исследования заключается в том, что тестовая форма контроля уровня сформированности иноязычной коммуникативной компетенции выпускников технического вуза будет эффективной, если устный коммуникативный тест в форме интервью будет создан в соответствии с современными требованиями лингводидактического тестирования, научно обоснован, пройдет экспертизу и апробацию, где подтвердит действенность разработанной методики контроля.
В соответствии с целью и гипотезой исследования необходимо решить следующие задачи:
проанализировать динамику развития устного тестирования в историческом ракурсе и выявить специфику устных коммуникативных тестов в форме интервью как средства контроля;
определить содержание, структуру иноязычной коммуникативной компетенции выпускника неязыкового вуза, в соответствии с современными требованиями к качеству подготовки специалистов-нелингвистов по иностранному языку в отечественной высшей школе;
выявить основные характеристики и этапы разработки устных коммуникативных тестов в форме интервью, выделить объекты тестирования;
разработать методику контроля уровня сформированности иноязычной коммуникативной компетенции студентов неязыкового вуза, проанализировать основные отличия письменной и устной форм тестирования;
создать количественную и качественную рейтинговые шкалы для оценки уровня сформированности иноязычной коммуникативной компетенции выпускников неязыкового вуза в устной речи и экспериментально проверить эффективность предлагаемой методики контроля уровня сформированности иноязычной коммуникативной компетенции.
Для достижения поставленной цели исследования и решения задач использовались следующие методы:
1) анализ психологической, лингвистической, педагогической и
методической литературы по проблеме устного тестирования уровня
сформированности иноязычной коммуникативной компетенции;
2) анализ отечественных и зарубежных УМК, рабочей программы по
учебной дисциплине "Экологический менеджмент";
наблюдение за учебным процессом;
анкетирование испытуемых и беседа с ними;
тестирование;
проведение эксперимента, статистическая обработка и анализ полученных
результатов тестирования.
Теоретико-методологическая основу исследования составили труды отечественных и зарубежных ученых по следующим проблемам: обучение иноязычному общению и контроль устной речи студентов неязыковых вузов (В.А. Коккота, Н.М. Минина, Е.Л. Корчагина, Н.Ю. Шебеко, В.В. Охотникова и др.), структура иноязычной коммуникативной компетенции (П. Леннон, Н. Хомский, А. Дэвис, Д. Хаймз, В. Гумбольдт и др.), содержание и формы контроля уровня сформированности иноязычной коммуникативной компетенции в устной речи (И.Л. Бим, Н.В. Елухина, О.Г. Поляков, В.В. Сафонова, Е.Н. Гром, Л.Ф. Бахман, А.С. Пальмер и др.), учет индивидуальных особенностей тестируемых (О.А. Казанский, Р.С. Немов, И.А. Зимняя, Н.И. Жинкин, И.С. Юрченко и др.), специфика конструирования тестов (СВ. Клишина, Н.А. Гулюкина, Т.С. Балыхина, B.C. Аванесов, М.Б. Челышкова и др.).
Научная новизна исследования состоит в том, что впервые в методике обучения иностранным языкам в неязыковом вузе исследована проблема контроля уровня сформированности иноязычной коммуникативной компетенции на основе применения устного коммуникативного теста в форме интервью в рамках профессионально-ориентированного обучения иностранному языку; теоретически обоснована методика контроля уровня сформированности иноязычной коммуникативной компетенции в устной речи; выявлены этапы создания и специфика устных коммуникативных тестов в форме интервью; разработаны рейтинговые (аналитическая и целостная) шкалы для оценивания уровня сформированности иноязычной коммуникативной компетенции; обоснован компонентный состав структуры иноязычной коммуникативной компетенции выпускников технического вуза.
Теоретическая значимость исследования состоит в развитии и уточнении методики создания, оценивания и применения устных коммуникативных тестов в форме интервью для измерения уровня сформированности иноязычной коммуникативной компетенции выпускников неязыкового вуза, расширении представления об иноязычной коммуникативной компетенции специалиста-нелингвиста, определении объектов тестирования и характеристик устных коммуникативных тестов в форме интервью, систематизации структуры иноязычной коммуникативной компетенции и тестового задания, в логическом обосновании применения устного тестирования.
Практическая значимость исследования заключается в реальной возможности внедрения разработанной методики контроля уровня сформированности иноязычной коммуникативной компетенции в устной речи выпускников технического вуза. Данная работа также способствует совершенствованию методики создания устных тестов в целом. Теоретические положения могут быть использованы в курсе лекций по методике преподавания иностранных языков в высшей школе. На защиту выносятся следующие положения:
В рамках коммуникативного метода и личностно-ориентированного подхода в методике обучения иностранным языкам наиболее адекватным и действенным средством контроля уровня сформированности иноязычной коммуникативной компетенции студентов-нелингвистов выступает научно обоснованный, соответствующий современным требованиям лингводидактического тестирования, прошедший экспертизу и апробацию устный коммуникативный тест в форме интервью.
Методика контроля уровня сформированности иноязычной коммуникативной компетенции включает в себя создание, применение и оценивание устных коммуникативных тестов в форме интервью. Процесс создания устного коммуникативного теста в форме интервью состоит из двух этапов (проектирования и разработки тестовых заданий); применение тестов происходит дважды в ходе апробационного и основного тестирований на одном и том же контингенте тестируемых и связано с привлечением технических, человеческих и материальных ресурсов; оценивание осуществляется рейтерами и маркером, на основе рейтинговых шкал.
Сочетание целостной и аналитической рейтинговых шкал обеспечивает рациональное оценивание уровня сформированности иноязычной коммуникативной компетенции испытуемых, уровни определяются с учетом требований к уровням владения английским языком, принятых Советом Европы.
Достоверность и обоснованность результатов и выводов определяется теоретической и методологической проработанностью рассматриваемой в диссертации проблемы, комплексным использованием методов теоретического и эмпирического исследования, взаимосвязью выдвигаемых в работе положений с реальной практикой профессионально-ориентированной языковой подготовки будущего инженера, тщательностью проведения экспериментальной работы и обработки ее результатов, сочетанием количественного и качественного анализа материала.
Апробация и внедрение результатов. Разработанная в предлагаемом исследовании методика создания, оценивания и применения устных коммуникативных тестов в форме интервью, с целью определения уровня сформированности иноязычной коммуникативной компетенции прошла экспериментальную проверку и внедрена в Томском политехническом университете на итоговых испытаниях выпускников инженерно-экономического факультета по специальности "Экологический менеджмент" в 2003 и 2004 гг. Основные теоретические положения диссертации и результаты экспериментальной проверки докладывались на ежегодных научно-практических российских и международных конференциях: "Философские проблемы воспитания молодежи" (г. Юрга, ноябрь 2002), "Наука и практика: диалоги нового века" (г. Анжеро-Судженск, ноябрь 2003), "Язык в пол и культурном пространстве: теоретические и прикладные аспекты" (г. Томск, март 2004), "Коммуникативные аспекты языка и культуры" (г. Томск, май 2004), "Вопросы профессионально-
ориентированного обучения иностранным языкам" (г. Томск, июнь 2004) в 2001-2004 гг. По теме исследования опубликовано пятнадцать печатных работ.
Структура исследования: работа состоит из введения, двух глав, заключения, библиофафии и приложений. Объем диссертации составляет 177 страниц, включая 133 страницы основного текста, 4 схемы, 14 таблиц, 1 рисунок, 2 гистофаммы, 305 библиофафических источников.
Во введении дается обоснование выбора и актуальности темы исследования, формулируются его цели, объект, предмет, задачи, методы исследования, определяется его научная новизна, теоретическая и практическая значимость.
В первой главе " Теоретические основы разработки коммуникативных тестов с целью определения уровня сформированности иноязычной коммуникативной компетенции в устной речи" раскрываются теоретические предпосылки исследования - изучается проблема устного тестирования в контексте истории; рассматриваются современные требования к качеству подготовки по иностранному языку специалистов в высшей отечественной школе, анализируются практикуемые формы контроля; выявляются особенности тестирования иноязычной коммуникативной компетенции в рамках профессионально-ориентированного обучения английскому языку; исследуются характеристики и специфика устных коммуникативных тестов в форме интервью; определяются этапы разработки коммуникативных тестов, область применения языка, коммуникативные задачи для разработки тестовых заданий; выделяются объекты тестирования, характеристики тестируемых, создаются рейтинговые шкалы для оценки уровня сформированности иноязычной коммуникативной компетенции в устной речи; предлагается и обосновывается методика ее контроля.
Во второй главе "Методика составления устного коммуникативного теста в форме интервью для определения уровня сформированности иноязычной коммуникативной компетенции в рамках профессионально-ориентированного обучения английскому языку" представляется проект теста, его спецификация, описывается процесс администрирования, процедуры проведения тестирования, производится качественный и количественный анализ экспериментальной апробации. По каждой главе сделаны выводы.
В заключении обобщаются результаты проведенного исследования, формулируются основные выводы и методические рекомендации.
Библиография включает 305 наименований, в том числе 183 наименования на иностранном языке.
В приложении приведены образцы тестовых заданий, англо-русский глоссарий, лексический минимум по направлению "Экологический менеджмент", анкета для студентов и две рейтинговые (целостная и аналитическая) шкалы для оценки уровня сформированности иноязычной коммуникативной компетенции, оценочный лист рейтеров.
Ретроспективный анализ тестирования уровня сформированности иноязычной коммуникативной компетенции в устной речи
В соответствии с темой нашего исследования, нам необходимо рассмотреть историю эволюции устного тестирования, его роли на разных этапах развития науки, изучить работы отечественных и зарубежных авторов по данной проблеме, опыт применения устных коммуникативных тестов, выявить специфику устного коммуникативного теста в форме интервью как средства контроля уровня сформированности иноязычной коммуникативной компетенции.
История тестирования насчитывает более 3000 лет, т.к. еще в древнем Египте, Вавилоне, Греции и в ряде других государств регулярно проводились испытания в письменной или устной форме с целью проверки знания, например, проверки на профессиональную пригодность. "О знании мы сейчас знаем не больше того, что было известно об этом тысячелетия назад. Между тем, формирование системы знаний у обучающихся, и ее проверка -важнейшая цель образовательного процесса и кардинальная проблема методики преподавания иностранных языков. При тестировании выявляется как знание, так и незнание, что достигается посредством системы заданий, нацеленных на выявление знаний. Но лишь в конце XIX века вышел первый сборник контрольных заданий в США, автором которого был F. Galton, именно поэтому родиной тестирования принято считать - США" [2, с. 34]. Его важнейшим вкладом в развитие теории тестов было определение трех основных принципов контроля с помощью тестирования: 1.Применение серии одинаковых испытаний к большому количеству тестируемых; 2.Статистическая обработка результатов; 3.Выделение эталонов оценки.
Перечисленные принципы контроля можно считать базовыми и для тестирования иноязычной коммуникативной компетенции студентов неязыкового вуза.
Д. Кеттел развил многие идеи Ф. Гальтона и предложил предъявлять следующие требования к тесту: 1. Одинаковость условий для всех испытуемых; 2.Ограничение времени тестирования приблизительно одним часом; 3.Отсутствие зрителей, где проводится тестирование;
4.Оборудование должно быть хорошим и располагать людей к тестированию; 5.Одинаковые инструкции и четкое понимание испытуемыми, что нужно делать; б.Результаты тестирования подвергаются статистическому анализу, находится минимальный, максимальный и средний результаты, рассчитывается среднее арифметическое и среднее отклонение [2].
Мы разделяем точку зрения Н.А. Гулюкиной и СВ. Клишиной, что все идеи, выдвинутые Д. Кеттелом, в настоящее время составляют основу современной тестологии. В рамках нашего исследования ни все требования к тесту Д. Кеттела можно применить при тестировании уровня сформированности иноязычной коммуникативной компетенции в устной речи, в частности - ограничение времени тестирования приблизительно одним часом и отсутствие зрителей, где проводится тестирование. Планируемое время составляет - 15 минут, а помимо интервьюера при собеседовании должны обязательно присутствовать рейтеры с целью его объективизации.
Исторические справки о возникновении и развитии лингводидактического тестирования могут быть найдены в работах ведущих отечественных и зарубежных тестологов: Л.В. Банкевича (1965), И.А. Цатуровой (1969), А.Ю. Горчева (1976), П.А. Красюка (1976), С.К. Фоломкиной (1986), И.А. Рапопорта(1989), В.А. Коккоты (1989), О.Г. Полякова (1994), B.C. Аванесова (1995), и др., а также A. Davies (1968, 1978), J.O. Roach (1971), L. Bubenikova, L. Kolmanova, F. Skalova (1975), H. Sollenberger (1978), R. L. Jones (1979), V. Whiteson (1981), P. Lowe Jr. (1982), J.L.D. Clark (1983), A. Pennycook (1989), B. Spolsky (1985, 1990), J. Cattel Mackeen (1890) и др. Однако во всех этих многочисленных исследованиях практически не рассматривается история устного тестирования. Поэтому нам представляется целесообразным рассмотреть историю становления и развития устного тестирования с целью анализа его современного состояния. "В. Spolsky (1985) выделяет три этапа развития устного тестирования:
1. Донаучный, или традиционный этап, на котором измерение при контроле основывается лишь на общем впечатлении (субъективном мнении) экзаменатора (-ов);
2. Психометрически-структуралистский, или современный этап, где основной акцент ставится на измерение уровня владения отдельными видами речевой деятельности, и в основном используются тестовые задания формы "множественного выбора". Но на данном этапе тестологи недостаточно уделяли внимания валидности и аутентичности тестов, хотя и стремились к созданию объективных и надежных тестов.
3. Психо-социолингвистический, или пост-современный этап, на этом этапе решаются проблемы соответствия тестов реальным жизненным ситуациям и обеспечения их высокой валидностью и аутентичностью" [9, с. 12].
Обзор основных этапов в истории лингводидактического тестирования указывает на изменение роли устного тестирования от незначительной на донаучном, или традиционном этапе до центральной на пост-современном этапе, и подтверждает идею, о том, что собеседование с целью оценки знаний присутствовало на протяжении всей эволюции науки. На пост-современном" этапе с целью удовлетворения тестов современным требованиям науки широко используются последние достижения специальной квалиметрии. Согласно требованиям последнего этапа, разработанный нами устный коммуникативный тест должен быть основан на коммуникативно-значимом, аутентичном материале и обладать высокой степенью валидности. В связи с этим можно констатировать, что устное тестирование стало объективным за счет привлечения технических средств, соблюдения всех правил его проведения, подготовки и оценивания ответов, испытуемых рейтерами и маркером, обеспечения характеристик эффективности коммуникативных тестов.
Устное тестирование рассматривается как тщательно разработанная процедура, в которой тестируемый говорит и оценивается на основе того, что он сказал.
Основные характеристики устных коммуникативных тестов для оценки, уровня сформированности иноязычной коммуникативной компетенции
Поскольку в центре нашего методического исследования находятся вопросы, связанные с тестированием, то бесспорный интерес представляют анализ характеристик качества теста, оценки его эффективности, возможных причин неудач, связанных с тестированием.
Процесс научного обоснования качества теста предполагает оценку его основных характеристик. К принципиально важным характеристикам правильно составленного теста относят: валидность, надежность, практичность, экономичность, корректность. При составлении теста возникает вопрос: каким образом обеспечить его главное качество -эффективность? Термин "эффективность" теста заимствован нами у И.А. Рапопорта, Р. Сельг и И. Соттер. В отечественной литературе, посвященной тестам, используется также его варианты - "качество теста", "критерии теста" (И.А. Цатурова (1970), В.А. Коккота (1989), В.Н. Симкин (1996)), в зарубежной "usefulness" (L.F. Bachman, A. Palmer, 1996). В классической тестологии основными характеристиками эффективности считаются валидность и надежность теста. Наиболее полно они подвергались анализу в работах: V.A.Ch. Henmon (1929), R.L. Thorndike (1951) J.R. Gerberich (1961), СИ. Воскерчьяна (1963), Л.В. Банкевича (1965), М.С. Бернштейна (1968), A. Davis (1968), P. Linen (1969) И.А. Цатуровой (1970), J.C. Stanly (1971), А. Анастази (1982) И.А. Рапопорта (1986), И.А. Рапопорта, Р. Сельг, И. Соттер (1987) R. Lado (1961), L.F. Bachman (1990), С. Alderson, С. Clapham, D. Wal (1995), К. Kitao (1997) и др. [9]. Кроме валидности и надежности, тестологами указываются и другие характеристики эффективности теста, такие как: практичность, экономичность, корректность др. (P. Linert, А. Анастази, И.А. Цатурова, В.А. Коккота) Необходимо дать определения данным терминам.
Валидность или адекватность, пригодность, обоснованность - это комплексная характеристика теста, отражающая обоснованность, значимость его результатов, адекватность теста целям измерения. Существуют четыре основных метода определения валидности теста:
1) метод, основанный на изучении содержания теста;
2) метод, основанный на корреляционном анализе;
3) метод, основанный на различных экспериментальных процедурах;
4) метод, основанный на серии теоретико-экспериментальных исследований.
Поэтому различают несколько видов валидности, дающих представление о качестве теста по разным основаниям. Внешняя валидность отражает степень прагматичности, привлекательности теста для тестируемого и (или) тестирующего. Содержательная валидность (валидность по объему) - это степень представленности в тесте, например, содержания программы, учебника, набора ситуаций. Конструктная валидность (в ряде работ концептуальная) определяется на основе анализа содержания теста, насколько объект тестирования и характер заданий учитывают психологические особенности усвоения материала (в лингводидактическом тестировании - языкового, речевого). К лингводидактическим конструктам относятся - речевые умения, навыки. Функциональная валидность - отражает соответствие конкретного теста тому уровню усвоения, виду деятельности, для которого он создан. Факторная валидность — это корреляция между данным тестом и каждым из выделенных факторов, например фактором словесного понимания. Сопоставительная валидность - отражает корреляцию результатов рассматриваемого теста с результатами другого теста. Прогностическая валидность - это характеристика теста, по результатам которого можно определить успешность будущей учебы; измеряется корреляцией результатов тестирования с результатами других тестов, проведенных спустя определенное время и предназначенных для тех же целей. Статистическая валидность определяется на основе анализа результатов тестовых испытаний и проверкой знаний традиционными методами. Критериальная валидность отражает значимость результатов теста по сравнению с некоторым внешним критерием [10].
На валидность оказывают влияние следующие факторы:
1) Обеспечение оптимальной трудности заданий;
2) Экспертиза качества содержания теста;
3) Расчет оптимального времени для выполнения теста;
4) Подбор валидных заданий с высокой дискриминативностью [114].
Надежность — это характеристика качества тестов, отражающая точность педагогических измерений, степень постоянства, стабильности, устойчивости результатов тестирования. Надежным считается тест, который дает постоянные результаты при повторных предъявлениях. Как количественный показатель, надежность может быть выражена через коэффициент стабильности, коэффициент эквивалентности, коэффициент внутренней согласованности, коэффициент гомогенности. 11а надежность теста влияет ряд факторов:
1) содержательная репрезентативность (максимальный охват программы);
2) репрезентативность контингента (тест должен быть выполнен, как сильными, так и слабыми учащимися);
3) количество заданий (чем больше заданий, тем надежнее тест);
4) трудность заданий (трудный тест считается более надежным);
5) стабильность, или стандартность внешних условий тестирования (времени,
устных инструкций, мотивов и оценок).
Существует несколько методов определения надежности теста: 1. ретестовый метод (показатели, выявленные при повторном использовании тестов; чем выше показатели, тем менее чувствительны результаты к обычным изменениям состояния испытуемого и обстановки тестирования);
2. метод эквивалентных форм (тестирование не по одному, а двум тестам, одинаковым по охвату материала, степени трудности, но не идентичных);
3. метод внутренней согласованности форм теста, или метод расщепления (тестируемые выполняют тест, состоящий из двух равноценных по трудности частей, подсчет тестовых баллов ведется для каждого испытуемого отдельно по первому и второму тесту);
4. метод Кьюдера-Ричардсона (однократное предъявление единственной формы теста и согласовании ответов по всем заданиям теста; чем однороднее тест, тем согласованнее его результаты); метод субъективных оценок (сопоставление бланков с оценками, заполненных независимыми экспертами)" [10, с. 24].
Корректность — это качественная характеристика тестового задания, согласно которой корректным считается задание, содержащее один предмет измерения и один правильный ответ.
Практичность теста (технологичность) — это одна из характеристик качества теста, заключающаяся в доступности инструкций и содержания заданий теста для понимания тестируемого, состоящая в сравнительной простоте как в организации тестирования, так и в проверки, подсчета результатов, подведения итогов.
Экономичность — это одна из характеристик качества теста, состоящая в оценивании возможности конкретного теста дать максимум достоверной информации о тестируемом при минимальных затратах времени и усилий на составление, проведение, проверку и обработку теста [10]. Многие из приведенных выше характеристик качества теста актуальны только для тестов в письменной форме.
Принимая во внимание специфику устного тестирования, в котором возможны только элементы стандартизации, а часть характеристик эффективности коммуникативного теста (валидность, аутентичность, интерактивность, воздействие) определяются на основе логической оценки, в нашем исследовании мы использовали концепцию, выдвинутую Л.Ф. Бахманом и А. Пальмером (1996), согласно которой, эффективность коммуникативных тестов наилучшим образом обеспечивают шесть его характеристик: надежность; валидность; аутентичность; интерактивность; воздействие; практичность.
Разработка тестовых заданий коммуникативного теста
Данный тест создавался с целью проверки уровня сформированности иноязычной коммуникативной компетенции, так как основной целью обучения иностранному языку в вузе является формирование у студентов иноязычной коммуникативной компетенции на всех этапах обучения, а ее сформирован-ность является одним из важных компонентов социальной мобильности профессионала. Именно по результатам разработанного теста мы сможем судить об уровне сформированности иноязычной коммуникативной компетенции инженера по учебной дисциплине "Экологический менеджмент". Тем не менее, практика показывает, что некоторые трудности с определением уровня сформированности иноязычной коммуникативной компетенции в устной речи у студентов все-таки есть, именно по этой причине и был создан тест, который бы позволил выявить уровень ее сформированности и проанализировать все причины, лежащие в основе подобного состояния знаний. Разработанный нами тест позволяет охватить раздел профессионально-ориентированного обучения английскому языку студентов неязыкового вуза по направлению "Экологический менеджмент" на завершающем этапе обучения. Поэтому он коррелирует с содержанием требований к уровню владения иностранным языком и образовательным стандартом по профессии, а также направлен на определение уровня владения языком специальности. Безусловно, что созданный устный коммуникативный тест является критериально-ориентированным и используется с целью сопоставления учебных достижений каждого студента с планируемым к усвоению объемом знаний, умений и навыков по английскому языку и образовательным стандартом по специальности. Критериально-ориентированные тесты используются для решения задач, связанных с оценкой доли учебного материала, усвоенного испытуемым, когда необходимо сопоставить с требуемым стандартом образования учебных достижений студентов, определенного уровня подготовки. Данный тест рекомендуется использовать в качестве итогового вида контроля знаний по английскому языку и языку специальности по завершению весеннего семестра для студентов IV курса (контингент тестируемых), факультет или специальность студентов имеют значение.
2. При планировании содержания теста учитывались требования рабочей программы по английскому языку для студентов IV курса инженерно-экономического факультета ТПУ и рабочей программы по "Экологическому менеджменту" (Syllabus for the speciality 656600 - Protection of the Environment TPU) за учебный год, а также содержания учебников по "Экологическому менеджменту" на английском языке, являющимися базовыми для данной специальности, а именно: "Environmental management", авторы: Zemtsov V.A., Izvekov V.N.; "Environmental management", авторы: Ruchkinova O.U., Anzchiferova I.V. и некоторые другие.
3. Тест включает в себя: инструкцию, тестовое задание в виде вопроса или описания, сравнения, обсуждения схемы, картинки, и рейтинговую шкалу Тест по форме требует свободно-конструируемого ответа.
4. Количество заданий в тесте равно 36. Имеются предполагаемые ответы для каждого тестового задания.
5. Все задания теста составлены по одной форме, задания, требующие свободно-конструируемого ответа.
6. Для оценки результатов выполненных студентами заданий используется комбинированная шкала, состоящая из целостной и аналитической четырех уровневых шкал, при этом баллам по целостной шкале придается больший вес, чем баллам по аналитической. Результаты тестирования могут быть представлены в виде единого составного балла, который представляет собой среднее арифметическое баллов различных рейтинговых шкал. При определении уровня сформированности иноязычной коммуникативной компетенции испытуемых мы берем за основу шесть уровней владения английским языком, предложенных Советом Европы (согласно рекомендациям в рабочей программе по "Экологическому менеджменту ХзуНаЬиэ for the speciality 656600 - Protection of the Environment TPU)).
7. Время на выполнение каждого задания — 5 минут, всего тест рассчитан приблизительно на 15 минут для одного испытуемого.
8. Задания данного теста были рассчитаны на предписанный рабочей программой по английскому языку для студентов IV курса инженерно-экономического факультета объем знаний, умений и навыков по английскому языку и определенный syllabus for the speciality 656600 - Protection of the Environment TPU объем знаний, умений и навыков по специальности. Как указывалось выше, разработанный коммуникативный тест состоит из трех заданий: описание и сравнение картинок, ответы на вопросы, где вопросы будут социокультурного характера и ответы на вопросы, при решении которых ставятся задачи выразить свое мнение и продемонстрировать свою осведомленность в профессиональной сфере общения (все задания данного коммуникативного теста представлены в приложении).
9. Что касается рекомендаций по контингенту тестируемых, то предпочтительны студенты четвертого курса по специальности "Экологический менеджмент" неязыкового вуза, изучавшие ранее в школе английский язык (их уровень знаний по английскому языку должен быть не ниже pre-intermediate level).
10. Охват требуемых стандартов - 100 процентов.
11. Автор теста предлагает следующую стратегию расположения заданий в тесте, они должны быть расположены в последовательности от общих (ознакомительных) вопросов для тестируемых, которые необходимы не для оценивания, а для создания психологически благоприятной обстановки для собеседования и определения интервьюером предполагаемого уровня владения английским языком, затем следуют задания, которые подлежат обязательной оценки, а именно: описание и сравнение картинок, их тематика может соответствовать как области естественной ситуации общения, так и программе обучения; ответы на вопросы, где вопросы будут социокультурного характера с целью оценки социокультурного компонента иноязычной коммуникативной компетенции, (они могут соответствовать как области естественной ситуации общения, так и программе обучения); ответы на вопросы, при решении которых ставятся задачи выразить свое мнение и продемонстрировать свою осведомленность в профессиональной сфере общения (согласно требованиям рабочей программы по английскому языку для студентов IV курса инженерно-экономического факультета и syllabus for the speciality 656600 -Protection of the Environment TPU) и мнению ведущих методистов.
