Содержание к диссертации
Введение
Глава 1. Теоретические вопросы тестового контроля в обучении устному профессионально ориентированному общению студентов направления «Менеджмент» 14
1.1 Характеристика контроля как методической категории: содержание термина, функции, виды 14
1.2 Особенности тестового контроля в профессионально ориентированном обучении иноязычному устному общению 23
1.3 Содержание контроля устного профессионально ориентированного общения 37
1.3.1 Устное общение в профессиональной деятельности менеджера .41
1.3.2 Лингвистическая характеристика жанров устного профессионально ориентированного общения на английском языке в сфере менеджмента 48
1.3.3 Определение объектов контроля устного профессионально ориентированного общения 64
1.3.4 Разработка шкал оценивания устного профессионально ориентированного общения 77
Глава 2. Практические вопросы разработки методики тестового контроля устного профессионально ориентированного общения студентов направления «Менеджмент» 91
2.1 Планирование методики тестового контроля 92
2.2 Экспериментальная проверка методики тестового контроля 121
2.3 Интерпретация результатов экспериментальной проверки методики тестового контроля 138
2.4 Рекомендации для преподавателей по разработке методики тестового контроля 150
Заключение 159
Список литературы 161
Приложение 1
- Особенности тестового контроля в профессионально ориентированном обучении иноязычному устному общению
- Содержание контроля устного профессионально ориентированного общения
- Экспериментальная проверка методики тестового контроля
- Интерпретация результатов экспериментальной проверки методики тестового контроля
Особенности тестового контроля в профессионально ориентированном обучении иноязычному устному общению
Под тестовым контролем традиционно понимается такая форма контроля, которая позволяет получить достоверные, надежные данные о качестве формирования или уровне сформированности иноязычных компетенций и обеспечивает их объективную оценку путем педагогического измерения. Следовательно, на первый план выдвигаются его информационная и оценочная функции. При этом самым известным и научно обоснованным методом педагогического измерения считается тест.
В методической науке существует несколько определений данного термина (И.А. Цатуровой (1972), СИ. Воскерчьян (1972), В.А. Коккоты (1989), B.C. Аванесова (1989), В.П. Беспалько (1997) и др.), изучив которые, можно выделить следующие существенные признаки теста предварительная подготовка и предварительная экспериментальная проверка теста с последующими действиями по его улучшению; соответствие определенным показателям качества, позволяющим использовать тест на практике; объективность, независимость оценки результатов от личных суждений контролирующего субъекта;
Поясним, что в настоящем исследовании под тестом мы понимаем метод педагогического измерения уровня сформированности иноязычной коммуникативной компетенции, проводимый посредством предварительно подготовленной и апробированной системы заданий, результаты которого поддаются определенной оценке по заранее установленным критериям.
Рассмотрение представленных выше признаков свидетельствует о том, что разработке окончательного теста всегда предшествует разработка и апробация его предварительного варианта, т.е. тестовый контроль представляет собой многоэтапную деятельность. При этом согласно В.А. Коккота (1989), подготовка предварительного теста проходит пять стадий: планирование, составление предтеста, апробирование, обработку результатов и их интерпретацию, в то время как подготовка основного теста - восемь стадий: перепланирование, составление окончательного теста, подготовку спецификаций и инструкций, экспертизу, подготовку к применению и проведение, обработку результатов и их интерпретацию (цит. по Балыхина 2009,с.П9). Вследствие этого полагаем, что информационная и оценочная функции тестового контроля реализуются, главным образом, на этапе применения окончательного теста, однако его диагностическая и корректировочная функции осуществляются на промежуточных этапах: апробации, обработки и интерпретации результатов предтеста, его перепланирования. Подробному рассмотрению данного вопроса отводится параграф 2.2 настоящего исследования.
Вторым существенным признаком теста выступает его соответствие определенным показателям качества, эффективности. К числу таких показателей, согласно Л.Бахман и А. Палмер, относятся конструктивная валидность, надежность, аутентичность, интерактивность, воздействие и практичность (цит. по Цатурова, Балуян 2004, с.24). Рассмотрим каждый из них подробнее.
Так, валидность понимается как комплексная характеристика теста, отражающая обоснованность, значимость его результатов, адекватность теста целям измерения (Балыхина 2006, с. 9). То есть тест должен давать ответ на вопрос: измеряют ли задания то, что хотели его составители. В данном внимание будет уделяться валидности основного (окончательного) теста, который будет спроектирован и разработан для итогового контроля устного профессионально ориентированного общения. Обусловлено такое внимание к валидности основного теста тем явлением, которое в зарубежной методической науке определяется как washback effect, т.е. влияние форм и приемов итогового контроля на выбор форм и приемов текущего контроля и обучающих упражнений. Следовательно, недостаточно корректные действия по определению валидности итогового контроля могут отрицательно повлиять на весь процесс обучения.
В вышеупомянутом определении эффективности теста по Л. Бахман и А. Палмер используется термин «конструктивная» валидность, что не случайно, поскольку данные исследователи включали в его содержание все другие виды валидности. В современной методической науке зарубежные (Douglas D. (2001Б)) и отечественные (Балуян СР. (1999)) тестологи придерживаются иного взгляда и полагают, что различные виды валидности не могут замещать друг друга (Балуян 1999, с.9).
В настоящей работе, вслед за Б. О Салливан, будем придерживаться мнения, что первостепенное значение для тестового контроля устного общения имеют следующие виды валидности: контекстуальная, когнитивная и критериальная (О Sullivan 2008, р.21). Рассмотрим содержание данных терминов, а также представим методические действия, способствующие повышению каждого вида валидности.
Контекстуальная (содержательная) валидность основывается на использовании единой при разработке всех заданий и критериев оценивания модели устного общения, которая выстраивается в результате анализа теоретических данных, программных документов и, при необходимости, изучения потребностей студентов. К. Вейр подчеркивал, что определение контекстуальной валидности теста должно идти одновременно в двух направлениях: на предтестовом этапе (apriori validity) и посттестовом (aposteriori validity) (Weir 2005). При этом большее значение должно уделяться именно предтестовому этапу, так как «чем более полнее будет описан конструкт задания, который планируется измерить, тем большее значение будет иметь процедуры статистической обработки результатов» (Weir 2005, р. 18).
Определению контекстуальной валидности на предтестовом этапе способствует уточнение цели тестового задания, объектов контроля, формата ответа тестируемых, типа информации (абстрактная - конкретная), характеристики ожидаемого устного текста (жанр, риторическая структура и т.д.), тематики, порядка выполнения заданий, времени на выполнение, распределения баллов за каждое задание, характеристики преподавателя-собеседника (акцент, скорость речи, знакомства / незнакомства с ним) (О Sullivan 2008, р.9). Как правило, все эти данные уточняются на подготовительном этапе, в ходе разработки предварительного теста, его перепланирования, и находят свое отражение в спецификации.
Контекстуальная валидность устных тестов может уточняться и напосттестовом этапе посредством анализа ответов тестируемых, предварительнозаписанных на аудио или видео носитель, с целью определить проявляются лите навыки и умения, которые составляют конструкт задания, при решениикоммуникативной задачи того или иного тестового задания. Важно отметить,что тестологи сосредотачивают усилия, главным образом, намакролингвистическом описании, так как предвидеть, каким образом будутиспользованы языковые единицы (лексика и грамматика), намикролингвичтическом уровне довольно трудно. Примеры такого анализа были описаны в исследованиях К. Вейр (С. Weir 2005) и Б. О Салливан (В. О Sullivan 2008) и доказывают, что обоим исследователям удалось получить довольно точное описание конструкта тестовых заданий.
Повышению контекстуальной валидности теста также способствует разработка инструкций для экзаменаторов-собеседников (interlocutor frame), позволяющая стандартизировать поведение экзаменаторов в процессе
Содержание контроля устного профессионально ориентированного общения
Прежде чем приступить к разработке методики тестового контроля устного профессионально ориентированного общения для студентов направления «Менеджмент» необходимо определить особенности устного профессионального общения в сфере бизнеса и менеджмента, а также проанализировать те нормативные документы, которыми руководствуется преподаватель при организации обучения данному виду общения в вузе. Изучение представленных вопросов является основополагающим при отборе объектов контроля и моделировании ситуаций устного общения в контрольных заданиях. Однако их рассмотрение необходимо начинать с определения понятий «общение» и «профессионально ориентированное общение».
Общение выступает объектом исследования многих базисных для методики обучения иностранным языкам наук (в том числе психологии), как в теоретическом, так и практическом плане (Андреева Г.М., 1998; Бодалев А.А., 1995; Зимняя И.А., 1999; Леонтьев А.А., 1999; Парыгин Б.Д.,1999). В самом общем виде данное понятие определяется как сложный, многоплановый процесс установления и развития контактов между людьми и группами, порождаемый потребностями совместной деятельности, включающий в себя три различных процесса: коммуникацию (обмен информацией), интеракцию (обмен действиями) и социальную перцепцию (восприятие и понимание партнера) (Краткий психологический словарь, 1998, С.213-215).
В настоящем исследовании мы будем понимать общение в рамках данной (психологической) парадигмы как триединства коммуникативно-информационной, интерактивной и социально-перцептивной сторон общения (А.А. Бодалев 1970, Г.М. Андреева 1998), что требует уточнения содержания каждой из них.
Коммуникативная сторона общения связана со знанием аспектов, необходимых для адекватного обмена и передачи информации, таких как предмет общения, тема, и подразумевает способность принимать, интерпретировать и передавать информацию, релевантную целям общения, получать обратную связь, владеть вербальными и невербальными средствами коммуникации.
Интерактивная сторона общения основывается на способности результативно и стратегически верно взаимодействовать с партнером по общению в таких типах интеракции, как кооперация (сотрудничество) и конкуренция (конфликт), либо в случае необходимости, уклоняться от взаимодействия.
Термин «перцепция» выступает не как процесс чувственного восприятия (в лингвистике - слухового восприятия звуков речи), а как социальная перцепция, т.е. «процесс восприятия и познания друг друга партнерами по общению и установление на этой основе взаимопонимания» (Андреева 1998, С. 84). Вследствие этого в настоящем исследовании мы пользуемся термином «социальная перцепция». В основе социально-перцептивного компонента общения лежат три психологических механизма: идентификация (способ понимания субъекта общения через осознанное или неосознанное отождествление его с собой), эмпатия (понимание эмоционального состояния речевого партнера, его переживаний, которые он проявляет через свою речь, и выражение ему в своих репликах этого понимания, сочувствия, духовно-нравственного принятия, хотя и не обязательно согласия со всем, о чем речевой партнер говорит) и рефлексия (осознание того, как партнер по общению понимает «меня») (Андреева Г.М. (1981). Важно подчеркнуть, что в настоящем исследовании нас будет интересовать речевое выражение социальной перцепции субъектами общения.
В профессионально направленном обучении иностранному языку принято использовать термин «профессионально ориентированное общение», который получает более конкретное понятийное наполнение ввиду того, что данный вид общения обладает рядом специфических особенностей, отличающих его от общения как такового. Обусловливается данная специфика тем, что направлено профессионально ориентированное общение на решение профессиональных задач, осуществляется благодаря специальным знаниям (полученным в ходе специальной подготовки) и имеет ценность в пределах определенной профессиональной группы (Астафурова 1997Б, с. 12-13). Вследствие этого понятие профессионально ориентированного общения требует отдельного определения. Изучение данного вопроса показало, что в методической литературе можно найти целый ряд определений рассматриваемого термина, остановимся лишь на некоторых из них.
Наиболее подробно содержание профессионально ориентированного общения было представлено в исследовании М.В. Гончаровой, которая понимала его как социально-ориентированную интерактивную деятельность, осуществляемую в определенной профессиональной или учебной среде для регуляции всех видов деловых отношений на основе решения коммуникативных задач, использующую для этого вербальные и невербальные средства иностранного языка, присущие определенной профессиональной/учебной и культурной среде, в которой это общение осуществляется, и имеющую целью и результатом оптимизацию данной деловой деятельности (Гончарова М.В. 2005, с. 13). Представленное выше определение довольно подробно описывает цели профессионально ориентированного общения, используемые средства, условия его функционирования, но вместе с тем нельзя признать его достаточно полным, поскольку общение в нем рассматривается как деятельность, включающая в себя только два компонента: коммуникацию и интеракцию, т.е. перцептивный компонент в нем в полной мере не отражен. Однако, как будет доказано позднее, перцептивная сторона общения также реализуется при выполнении совместной профессиональной деятельности, в том числе управленческой.
В этой связи в большей мере соответствующим задачам настоящей работы можно признать определение профессионально ориентированного общения Е.П. Шишмолиной (2007). Данный исследователь понимает его как процесс установления, поддержания и развития прямого или опосредованного контакта представителей одной профессиональной группы, включающей коммуникативный, интерактивный и перцептивный компоненты, с целью выполнения совместной профессиональной деятельности и достижения положительного результата в ней (Шишмолина 2007, с.79).
Тем не менее, в представленное определение необходимо внести уточнение следующего порядка. В методической науке не случайно функционирует термин «профессионально ориентированное» общение. Связано это с тем, что используемые в учебном процессе ситуации общения остаются все же учебными ситуациями, и на более ранних этапах специализации студентов они призваны моделировать общение в рамках учебной и условно-профессиональной деятельности. По этой причине рассматриваемое определение профессионально ориентированного общения может быть дополнено и представлено как осуществляемый в определенной профессиональной или учебной среде процесс установления, поддержания и развития прямого или опосредованного контакта, включающий коммуникативный, интерактивный и социально-перцептивный компоненты, с целью выполнения совместной учебной / условно-профессиональной / профессиональной деятельности и достижения положительного результата в ней.
Экспериментальная проверка методики тестового контроля
Цель экспериментального исследования заключалась в проверке сформулированной во введении рабочей гипотезы и, как следствие, оценке эффективности предлагаемой методики контроля устного общения указанного контингента студентов.
Были выделены следующие этапы достижения цели экспериментального исследования:1) экспериментальное обучение с применением разработанных приемов и средств контроля для постепенного развития у студентов самоконтроля при осуществлении устного профессионально ориентированного общения;2) апробация предварительного (пилотного) комплекса тестовых заданий для получения качественной информации о его характеристиках;3) апробация основного комплекса тестовых заданий для получения качественной и количественной информации о его характеристиках.
Данный эксперимент характеризуется как проверочно-поисковый, т.к. проводился с целью проверки гипотетических положений и был направлен на подтверждение эффективности разработанной системы контроля устного профессионально ориентированного общения. По условиям организации он считается естественным, поскольку осуществлялся в процессе обучения студентов английскому языку в специально отведенные для этого дни и время (Штульман 1971).
Эксперимент проходил в двух группах студентов второго курса направления «Менеджмент» в рамках занятий по английскому языку в Высшей школе менеджмента Санкт-Петербургского государственного университета во втором семестре 2011-2012 учебного года. Экспериментальное обучение носило систематический распределительный характер, т.е. экспериментальные занятия по развитию самоконтроля чередовались с занятиями, преследующими иные цели.
Экспериментальная группа состояла из 14 человек, контрольная группа из 8. К неварьируемым условиям эксперимента относились: количество занятий, сходные по уровню обученности студенты (уровень В2, определяемый по результатам входного тестирования на факультете), место и роль иностранного языка в учебном плане. В качестве варьируемых условий выступали средства и приемы текущего контроля вследствие того, что в экспериментальной группе использовались разработанные нами тестовые задания и критерии оценивания, в то время как в контрольной группе применялись традиционные формы контроля.
В экспериментальном обучении принимали участие студенты экспериментальной группы. Занятия по развитию самоконтроля при осуществлении устного общения проходили по следующему алгоритму: 1) студентам предлагался определенный вид тестовых заданий (примеры приведены в параграфе 2.1) и критерии его оценивания; 2) совместно с преподавателем обсуждались требования к речевому поведению студентов в ходе общения, выстраивалась программа речевых действий, композиционная структура; 3) одной паре студентов предлагалось выполнить данное тестовое задание, в то время как всем остальным оценить его выполнение в соответствии с представленными критериями; 4) оценки студентов по каждому критерию сравнивались с оценкой преподавателя, обосновывались, расхождения обсуждались; 5) все студенты выполняли тестовое задание в парах, осуществляя запись своих ответов; 6) полученная запись предоставлялась для оценивания другой паре студентов, которые по итогам ее прослушивания сравнивали между собой оценки по каждому критерию, обосновывали их; 7) далее студенты получали обратно свою запись ответа, прослушивали ее, выставляли себе оценку и сравнивали ее с оценкой, данной другой парой студентов, расхождения обсуждались. Таким образом осуществлялась работа с каждым из трех видов тестовых заданий. Технически возможным такое обучение стало благодаря использованию лингафонного оборудования. На последующих этапах работы, после того как студенты были ознакомлены с особенностями всех видов заданий (содержанием, структурой, критериями, требованиями к речевому поведению), шаг 1 и 2 из представленного выше алгоритма пропускались. Следовательно, в качестве контролирующего субъекта на этапе текущего контроля выступали, главным образом, сами студенты, что способствовало реализации следующих его функций: обучающей (постепенное развитие самоконтроля); информационной и оценочной (студенты получали информацию об успешности / неуспешности выполнения задания в соответствии с заданными показателями),
Интерпретация результатов экспериментальной проверки методики тестового контроля
Контекстуальная валидность на предтестовом этапе (a priori validity) обеспечивалась уточнением цели теста, экспликацией объектов контроля каждого отдельного тестового задания, описанием их формата, составляющих коммуникативной компетенции и компонентов общения, с учетом которых разрабатывались как сами тестовые задания, так и шкалы оценивания. Частично эти данные были представлены в теоретической главе настоящего исследования, свое воплощение они также нашли в разработанной спецификации тестового контроля умений устного профессионально ориентированного общения на английском языке студентов направления «Менеджмент».
Контекстуальная валидность на посттестовом этапе (a posteriori validity) обеспечивается более точным описанием объектов контроля. Так, проведенный анализ фонограмм с записью ответов испытуемых позволил проиллюстрировать конкретными примерами из их речи, какие умения, из тех, что составляют конструкт задания, действительно проявляются в ходе решения коммуникативной задачи (ответы студентов представлены в Приложении 6). Примеры реализации умений, взятые из некоторых ответов, представлены в таблице 7. более точные сведения об объектах контроля коммуникативно-информативной и интерактивной сторон общения. Они представлены на схеме 2.
Важно подчеркнуть, что при выполнении тестовых заданий представленные на схеме 2 умения устного общения проявлялись не в равной степени одинаково, о чем свидетельствуют диаграммы 1-32
Так, при выполнении тестовых заданий №1-2 не все студенты контрольной группы продемонстрировали умения принимать решение в соответствии с ситуацией общения и излагать его (75%), а также завершать речевой контакт, используя принятые в профессиональном социуме реплики завершения контакта (87,5%). Данные умения не всегда проявлялись студентами обеих групп и при выполнении тестовых заданий №3-4, вместе с умениями избегать прямого ответа (87,5%), оказывать речевое воздействие (87,5%) (студенты контрольной группы) и умениями использовать формулы вежливости (92,8%) (ЭГ) и 75% (КГ)). При выполнении тестового задания №5 также не всегда демонстрировались умения оказывать речевое воздействие (92,8% (ЭГ) и 75% (КГ)) и реагировать на речевое воздействие (85,7% (ЭГ) и 62,5% (КГ)). Вместе с тем необходимо отметить, что за исключением умения реагировать на речевое воздействие, все остальные проявлялись, в том числе в контрольной группе студентов в как минимум 75% случаев, что оправдывает их рассмотрение в качестве объектов контроля.
Представленные на диаграммах данные позволяют сделать вывод о том, что содержание обучения устному профессионально ориентированному общению необходимо скорректировать таким образом, чтобы включить в него дополнительные упражнения для тренировки тех умений, которые не всегда демонстрировались студентами при решении речевой задачи, однако являются профессионально значимыми для их будущей профессиональной деятельности.
Перейдем к описанию критериальной валидности. В приложении 6 представлены баллы, полученные студентами экспериментальной и контрольной групп за выполнение заданий №1-5 основного теста от трех рейтеров.Полученные результаты можно наглядно представить в виде диаграмм.
Из диаграмм следует, что студенты экспериментальной группы получили более высокие баллы за выполнение всех заданий основного теста по сравнению со студентами контрольной группы, что может выступать подтверждением эффективности предложенной нами методики контроля.
В таблице 8 представлено общее количество баллов, полученных студентами за выполнение всех заданий основного теста по каждому критерию. Из нее следует, что самые низкие баллы во всех заданиях студенты набрали по критерию языковая корректность, что может выступать свидетельством
