Содержание к диссертации
Введение
ГЛАВА I. Традиционное тестирование как средство мониторинга результатов обученности студентов 31
1.1. Традиционные представления о роли средств дидактической тестологии в образовательном процессе вуза 31
1.1.1. Цели, задачи, функции и организация тестирований 32
1.1.2. Условия и факторы процесса педагогических измерений 64
1.2. Мониторинг качества как инструмент управления образованием .. 89
1.2.1. Функции мониторинга и современные представления об использовании его результатов в системе высшего профессионального образования 96
1.2.1а. Защитная функция мониторинга 97
1.2.16. Мотивационная функция мониторинга 102
1.2.2. Аспекты управления качеством образования 104
1.3. Компьютерное тестирование как основа технологий мониторинга качества. Типология средств дидактического тестирования 108
1.3.1. Векторный рейтинг 129
1.3.2. Дидактическая релевантность 133
1.3.3. Сравнение свойств технологий дистанционного обучения 137
1.3.4. Потенциал дидактического тестирования как средства развития студента 139
ГЛАВА II. Развивающий измерительный процесс в вузе 141
2.1. Обученность и обучаемость в системе индивидуальных свойств студента 142
2.1.1. Психофизиологические и педагогико-психологические аспекты развития студента 142
2.1.2. Динамика оценок обученности студентов 166
2.2. Система развивающего измерительного процесса в вузе 176
2.2.1. Компоненты развивающего измерительного процесса, их связи и функции 179
2.2.2. Условия и факторы измерительного процесса как средства управления развитием интеллектуальных свойств студента 186
2.3. Математическая модель эволюции обученности и обучаемости студента 191
2.3.1. Модель эволюции обученности и обучаемости студента 199
2.3.2. Прогнозирование обученности и обучаемости студентов на основе модельных представлений 214
2.4. Интерфейс как средство поддержки активности учебной деятельности студентов 216
2.4.1. Представления педагогической информации, передачи и контроля ее усвоения 216
2.4.2. Конструирование форм представления образовательной информации 218
2.5. Методика непрямого мягкого тестирования. Комплекс методических и технологических требований к сценарию и интерфейсу ДПК ...: 221
2.5.1. Интерфейсы мультидисциплинарных дидактических программных комплексов «Диалог» и «Дидактор» 231
2.5.2. ДПК «Диалог» 232
2.5.3. ДПК «Дидактор» 237
ГЛАВА III. Методическая система стимулирования обученности и обучаемости студентов средствами дидактического тестирования 252
3.1. Внутри- и межвузовское компьютерное тестирование как инструмент развивающего измерительного процесса 252
3.2. Методические и организационные требования к организации развивающего измерительного процесса в вузе 256
3.3. Методическая система стимулирования обученности и обучаемости 270
3.4. Становление методической системы стимулирования обученности и обучаемости средствами дидактического тестирования. Основные результаты исследования 274
Выводы 303
Список принятых сокращений 306
Литература 308
- Мониторинг качества как инструмент управления образованием
- Условия и факторы измерительного процесса как средства управления развитием интеллектуальных свойств студента
- Методика непрямого мягкого тестирования. Комплекс методических и технологических требований к сценарию и интерфейсу ДПК
- Методические и организационные требования к организации развивающего измерительного процесса в вузе
Введение к работе
Актуальность исследования
Современный период развития системы профессионального образования характерен интенсивным внедрением компьютерных технологий, применение которых многоаспектно. Одним из наиболее востребованных направлений их применения является управление качеством на основании мониторинга результатов тестирования проф.подготовки (М.В. Рыжаков, СЕ. Шишов, и др.). Тестированию подвергаются как психологические свойства студентов (психологическое тестирование), так и их знания, умения, навыки (дидактическое тестирование). Технологии дидактического тестирования строились на основе ранее развитых технологий психологического тестирования (А. Анастази, П. Клайн, А. Г. Шмелев и др.), чем обусловлено их внешнее сходство и то, что для обработки результатов дидактических тестирований привлекается, как и в психологии, математический инструм ентарий технической теории измерений (Дж. Сквайре).
Механический перенос аппарата психологической тестологии в область дидактических измерений считается достаточно оправданным (А.И. Башмаков, В.И. Нардюжев, Ю.М. Нейман и др.) и редко подвергается критике (Дж. Равен). Значимую роль в тестологии играет надежность теста - степень неизменности результата при повторах измерения. Надежность дидактических измерений, в отличие от психологических, традиционно низка, поскольку студенты подвержены мотивационным влияниям и их измеряемая обучен-ность, в отличие от психофизиологических свойств, может значительно меняться в относительно краткие сроки.
С узким пониманием дидактического тестирования только как измерительного средства трудно совместить наблюдаемую иногда необычно высокую активность учащихся в стремлении к повышению своего уровня обученное в условиях тестирований. Этот феномен проявляется при отклонении условий тестирований от канонов тестологии, поэтому его проявления относят к погрешностям эксперимента и не изучают. Однако объективное существование этих проявлений указывает на возможность применения дидактического тестирования как средства развития, мотивирующего студента к учению. Первенство во внедрении технологий тестирования принадлежит сфере общего среднего образования, где мониторинговые исследования ведутся на больших территориях и в течение длительного времени (Г.С. Ковалева, В.А. Хлебников, А.Г. Шмелев и др.). В таких масштабах сложно соблюсти нормативную технологию, поэтому здесь отчетливо проявляется указанный выше феномен повышения активности. Организаторы дидактиче-
ских тестирований, стремясь к повь июашмнтмямми особое внимание
КИБЛИвТЕКА . {
3 СП
О*
"SfVftl
I <*
уделяют устранению вызывающих его мотивационных влияний. (B.C. Ава-несов, Е.А. Михайлычев, В.И. Васильев и др.). Отмеченные проявления нежелательны с точки зрения традиционной тестологии, т.к. снижают инструментальную точность результатов мониторинга, но, в то же время, они и указывают на существование новой потенциальной возможности позитивной мотивации студентов, преподавателей, руководителей вузов, что является поводом к научному исследованию. Игнорирование этой возможности противоречит сути дидактики, где приоритет отдается таким технологиям, где каждый элемент, каковым являются и дидактическое измерение, способствует развитию студентов и росту образовательных результатов. Пересмотр традиционного отношения к роли тестирования в учебном процессе актуален, т.к. позволит расширить трактовку роли дидактических тестовых технологий, использовать их не только как измерительный инструмент, но и как средство развития студентов.
Интерфейс дидактического программного комплекса (ДПК) обладает свойствами, определяющими качество восприятия учебного материала (М. Донской). Оснащая интерфейс определенными компонентами, можно усилить мотивацию студентов к учебе (подобно тому, как дети мотивируются в процессе компьютерных развлекательных игр) и существенно продлить период активности студента в рамках сеанса тестирования, что позитивно скажется на точности измерения обученности. Отождествление теста только с инструментом для измерения вызвало стремление конструкторов к повышению надежности путем исключения из интерфейса «ненужных и отвлекающих внимание» элементов. Это же не только привело к редкости научных исследований, направленных на поиск и придание интерфейсу мотивационных свойств, способствующих усвоению учебного материала, но и обусловило часто наблюдаемое неприятие тестирований студентами, т. е. нивелирование позитивных черт образовательных компьютерных технологий. Этим обусловлена актуальность исследований в области придания интерфейсу ДПК мотивационных свойств.
К сожалению, существование указанных противоречивых явлений поддерживается нормативными документами (см. напр.: Инструкция о проведении централизованных тестирований в 2005г. ФЦТ МОН РФ; Приказ Минобразования РФ № 1122 от 17042000, и др.), где приоритет отдан инструментальной надежности.
В ситуациях конкурсного отбора специалистов и абитуриентов большое значение придается точности (разрешающей способности) тестового измерения. Естественным лимитирующим фактором здесь является длительность сеанса тестирований. Точность дидактических измерений без уве-
личения длительности может быть повышена путем применения шкалированных (градуированных) тестовых заданий (B.C. Аванесов, Е.А. Михайлы-чев). Включение в тест таких заданий позволяет оптимизировать измерение за счет увеличения роли каждого задания. Редкость применения шкалированных заданий объясняется неразработанностью соответствующего теоретического аппарата, отсутствием соответствующих баз тестовых заданий и программного инструментария. Современные требования системы профессионального образования к оптимальности учебного процесса придают актуальность исследованиям в областях применения шкалированных тестовых заданий.
. Особое значение количественной оценке и прогнозу свойств специалистов придается в новых областях человеческой деятельности, где нет «готовых рецептов». Среди таких свойств одним из важнейших является обучаемость - индивидуальные показатели скорости и качества усвоения человеком знаний, умений и навыков в процессе обучения (по А.К. Марковой). Сегодня процедуру отбора специалистов часто ограничивают лишь измерением обученности - результата обучения (организованного или стихийного), включающего как наличный, имеющийся к сегодняшнему дню запас знаний, так и сложившихся способов и приемов их приобретения. (Глоссарий Федерального портала "Российское образование"). Это связано не только с отсутствием инструментария для измерения обучаемости, но и с бытующим ошибочным смешением понятий обученностъ и обучаемость. Измерение обучаемости и прогнозирование развития свойств абитуриентов, студентов и специалистов является областью открытой для научного поиска. Актуально создание соответствующего инструментария и теоретической базы включающей педагогико-математическую модель для количественного изучения процесса усвоения знаний.
Перечисленные выше аргументы обусловили актуальность исследования и привели нас к выявлению основного противоречия между традиционным пониманием дидактического тестирования и его широкой трактовкой, позволяющей не только измерять достижения, но и способствовать стимулирования познавательной деятельности студентов. Это основное противоречие включает частные противоречия:
между потребностями системы профессионального образования и фактическими возможностями, предоставляемыми педагогической теорией и образовательными компьютерными технологиями в части измерения обучаемости и прогноза обученности студентов;
между фактическими и потенциальными возможностями дидактического тестирования для стимулирования роста обученности и развития обучаемости студентов;
между традиционными нормативными требованиями к организации дидактического тестирования и современными требованиями оптимизации и гуманизации вузовского учебного процесса;
между недостаточностью средств измерения обучаемости и прогнозирования свойств студентов и требованием их наличия в арсенале организаторов вузовского учебного процесса,
разрешение невозможно без существенной коррекции некоторых из сложившиеся представлений дидактической тестологии и дидактики высшей школы.
Перечисленные противоречия привели нас к постановке научной проблемы, заключающейся в создании концепции дидактического тестирования как средства развития студентов и методической системы реализации ее, что позволило сформулировать тему настоящего исследования: тестирование обученности как средство развития обучаемости.
Решение поставленной проблемы позволит открыть новые направления исследований динамики обученности и обучаемости, реализовать потенциальные возможности дидактического тестирования, придать ему развивающие и предсказательные свойства, сделать его полноправным участником вузовского учебного процесса, усилить его функции в управлении качеством.
Цель исследования - создать концепцию и методическую систему стимулирования роста обученности и развития обучаемости студентов.
Объект исследования - процесс дидактического тестирования в вузе.
Предмет исследования - особенности процесса дидактического тестирования как средства развития обучаемости студентов.
Проведенные на предварительном этапе исследования эксперименты привели нас к формулировке следующих гипотез исследования.
-
Включение в сценарий вузовского дидактического тестирования предлагаемой нами системы инструментальных и организационных факторов приведет к стимулированию роста обученности и развития обучаемости студентов.
-
Позитивное влияние на рост обученности и развитие обучаемости включаемой в дидактическое тестирование системы факторов будет наиболее существенным в условиях массовости сеансов тестирований.
-
Педагогико-математическое моделирование эволюции обученности и обучаемости студентов позволит оптимизировать вузовский учебный процесс в направлении роста обученности и развития обучаемости.
4. Педагогико-математическая модель эволюции обученности и обучаемости должна быть основана на известных педагогических и психофизиологических концепциях мотивации, обученности, обучаемости и самопреодоления студентов, а также на известных методах математической теории систем.
Сформулированные цель, объект и предмет исследования определили совокупность следующих задач исследования.
-
Изучить практику мониторинга качества образования и выявить факторы, стимулирующие рост обученности. Определить базу для проведения эксперимента в условиях вуза. Установить позитивное влияние выявленных факторов на рост обученности студентов.
-
Систематизировать выявленные факторы и обосновать необходимость введения их в учебный процесс для стимулирования развития студентов. Обосновать коррекцию аппарата дидактической тестологии направленную на придание тестированию роли средства развития.
-
Создать и обосновать концепцию развивающего измерительного процесса, включающую требования к сценарию тестирования и интерфейсу дидактического программного комплекса, организационную технологию и систему мер защиты. Реализовать предложенную концепцию и проверить ее экспериментально.
-
На основе известных психофизиологических представлений о процессе обучения (А.Г. Асмолов, Л.В. Шеншев и др.) и известных методов математической теории систем построить педагогико-математическую модель эволюции обученности студентов. Путем сравнительного анализа принятого психолого-педагогического представления об обучаемости (А.К. Маркова, Б.Б. Айсмонтас и др.) с фигурирующими в построенной модели математическими объектами, определить математический аналог понятия «обучаемость». Продемонстрировать адекватность построенной модели и введенного математического аналога путем сравнения результатов экспериментальных тестирований с результатами моделирования.
-
Предложить методическую систему стимулирования роста обученности и развития обучаемости студентов, объединяющую педагогико-математическую модель, программный инструментарий, методическое и технологическое описание. Аргументировать приемлемость методической системы и предложить пути ее применения в решении задач мониторинга и управления качеством образования.
Теоретико-методологические основы и источники исследования объединены нами в группы по пяти основаниям:
в части психолого-педагогического и психофизиологического описания процесса обучения, обученности и обучаемости студентов - работы Б.Б. Айсмонтаса, А.Г. Асмолова, Е.И. Бойко, Р. Грановской, Д.И. Дубровского, Г.П. Звенигородской, П. И. Зинченко Т.П. Зинченко, А.М Иваницкого, Р. Клацки, А.Н. Лебедева, А.С. Лурия, В.Я. Ляудиса, А.К. Марковой, Н.А Менчинской, М.Н Невзорова., В.И. Слободчикова., А.А. Смирнова, Е.Н. Соколова, Г. Хорна, И. Хофмана, Л.В. Шеншева, И.С. Якиманской и др.;
в части педагогического моделирования и управления - работы Р. Аткин-сона, А.А. Дзюбенко, B.C. Лазарева, О.Е. Мачкариной, М.Н. Невзорова, М.М. Поташника, Н.А. Рожковой, В. Рындак, В.И. Солдаткина, Н.Ф. Талызиной, П.И. Третьякова, А.Н. Тихонова, К.М. Ушакова и др.;
в части математического моделирования процессов развития - работы Р. Гилмора, X. Гулда, В.И. Крылова, Л.С. Понтрягина, И.Р. Пригожина, Ю.М. Романовского, А.Б. Рубина, Я. Тобочника, Г. Хакена и др.;
в части мониторинговых исследований и вопросов их внедрения - работы Н.В. Абрамовских, В.И. Андреева, В.П. Беспалько, Н Вербицкой, П.В. Голубкова, В.В. Гузеева, Г.Ю. Ксензовой, А.И. Кукуева, Г.С. Ковалевой, Г.К. Селевко, О.Е. Лебедева, Н.И. Неупокоевой, А.Н. Майорова, Д.Ш. Матроса, Н.Н. Мельниковой, A.M. Моисеева, Н. Немовой, В.Г. Попова, Д.М. Полева, А.В. Могилева, М.В. Рыжакова, Н.Ф. Талызиной, К.М Ушакова, СЕ. Шишова, В.А Ясвина и др.;
в части организации учебного процесса с применением ДПК - работы В.В. Гузеева, В.П. Демкина, К.Г. Кречетникова, Г.В. Можаевой, И.В. Роберт, В.И. Солдаткина, А.В. Хуторского, С.А. Щенникова и др.;
в части разработки ДПК и технологий их применения - работы B.C. Ава-несова, А. Анастази, А.И. Башмакова, В.И. Васильева, К.Д. Иванникова, A.M. Лобок, Т.Д. Макаровой Е.И. Машбица, Е.А. Михайлычева, В.И. Нар-дюжева, Ю.М. Неймана, А.В. Нестерова, Е.С. Полат, Дж. Равена, Н.В. Софроновой, В.В. Тимченко, СЮ Трапицына, В.А. Хлебникова, М.Б. Че-лышковой, А.Г. Шмелева и др.
В соответствии с поставленными задачами, нами выбраны методы исследования: анализ литературных источников (в области педагогики, психологии, информационных технологий, мониторинга качества образования, тестологии); социологические методы (наблюдение и опрос); педагогический эксперимент (дидактическое тестирование, анализ и сравнение); математический эксперимент (моделирование).
Научная новизна исследования:
-
Предложена концепция развивающего измерительного процесса, приведшая к разрешению сформулированного основного противоречия путем коррекции и дополнения сложившиеся представлений дидактической тестологии. Это позволило открыть новые направления в исследовании динамики обученности и обучаемости.
-
Впервые предложена педагогико-математическая модель эволюции обученности и обучаемости студентов - МЭОО (в англ. транс: Competence & Learning Ability Evolution Model, CLAEM), включающая, в отличие от известных педагогических моделей, возможности количественного прогнозирования обученности и обучаемости, а также косвенного измерения психофизиологических характеристик студентов и мотивационных факторов процесса усвоения студентами учебной информации.
-
В рамках модели МЭОО впервые предложены математические выражения для оценки психофизиологического свойства «обучаемость».
-
Предложен новый способ количественного оценивания степени моти-вационного воздействия факторов учебного процесса на рост обученности и развитие обучаемости студентов путем косвенного измерения и применения математического аппарата теории систем в рамках модели МЭОО.
-
В рамках модели МЭОО на основе методов математической теории систем предложен новый способ количественного прогнозирования обученности и обучаемости студентов в условиях варьируемого многофакторного влияния.
-
На основе синтеза известной в тестологии концепции шкалированных (градуированных) тестовых заданий и распространенной идеи о применении деловых игр в обучении, впервые предложен методико-технологический подход (методика) непрямого мягкого тестирования -НМТ (в англ. транс: Indirect Mild Testing, 1МТ) для применения в конструировании программного инструментария, отличающегося от известных в тестологии образцов повышенной степенью привлекательности и гуманистичное.
Теоретическая значимость результатов исследования
В настоящем исследовании средствами дидактического тестирования решаются проблемы стимулирования познавательной деятельности студентов. В частности:
-
Предложен способ стимулирования познавательной деятельности студентов средствами дидактического тестирования, установлены факторы и условия, приводящие к стимулирования роста обученное и обучаемости студентов в процессе дидактических тестирований. Данный способ стал следствием аргументированного в исследовании методологического основания о придании средствам тестирования более широкого дидактического смысла, чем это традиционно принято в дидактической тестологии и дидактике высшей школы.
-
Созданная педагогико-математическая модель МЭОО позволяет прогнозировать обученность и обучаемость, производить оценку обучаемости. Получены математические соотношения, оценивающие мотивационные факторы учебного процесса и качества студента на основе динамических характеристик развития его обученности и обучаемости. Они могут стать основой не только для психолого-педагогических, но и психофизиологических исследований.
-
На основе синтеза модели МЭОО и реализованной в программном инструментарии методики непрямого мягкого тестирования построена методическая система стимулирования обученности и обучаемости студентов - МССОО (в англ. транс: Competence & Learning Ability Development, CLAD). Предложен путь развития методической системы в рамках дидактики высшей школы в направлении создания новых нематериальных стимулов позитивной деятельности педагогов и руководителей вузов.
-
Обосновано введение в научный оборот новых понятий:
«индуктивное узнавание» - отражает процесс опосредованного обучения и приобретения опыта с использованием канала передачи информации «ДПК - Студент - Студент» в компьютеризированном учебном процессе;
«индуктивная мотивация» - отражает процесс опосредованного мотивирования студентов с использованием канала передачи информации «Преподаватель - Тьютор - Студент» в процессе дистанционного обучения и мониторинга качества образования;
«релевантность ДПК» - количественная характеристика, характеризующая степень соответствия дидактического программного комплекса требованию оптимальности учебного процесса и оцениваемая экспериментально.
Практическая значимость результатов исследования:
В ходе настоящего исследования нами выполнен ряд практически значимых работ, связанных с внедрением полученных результатов и развитием предложенных теоретических разработок. В частности:
-
Обоснована необходимость и продемонстрирована возможность придания дидактическому тестированию новых свойств, превращающих его из средства измерений обученности в средство развития студентов.
-
Предложена технология организации массовых тестирований обученности студентов, включенная в методическую систему МССОО и отличающаяся от известных повышенной степенью защиты, меньшей себестоимостью, повышенной адаптивностью к технической обеспеченности.
-
На основе методики непрямого мягкого тестирования создан программный инструментарий для реализации методической системы МССОО, включающий ряд разновидностей дидактических программных комплексов, как общих, так и ориентированных на тестовые измерения в рамках специализированных учебных дисциплин - языковых, историко-географических, философских, естественнонаучных.
-
Апробирована и внедрена технология производства тестовых компонентов электронных учебных пособий для системы профессионального образования на основе предложенной методики непрямого мягкого тестирования. Применяемые при этом тестовые задания могут включать голосовое сопровождение и анимацию.
-
На основе результатов опытной деятельности созданы методико-техно-логические рекомендации для внедрения методической системы МССОО в практику педагогической и управленческой деятельности.
-
Создана система мониторинга качества образования, функционирующая в Приморском крае и включающая краевой и 12 территориальных центров.
-
Продемонстрирована работоспособность построенной методической системы МССОО на примерах использования ее учебном процессе вузов.
-
Показано, что ряд результатов исследования может быть использован для решения задач управления качеством образования и прогноза развития системы образования, а также в создании инструментария для обеспечения развивающего измерительного процесса.
На защиту выносятся:
-
Концепция развивающего измерительного процесса, основанная на разрешении противоречия между традиционным пониманием дидактического тестирования и широкой трактовкой, наделяющей его не только измерительной функцией, но и функцией стимулирования познавательной деятельности студентов.
-
Педагогико-математическая модель эволюции обученности и обучаемости студентов.
-
Методическая система стимулирования роста обученности и развития обучаемости студентов в условиях и средствами тестирования обученности, реализующая построенную модель.
-
Требования к организации компьютерного обучения и тестирования, реализующие созданную методическую систему.
Этапы работы
Начальный этап (1993-1997 гг.) - изучение источников, планирование исследования, создание организационной структуры для производства ДПК и базы конструирования, определение базы эксперимента, предварительные эксперименты. Создание сценариев, определение условий и технологий применения ДПК. Проведение поисковых экспериментов в условиях образовательных олимпиад, экзаменов, зачетных занятий.
Второй этап (1997-1999 гг.) - проведение массовых экспериментов по измерению обученности студентов, специалистов системы образования, абитуриентов и школьников. Выдвижение гипотез и концепции исследования, оформление методики НМТ для применения в конструировании дидактических программных комплексов. Конструирование программного инструментария в рамках методики НМТ и его апробация.
Третий этап (1999 - 2002 гг.) - включение во всероссийские эксперименты по компьютерному измерению обученности. Проектирование и создание краевой системы мониторинга качества общего среднего образования, создание договорных отношений. Экспериментальные наблюдения изменений обученности и обучаемости под влиянием ряда внешних факторов, выделение взаимосвязей процессов роста обученности и развития обучаемости. Выявление особенностей технологий и организационно-педагогических условий их реализации.
Заключительный этап (2003-2005 гг.) - создание модели МЭОО и методической системы МССОО. Определение в рамках модели ролей факторов влияния и педагогических условий их реализации, проверка гипотез,
апробация и внедрение. Определение направлений и возможностей внедрения результатов исследования при проектировании внутри- и межвузовских систем качества образования.
Научная достоверность результатов и выводов обеспечена
обоснованностью исходных теоретических положений; комплексностью примененных научных и практических подходов; применением методов теории систем и математического моделирования, репрезентативностью базы информационных источников; связью исследованных и предложенных вновь теоретических положений с образовательной практикой; количественным анализом результатов исследований; экспериментальной проверкой теоретических предположений.
Действенность предложенной нами методической системы МССОО подтверждена путем
тестирования студентов и выпускников учреждений Университетского образовательного округа ДВГУ;
опроса преподавателей и сотрудников вузов, непосредственно принявших участие в организации тестирований и анализе их результатов;
анкетирования студентов очных отделений ДВГУ (2-5 курс химического, биологического, экологического, педагогического направлений).
База исследования
-
В теоретических и конструкторских работах нами использовался потенциал Тихоокеанского института дистанционного обучения и технологий ДВГУ.
-
В процессе исследования изучался опыт реализации и методические материалы организаций, ведущих аналогичные исследования и разработки, в том числе: Центра тестирований «Гуманитарные технологии» МГУ им. М.В.Ломоносова, Федерального центра тестирований МОН РФ, Центра оценки качества подготовки специалистов Российской академии образования, Московского университета экономики и статистики, (МЭСИ), Томского государственного университета (11 У), и др.
-
К опытно-экспериментальной работе на этапах исследования были привлечены свыше двадцати тысяч учащихся и свыше ста преподавателей и сотрудников ДВГУ, свыше пятисот специалистов системы высшего и общего среднего образования Приморского края, Еврейской автономной области, Республики Саха (Якутия).
4. Исследования построенной модели проводились, в том числе, в течение
круглогодичного (3 года) массового тестирования обученности сту
дентов 1-2 курса, тестирования обученности студентов 1-4 курсов в
режиме дистанционного обучения, тестирований учителей; ежегодных (7 лет) краевых компьютеризованных образовательных олимпиад учащихся учреждений Университетского образовательного округа ДВГУ и мониторинговых исследований (5 лет) общеобразовательных учреждений Приморского края по 14 дисциплинам, с применением созданных нами и других известных ДПК.
Апробация результатов исследования
Результаты представлены нами на 14 международных, 7 российских, и многих региональных конференциях.
С 1999 года результаты нашего исследования применяются в деятельности Открытого университета ДВГУ, филиалов и представительств ДВГУ, учреждений Университетского образовательного округа ДВГУ.
По теме нашего исследования нами проведены научно-методические и практические семинары в следующих организациях: Дальневосточный государственный университет (ДВГУ), Дальневосточный государственный технический университет, (ДВГТУ), Владивостокский филиал Российской таможенной академии (ВФ РТА), Тихоокеанский государственный экономический университет (ТГЭУ), Приморский институт переподготовки и повышения квалификации работников образования (ПИППКРО), Биробиджанский государственный педагогический институт (БГПИ), Хабаровский государственный педагогический университет (ХПТУ), Хабаровский государственный технический университет (ХГТУ), Томский государственный университет (ТГУ), Ярославский областной Центр дистанционного обучения, Якутский государственный университет (ЯГУ), и др.
Внедрение результатов исследования
Результаты исследования внедрены нами в ряде образовательных учреждений: в Приморском институте повышения квалификации и переподготовки кадров работников образования (ПИППКРО, г. Владивосток) и Биробиджанском государственном педагогическом институте (БГПИ, г. Биробиджан) они используются для проведения тестирований знаний учителей-предметников и для обучения их составлению тестов; в Уссурийском государственном педагогическом институте (УГЛИ, г. Уссурийск) они используются в научных диссертационных исследованиях; в учреждениях общего среднего образования Приморского края они используются в учебном процессе и для ведения мониторинга качества образования.
Мониторинг качества как инструмент управления образованием
Делая акцент на придании ДГЖ большей надежности, конструкторы не задумываются над тем, что понятие «надежность» перенесено в дидактическую тестологию из области техники, где измеряются свойства неодушевленных предметов; а также из психологической тестологии, где измеряются личностные качества студентов мало подверженные изменениям. Коэффициенты надежности являются характеристиками качества тестовых технологий, вычисляются они с большим трудом и большими погрешностями. Однако труд по уточнению значений коэффициентов надежности не вносит лепты в развитие учебного процесса, поскольку, во-первых, их значения не влияют свойства студентов и, во-вторых, процедуры уточнения принципиально не удается объективизировать. Тем не менее, механический перенос аппарата психологической тестологии в область дидактических измерений считается достаточно оправданным [175 и др.] и редко подвергается критике [253]. Значения коэффициентов надежности измерений традиционно низки в дидактической тестологии (в отличие от измерений в технике и психологической тестологии). Это - следствие объективной причины: в отличие от других более устойчивых психофизиологических свойств, обученность студента проявляется в разное время по-разному, даже в течение одного сеанса тестирования могут произойти резкие (случайные и закономерные) изменения под влиянием действующих факторов и условий.
Мы полагаем, что сложившееся понимание надежности, отражающее приоритет неизменности результата при повторных измерениях, не должно играть определяющей роли при оценке качества технологии, ибо противоречит сути дидактики, где приоритет отдается технологиям, способствующим росту образовательного результата [188-191]. Пересмотр сложившегося отношения к надежности в оценке качества технологий дидактических измерений позволит устранить парадокс, который можно сформулировать так: чем более технология мотивирует студентов к учебе, тем менее она надежна.
Развитие (дополнение) понятия «надежность», введения в научный обиход динамического критерия, гарантирующего не только «незыблемость» образовательных результатов, но и их рост, позволит выявить и реализовать потенциальные возможности дидактической тестологии в оценке динамических свойств студентов — обучаемости, способности к запоминанию и забыванию и др. Именно эти динамические свойства являются важнейшими при оценке и прогнозе деловых качеств специалистов [241, 248, 255, 318 и др.] и при построении управленческих моделей.
В нашем исследовании мы сконцентрируем внимание на тех дидактических технологиях, что относят к «побуждающим», гуманным, «мягким», тех, что помогают студентам в самопреодолении [208] и приводят, в конечном счете, к росту уровня обученное и развитию обучаемости. Термин «мягкие технологии» введен в педагогический оборот в России достаточно давно [А. М. Лобок, см. напр.: 99, а также обзор - 150]. Мы будем пользоваться термином «мягкость» для характеристики технологии в двух близких аспектах: как синоним незаметности, скрытости процедуры оценивания от внимания учащегося, а также как показатель отличия (многозначности) логики оценивания верности выполнения заданий от традиционно используемой двузначной. Скрытие процедуры оценивания, превращение оценивания в игру, давно и успешно применяется в процедурах тренинга специалистов в (новых для России) областях менеджмента, маркетинга [32, 102, 113, 126, 183, 207, 226, 233, 234, 261, 263, 304, 309, 316 и др.] и пр. Проблема же смены двузначной логики компьютерного оценивания, приближение ее к многозначной естественной человеческой логике, уже стала насущной в современной дидактической тестологии [1, 175, 199, 231 и др.].
С узким пониманием дидактического тестирования только как измерительного средства трудно совместить наблюдаемую иногда необычно высокую активность студентов в стремлении к повышению своего уровня обученное в условиях тестирований [187, 200]. Этот феномен проявляется при отклонении условий тестирований от канонов тестологии, поэтому его проявления относят к погрешностям эксперимента и не изучают. Однако объективное существование этих проявлений указывает на возможность применения тестирования как средства развития, мотивирующего студента к учению.
Первенство во внедрении технологий тестирования принадлежит сфере общего среднего образования, где мониторинговые исследования ведутся на больших территориях и в течение длительного времени (Г.С. Ковалева, В.А. Хлебников, А.Г. Шмелев и др.). В таких масштабах сложно соблюсти нормативную технологию, поэтому здесь отчетливо проявляется указанный выше феномен повышения активности (самообучения) учащихся в процессе тестирований. Этот феномен нежелателен с точки зрения традиционной тестологии, т.к. его проявления снижают инструментальную точность результатов мониторинга. Организаторы мониторинговых исследований (тестирований), стремясь к повышению надежности, особое внимание уделяют устранению обуславливающих этот феномен мотивационных влияний [1,2,29, 175,322].
В то же время, частота проявлений отмеченного феномена указывает на наличие здесь нераскрытого дидактического потенциала и является поводом к научному исследованию. Игнорирование новых путей саморазвития студентов противоречит сути дидактики, отдающей приоритет таким технологиям, где каждый элемент, каковым является и дидактическое измерение, способствует развитию студентов и росту образовательных результатов. Пересмотр традиционного отношения к роли тестирования в учебном процессе актуален, т.к. позволит расширить трактовку роли дидактических тестовых технологий, использовать их не только как измерительный инструмент, но и как средство развития студентов [213,215, 218].
Интерфейс ДГЖ обладает свойствами, определяющими качество восприятия учебного материала [89, 135, 165, 182, 281 и др.]. Оснащая интерфейс определенными компонентами, можно усилить мотивацию студентов к учебе (подобно тому, как дети мотивируются в процессе компьютерных развлекательных игр) и существенно продлить период активности студента в рамках сеанса тестирования, что позитивно скажется на точности оценки обученности. Отождествление теста только с инструментом для измерения вызвало стремление конструкторов к повышению надежности путем исключения из интерфейса «ненужных и отвлекающих внимание» элементов. Мы не имеем возможности дать здесь ссылки на публикации, ибо авторы не заостряют внимания на этом факте, однако, о его существовании можно судить по отсутствию нормативных требований о включении мотивационных элементов в тестовые компьютерные комплексы [см. напр.: 322]. Публикации и нормативные документы [322, 323], говорящие о том, какими должны быть тестирующие программные комплексы, свидетельствуют, что ДГЖ может быть сертифицирован и внедрен в учебный процесс без достаточно серьезного обсуждения его дидактических (мотивационных) свойств. К другим же свойствам ДГЖ (инструментальная надежность, валидность, краткость и точность информации и пр.) создатели нормативной документации подходят значительно скрупулезнее. Это не только привело к редкости научных исследований, направленных на поиск и придание интерфейсу мотивационных свойств, способствующих усвоению учебного материала, но и обусловило часто наблюдаемое неприятие тестирований студентами, т. е. нивелирование позитивных черт образовательных информационных технологий (ОИТ). Этим обусловлена актуальность исследований в области придания интерфейсу ДГЖ новых дидактических мотивационных свойств.
Условия и факторы измерительного процесса как средства управления развитием интеллектуальных свойств студента
Среди продукции системы образования — знания, умения и навыки (ЗУН), переданные учащимся и воспринятые ими. Качество этой продукции играет в развитии общества первостепенную роль. Без оценки и сравнения качества этой продукции невозможно развитие производства. Для оценки качества ЗУН применяют поурочный, рубежный, итоговый и прочие виды контроля [7, 20, 27, 41, 131, 142, 213, 220, 270, 310 и др.] каждый из которых проводится по своей технологии.
Наиболее объективная технология массового контроля, по мнению многих, - автоматизированная, однообразная, не зависящая от каких-либо субъективных влияний [11, 12 и др.]. У этой точки зрения есть немало противников, считающих, что контроль должен проводиться обязательно человеком, «глаза в глаза». Слабые места первой точки зрения: невозможно автоматическими средствами измерить умения излагать мысли; находить нестандартные решения; учить и учиться. Вторая точка зрения также имеет слабые места: относительно высокая себестоимость; отсутствие гарантии исключения субъективизма; необходимость кадров требуемой квалификации, способных гарантированно беспристрастно оценить ЗУН студентов.
Одна из известных и признанных «золотых середин» здесь такова: контролировать автоматическими средствами следует знания рутинных сведений и умения производить стандартные действия - то, что в вузе относят к «зачетным» ЗУН; контролировать же силами специалистов следует умение мыслить и излагать мысли, а также другие свойства, не поддающиеся автоматическому контролю.
Аттестация ЗУН - важный элемент учебного процесса. Объективность аттестации — одна из гарантий развития и поддержания жизнедеятельности общества. Разработано и внедрено множество технологий аттестации, основанных на применении компьютеров. Однако среди известных компьютерных обучающих и тестирующих комплексов трудно найти выдерживающий критику с точки зрения объективности; удобства; привлекательности; полноты набора функций контроля и представления результата; объемности содержания. Исключение - профессиональные военные, спортивные и авиационные компьютерные тренажеры (часто созданные за рубежом руками российских умельцев). Это сложившееся положение вызвано многими причинами [1, 12, 52, 105, 132, 175 и др.]: во-первых, в России педагогическое тестирование долгое время было запрещено нормативными документами и, в результате, России приходится догонять другие страны в этой технологической области, также как в кибернетике и генетике; во-вторых, период начального развития технологий компьютерного тестирования пришелся в России на период экономического кризиса; в-третьих, развитие качеств российских компьютерных комплексов тормозит прагматичное отношение к результату их применения, имеющее простую экономическую подоплеку. Наделение продукта перечисленными выше качествами - дорогостоящее удовольствие; в-четвертых, культура производства в России значительно ниже, чем в других странах, где предпринимателю не все равно, каких работ ников он принимает на работу, и где предприниматели давно приме няют автоматические методы для контроля ЗУН. Редкие российские работодатели прониклись важностью этих мероприятий. Недостатки систем аттестации. К недостаткам традиционных не компьютерных систем аттестации ЗУН относят: субъективизм; нерегуляр ность проведения; несогласованность требований и режимов контроля; сложность ведения статистической обработки и мониторинга; сложность обеспечения режима секретности хранения экзаменационных материалов и защиты от подлога; наличие ошибок измерений; отсутствие чётких математических критериев оценки [7, 20, 27, 41, 131, 142, 213, 220, 270]. Многие из перечисленных недостатков могут быть преодолены с внедрением компьютерных технологий. Однако, пока это - только пожелание, хотя и подтвержденное теоретически и практически [116, 132 и др.]. Безупречной системы автоматического контроля ЗУН в настоящее время нет. Связано это с отсутствием общепринятой теоретической научной базы; разнородностью и относительной незрелостью информационных технологий и технического обеспечения; отсутствием должной материальной поддержки разработки и внедрения; отсутствием специалистов и адекватной теоретической базы. В научном обществе сложилась противоречивая ситуация с признанием тестологии как полноправной науки. С одной стороны, существует общее признание тестового контроля как важного инструмента исследований широкого спектра педагогических и психологических проблем; с другой — наблюдается затянувшаяся сдержанность, недостаток информации, непонимание сущности и возможностей. Для скорейшего развития новых систем контроля качества образовательной продукции требуются новые управленческие решения: поддержка развития тестологии как отрасли знаний и науки; создание индустрии систем тестового контроля [1, 2, 259, 299, 320 и др.]. Необходима конкретизация понятия образовательной продукции как товара и качества этого товара [196]. В России считается нормальным и обязательным тестировать продукты питания, строительные материалы и многое другое. Соответствующие гарантии, предоставляемые независимыми центрами тестирования, позволяют производителям, покупателям и продавцам цивилизованно защищать свои права, непротиворечиво оценивать продукцию, вести стратегическое планирование производства. Поэтому удивительна неразвитость сертификации на российском рынке образовательных услуг. Среди причин этой неразвитости называют многие [81, 108, 161, 307 и др.]: Образование как товар не имеет общепринятого, четкого, логически непротиворечивого определения; Управленцы в сфере образования часто не владеют необходимым экономическим образованием; Существуют силы в обществе, препятствующие введению сертификации образовательной продукции; Понятие защиты качества отсутствует в Законе «Об образовании». Система образования вооружена только понятиями аккредитации, сертификации, аттестации — относящимися к формальному засвидетельствованию качества, не свободному от «человеческого фактора».
Методика непрямого мягкого тестирования. Комплекс методических и технологических требований к сценарию и интерфейсу ДПК
Среди характеристик компьютерной аттестации большинство общеприняты: дифференцирующая способность; валидность; надежность; объем и полнота информации о студентах, которую можно извлечь из результата; оптимальность соотношения времени и точности измерения; оптимальность соотношения себестоимости процедуры (материалы, техника, оплата труда) и степени достижения цели (объема и объективности результатов); простота (уровень предварительной подготовки персонала); понятность представляемого результата; удобство (простота) применения технологии [1, 160, 175 и др.]. К необщепринятым характеристикам следует отнести, например, привлекательность процедуры и интерфейса ДПК [см. напр.: 199]. В соответствии со сложившимися в современной педагогике традициями, характеристики процесса или явления часто выражаются словесно, не численно. Поэтому часто неясно, что следует понимать под оптимальностью, ибо определение «золотой середины» здесь является уделом чувств, «педагогических инстинктов» [см. напр.: 253].
Сложно заранее определить, какая технология окажется успешно внедренной в учебный процесс конкретного вуза — характеризуемая низкой себестоимостью (важно для руководителя), простотой использования (важно для преподавателя) или обладающая привлекательным и высокофункциональным интерфейсом (важно для студента). Технология с высокой степенью привлекательности может повлиять на расстановку акцентов в отношении студентов к конкретной учебной дисциплине. Обладающая низкой себестоимостью, но малопривлекательная технология тестирования может «отвратить» внимание студентов не только от данной учебной дисциплины, но и заранее от тех, где внедрение такой технологии только планируется. Технология, кажущаяся сложной преподавателям, будет внедрена в учебный процесс лишь «на бумаге». Прагматически подходя к своей деятельности, создатели технологий тестирований менее всего обращают внимание на обеспечение привлекательности процедуры (для студентов) и простоты интерфейса (для преподавателей), делая при этом упор на эстетику и автоматизацию создания итоговой отчетности (важно для управленца). Это вполне понятный «ход», дающий возможность производитель попасть на образовательный рынок. Обычное для современной педагогической среды прагматичное отношение к свойствам ДПК, могущим оказывать опосредованное воздействие на качество учебного процесса. Вследствие такого отношения, несомый компьютерными технологиями дидактический потенциал может оказаться скрытым.
Процедура компьютерной аттестации — продолжительное мероприятие, состоящее из этапов. Приведем их примерный перечень: Регистрация студентов в компьютерной базе данных; Тренировочное тестирование с элементами обучения; Основное тестирование; Статистическая обработка результатов групп студентов; Публикация рейтингов; Подготовка аттестационной документации для преподавателя; Подготовка и представление преподавателю более полной информации о качестве усвоения учащимися разделов дисциплины; Статистическая обработка результатов, в том числе — сравнение их с полученными ранее; Представление результатов в виде статей, докладов, отчетов. На одном из этих этапов - публикации рейтингов - организаторы тестирований редко акцентируют внимание, считают его лишним в процедуре аттестации. Более того, иногда бывает так, что организаторы дидактических тестирований, в соответствии с канонами психологической тестологии, предпринимают специальные меры конфиденциальности (паролирование и пр.), сокрытия результатов. В таком случае студент, повторяя тестирование, соревнуется лишь «с собой вчерашним». В случае же публикации рейтингов, как это мы делали в своих экспериментах, в среде студентов могут возникать соревновательные явления, приводящие к росту привлекательности и самой процедуры тестирования, и учебы в целом. Иными словами, публикация рейтингов может приводить к реализации скрытого (неиспользуемого сегодня) дидактического потенциала тестирований, к возникновению опосредованного позитивного влияния на качество результата учебного процесса. Процедура компьютерной аттестации в вузе ориентирована на достижение определенных результатов [см.: 175]: получение студентами оценок, получение преподавателями сведений о сложности для студентов конкретных фрагментов учебных курсов; определение качества своей работы. Среди нетрадиционных результатов - мотивация роста обученности и развития обучаемости студентов в процессе самой процедуры аттестации. Для достижения результата процедуры аттестации необходимо провести ряд специфических мероприятий: Обеспечение валидности теста; Обеспечение вариативности теста; Обеспечение обновляемости базы тестовых заданий; Обеспечение максимальной разрешающей способности теста; Обеспечение эффективности сеанса тестирования (полный и достоверный результат при минимальных затратах времени и ресурсов); Обеспечение достоверности результатов (исключение неконтролируемых внешних воздействий и др.); Обеспечение полного и доступного представления результатов; Включение элементов деловой игры в процедуру аттестации и интерфейс компьютерного тестового комплекса; Включение в процедуру аттестации элементов состязательности (перманентная публикация списков студентов, получивших высшие рейтинги в печати и на Интернет-сайтах); Обеспечение востребованности рекомендаций, получаемых учащимися и преподавателями по результатам тестирований.
Методические и организационные требования к организации развивающего измерительного процесса в вузе
Интересны, как пример, известные телеигры «О, счастливчик!» «Поле чудес» и «Кто хочет стать миллионером?». Что привлекает здесь зрителей? Радость за чужой успех или энциклопедические сведения, которые можно прочесть и без того? Привлекает там: массовость, юмор ведущего и «сюрпризы» - выходки игроков, удивительные и неожиданные варианты ответов. Эти игры-тестирования пробуждают у зрителей желание самостоятельно без ведущего соревноваться в знаниях, «копаться» в энциклопедиях. Транслируемая же телеканалом СТС телеигра-тестирование «Самый умный», где звучат лишь вопросы и краткие ответы, не привлекает массового телезрителя. И, по-видимому, причина этого не в том, что здесь ведущий - женщина, а не мужчина (как в вышеперечисленных случаях).
У перечисленных телеигр есть привлекательные компьютерные аналоги с теми же названиями. С этими компьютерными изделиями с удовольствием играют и дети, и взрослые, и в одиночку, и группами. Играя, люди обретают и новые знания, и желание к чтению энциклопедий, и желание делиться знаниями с другими людьми. А есть и другие аналоги - с интерфейсом выстроенным из прямоугольных окон с текстами, без элементов интерактивности. Общение с таким изделием может порождать неприязнь и, в том числе, к приобретению знаний посредством компьютера.
Приведенные примеры демонстрируют спорность устоявшегося в тестологии мнения о том, что интерфейс компьютерного тренажера должен быть невзрачным, «серьезным», не привлекающим внимания [1, 175]. Повысить привлекательность компьютерного учебного пособия или процедуры тестирования не так просто, это - область профессиональной деятельности. И «игра стоит свеч», поскольку здесь высока вероятность инициации и поддержания позитивного влияния на качество образования.
Фактор отстраненности преподавателя. В психологии считается, что наиболее успешными являются трудовые (спортивные, воинские) коллективы, где роли участников распределены как в традиционной семье. В «идеальном» армейском коллективе, например, роль отца играет командир, матери - его заместитель по воспитательной работе (священник, замполит и пр.) или старшина, роль деда - начальник штаба и пр. Появление в учебном процессе вуза дидактического тестирования, как полноправного участника, позволяет представить (завершить), с психологической точки зрения, образовательный коллектив как «полную семью». В этой «семье» студенты будут играть роль детей, преподаватель - роль матери, а дидактический программный комплекс - роль требовательного отца. Получив в такой «семье» материнскую роль, преподаватель передает ДПК все педагогические функции, которые могут вызвать негативную реакцию студентов (выставление оценок, чтение нотаций, поддержание учебной дисциплины), оставляя для себя только то, что привлекает студентов в личности преподавателя и получает и важные дидактические возможности: преподаватель становится другом студентов, сопереживающим все их неудачи и поддерживающим радость успеха; преподаватель становится советчиком студентов, не «урокодателем», а «демонстратором», показывающим на собственном примере целесообразность и удобство использования тех или иных приемов решения задач, изготовления, запоминания, и пр.; Очевидно, находясь в такой выигрышной позиции, преподаватель может незаметно и эффективно управлять качеством студенческих знаний. Применение фактора требует от преподавателя достаточной квалификации. Фактор ошибки дидактических измерений. Так же, как и в любой технической области, измерения в тестологии сопровождаются ошибками. Эти ошибки могут быть систематическими, возникающими, например, по вине создателей тестовых заданий (ТЗ), тестирующей программы, учебного пособия, и случайными, возникающими из-за того, что участники пытаются «схитрить», выполнить часть заданий методом «тыка». На величину ошибок влияет человеческий фактор. Систематические ошибки возникают из-за: разницы толкования определений в ТЗ и в учебнике; неясностей в интерфейсе; логических неувязок в текстах ТЗ; неправильных объяснений, данных оператором, и др. Систематические ошибки выявляются путем опроса и наблюдения. Величины вероятных случайных ошибок определения рейтинга образуют небольшой интервал значений. Величина этого интервала зависит от того, в какую область значений попал исследуемый рейтинг. Если участник правильно выполнил много заданий, вероятность того, что он нажимал клавиши «на авось», мала. И наоборот, эта вероятность велика для тех, чьи результаты близки к «наиболее вероятному» результату. Два равных, по мнению педагогов, участника сеанса тестирований практически всегда получают разные рейтинги. Эти рейтинги меняются при повторных тестированиях и при смене состава групп тестирующихся, порождая у зрителей и участников ощущение неопределенности, ненадежности и недоверия к тестовой технологии. Фактор «неидеальности» тестовых заданий. Применяемые в системе образования базы тестовых заданий далеки от теоретически описанных идеалов. Вот некоторые из причин этого положения: Составлять тексты так, чтобы они были удобочитаемы, не просто. Достаточно сложно сформулировать вопрос и ответ так, чтобы они однозначно воспринимались всеми читателями; В специальных науках укоренились жаргонные словосочетания, которые применяются для оптимизации общения. Такие словосочетания, «незаметно» попадающие в тесты, часто противоречат языковым нормам и трудно воспринимаются учащимися; Невозможно полностью исключить вероятность угадывания, хотя и существуют методики, позволяющие ее минимизировать. Можно утверждать, что в любом тесте есть «дикие» с точки зрения языковой культуры фразы, несогласованности падежей, родов.
