Электронная библиотека диссертаций и авторефератов России
dslib.net
Библиотека диссертаций
Навигация
Каталог диссертаций России
Англоязычные диссертации
Диссертации бесплатно
Предстоящие защиты
Рецензии на автореферат
Отчисления авторам
Мой кабинет
Заказы: забрать, оплатить
Мой личный счет
Мой профиль
Мой авторский профиль
Подписки на рассылки



расширенный поиск

Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе Метельская Татьяна Анатольевна

Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе
<
Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе
>

Диссертация - 480 руб., доставка 10 минут, круглосуточно, без выходных и праздников

Автореферат - бесплатно, доставка 10 минут, круглосуточно, без выходных и праздников

Метельская Татьяна Анатольевна. Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе : диссертация... кандидата педагогических наук : 13.00.08 Москва, 2007 122 с. РГБ ОД, 61:07-13/1419

Содержание к диссертации

Введение

ГЛАВА 1. Современное состояние педагогической тестологии 14

1.1. Качество образования 14

1.2 Тестирование - как контроль знаний 17

1.3. Краткий исторический обзор применения тестов в мировой практике 19

1.4. Исходные понятия теории тестов 23

1.5. Нетрадиционные тесты 29

1.6. Классификация тестов 31

1.7. Принципы разработки тестов 36

ГЛАВА 2. Формирование репрезентативной группы 41

2.1 Принципы формирования и требования к параметрам репрезентативной группы 41

2.2. Категории студентов 43

2.3. Статистические характеристики категорий студентов 47

2.3.1. Уровень предыдущего образования 48

2.3.2. Курс обучения 50

2.3.3. Регион обучения 51

2.3.4.Специальность 53

2.3.5. Возможность существования подгрупп по неявным категориям 55

2.4. Описание эксперимента по тестированию 56

2.4.1. Формирование подгрупп по уровню предыдущего образования 62

2.4.2. Формирование подгрупп по курсу обучения 64

2.4.3. Формирование подгрупп по региону обучения 66

2.4.4. Формирование подгрупп по специальности 67

2.4.5.Формирование подгрупп по неявным категориям 70

2.5. Репрезентативный контингент тестируемых студентов 72

ГЛАВА 3. Верификация комплексов тестовых заданий 75

3.1. Основные преимущества комплексов тестовых заданий 75

3.2. Формирование комплексов тестовых заданий 77

3.3. Статистическая обработка результатов тестирования 82

3.3.1 Трудность и рейтинг заданий 82

3.3.2 Адекватность заданий 87

3.3.3 Устойчивость заданий 91

3.4. Комбинированные параметры и условия отбора заданий 93

3.5. Эффективность и рейтинг заданий 97

3.6. Надежность и валидность тестовых комплексов 100

3.6.1 Надежность тестовых комплексов 100

3.6.2 Валидность тестовых комплексов 106

3.7 Система компьютерного тестирования и верификации

тестовых заданий 110

ЗАКЛЮЧЕНИЕ 115

БИБЛИОГРАФИЯ. 116

Введение к работе

Одним из основных факторов успешного развития общества является эффективное функционирование его социальной сферы и, в частности, системы образования. Высшее образование сегодня является важнейшей составляющей системы образования, определяющей не только современное состояние общества, но и перспективы его развития на многие годы вперед. Стремительное развитие общества поставило перед высшим образованием новую задачу: сегодняшние выпускники должны быть способны успешно решать не только насущные проблемы, но и проблемы, которые встанут перед обществом в будущем. Именно эта задача определяет значимость качества обучения в наиболее широком и глубоком его понимании.

Актуальность темы исследования. Эффективное функционирование системы образования является одним из основных факторов успешного развития общества, и совершенствование системы образования выдвигается на одно из первых мест среди направлений развития России. Высшее образование сегодня является важнейшей составляющей развития государства, и без достижения высокого качества образования невозможно ожидать продвижения науки, культуры, искусства, производства, то есть всего того, что делает государство сильным. Одной из важнейших задач, составляющих совершенствование системы образования, согласно «Концепции модернизации Российского образования до 2010 года» является «обеспечение современного качества образования на основе сохранения его фундаментальности и соответствия актуальным и перспективным потребностям личности, общества и государства». При этом особая роль отводится укреплению и модернизации материально-технической базы и инфраструктуры образовательных учреждений, внедрению современных компьютерных технологий.

Современные компьютерные технологии не отрицают классические традиционные средства обучения и должны гармонично дополнять их, обеспечивая высокую эффективность учебного процесса. Для решения

5 поставленных задач необходима разработка специальных средств обучения, адаптированных к компьютерным технологиям: компьютерных обучающих программ, систем интерактивного взаимодействия, многоуровневых информационных систем, тренажеров, демонстрационных материалов и систем контроля качества обучения.

Совершенствование управления и контроля качества образования является одним из важнейших направлений Федеральной программы развития образования в России. В реализации контроля качества обучения существуют две взаимодополняющих составляющих. Первая составляющая заключается в контроле самого процесса обучения. Этот подход охватывает все аспекты учебного процесса - учебные планы и программы, квалификация педагогических кадров, наличие учебной литературы и учебно-методических пособий, функционирование учебных лабораторий и баз проведения практики. Особое внимание уделяется воспитательной работе и научной деятельности, творческой атмосфере и условиям для самореализации и самоактуализации личностных качеств, саморазвития личности как творца собственной жизни, развития ценностных ориентации и духовности студента.

Вторая составляющая заключается в контроле результатов обучения. Этот подход, предполагая определенную свободу в методах и средствах достижения, во главу угла ставит требование, чтобы в результате обучения студент обладал теми знаниями, умениями, навыками и иными качествами, которые востребованы обществом и которые соответствуют Государственному образовательному стандарту. В основе второй составляющей лежит выявление и анализ динамики качеств каждого студента в процессе обучения с целью не только выявления успешности обучения и пригодности студента для дальнейшей профессиональной деятельности, но и введения корректирующих мероприятий в учебный процесс.

Кроме того, классические формы контрольных мероприятий порождают ряд проблем:

- приспособление педагогов к уровню знаний студентов. В результате одна и та же оценка по дисциплине в различных вузах может соответствовать различным, порой даже несопоставимым, уровням знаний.

- впечатление, пусть даже зачастую неоправданное, о необъективности
экзаменатора, что существенно снижает положительную мотивацию
студентов к учебе.

существенная выборочность контролируемого материала, понижающая надежность результатов;

низкая помехоустойчивость, связанная с влиянием психологических аспектов взаимодействия студента и экзаменатора;

низкая технологичность классических форм, ставящая под сомнение возможность непрерывного контроля в процессе обучения.

Решение этих проблем во многом связано сегодня с развитием
тестологии, как новой отрасли научного знания, которая появилась в начале
XX века на стыке психологии, педагогики, социологии и других
поведенческих наук. Педагогическая тестология, согласно концепции
В.С.Аванесова, призвана заниматься вопросами разработки тестов и их
применением для объективного контроля знаний, умений, навыков,
представлений студентов. Она представляет собой прикладное направление
научной педагогики. Анализ результатов исследований зарубежных
(Д.Вилфорд, К.Ингенкамп) и отечественных (В.С.Аванесов, В.П.Беспалько,
В.В.Борисова, Ю.Ф.Гущин, М. И Иродов, Н. В. Дрантусова, Г.С.Ковалева,
В.Г.Кузнецов, О.Б.Логинова, А.Н.Майоров, В.И.Огорелков,

Е.Н.Перевощикова, В.М.Соколов, В.С.Черепанов, М.Б.Челышкова, И.А.Цатурова и др.) ученых-педагогов показал, что компьютерные тесты являются одним из наиболее мощных, надежных и объективных методов определения учебных успехов и достижений.

7 Несмотря на очевидные недостатки, связанные с неизбежной формализацией взаимоотношений экзаменатор-студент, тестирование обладает рядом столь же очевидных преимуществ. Компьютерное тестирование позволяет стандартизовать уровень требований, предъявляемых к знаниям студентов, обеспечить объективность и надежность результатов, детально контролировать все составляющие знаний студента. Высокая технологичность компьютерного тестирования позволяет эффективно организовать контроль знаний студентов на всех этапах обучения:

К созданию тестов привлекаются лучшие специалисты, обладающие высоким научным потенциалом, а также опытом практической и педагогической работы. В настоящее время разработаны тысячи комплексов тестовых заданий, базирующихся как на вербальном, так и на аудио- и визуальном представлении материала и активно использующих современные компьютерные технологии. Однако содержание тестового задания полностью определяется видением автора, то есть в значительной мере оказывается субъективным. Очевидно, что представления разных авторов о студенческом контингенте могут существенно отличаться и быть довольно далеки от реального контингента.

Верификация тестовых заданий, основанная на экспертной оценке специалистов, зачастую обнаруживает несоответствие позиций разных специалистов, различия в терминологии, в необходимом уровне сложности и трудности заданий и даже в выборе верного варианта решения задания. Широкое применение компьютерного тестирования требует создания системы объективной верификации применяемых комплексов тестовых заданий, то есть определения основных характеристик комплекса и его применимости в качестве инструмента для контроля знаний студентов. Основой системы объективной верификации комплексов тестовых заданий могут являться результаты тестирования репрезентативного контингента студентов с применением математических методов анализа.

Указанные проблемы в разработке и верификации комплексов тестовых заданий, в частности, неэффективность и неоднозначность экспертных оценок, позволили сформулировать проблему исследования. Она состоит в необходимости разработки и внедрения системы объективной верификации комплексов тестовых заданий. Это обусловило выбор темы «Верификация тестовых заданий для контроля уровня знаний студентов в вузе».

Проблема исследования - обеспечение объективного контроля знаний студентов путем разработки высокотехнологичной системы верификации тестовых заданий с высокой степенью их надежности и валидности.

Цель исследования - теоретическое обоснование и практическая реализация системы верификации комплексов тестовых заданий для контроля уровня знаний студентов в вузе.

Объект исследования - результаты компьютерного тестирования уровня знаний студентов заочной формы обучения различных специальностей Московского социально-гуманитарного института.

Предмет исследования - система верификации комплексов тестовых заданий методами статистического анализа полученных результатов тестирования репрезентативной группы студентов.

Гипотеза исследования: статистический анализ результатов тестирования уровня знаний студентов может позволить объективно определить степень трудности, параметры адекватности и устойчивости каждого тестового задания и комплекса тестов для контроля процесса, результатов обучения и формирования структуры знаний студентов.

Задачи исследования:

  1. Изучить и систематизировать теоретические основания тестологии и методы математического анализа.

  2. Разработать методику и компьютерные программы аккумуляции и статистического анализа результатов тестирования.

  1. Апробировать разработанную методику верификации комплексов тестовых заданий на материалах компьютерного тестирования студентов на различных этапах учебного процесса.

  2. Установить объективные критерии введения рейтинга заданий с целью адаптации комплекса к задачам учебного процесса и увеличения валидности комплекса в целом.

  3. Внедрить систему верификации комплексов тестовых заданий, включающую в себя аккумуляцию и анализ результатов тестирования, формирование заключений и рекомендаций, как по каждому тестовому заданию, так и по комплексам в целом для специалистов, разрабатывающих тесты.

Логика исследования соответствует названным задачам.

Для получения достоверных результатов были использованы следующие теоретические и эмпирические методы: анализ психолого-педагогической, математической, методической и нормативно-правовой литературы по проблеме исследования, анализ социологических характеристик студенческого контингента, компьютерное тестирование и соотнесение результатов тестирования с успеваемостью и социологическими характеристиками студентов, методы математической статистики.

Методологическая основа исследования - положения о закономерностях образовательного процесса и их сущности (Ю.К. Бабанский, В.И.Загвязинский, И.Я.Лернер, Е.Г.Осовский, М.Н.Скаткин, В.А., Сластенин, М.И.Махмутов и др.); теории педагогических систем, закономерностей их функционирования, развития и управления (В.П.Беспалько, А.ПБеляева, Л.В.Загрекова, Н.В.Кузьмина, В.Н.Максимова, С.А.Маврин, Л.Ф.Спирин, В.А.Сластенин, В.П.Симонов, В.Н.Шамардин и др.); проблемы качества образования, его сущности, совершенствования контроля за его обеспечением (В.С.Аванесов, В.П.Беспалько, В.А.Караковский, B.C. Лазарев, А.М.Моисеев, В.В.Николина, П.И.Пидкасистый, М.М.Поташник, В.М., Соколов, О.Г.Хомерики,

10 Е.А.Ямбург и др.); теории тестологии и педагогической квалиметрии (В.С.Аванесов, А.Анастази, К.Ингенкамп, Д.Н.Кеттелл, В.И.Огорелков, Г.С.Ковалева, А.Н.Майоров, Е.А.Михайлычев, Е.Н.Перевощикова, М.Б.Челышкова и др.); положения о конструировании и технологизации учебного процесса (В.П. Беспалько, Г.А.Бордовский, Н.М.Зверева, В.А.Извозчиков, М.В.Кларин, В.М. Монахов, Г.К.Селевко, М.А.Тарасов, М.А.Чошанов и др.).

База исследования: Московский социально-гуманитарный институт и его филиалы в гг. Сальск, Ейск, Новороссийск, Ярославль, Ржев, Нефтеюганск, Казань, Набережные Челны, Селятино, Новомосковск, Пермь, Егорьевск.

Организация и этапы исследования:

Первый этап (1998 - 2000) - осмысление и актуализация проблемы создания и верификации комплексов тестовых заданий, методических основ тестологии, дистантных и дистанционных технологий в системе заочного обучения студентов.

Второй этап (2001-2003) - работа над научной концепцией исследования, разработка системы компьютерного тестирования, компьютерных программ аккумуляции и статистического анализа результатов тестирования.

Третий этап (2004-2005) - проведение констатирующего эксперимента, анализ полученных результатов. Уточнение на их основе цели и задач исследования, конкретизация гипотезы и объекта исследования.

Четвертый этап (2006-2007) - обобщение и теоретическое осмысление полученных результатов, формирование выводов, совершенствование и внедрение системы компьютерного тестирования и верификации комплексов тестовых заданий, оформление диссертации.

На защиту выносятся следующие положения:

1. Статистический анализ результатов тестирования студентов позволяет объективно определить такие важные характеристики, как степень

11 трудности, степень адекватности и параметры устойчивости каждого тестового задания, а также помехоустойчивость и валидность всего комплекса тестов.

  1. Система верификации тестов позволяет на основе объективных критериев производить отбор заданий и формирование комплексов тестовых заданий, соответствующих цели и педагогической задаче тестирования.

  2. Верификация комплексов тестовых заданий на основе статистического анализа результатов тестирования студентов является необходимым этапом в реализации компьютерного тестирования. Система верификации должна являться перманентно функционирующей составной частью научно-методического обеспечения учебного процесса.

Научная новизна исследования:

  1. Впервые обоснована концепция адекватной трудности тестовых заданий. Определена значимость параметра адекватности в таких характеристиках комплексов тестовых заданий, как дифференцирующая способность и валидность.

  2. Обоснована концепция устойчивости формируемых знаний, определяемых тестовым заданием, и охарактеризованы значимые параметры тестовых заданий, важные для повышения эффективности учебного процесса.

Теоретическая значимость исследования:

  1. Проведен теоретический анализ взаимосвязи качественных характеристик и статистических параметров тестовых заданий. Систематизирована структура статистических параметров тестовых заданий.

  2. Доказано, что статистические параметры тестовых заданий являются основой для введения объективных, научно обоснованных рейтингов тестовых заданий, ориентирующих комплекс на основную цель и педагогическую задачу тестирования.

  3. Разработана структура системы тестирования, включающая в себя компьютерное тестирование, регистрацию и анализ результатов,

верификацию и коррекцию тестовых заданий на различных этапах изучения дисциплины, а также при тестировании остаточных знаний. Практическая значимость исследования:

  1. Разработана универсальная технология верификации тестов, позволяющая производить отбор заданий и формирование комплексов тестовых заданий.

  2. Высокотехнологичная система компьютерного тестирования и верификации комплексов тестовых заданий может использоваться для контроля знаний студентов, а также в учебном процессе в качестве тренировочного материала.

  3. Верифицированные в результате исследования комплексы тестовых заданий по ряду дисциплин учебного плана подготовки студентов заочной формы обучения по специальностям «Логопедия», «Психология», «Бухгалтерский учет, анализ и аудит», «Государственное и муниципальное управление» подготовлены для практического использования в системе высшего образования.

Достоверность и обоснованность результатов исследования обеспечивается исходными методологическими положениями, которые соответствуют современным тенденциям педагогической науки и Концепции модернизации образования, репрезентативным объемом экспериментального материала, широкой географией базы исследования и применением методов математической статистики.

Апробация и внедрение результатов исследования. Материалы диссертационного исследования были представлены на заседаниях Ученого совета и кафедры педагогики Московского социально-гуманитарного института, на международных конференциях: «Новые технологии в образовании, науке и экономике» (Шарджа, ОАЭ, январь 2006; Террачина, Италия, май 2006), «Негосударственный сектор высшего образования: проблемы развития» (Москва, 2005), симпозиуме с международным

13 участием «Логопедия XXI века» (Санкт-Петербург, 2006) и других совещаниях и конференциях, посвященных проблемам качества обучения.

Результаты исследований внедрены в Московском социально-гуманитарном институте.

Публикации. Основное содержание исследования отражено в 6 публикациях автора. Объем опубликованных работ по теме диссертации -1,1 п.л.

Качество образования

Одним из основных факторов успешного развития общества является эффективное функционирование системы образования. Эпоха информатизации общества, интеллектуализации всех сфер деятельности, несомненно, предполагает все возрастающую значимость общей и профессиональной образованности населения. Высшее образование сегодня является важнейшей составляющей развития государства, и без достижения высокого качества образования невозможно ожидать продвижения науки, культуры, искусства, производства, то есть всего того, что делает государство сильным. С практической точки зрения большое значение имеет качество высшего образования (подготовки специалистов) [39,43]. Для получения действительно качественного образования должна быть обеспечена адекватность самих требований (целей, стандартов и норм), а также соответствующие ресурсы (образовательные программы, кадровый потенциал, контингент абитуриентов, материально-техническое обеспечение, финансы). При согласовании этих двух аспектов основную роль играет качество образовательных процессов (научная и учебная деятельность, управление, образовательные технологии и т. д.), непосредственно реализующих подготовку специалистов.

В последнее время в большинстве развитых стран уделяется большое внимание вопросам обеспечения качества образования. В Российской системе образования проблема обеспечения качества образования является приоритетной, что находит свое отражение в «Концепции модернизации российского образования на период до 2010 года».

Болонский процесс также усиливает акцент оценки и контроля качества, и берет курс на сближение стандартов и процедур оценки качества образования в различных странах. В ряду важнейших реформ, провозглашенных Болонской Декларацией, названо развитие европейского сотрудничества на основе выработанных сопоставимых критериев и методик. В резолюции съезда европейских ректоров вузов (г. Саламанка, 29-30 марта 2001 г.) качество определено как «краеугольный камень», «основополагающее условие» доверия, релевантности, мобильности, совместимости и привлекательности.

Развитие европейского сотрудничества в области повышения качества образования предполагает ряд условий [52].

1. Выработка совместимых систем контроля, ориентированных на пороговые стандарты высшего образования, которые устанавливают требования к уровню подготовки выпускников (результаты), но не временные и содержательные параметры процесса. Иными словами, в пороговых стандартах, как нормах качества высшего образования, должно произойти смещение акцентов с количественно-затратных показателей на показатели результата: компетентность, обученность, знания;

2. Создание систем независимого оценивания, которое может привести к европейским знакам качества для широких предметных областей высшего образования (контроль качества без национальных границ). Особая роль отводится существующим и будущим общеевропейским сетям по предметам (профилям, специальностям, направлениям подготовки). Предполагается, что эти аккредитационные структуры станут устанавливать минимальные стандарты для отдельных дисциплин или их совокупностей, а также инициировать процедуры измерения скорее на уровне отдельных образовательных программ (предметов), нежели на уровне высших учебных заведений. Им будет дано право присуждать Знаки качества, основанные на европейских стандартах, не искаженных национальными табелями о рангах (national league tables);

3. Координирование подходов к стандартам качества транснационального образования (франчайзинг, оффшорные структуры; кампусы и их сети; частно-тренинговые компании; твиннинг; провайдерные университеты и агентства; виртуальные университеты и т.д.).

Транснациональное образование стремительными темпами охватывает Европу. Не за горами его интенсивное распространение и в России в связи с предполагаемым подписанием Генерального соглашения о торговле услугами (GATS — General Agreement on Trade Services).

Высшие учебные заведения России создают свои системы гарантий качества образования, основанные на соответствии их учебных программ, материальных ресурсов, научно-методического обеспечения, кадров и структуры управления определенным требованиям, предъявляемым со стороны общества, личности и государства [9,11,12].

Совершенствование управления и контроля качества образования является одним из важнейших направлений Федеральной программы развития образования в России. Но эффективность исследований по оценке качества образования в основном зависит от того, что понимается под качеством образования.

В сложившейся ситуации можно выделить три основных подхода к оценке качества образования:

-теоретический подход, в рамках которого изучение проблемы идет по пути теоретико-методологического исследования. При этом иногда явно не просматриваются пути перехода от теоретического уровня к практическим разработкам методики оценки качества и внедрения ее в учебный процесс.

-практический подход, подразумевает, что его представители идут по пути создания средств (например, контроля) для оценки подготовки обучаемых, не задумываясь о концептуальных составляющих исследования.

-представители третьего направления сочетают в проводимых исследованиях теоретико-методологическую и практическую составляющие.

Они идут по самому трудному пути, однако именно такой подход к данной проблеме наиболее приемлем.

Однако, до настоящего времени не разработана и не утверждена единая научно-обоснованной система показателей качества подготовки обучаемых, так же, как и не существует единой общепринятой и утвержденной системы оценки качества образования.

Принципы формирования и требования к параметрам репрезентативной группы

Различают четыре основных вида "дизайна" - конструирования экспериментальных групп:

1. Исследование проводится с двумя различными группами: экспериментальной и контрольной, которые ставятся в равные условия;

2. Предполагается исследование одной группы: ее результаты изучаются и в экспериментальных и в контрольных условиях. Он применяется, когда имеется только экспериментальная группа и нет возможности сформировать контрольную.

3. Использование конструирования групп методом "парного дизайна". Состоит в следующем: для каждого субъекта группы подбирается эквивалентный (или похожий) ему, и они распределяются по разным группам. Соответственно контрольная и экспериментальная группы становятся похожими по составу. Конечно, в этом случае невозможно соблюсти полную эквивалентность групп в обоих условиях эксперимента.

4. Смешанный: все группы ставятся в разные условия.

Для верификации комплексов тестовых заданий на основе статистического анализа результатов тестирования нами выбран первый вариант. Формируется экспериментальная группа, в которой представлены все категории студентов. Контрольная группа

Итак, формирование выборки испытуемых - экспериментальной группы - должно подчиняться ряду правил:

1. Содержательный критерий. Подбор экспериментальной группы должен определяться предметом и гипотезой исследования.

2. Критерий эквивалентности испытуемых. Результаты, полученные при исследовании экспериментальной выборки, должны распространяться на каждого ее члена. То есть мы должны учесть все значимые характеристики исследуемого объекта, различия в выраженности которых могут существенно повлиять на зависимую переменную.

3. Критерий репрезентативности. Существуют теоретические статистические критерии репрезентативности (представленности) выборки испытуемых. Группа студентов, участвующих в эксперименте, должна представлять всю часть популяции, по отношению к которой мы можем применять данные, полученные в эксперименте. Величина экспериментальной выборки определяется видом статистических мер и выбранной точностью (достоверностью) принятия или отвержения экспериментальной гипотезы. Она может быть равна множеству индивидов, чье поведение нас интересует.

Основой верификации комплексов тестовых заданий является статистический анализ результатов тестирования репрезентативной группы студентов. Для выполнения условий репрезентативности группа тестируемых должна удовлетворять следующим условиям:

1. В группе должны быть репрезентативно представлены все значимые категории студентов, для определения знаний которых предназначен верифицируемый комплекс;

2. Группа должна обладать равномерным распределением уровня знаний в широком диапазоне, охватывающем диапазон знаний студентов, для определения знаний которых предназначен верифицируемый комплекс;

3. В группе не должны содержаться подгруппы со встречным (противоположно ориентированным) распределением по структуре знаний. В случае наличия таких подгрупп анализ должен проводиться для каждой подгруппы отдельно;

4. Группа в целом, а также каждая подгруппа в отдельности должны быть сформированы по принципу максимальной адекватности результатов тестирования.

По формальным признакам можно установить большое количество категорий студентов и установление репрезентативности для каждой категории может привести к чрезмерному требованию к количеству тестируемых. Кроме того, априори неизвестно распределение студентов по категориям и ориентация на равномерное распределение по категориям может привести к неадекватной ориентации комплекса заданий. Поэтому, в первую очередь, необходимо определить значимые категории студентов, то есть категории, принадлежность к которой существенно влияет на структуру знаний и результаты тестирования.

Основные преимущества комплексов тестовых заданий

Важным звеном процесса обучения в вузе является контроль знаний и умений студентов. От того, как он организован, на что нацелен, существенно зависит эффективность всей учебной работы. В последнее время все большее применение в качестве контроля знаний находит тестирование [10,30]. Это связано с тем, что использование тестов предоставляет особые возможности для создания и модификаций банка разнообразных задач и вопросов, позволяет эффективно организовать учебный процесс и проводить статистический анализ результатов теста. Очень многие преподаватели признают тесты качественным и объективным способом оценивания, рассматривают тесты как средство радикального преобразования учебного процесса в сторону снижения его трудоёмкости. Они признают метод тестов как надёжный, объективный и экономичный [44].

Тесты могут использоваться на любом этапе обучения. Одни из них призваны оценить готовность студентов к освоению нового учебного курса, другие помогут выявить конкретные пробелы в знаниях студентов и спланировать необходимую целенаправленную коррекцию, третьи дают возможность прогнозировать дальнейший процесс обучения и его результаты.

Основными отличиями тестов от прочих способов выявления индивидуальных различий, таких как наблюдение, анализ документов или продуктов деятельности являются их формализованность и более высокая степень объективности проводимого с их помощью оценивания, которая обеспечивается за счет стандартизации вопросов и ответов, особой процедуры проведения тестирования, способов обработки результатов; подтверждения качества теста: определения надежности, валидности и использования математического статистического инструментария для оценки полученных результатов.

Основные преимущества использования тестов в учебном процессе [67]:

1. Компьютерное тестирование предоставляет совершенно особые возможности для создания и модификаций банка разнообразных задач и вопросов. Использование такого банка позволяет максимально индивидуализировать контрольные мероприятия с учетом профессиональной направленности обучения и наличием слабых и сильных учащихся;

2. Индивидуализация и разнообразие заданий;

3. Применение тестов для непосредственной проверки и оценки знаний позволяет унифицировать требования, предъявляемые к знаниям, и повысить объективность;

4. Эффективная организация учебного процесса;

5. Возможность статистического анализа. Современные тестовые системы [108] позволяют получить основные статистические параметры результатов тестирования как участников, так и тестовых заданий, построить гистограмму распределения индивидуального балла тестируемых, рассчитать коэффициенты корреляции задания с заданием и задания с индивидуальной суммой баллов по заданиям, построить индивидуальные кривые испытуемых и характеристические кривые заданий; построить информационные функции заданий и теста; рассчитать дифференцирующую способность заданий и надежность теста, а также возможность посмотреть статистику по каждому заданию;

6. Возможность устанавливать уровень сложности вопросов;

7. Возможность детальной проверки каждой темы курса;

8. Осуществление оперативной диагностики результата овладения учебным материалом каждым учащимся;

9. Экономия учебного времени при проверке знаний и оценке результатов учения.

Похожие диссертации на Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе