Введение к работе
Актуальность темы. С изменением системы высшего образования в России в рамках реализации основных принципов Болонского соглашения, в частности с появлением новых подходов к оценке качества образовательного процесса в вузе, электронное тестирование, как метод оценки уровня знаний учащихся, приобретает все большую популярность. В связи с этим возникает проблема качества используемых в учебном процессе тестовых материалов (ТМ), исследованию которой посвящено много работа зарубежных и отечественных ученых: Г. Раша, Р. Торндайка, Дж. Гласса, Ф. Лорда, А. Анастази, B.C. Аванесова, М.Б. Челышковой, Ю.М. Неймана, Т.Н. Тягуновой, С.Л. Плавинского, Л.А. Сысоевой и др.
В странах, использующих высокоэффективные технологии и методики диагностики качества образования, разработкой, проверкой и тиражированием ТМ занимаются специальные организации, например, в CIJJA - Educational Testing Service ETS (), в Великобритании - The Qualifications and Curriculum Authority QCA (), в России - Федеральный институт педагогических измерений ().
Несмотря на развитие государственной системы тестирования, в России на сегодняшний день большую часть используемых в учебном процессе ТМ составляют материалы, разработанные преподавателями учебных заведений в рамках преподаваемых ими дисциплин. Популярность их использования обусловлена в первую очередь адаптивностью по отношению к преподаваемому материалу и ориентацией на педагогические потребности небольшого количества учащихся и т.п. Содержание ТМ формируется авторами вручную и целиком зависит от их индивидуальных особенностей, например, стиля изложения, уровня компьютерной грамотности и т.п.
Отсутствие у многих преподавателей опыта по разработке ТМ и соответствующих знаний в области тестологии приводит к нарушению основных требований, предъявляемых к структуре, содержанию и оформлению тестовых заданий (ТЗ). Результаты исследований, проведенные в области качества ТМ, показали, что в среднем отсеивается 47 % разработанных ТЗ. Исследование, проведенное в Астраханском государственном университете, позволило выявить основные причины, снижающие качество ТМ и разбить их па группы (рис. 1). Анализ графика показывает, что 48 % ошибок, допускаемых авторами, вызвано нарушением технологических требований, в частности избыточностью слов в формулировках ТЗ, которая в процессе тестирования значительно снижает уровень понимания у испытуемых поставленного в задании вопроса, и нарушением технических правил оформления ТЗ, существующих в эксплуатируемой автоматизированной системе тестирования (ACT).
Нарушение методических требовании, предъявляв**): if содержанию ТЭ (37%)
Нарушение технологически* требований, предъявляемые к форме 73(32%) О Нарушение технических требований оформления ТМ (16%) DHarr/швние принцилов отборе содержания (9%) ОНапияив грамма-гичесхих ошибок (6%)
1'исуиок 1. Причины, снижающие качество тестовых материалов
Трудности, связанные с применением существующих методов оценки качества ТМ в вузе, обусловлены рядом факторов:
необходимостью наличия большого объема статистической выборки результатов тестирования, достаточного для получения достоверных данных анализа, что для ряда дисциплин в силу небольшого количества часов, отведенных на их изучение или в силу малочисленности групп учащихся возможно только в течение нескольких семестров;
длительный период накопления статистических данных может привести к потере актуальности ТМ, т.к. для некоторых дисциплин (например, юридического, экономического направлений, информационных и телекоммуникационных технологий) характерно быстрое изменение содержания предметной области;
обработка статистических данных предполагает эмпирическую проверку свойств ТМ на основе сложного математического аппарата и ее выполнение крайне затруднительно без привлечения специальных программных продуктов;
в силу специфики представления результатов анализа для их правильной интерпретации преподавателю необходимы дополнительные знания в области тестологии и знание самих методов статистической обработки.
В результате возникает потребность в разработке методов автоматизированной оценки качества ТМ до начала их практического использования, которые позволили бы повысить как качество самих ТМ, так и эффективность процесса их создания. Одним из возможных способов решения поставленной задачи является оценка восприятия содержания ТМ, основанная на анализе количественных показателей формулировок ТЗ, характеризующих стиль изложения материала и степень его понимания целевой аудиторией.
Объектом исследования является процесс разработки и оценки качества ТМ на этапе их создания.
Предметом исследования являются модели оценки качества ТМ в процессе разработки и способы автоматизации этого процесса.
Цель работы: повышение эффективности процесса разработки ТМ с оценкой их качества до начала практического использования на основе исследования моделей и последующей автоматизации процесса подготовки ТМ.
Для достижения поставленной цели были выделены следующие задачи:
провести анализ методологических подходов оценки качества ТМ, обобщить и систематизировать существующие методы оценки восприятия текстов и выбрать те, которые в наибольшей степени соответствуют цели исследования;
установить совокупность единичных показателей, характеризующих основные свойства содержания ТЗ и позволяющих количественно оцепить восприятие ТМ, рассчитать их нормированные значения и определить вклад каждого показателя в комплексную оценку;
разработать модель комплексной оценки читабельности ТМ, учитывающую специфику содержания предметной области ТЗ и присутствующие в их формулировках компоненты (текст, формулы, цифры и т.п.); построить шкалу диапазонов значений комплексного показателя для определения уровня читабельности ТМ;
разработать корреляционно - регрессионные модели оценки «трудности» ТЗ на основе показателей читабельности до начала их использования в учебном процессе; проверить адекватность разработанных моделей и оценить точность полученных с их помощью данных;
разработать функциональную модель технологического процесса оценки и контроля качества ТМ до начала их практического применения;
разработать алгоритмы и комплекс программного обеспечения для автоматизации критериальной оценки читабельности и трудности ТМ на этапе разработки, проверить их эффективность.
Методы исследования. Для решения поставленных задач были использованы методы тестологии, квалиметрии, теории вероятности и математической статистики, математического моделирования, теоретические основы структурного анализа и методологии проектирования информационных систем.
Научная новизна работы. В диссертации разработаны и вынесены на защиту следующие основные положения:
1) Существенно расширена система единичных показателей читабельности,
позволяющая с учетом конструктивных особенностей тестовых заданий и
компонентов, присутствующих в формулировках, оценивать их качество на
этапе разработки.Впервые рассчитаны нормированные значения единичных показателей оценки читабельности русскоязычных тестовых материалов на основе вероятностно - статистических методов.
Разработана модель комплексной оценки читабельности тестовых материалов и построена шкала диапазонов определения уровня читабельности.
Впервые разработаны корреляционно - регрессионные модели оценки трудности тестовых заданий, позволяющие на основе показателей читабельности предположить качество тестовых заданий по критерию «трудность» до начала их практического использования.
5) Разработаны функциональные и информационно - логические модели процесса организации оценки и контроля качества тестовых материалов на этапе их создания, отличающиеся применением международных стандартов системного структурного анализа IDEF и реализованные в автоматизированной системе тестирования.
Практическая ценность работы заключается в создании автоматизированной системы тестирования, обеспечивающей автора автоматизированной поддержкой в отношении контроля качества ТМ в процессе их разработки, позволяющей повысить эффективность процесса разработки ТМ и обеспечить более качественную их подготовку за счет сокращения числа «отбракованных» ТЗ в среднем в 2 раза.
Реализация результатов работы. Разработанная система тестирования (ACT-ДО) была внедрена в Астраханском государственном университете в рамках международного проекта JEP 25070_2004 «Модернизация образования в сфере ИКТ в университетах юга России» (MEICTRU), в Пензенском государственном университете для организации учебного процесса на кафедре КиПРА, в Бийском филиале Современной Гуманитарной академии в рамках реорганизации учебного процесса в связи с переходом к блочно - модульному обучению по Болонскому соглашению.
Апробация работы. Основные положения и результаты диссертационной работы докладывались на Всероссийской научно-практической конференции "Проблемы информатизации образования: региональный аспект" (Чебоксары,
2006 г.); Всероссийской научной конференции «Инновационные технологии в
управлении, образовании, промышленности «АСТИНТЕХ-2007» (Астрахань,2007 г.); Международной конференции «Компьютерные науки и
информационные технологии» (Саратов, 2007 г.); II-nd International Conference
on Modern (е-) Learning (Varna, Bulgaria, 2007 г.); 1-ой Международной научно-
технической конференции «Эволюция системы научных коммуникаций
ассоциации университетов прикаспийских государств» (Астрахань, 2008 г.) и
других научных коїгференциях профессорско-преподавательского состава
Астраханского государственного университета (Астрахань, 2005 - 2009).Публикации. По теме диссертации опубликовано 12 печатных работ, в том числе 4 статьи в научно - технических изданиях, рекомендованных ВАК РФ; получено 2 свидетельства об официальной регистрации программ для ЭВМ.
Структура и объем диссертации.
Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложений. Общий объем работы 184 страницы машинописного текста, который включает 112 страниц основного текста, 26 рисунков, 29 таблиц, 11 приложений и список литературы из 115 наименований.
Похожие диссертации на Модели оценки качества тестовых материалов на этапе разработки
