Содержание к диссертации
Введение
Глава 1. Проблемы оценки качества обучения и подходы к ее решению 9
1.1 Качество обучения в Российской и международной системе образования 9
1.2 Подходы к определению качества образования согласно современным стандартам качества 19
1.3 Роль компетенций в системе оценки качества образования и проблемы оценки уровня компетенций 29
1.4 Возможности существующих оценочных средств при измерении уровня компетенций 38
Глава 2. Технологии тестирования в оценке качества образования при компетентностном подходе 42
2.1 Способы организации тестирования, обеспечение достоверности результатов 42
2.2 Теория латентных переменных и модель Раша 50
2.3 Модернизация модели Раша для измерения отдельных характеристик компетенции. 71
Глава 3. Построение модели для оценки и прогнозирования уровня формируемых компетенций 86
3.1 Построение и анализ банка тестовых заданий 86
3.2 Измерение компетентности выпускников и механизмы взаимодействия вуза и работодателя 108
Заключение 120
Список использованных источников 122
- Подходы к определению качества образования согласно современным стандартам качества
- Роль компетенций в системе оценки качества образования и проблемы оценки уровня компетенций
- Теория латентных переменных и модель Раша
- Измерение компетентности выпускников и механизмы взаимодействия вуза и работодателя
Введение к работе
Актуальность темы исследования.
Образовательные процессы являются важной составной частью социально-экономических общественных процессов, которые определяют успешность развития отдельных стран и регионов в наступивший период экономики знаний. Важность этих проблем диктует необходимость коренных преобразований в системах образования ведущих стран мира. Одной из ключевых проблем образовательной системы, в том числе и российской, является повышение качества высшего образования. Важным этапом процесса модернизации высшей школы стал переход на компетентностный подход к оценке качества образования, который требует изменения существующих методов оценки качества обучения.
В настоящее время предложено множество содержательных идей,
касающихся самого понятия компетенции и методов ее оценки. Однако
проблема измерения уровня компетенций, формируемых в процессе
обучения, до сих пор не имеет общепризнанного решения ни в нашей стране,
ни за рубежом. Это связано с тем, что сама задача измерения компетенции не
может быть решена в рамках только педагогической науки. Она является
частью более общей задачи оценки качества трудовых ресурсов как фактора,
влияющего на процессы социально-экономического развития, и в ее решении
должны участвовать и работодатели, и государственные органы управления,
и общественные организации, представляющие все общество. Такая
неоднородность субъектов, участвующих в оценке качества образования,
приводит к несогласованности предлагаемых методик и невозможности их
системного применения. Следствием этого является отсутствие
математических моделей для описания сложного и многогранного понятия компетенции, а также методологии измерения уровня компетенции студентов.
Степень разработанности темы исследования.
Различные подходы к исследованию проблемы качества подготовки
специалистов раскрыты в трудах российских и зарубежных ученых:
Г.Г. Азгальдова, А.В. Гличева, Е.Н. Ефимова, Е.Н. Мелешко, А.Я. Савельева,
А.И. Субетто, Н.Ф. Талызиной, Ю.Г. Татур, Р.А. Фатхутдинова,
В.З. Ямпольского и других авторов.
Формирование современных представлений о принципах и подходах к
управлению качеством связано с именами известных зарубежных
исследователей: Э. Демингом, Д. Джураном, К. Исикавой, Т. Конти,
Ф. Кросби, А. Фейгенбаумом, Д. Харрингтоном и др. Большой вклад в
разработку теории и практики управления качеством внесли российские
ученые и практики: Ю.П. Адлер, И.Г. Венецкий, С.Д. Ильинкова,
В.Ю. Огвоздин, В.В. Окрепилов и многие другие.
Результаты, связанные с проведением педагогического эксперимента, были описаны в работах: Ю.К. Бабанского, Дж. Гласса, М.И. Грабаря, В.И. Загвязинского, К.А. Краснянского, Дж. Стенли и др.
Внимание проблемам теории и методики педагогических измерений
уделено в работах В.С. Аванесова, Т.М. Балыхиной, В.А. Болотова,
А.А. Большакова, В.И. Звонникова, Н.Ф. Ефремовой, В.М. Кадневского,
Л.В. Караваевой, Т.И. Корчинской, В.А. Кушникова, А.Н. Майорова,
А.С. Масленникова, Л.М. Поддубной, Б.У. Родионова, М.Б. Челышковой и др.
Положения современной теории тестов (Item Response Theory) и ее
параметрические методы освещены в исследованиях И.Н. Елисеева,
Е.Ю. Игнатьевой, Е.Ю. Кардановой, В.С. Кима, Ф. Лорда, А.А. Маслака,
В.Г. Наводнова, Н.Н. Найденовой, Ю.М. Неймана, В.Ю. Переверзева,
С.А. Позднякова, Г. Раша и др.
Цель исследования: Основной целью диссертационного исследования является анализ процессов оценки качества образования, построение математических моделей и разработка методов для количественного измерения и прогнозирования уровня компетенций, формируемых в процессе обучения.
Задачи:
– раскрыть понятие качества образования с учетом требований всех заинтересованных сторон, сформировать наборов объективных показателей в рамках компетентностного подхода к оценке качества обучения;
– провести анализ существующих моделей количественной оценки качества обучения, адаптировать их для измерения и прогнозирования вероятности проявления отдельных составляющих компетенции;
– разработать методику оценки «правильности» профиля знаний студентов и проанализировать его связь с уровнем компетентности;
– построить модель для оценки уровня компетенции, формируемой в процессе обучения, на основе тестовых измерений;
– предложить инструменты для реализации механизма
взаимодействия вуза и работодателя, позволяющие оперативно учитывать требования работодателей к качеству подготовки студентов.
Объектом исследования является высшее учебное заведение.
Предмет исследования – процессы управления качеством обучения и взаимодействия вуза и работодателя.
Область исследования.
Работа выполнена в соответствии с пунктом 1.9. Паспорта специальности 08.00.13 – «Математические и инструментальные методы экономики»: «Разработка и развитие математических методов и моделей анализа и прогнозирования развития социально-экономических процессов общественной жизни».
Рабочая гипотеза исследования.
Основная гипотеза проведенного исследования состоит в том, что существует возможность объективной количественной оценки достигнутого уровня компетенций студента (проявляющихся только в практической деятельности выпускника) в ходе его подготовки, которая может быть реализована с использованием банков тестовых заданий, удовлетворяющих модели Раша, а также применением многомерной модели оценки уровня компетенций.
Теоретическую и методологическую основу исследования
составили научные публикации российских и зарубежных учных по вопросам качества образования, его оценки методом тестирования и измерения латентных переменных.
Для получения результатов диссертационного исследования были использованы методы системного анализа, математического планирования эксперимента, прикладной математической статистики, теории управления сложными информационными системами, латентных переменных. Также применяются общенаучные и общеэкономические методы исследования.
В качестве инструментальных средств использованы Microsoft Excel, Statistica и Winsteps, а также адаптивная среда тестирования АСТ-тест.
Информационной базой исследования послужили результаты тестирований, проведенных на базе ФГБОУ ВПО «Саратовский государственный социально-экономический университет» (СГСЭУ), а также ведущих вузов поволжского региона.
Положения, выносимые на защиту:
-
Качество образования является сложным составным понятием, набор требований к которому, формируемый как совокупность требований различных групп потребителей образовательных услуг, можно объединить в три группы: внутреннее качество (требования преподавателей, учащихся, вузов), внешнее качество (требования общества, требования государства в лице министерства образования) и качество при использовании (требования работодателей, выпускников).
-
Введение в модель Раша дополнительных параметров, основанных на экспертной оценке степени нестандартности и практической значимости каждого из тестовых заданий, позволяет выявить новые латентные характеристики личности обучаемого, связанные с его профессиональной компетентностью.
-
Разработанный алгоритм оценки «правильности» профиля знаний при компетентностном подходе, включающий вычисление профиля Гуттмана для результатов тестирования, позволяет дополнить характеристики компетенции, выявленные с помощью модернизированной модели Раша, сведениями о структуре знаний учащихся и степени ее отклонения от идеальной структуры, планируемой педагогом на момент начала обучения.
-
Предложенная методика оценки уровня компетенции как многомерного объекта, характеристиками которого являются способность
решать трудные, нестандартные и практически важные задачи, уровень структурированности знаний, а также степень отклонения хода выполнения задания от идеальной траектории, позволяет количественно оценить и спрогнозировать уровень формируемой компетентности выпускника.
5. Разработанное программное средство, реализующее предложенную
методику оценки уровня формируемых компетенций, является средством
контроля текущего уровня сформированной компетенции, которое может
встраиваться в существующие системы управления качеством
образовательного процесса на оперативном уровне управления.
Научную новизну содержат следующие результаты исследования:
-
Уточнено понятие качества обучения, которое рассмотрено с точки зрения всех заинтересованных сторон в виде наборов показателей и в состав которого включены дополнительные показатели (соответствие профессиональным стандартам, уровень профессиональной квалификации и способность выпускников адаптироваться к условиям конкретного предприятия, соответствие потребностям рынка труда, уровень доступности образования, возможность повышать занятость, увеличивать НВП, снижать напряженность в обществе), связанные с внешней оценкой со стороны работодателей, выпускников и всего общества.
-
Модернизирована модель Раша для оценки качества обучения, путем введения в нее дополнительных параметров, характеризующих нестандартность заданий теста и их практическую значимость, что позволило использовать модель для прогнозирования вероятности проявления отдельных составляющих компетенции.
-
Разработан алгоритм оценки «правильности» профиля знаний при компетентностном подходе, включающий вычисление профиля Гуттмана для результатов тестирования на банке тестовых заданий, удовлетворяющих требованиям модернизированной модели Раша и процедуру сопоставления полученных показателей профиля с эталонными значениями.
-
Предложен новый подход к оценке уровня компетенции как многомерного объекта, характеристики которого определяются из нескольких показателей (способность решать трудные, нестандартные и
практически важные задачи, структурированность знаний, правильность хода выполнения задания и т.д.), каждый из которых является проекцией этого объекта на соответствующую ось, что позволяет получить объективную и оперативную оценку уровня формируемой компетентности.
5. Разработана методика оценки компетенций, включающая систему экспертных оценок нестандартности и практической значимости тестовых заданий, реализующую механизм взаимодействия вуза и работодателя, позволяющая прогнозировать уровень формируемых компетенций в системе управления качеством образования.
Практическая значимость исследования заключается в том, что предлагаемая методика позволяет измерить уровень компетенции студента с заданной точностью и достоверностью. Полученные результаты могут использоваться для оценки качества учебного процесса с использованием компетентностного подхода, а также прогнозировать профессиональную пригодность выпускника с точки зрения работодателя.
Апробация результатов исследования
Основные положения диссертации обсуждены и получили апробацию в
тезисах, статьях и выступлениях на международных и всероссийских
научных конференциях: «Компьютерные науки и информационные
технологии», «Современные модели исследования социально-экономических
процессов: Теория и Практика» (Саратов, 2009 г.), «Информационные
технологии в общем образовании», «Актуальные проблемы и перспективы
развития современной экономики и управления» (Саратов, 2010 г.),
«Современные исследования в области естественных и технических наук:
междисциплинарный поиск и интеграция» (Тольятти, 2012 г.),
«Интеграционные процессы в сфере образования как фактор устойчивого развития региональной инновационной экономики», «Наука – бизнес – образование: проблемы и перспективы компетентностного взаимодействия» (Ульяновск, 2012 г.), «Экономическое прогнозирование: модели и методы» (Воронеж, 2013 г.), «Междисциплинарные исследования в области математического моделирования и информатики» (Тольятти, 2013 г.).
По теме диссертации опубликовано 22 работ общим объмом 9,3 п.л., в том числе авторских – 6,5 п.л., из них 4 работы в ведущих рецензируемых журналах, входящих в перечень ВАК.
Объем и структура диссертационной работы обусловлены целью и задачами исследования. Диссертационная работа состоит из введения, трех глав, заключения, библиографического списка из 157 источников. Основное содержание работы изложено на 137 страницах.
Подходы к определению качества образования согласно современным стандартам качества
Качество образования является сложным составным понятием. В ГОСТ Р ИСО 9001-2008 дается следующее определение качества. Качество – это весь объем характеристик продукта или услуги, которые относятся к их способности удовлетворять установленным или предполагаемым потребностям []. Это определение является общим для всех видов товаров и услуг. Однако его недостаточно для конкретных оценок качество обучения. Видимо, для описания качества образования эффективным может быть подход, предложенный в стандарте ISO 9126 (ГОСТ 9126) для оценки качества программных средств. В этом стандарте изначально предлагается рассматривать понятие качества сложной системы, состоящим из 3 компонентов: внутреннее качество, внешнее качество и качество при использовании. Если применить подобный подход к определению качества образования, то его можно представить в виде классификационного дерева, показанного на рисунке 2. До недавнего времени традиционный подход к оценке качества образования был ориентирован на внутреннее качество. Именно поэтому для соответствующих наборов требований существуют объективные метрики и измерительные инструменты. С введением и развитием процедуры госаккредитации в последние годы значительно повысилась роль внешнего качества, что привело к разработке четко определенных критериев и измерительных средств для их оценки со стороны государства.
Сейчас с вводом новых ФГОС усиливается роль качества при использовании, поскольку новый подход предполагает ориентацию на конечного потребителя, т.е. работодателя и выпускника. При определении качества образования важно учитывать, что требования конечного пользователя к качеству должны в процессе валидации требований преобразовываться в требования к внешнему качеству, а затем на их основе должны формироваться требования к внутреннему качеству. В свою очередь, процессы, обеспечивающие реализацию требований к внутреннему качеству должны находить воплощение во внешнем качестве, которое в конечном итоге обеспечивает качество для пользователей.
Таким образом, все походы к оценке качества необходимо учитывать. Внутреннее качество важно в процессе обучения для управления процессом образования на оперативном уровне. Внешнее качество – для определения качества подготовки специалистов и присвоения квалификационной степени. Требования к качеству при использовании следует учитывать при составлении образовательных программ и стандартов.
Анализ рассмотренных выше подходов к определению качества образования, показывает, что для его полного понимания необходимо определить результаты образования, выделить свойства, которые должны быть сформированы у обучаемых по окончанию образовательного процесса в учебном заведении. При этом характеристики образования должны представлять ценность не только с позиции вуза, но и для всех субъектов образовательного процесса.
Системы обеспечения и оценки качества деятельности высших учебных заведений, существующие сегодня в России и за рубежом используют существенно различающиеся подходы к управлению качеством, а также разные методы и наборы критериев. Тем не менее, в основе большинства систем управления качеством, используемых в настоящее время отечественными и зарубежными вузами лежат следующие стандартизованные модели систем менеджмента качества: – модель системы менеджмента качества, соответствующая стандарту ISO 9001:2000 (ГОСТ Р ИСО 9001 -2001); – модель всеобщего управления качеством (TQM) – модель (EFQM) Европейского фонда по менеджменту качества, модифицированная для применения в сфере высшего образования; – модели, удостоенные премий Правительства РФ в области качества и конкурса Министерства образования РФ «Внутривузовские системы обеспечения качества подготовки, специалистов»; – модели, разработанные Центром исследований в области высшего образования (CHEPS) университета Твенте) и Ассоциацией университетов Нидерландов (VSNU); – совместная модель (Бельгия – Нидерланды) (HBO Expert Group); – модель, удостоенная американской национальной премии по качеству «Baldrige National Quality Award» в области образования; – модель эталонного тестирования, разработанная группой Австралийских университетов. Можно выделить три основных подхода к оценке качества образования. В соответствие с требованиями стандартов качества ISO 9001:2000, основным инструментарием обеспечения качества считается документированная система управления. Работа по созданию и внедрению систем управления качеством на основе этих требований ведется в настоящее время во многих вузах России. Согласно этому стандарту требуется: – идентифицировать процессы, – произвести их корреляционный анализ, – определить критерии и методы эффективной реализации процессов, – обеспечить ресурсы и информацию для мониторинга, – проводить мониторинг процессов, – осуществлять совершенствование процессов. Вторым подходом является модель всеобщего управления качеством (TQM). Она основана на глубоком анализе деятельности организации по производству продукции и услуг. Концепция всеобщего управления качеством (TQM) определяет качество любого товара или услуги с позиций удовлетворенности потребителя. Основными принципами TQM являются: – создание информационной базы; – внедрение методов оценки удовлетворенности потребителей; – оценки и измерения основных процессов; – непрерывное улучшение этих процессов; самооценка деятельности.
Роль компетенций в системе оценки качества образования и проблемы оценки уровня компетенций
Выделяют следующие подходы к определению сущности компетенций: поведенческий (американский), функциональный (британский), многомерный и целостный (французский и немецкий). Американский подход раскрывает понятие компетенция как поведение сотрудника. Данный подход регламентирует действия работника, которые он должен выполнять для эффективного выполнения своих служебных обязанностей. В рамках данного подхода компетенция определяется как базовые характеристики сотрудника, позволяющие ему совершать правильные действия и тем самым получать полезные результаты в работе. Помимо самой компетенции у выпускника должна присутствовать компетентностная мотивация. На основе этих теоретических разработок в США стали применяться компетентностные тесты, которые могут предсказать эффективность профессиональной деятельности выпускника после окончания вуза с высокой валидностью. Широкое распространение получило в США подход, измеряющий не только общее компетенции, но и другие их виды. Так Американская ассоциация менеджмента (АМА) предложила выделять пять кластеров (рисунок 5). Виды компетенций Ресурсные Системные Межличностные Технические Информационные Рисунок 5. Поведенческая модель компетенций По мнению разработчиков этого подхода, сходства и различия между кластерами должны осуществляться в процессе определения главных факторов успешной деятельности и измерения уровня их сформированности в каждом из кластеров. В процессе измерения каждый кластер разбивается на группы компетенций, которые в свою очередь делятся на субкомпетенции. Отличие Европейского подхода состоит в определении компетенции как возможности сотрудника выполнять действия согласно принятым внутренним стандартам организации. Поэтому в этом подходе большое внимание уделяется описанию рабочих задач, обязанностей сотрудника и ожидаемого от него конечного результата [].
В британской модели определения компетенций отмечается устремление к целостности и функциональности. Это происходит посредством интеграции знаний, пониманий, навыков и ценностей, характерных для профессионала. Примером такой модели может служить предложенная Чисмэном и Чиверсом интегративная модель профессиональной компетентности (рисунок 6). Рисунок 6. Функциональная модель компетенций В этом подходе понятие «компетенция» трактуется шире, чем в американском понимании. В Великобритании к компетенциям относят и функциональные характеристики знаний, умений и навыков.
Подход к построению компетентностной модели во Франции принято называть многомерным. Это объясняется тем, что он разделяет два вида обособленных компетенций. Личностные компетенции характеризуют поведение обучаемого. Коллективные компетенции нацелены на выявление компетенций, необходимых для успешной работы в коллективе или его управления. При систематизации компетенций кластеры занимают положение ближе к одному или другому полюсу. Многообразие таких кластеров и придает описанному подходу многомерность. В основу немецкой системы образования было положено определение компетенции действия. Большое внимание уделяется формированию учебного плана. В первую очередь для каждого плана устанавливается список компетенций, характерных для конкретного предмета и только потом запланированные знания, умения и навыки. Классификация компетенций учитывает область будущей деятельности учащегося (рисунок 7). Рисунок 7. Действенная модель компетенций Предметные компетенции отражают готовность выпускника к решению профессиональных задач. Они включают в себя такие кластеры как компетенции сферы деятельности и общие когнитивные компетенции. К личностным компетенциям относят когнитивные, социальные и самокомпетенции. С их помощью оценивают возможность учащегося к исследованию, анализу и оценке направлений саморазвития и формированию требований в различных жизненных аспектах. Многомерные модели построения структуры компетенций получили большее распространение и развитие (Таблица 2). Это объясняется тем, что полученные с их помощью результаты позволяют синхронизировать образовательную деятельность вузов с потребностями субъектов образования. Таблица 2 Многомерные модели компетенций Профессиональные Личностные Концептуальные Когнитивные компетенции Метакомпетенции Операционные Функциональные компетенции Социальные компетенции В основе традиционной образовательной парадигмы в отечественной практике лежит исследование ЗУН (знаний, умений и навыков) и ПВК (профессионально важных качеств). Эта тенденция прослеживалась при формировании образовательных стандартов 1-го и 2-го поколения. Недостатком отечественных методов оценки компетенций заключался в игнорировании требований потребителей образования. Устранить его был призван переход к ФГОС ВПО, что должно было позволить наладить механизмы взаимодействия вузов и работодателей. В настоящее время в России используется сочетание элементов и наработок американской и европейской системы оценок, а также отечественный опыт изучения компетенций. Однако применение европейской модели в российской системе образования ограничивается отсутствием достаточного количества профессиональных стандартов по отдельным видам деятельности []. А утвержденный Распоряжением Президента Российского союза промышленников и предпринимателей (РСПП) № РП-46 от 28 июня 2007 г. профессиональный стандарт является пока только макетом. Кроме того до сих пор не принята Национальная рамка квалификаций, которая должна лежать в основе разработки профессиональных стандартов []. Таким образом, отсутствие профессиональных стандартов, не утвержденная национальная рамка квалификаций, отсутствие отечественных исследований по оценке компетенций с учетом интересов работодателей способствовали распространению в российской профессиональной среды американского подхода, в основе которого заложены цели достижения максимальной эффективности труда и повышения управляемости и конкурентоспособности организации.
Поэтому среди российских работодателей при оценке компетенции сотрудника акцент ставиться на его способность выполнять должностные обязанности и наличие личностных качеств, которые позволят организации достичь поставленных целей. Метод оценки с использование компетенций нашел свое применение при решении таких кадровых задач, как подбор персонала, формирование кадрового резерва, аттестация персонала и т.д. [, , ]. Рассмотренные образовательная и профессиональная сферы предъявляют свои требования, что определяет функции оценки компетенций. Так в образовательном процессе измерение компетенций используется в качестве инструмента контроля качества образования. В профессиональной же среде такой метод оценки применяется при отборе персонала и определении его потенциала. Различаются и системы классификации компетенций, используемые образовательной и профессиональной средой. Так в ФГОС приведены только общекультурные и профессиональные компетенции. В профессиональной же среде, как правило, выделяют три классификационных признака: уровень распространения, уровень развития, сущность и содержание (рисунок 8). В словаре-справочнике современного российского профессионального образования раскрывается понятие общекультурных(общих) компетенций. Под ними понимается способность успешно решать задачи, являющиеся общими для многих видов профессиональной деятельности []. При оценке общекультурных компетенций сложность вызывает тот факт, что степень их сформированности можно оценить только в результате всего обучения. Общекультурные компетенции определяют в способности ориентироваться в различных сферах социальной и профессиональной жизни. М.Г. Синякова отмечает, что общекультурные компетенции следует рассматриваться как основу для формирования профессиональной мобильности специалиста. [, С. 25]. Например, к общекультурным компетенциям можно отнести способность правильно и аргументировано устно или письменно выражать и др. [].
Теория латентных переменных и модель Раша
Прежде чем приступить к описанию алгоритма вычисления уровня компетенций, необходимо сформулировать несколько определений IRT. Недоступное для прямого наблюдения, свойство личности называется латентным параметром. Величина латентного параметра определяется по ее индикатору (индикаторной переменной). В отличие от латентной переменной индикатор доступен для прямого наблюдения. Индикатор – это средство воздействия, связанное с определенной латентной переменной, реакция на которое, доступна для непосредственного наблюдения. Это может быть вопрос, тестовое задание. О значении латентного параметра можно судить, измеряя значение индикатора, с которым он связан. Примером индикатора может быть тестовое задание, а ответ испытуемого, на тестовое задание является значением индикатора. Для измерения латентной переменной создается конструктор – систему индикаторов, позволяющих оценить латентный параметр. Основными допущениями IRT являются следующие: 1) существуют латентные параметры испытуемого (уровень подготовленность испытуемого и уровень трудности задания); 2) индикаторные переменные доступны для наблюдения. Они связанны с латентными параметрами так, что по их значению можно судить о величине латентных параметров; 3) латентная переменная должна быть одномерной. Для ее измерения необходим гомогенный тест, т.е. измеряющий знания только в одной предметной области. Другие допущения, связанные с математико-статистическим аппаратом IRT и обработкой эмпирических данных [] будет рассмотрено позже.
Основная задача IRT заключается в переходе от индикаторной переменной к латентной. Для ее выполнения образуются два множества, между которыми устанавливается связь. К первому множеству относятся значения уровня подготовленности каждого испытуемого в. Второе множество составляют значения трудности каждого задания Д. Г. Рашем было сделано предложение, измерять уровень подготовленности испытуемого в, и уровень трудности задания Д в одних единицах измерения (логитах) и на одной шкале. Под логитом понимается переменная Z, рассчитывающаяся по формуле (8). Z = Ln(P/(1-P)) , (8) Р/(1-Р) представляет собой отношение вероятности того, что событие произойдет к вероятности того, что оно не произойдет и называется отношением шансов. В качестве аргумента функции успеха (вероятности выполнения задания) выступает разность в, - Д. Отрицательное значение этой разности свидетельствует о низкой вероятности решения z-ым испытуемым 7-ого задания. Положительное значение этой разницы свидетельствует о высокой вероятности правильного выполнения задания. Связь между успехом выполнения задания с уровнем подготовленности испытуемого и трудностью задания устанавливается Рашем по математической модели. В ее основе лежит логистическая функция. 1.7в-р) р )=е 1.7(е_;.) 1+e lj) , (9) 1.7(0,-/0 гАР 1 .7щ, (10) Множитель 1,7 введен в модель Раша для обеспечения ее совместимости с моделью Фергюсона, в которой вероятность правильного ответа выражается через интеграл от функции нормального распределения (11). Такая запись вероятности дает возможность заменить логистическую кривую хорошо изученным нормированным интегралом от функции нормального распределения [] в-p. 1 2 р.{в) = -2 \ e2% dx (11) Поскольку в модели Раша вероятность успеха испытуемого зависит от одного параметра (вг - Д), она получила название однопараметрической модели IRT. На рисунке 11 изображены характеристические кривые согласно уравнению (9). Левый график соответствует характеристической кривой самого легкого задания с уровнем трудности равной -2 логита, средний график - трудности 0 логит и правый график - самый трудный из трех (уровень трудности 2 логита). 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 -5,00-4,42-3,84-3,26-2,68-2,10-1,52-0,94-0,36 0,22 0,80 1,38 1,96 2,54 3,12 3,70 4,28 4,86 0, логит Рисунок 11. Характеристические кривые заданий в модели Раша. Из рисунка 11 и формул (9,10) видно, что высокую вероятность успеха обеспечивается высоким уровнем подготовленности испытуемого. Так, к примеру, испытуемый с уровнем подготовленности равному 0 логитов правильно ответит на первое задание с вероятностью близкой к единицы, на второе задание с вероятностью 0,5, а на третье задание - с вероятностью почти равной нулю. Следует отметить, что в точке равенства уровня трудности задания и уровня подготовленности испытуемого вероятность выполнения задания равна 0,5, т.е испытуемый с равной вероятностью может как выполнить, так и не выполнить это задание. Важной характеристикой теста являются понятия надежности и валидности. Под надежностью теста понимается степень надежности, или точности, с какой латентная переменная может быть измерена. Существует множество способов определения надежности. 1. Вычисление коэффициента корреляции Пирсона между двумя параллельными тестами на одной и той же выборке испытуемых. Метод имеет ряд существенных недостатков: повторная проверка знаний по одному и тому же вопросу связана с лишней психологической нагрузкой учащихся и их переутомлением; трудно создавать параллельные тесты. 2. Корреляция между повторными испытаниями через определенное время одного и того же теста на той же группе. Недостатки является возможность запомнить вопросы и ответы. 3. Корреляция тестовых результатов и экспертных опенок. К перечисленным уже недостаткам в этом случае добавляется еще необходимость организации группы экспертов, что увеличивает нагрузку преподавателей.
Измерение компетентности выпускников и механизмы взаимодействия вуза и работодателя
Основным направлением развития современной системы образования в России является его модернизация в соответствии с принципами Болонского процесса. Согласно положениям Болонского процесса, основную ответственность за качество образования должны нести поставщики образовательных услуг. В вляется разрабо—е лбец E \ Линейная регрессия для Столбец E м жнта ка а этих данных был построен график (рисунок 37). Рисунок 37. Изменение дисперсии результатов тестирования в процессе обучения Из графика видно, что в процессе обучения дисперсия увеличивается, если вначале она была относительно малой, уменьшается, если она была относительно большой, или остается неизменной. R2 линии тренда дисперсии результатов итогового тестирования равен 0,92. Это свидетельствует о том, что дисперсия результатов итогового тестирования стремиться к определенному значению.
Таким образом, в начале обучения все группы разные по однородности. В группах с большой дисперсией результаты студентов сильно отличаются, а после обучения группа становится более однородной и дисперсия уменьшается.
В группах с маленькой дисперсией происходит обратное: однородная в начале обучения групп становиться более разнородной. Но во всех случаях существует определенный уровень однородности, к которому стремиться группа. В процессе исследования было рассмотрено, как меняется асимметрия в процессе обучения (рисунок 38). Почти во всех группах она уменьшилась. В результате этого центр распределения смещается вправо, и образуются «тяжелые» хвосты. Рисунок 38. Изменение асимметрии результатов тестирования в процессе обучения. На основе проведенного исследования можно сделать следующие выводы. –В процессе обучения распределение результатов тестирования приближается к нормальному. –Дисперсия результатов тестирования может, как уменьшаться в процессе обучения, так и увеличиваться, в зависимости от значения начальной дисперсии. При этом для конкретного процесса обучения существует некоторое равновесное значение, к которому стремится дисперсия в процессе обучения. – В процессе обучения коэффициент асимметрии распределения результатов уменьшается. При этом в области низких значений результатов тестирования в распределении образуется «тяжелый» хвост, что свидетельствует о присутствии студентов, плохо воспринимающих информацию. Использование IRT в процессе проведения тестирования и анализ полученных результатов с помощью диаграмм могут значительно повысить информативность результатов тестирования, получаемых в процессе обучения. Предложенные в работе гипотезы требуют дополнительной проверки, так как выборка, на которой они проверялись, была невелика. Также для каждого испытуемого был построен профиль знаний и рассчитан показатель его правильности. По виду профиля знаний можно выделить следующие группы студентов (табл. 19). 1 группа. Студенты с «правильным» профилем и высоким количеством баллов. Студенты этой группы показали высокие результаты, а, следовательно, и уровень знаний. Также у них «правильный» профиль (Ci=0). Это означает, что структура их знаний целостная. 2 группа. Студенты с «правильным» профилем и низким количеством баллов. Студенты из второй группы тоже имеют «правильный» профиль знаний (Ci=0), но значительно ниже результаты. Таким образом, у этих студентов знания хорошо структурированы, но на низком уровне. 3 группа. Студенты с «неправильным» профилем и высоким количеством баллов. В третьей группе студент показал высокое знание предмета, однако, его профиль «неправильные» (C4=0,75). Это означает, что у этого студента глубокие, но не структурированные знания по предмету. 4 группа. Студенты с «неправильным» профилем и низким количеством баллов. К этой группе относятся студенты с неструктурированными знаниями и низкими их уровнем. Как правило, в эту группу попадают студенты либо списавшие ответы, либо отвечавшие наугад. 5 группа. Студенты имеют несистемный «неправильный» профиль. Они могут, как ответить, так и не ответить на любой из вопросов (С7=0,15, С8=0,08, С12=0,03, С13=0,06). Таблица 19 Группировка студентов по уровню подготовленности и профилю знаний Уровень подготовленности Степень правильности профиля Правильный профиль Неправильный профиль Низкий Группа 2 Группа 4 Высокий Группа 1 Группа В результате исследования для каждой из групп студентов были выработаны следующие рекомендации, направленные на повышение качества обучения. Для обучения студентов из первой группы подходят стандартные методы, и их уровень знаний позволяет углубленно изучать предмет. Те же стандартные методы подходят и для студентов, относящихся ко второй группе. Однако их знания не высоки. В работе с этими студентами рекомендуется увеличить часы обучения, с целью повышения уровня знаний.
К третьей группе студентов требуется индивидуальный подход. Они знают ответ на сложные задания и не знают ответа на простые вопросы. Преподавателю необходимо выявить причины таких результатов. Среди возможных причин могут быть пропущенных темы, психические особенности студента, отсутствие мотивации к изучению легкого материала и т. д. Такие студенты нуждаются в индивидуальном подходе и подборе методов обучения.
Знание студентов из четвертой группы необходимо повторно проверить, так как велика вероятность, что они отвечали не самостоятельно или наугад. Так же необходимо отследить их успеваемость и профили по другим предметам. В случае, если подобная ситуация существует и по другим дисциплинам, то необходимо поставить под сомнение возможность дальнейшего обучения данного студента.
То же касается и студентов из пятой группы. Их знания носят раздробленный характер и находятся на низком уровне. Необходимо провести с ними индивидуальную работу, посмотреть их результаты по гуманитарным дисциплинам. Если по гуманитарным дисциплинам их можно отнести в группу не ниже 3, то стоит поставить вопрос о переводе на другую специальность. В результате проведенного исследования был определен профиль для каждого студента. На основе полученных данных был проведен анализ профилей, оценено качество обучения и вынесены рекомендации по его повышению. Таким образом, профиль знаний можно использовать как измерительное средство в системах управления качеством образования. При этом управленческие решения должны приниматься в зависимости от интерпретации полученных объективных данных с точки зрения повышения успешности обучения. Отсутствие системы профессиональных стандартов и четко выработанных правил эффективного взаимодействия вузов и работодателей делают актуальной задачу формирования механизма вовлечения работодателя в образовательный процесс. В работе предлагается в качестве такого механизма использовать возможности экспертной оценки заданий теста с точки зрения работодателя. Таким образом, будет производиться оценка соответствия уровня компетенций студентов требованиям работодателя, а процесс оценки тестовых заданий может стать механизмом взаимодействия вуза и работодателя. Определение результатов обучения в форме компетенций привело к пониманию того, что учебный процесс следует строить, исходя из предполагаемых результатов обучения, и поэтому система внутренней гарантии качества образования должна ориентироваться на достижение студентами и выпускниками предполагаемых результатов обучения. Важность расширения участия работодателей и специалистов-практиков в формировании и оценке предметных компетенций студентов и выпускников. До недавнего времени участие работодателей и специалистов-практиков в оценке фактических результатов обучения ограничивалось участием в проведении государственного экзамена по направлению подготовки и защите выпускных квалификационных работ. В настоящее время участие работодателей в формировании компетенций студентов и выпускников существенно расширилось, благодаря реформированию российской системы образования, ориентирующему вузы на соответствие результатов обучения требованиям производства и рынка труда. Поэтому работодатели могут прямо влиять на качество и содержание подготовки студентов выпускников, а выпускники получили возможность выполнять дипломные работы по заказу организаций. Экспертами АККОРК было установлено, что в настоящее время в вузах идет процесс формирования процедур и механизмов привлечения работодателей к участию в процедурах внутренней гарантии качества образования. Однако механизм этого взаимодействия еще не сформирован и нуждается в разработке. Для разработки системы взаимодействия вуза, работодателя и государства особый интерес представляет требования к освоению основных образовательных программ подготовки в виде набора компетенций. Стоит также отметить, что в рамках стандартов третьего поколения в большей степени учитываются мнения работодателей, несмотря на тот факт, что требования работодателей могут сильно разниться в зависимости от региона и специфики отрасли.
