Содержание к диссертации
Введение
1. Анализ современных методов реализации компетентностного подхода в образовании
1.1 Современные тенденции использования компетентностного подхода в системе профессионального образования 12
1.2 Системы управления качеством профессиональной подготовки специалистов 17
1.3 Анализ существующих методов оценки компетенций 19
1.4 Существующие методы оценки уровня профессиональной подготовки специалистов 26
1.5 Методы проведения групповой экспертизы 32
1.6 Разработка систем управления учебным процессом 35
1.7 Статистические методы оценки качества учебного процесса 39
1.8 Выводы. Цели и задачи исследования 42
2. Модели и алгоритмы мониторинга и оценки качества профессиональной подготовки специалиста
2.1 Инструментальная методика оценки качества подготовки специалистов 47
2.2 Методика и модель оценки уровня профессиональной подготовки специалиста 62
2.3 Модель «идеального» процесса профессиональной подготовки специалиста 65
2.4 Модель оценки потенциала специалиста в ходе текущей оценки 71
2.5 Оценка статистической управляемости учебного процесса с использованием контрольных карт 77
2.6 Выводы 81
3. Прогностические и классификационные модели и алгоритмы состояния профессиональной подготовки специалистов, модели и алгоритмы принятия решений
3.1 Обоснование и выбор модели оптимального управления процессом подготовки специалистов 83
3.2 Прогнозирование однородности подготовки специалистов по классификационной модели 92
3.3 Построение дуальной прогностической модели подготовки специалиста на основе канонического разложения динамических процессов 100
3.4 Рационализация управления состоянием качества подготовки специалистов в вузе 105
3.4.1 Формирование комплексной программы подготовки специалистов 106
3.4.2 Оптимизация распределения функций многоуровневого программно-целевого управления 110
3.5 Выводы 117
4. Экспериментальная проверка предлагаемых инструментальных средств и анализ полученных результатов
4.1 Разработка тестовых заданий для оценки профессиональных компетенций специалиста и методики проведения эксперимента 119
4.2 Статистический анализ результатов оценки компетенций специалистов 126
4.3 Оценка методики формирования профессионального портрета специалиста по временным срезам 130
4.4 Оценка статистической управляемости процесса подготовки специалиста 134
4.5 Прогнозирование однородности подготовки студентов по классификационной модели 137
4.6 Выводы 146
5. Программная реализация разработанных инструментальных средств мониторинга и оценки состояния учебного процесса и качества профессиональной подготовки специалистов
5.1 Структура проблемно-ориентированной информационной системы мониторинга и оценки состояния учебного процесса и качества профессиональной подготовки специалистов 147
5.2 Функциональная схема проблемно-ориентированной информационной системы анализа статистической управляемости учебного процесса 150
5.3 Выводы 152
Заключение 154
Список использованных источников 157
Приложение А 173
Приложение Б 174
Приложение В 182
Приложение Г 183
- Анализ существующих методов оценки компетенций
- Инструментальная методика оценки качества подготовки специалистов
- Прогнозирование однородности подготовки специалистов по классификационной модели
- Структура проблемно-ориентированной информационной системы мониторинга и оценки состояния учебного процесса и качества профессиональной подготовки специалистов
Введение к работе
Актуальность работы. В настоящее время вопросам управления качеством образования уделяется значительное внимание на разных уровнях управления: федеральном, ведомственном, отдельного вуза, образовательной программы. Особую актуальность это деятельность приобретает в рамках реформирования сферы образования на основе компетентностного подхода.
Одним из основных средств нормирования и оценки качества профессиональной подготовки специалистов является модель компетенций, позволяющая получить наиболее четкую информацию о структуре компетенций, которые должны быть сформированы у будущего специалиста в процессе обучения. Разработкой компетентностных моделей студентов занимались многие исследователи (Н.А. Селезнева, А.И. Суббето, И.А. Зимняя, Р.Н. Азарова, В.И. Байденко, Ю.Г. Татур, Д.А. Махотин, О.Н. Никифоров, А.Л. Смятских, Т.М. Туркина, Ю.В. Фролов и др.).
В связи с реализацией компетентностного подхода в образовании возникла актуальная проблема разработки методологических, теоретических и методических вопросов оценивания компетентности как нового результата образования. Решение этой проблемы сталкивается с такими трудностями как формализация самого понятия «компетентность» и отсутствие наработанных подходов, системы оценочных средств и технологий оценивания. На сегодняшний день не разработано комплексного решения проблемы, которое включало бы весь необходимый набор алгоритмов, методов и приемов оценки качества подготовки специалистов.
Следовательно, возникают проблемные вопросы разработки моделей и алгоритмов поддержки принятия решений по управлению учебным процессом на основе знания о его текущем состоянии, позволяющих учесть такие аспекты контроля и диагностики исследуемого объекта как стохастичность, неполнота описания его состояния и наличие неколичественных показателей.
Диссертационная работа выполнена в ВИВТ в рамках госбюджетной НИР по теме «Моделирование информационных технологий; разработка и совершенствование методов и моделей управления, планирования и проектирования технических, технологических, экономических и социальных процессов и производств» (№ государственной регистрации 01.2005.2305).
Цель и задачи диссертационной работы. Целью диссертационной работы является разработка комплекса моделей и алгоритмов принятия управленческих решений, обеспечивающих достижение требований профессиональной подготовки специалистов на основе прогнозирования и классификации состояния ее качества с учетом статистической оценки управляемости учебного процесса.
Для ее реализации необходимо решение следующих задач:
Провести анализ существующих подходов оценки качества профессиональной подготовки специалистов, и определить пути интеллектуализации данного процесса на основе методов статистического моделирования и оптимизации с применением современных компьютерных технологий.
Построить модели и алгоритмы мониторинга и оценки качества подготовки специалистов на основе статистических методов решения.
Сформировать управленческие процедуры построения прогностических и классификационных моделей состояния качества профессиональной подготовки специалистов на базе экспертной и ретроспективной информации с учетом двойственного характера динамики показателей и оценки управляемости учебного процесса.
Разработать оптимизационные модели и алгоритмы принятия решений, базирующихся на классификационных и прогностических моделях, для интеллектуальной поддержки системы управления качеством профессиональной подготовки специалистов.
5.Разработать математическое и программное обеспечение, реализующее построенные модели и алгоритмы в виде пакета прикладных программ (ППП) и провести его апробацию и внедрение в производственных условиях.
Объект исследования. Мониторинг и управление качеством учебного процесса.
Предмет исследования. Модели принятия управленческих решений на основе статистических методов.
Методы исследования. Выполненные теоретические и экспериментальные исследования базируются на использовании теорий: экспертного оценивания, прикладной статистики, вероятности, менеджмента качества, квалиметрической оценки, управления и принятия решений, математического моделирования и программирования, прогнозирования и классификации.
Научная новизна: разработаны модели и алгоритмы управления и принятия решения на основе мониторинга и оценки состояний учебного процесса и качества профессиональной подготовки специалистов, обладающие следующей научной новизной:
Комплексный подход оценки подготовки специалистов на основе введенного индекса соответствия (уровня качества), характеризующего близость реального профессионального портрета специалиста к идеальному, который, в отличие от известных, реализует механизм агрегирования первичных показателей (компетенций) в одно интегральное значение, учитывает пороговые значения каждого показателя оценки и реализует механизм «компенсации» недостатков одних показателей превышением порогового уровня по другим.
Модель управления движения по индивидуальным обучающим траекториям, в отличие от известных, позволяющая отслеживать формирование компетенций в различные временные срезы, сравнивать полученные значения с требуемыми (эталонными) и определять возможность изменения текущей траектории с целью ее корректировки для достижения желаемого состояния.
Процедура прогнозирования степени однородности подготовки специалистов, отличающаяся вьшислением энтропийной оценки для двух классификационных моделей: по уровню качества подготовки и набору показателей и обеспечивающая целенаправленное управление состоянием учебного процесса.
Прогностическая модель динамики профессиональной подготовки специалистов, позволяющая, в отличие от известных, оценить на основе канонического разложения долгосрочную и краткосрочную тенденции в изменении состояния учебного процесса.
Комплекс моделей управления качеством профессиональной подготовки специалистов, который позволяет, в отличие от известных, провести классификацию ситуаций принятия управленческих решений в зависимости от специфики учебного процесса и конкретных условий его функционирования.
Выносятся на защиту:
методики и алгоритмы оценки качества профессиональной подготовки специалиста;
модели «идеального» процесса профессиональной подготовки специалиста, оценки потенциала студента в ходе текущей успеваемости и модель управления движения по индивидуальным обучающим траекториям;
модель прогнозирования однородности подготовки специалистов;
комплекс моделей оптимального управления учебным процессом;
- алгоритмы формирования оптимизированной программы управленческих процедур и
оптимизации распределения функций управления в процессе принятия решений при подго
товке специалистов.
Практическая значимость работы заключается в разработанных инструментальных средствах в виде предметно-ориентированных моделей, алгоритмов и программного обеспечения, реализующих в структуре автоматизированной системы поддержки принятия решений человеко-машинные процедуры мониторинга и оценки профессиональной подготовки специалистов в сфере образования, с возможностью применения в социальной и экономической сферах.
Реализация и внедрение результатов работы. Основные результаты диссертационной работы внедрены в практику управления образовательным процессом в ВИВТ и систему подготовки и переподготовки кадров в ОАО «Золотой колос» для формирования требований к подготовке специалистов в виде профессиональных компетенций. Эффект от внедрения
выражен в оптимизации управления образовательным процессом с целью повышения качества профессионального обучения и в реализации концепции участия промышленно-экономических сообществ в организации учебного процесса.
Соответствие диссертации паспорту научной специальности. В соответствии с формулой специальности 05.13.10 - «Управление в социальных и экономических системах», специальность, занимающаяся проблемами разработки и применения методов теории управления к задачам управления в социальной и экономической сферах, включая области образования, права, обороны, здравоохранения и т.д в диссертационном исследовании разработаны модели и алгоритмы управления и принятия решения на основе мониторинга и оценки состояний учебного процесса и качества профессиональной подготовки специалистов.
В соответствии с целью, задачами и полученными научными результатами проведенное исследование соответствует следующим пунктам области исследования: 3. Разработка моделей описания и оценок эффективности решения задач управления и принятия решений в социальных и экономических системах; 4. Разработка методов и алгоритмов решения задач управления и принятия решений в социальных и экономических системах; 9. Разработка проблемно-ориентированных систем управления, принятия решений и оптимизации экономических и социальных систем.
Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на следующих конференциях и семинарах:
Международная научно-практическая конференция «Управление качеством в современной организации» (Пенза, 2006), Региональная научно-методическая конференция «Проблемы практической подготовки студентов» (Воронеж, 2006), XII Международная конференция «Современное образование: содержание, технологии, качество» (Санкт-Петербург, 2006), Всероссийская научно-практическая конференция «Проблемы языковой подготовки студентов: подходы и перспективы» (Воронеж, 2006), XX Международная научная конференция «Математические методы в технике и технологиях» (Ярославль, 2007), V Всероссийская научно-методической конференции «Проблемы практической подготовки студентов» (Воронеж, 2007) Всероссийская школа-семинар «Инновационный менеджмент в сфере высоких технологий» (Тамбов, 2008), X Международная научно-практическая конференция «Социально-экономические проблемы развития предприятий и регионов» (Пенза, 2009), на научных семинарах кафедры информационных систем и технологий ВИВ Т.
Публикации. По теме диссертации опубликовано 19 печатных работ, в том числе 4 работы в изданиях из списка ВАК Министерства образования и науки РФ, общим объемом 74 с. (лично автором выполнено 61 с). В работах опубликованных в соавторстве, личное участие автора заключается в определении проблемы, цели и задач работы, разработке методики и алгоритма оценки качества профессиональной подготовки специалистов, комплекса моделей оптимального управления учебным процессом, моделей прогнозирования однородности подготовки специалистов, алгоритма формирования оптимизированной программы подготовки специалистов и оптимизации распределения функций управления процессом подготовки специалистов, программной реализации и их внедрения в учебный процесс и систему подготовки и переподготовки кадров промышленного предприятия.
Структура работы. Диссертация состоит из введения, пяти глав, заключения, списка использованных источников из 139 наименований и 4 приложений. Работа изложена на 184 страницах машинописного текста (основной текст занимает 156 страниц), содержит 40 рисунков и 27 таблиц.
Анализ существующих методов оценки компетенций
В настоящее время не существует научно-обоснованных методов оценки качеств подготовки специалиста на основ компетентностного подхода, позволяющих на каждом этапе подготовки специалиста отслеживать нацеленность учебного процесса на подготовку высококвалифицированных специалистов, отслеживать вектор направленности каждого специалиста, а также позволяющая давать определенные рекомендации по дальнейшей профессиональной деятельности.
Проблемы качества подготовки специалистов, а также методами его оценки занимаются многие ученые. Рассмотрим некоторые методы оценки более подробно.
Существует большое количество методов оценки компетенций, совокупность которых можно разделить на две большие группы: формализованные (анкетирование, тестирование) и неформализованные (наблюдение и собеседование). К числу формализованных относится метод балльной оценки. В этих целях можно использовать различные виды анкет, с помощью которых выделяют различные уровни проявления показателя.
Исследовательский центр проблем качества подготовки специалистов МИСИС предлагает использовать следующие методы оценки качеств подготовки специалистов. Данные методы приведены в таблице А.1., приложения А.
Выделяют два основных подхода к определению и оценки компетентности специалиста:
- атрибутивный — на основе выявления и оценки личностных качеств и характеристик;
- практический — на основе оценки компетентности по уровню рофессионального соответствия и практическим результатам деятельности.
Стандарты, устанавливающие требования к профессиональной компетентности специалиста должны рассматривать три основных вопроса:
- какую работу должен выполнять специалист на рабочем месте в данной предметной области, в данной профессиональной сфере или при выполнении определенной роли?
- какие параметры (показатели) и данные могут и должны использоваться для сбора информации с целью оценки компетентности специалиста?
-какие значения параметров и какие сведения позволяют подтвердить требуемый уровень компетентности?
Также в настоящее время для подбора кадров и оценки компетентности работающих специалистов на предприятиях широко используется различные методики, такие как, оценка «360 градусов», которая включает оценку компетенций сотрудников руководителем, подчиненными, коллегами, клиентами (внешними и внутренними), самим сотрудником. Впервые этот метод был предложен Питером Уордом в 1987 году. Оценка «360 градусов» -это систематический сбор информации о работе индивидуума (или группы), получаемого от некоторого числа лиц, и обратная связь по ней. Сфера применения данного метода достаточна широка. Методика имеет ряд преимуществ:
- получение разносторонней оценки для каждого сотрудника (сотрудник получает оценку от людей , с которыми он непосредственно сталкивается при выполнении своей работы, в отличии от других методов круг оценивающих значительно расширен);
- демократичность метода (не только руководитель оценивает подчиненных, но и подчиненные могут его оценивать, это повышает лояльность сотрудников к организации, для них это показатель того, что к ним прислушиваются;
- моделирование критериев оценки по требования определенных стандартов (в качестве которых могут выступать различные наборы компетенций, разработанные для конкретной организации).
Любой метод оценки должен обладать двумя важнейшими характеристиками: надежностью и валидностью. Надежность означает, что повторные замеры, дадут тот же результат, что и предыдущие, т.е на результаты оценки не влияют сторонние факторы. Валидность означает, что данный метод измеряет именно то, для чего он предназначен.
В настоящее время одним в вузах одним из основных методов выявления компетенций является анкетирование [10].
Данный метод включает:
- разработку анкеты,
- определение оптимального состава респондентов (на качественном и количественном уровнях),
- выбор способов опроса, сбора анкет, методов обработки и анализа информации, а также форму представления результатов.
В анкетировании принимают участие три группы респондентов: работодатели (профессиональные объединения), выпускники вузов и представители академического персонала. Рекомендуется проводить два анкетных опроса: в первом целесообразно опросить работодателей и выпускников по поводу общих компетенций; во втором - представителей академического персонала (в части профессиональных компетенций). Целями проведения анкетирования являются:
- получение обоснованной информации о всем многообразии представлений о компетенциях для последующего анализа меры их общности и/или различий;
- выявление позиции относительно актуальных компетенций на трех уровнях: институциональном (вузовском); предметном (по направлениям и специальностям подготовки); международном (для последующего включения в компетентностные модели выпускников тех компетенций, которые обеспечивают им конкурентоспособность и карьерный успех).
Рекомендуется на начальном этапе разработки анкеты (экспертный анализ) объединять компетенции в классы (группы). В каждой группе компетенций рекомендуется выделять не более пяти компетенций (это особенно будет важно при формировании оценочных средств, адаптированных к компетентностному подходу).
Отмечается, что отбор выпускников целесообразнее производить из числа тех, кто окончил вузы за последние 3-5 лет. Количество выпускников — респондентов (их должно быть достаточно для обоснования авторитетного мнения экспертов). Экспертам по каждому направлению (специальности) подготовки следует прийти к согласию относительно профессиональной направленности трудовой деятельности выпускников (работают по профилю, в смежных областях, с частичным изменением профиля и т.д.).
При отборе респондентов из числа работодателей, необходимо, во-первых, работодатели должны представлять те предприятия, с которыми вуз традиционно взаимодействует, которые принимают на работу молодых специалистов или представляют интерес с точки зрения трудоустройства будущих выпускников. Во-вторых, делая выборку работодателей, надо обеспечить баланс между их различными типами, что будет соответствовать их реальному разнообразию. В-третьих, целесообразно привлечь для организации этой работы объединения работодателей (федеральные, окружные, региональные, отраслевые). В-четвертых, работодателей необходимо заинтересовать в проведении исследования, подчеркивая искреннее намерение вуза сделать подготовку специалистов; более качественной-с точки зрения; запросов тех или иных секторов экономики и конкретных предприятий.
К комплексной оценке компетенций, и выявлению общих (социально-личностных) И профессиональных (инвариантных и вариативных) компетенций; должны быть привлечены представители вузов, особенно к идентификации компетенций второй группы профессиональных: (предметно-специализированных). Преподаватели подключаются к анкетированию на основе полученных .результатов- письменного опроса выпускников и работодателей. В связи с этим в анкеты включены две части: в первый будут помещены вопросы относительно тех общих компетенции,. которые получили высокую степень согласия выпускников и работодателей"; Преподавателям проводят ранжирование этих, компетенций: со своей точки зрения. Вторая часть анкеты отводится для идентификации профессиональных (предметно-специализированных-, компетенций), а также их соотнесения с уровнями высшего образования (бакалавр — специалист/магистр). Информационное наполнение второй части анкеты должны, выполнить эксперты (например- представители учебно-методических советов по. направления и учебно-методических комиссий по специальностям).
Инструментальная методика оценки качества подготовки специалистов
Предлагаемая инструментальная методика оценки степени формирования компетенций включает в себя [59,68]:
- определение групп заинтересованных сторон (работодателей, студентов и т.д.) и формирование данной группой перечня профессиональных компетенций будущего специалиста данного направления;
- определение перечня дисциплин (модулей, дидактических единиц), влияющих на формирование данных компетенций);
- определение взаимосвязи между совокупностью профессиональных компетенций и набором соответствующих дисциплин экспертным методом;
- разработка комплекса тестовых заданий по данным дисциплинам и оценка их качества;
- проведение тестирования по данным тестовым материалам и определения уровня усвоения студентами (выпускниками) материала по данной дисциплине;
- определение степени формирования профессиональных компетенций студента (выпускника вуза) в результате расчета средней доли освоения студентом (выпускником) отдельных дисциплин (модулей, дидактических единиц), влияющих на формирование данной компетенции;
- определение требований отдельных групп работодателей к качеству подготовки выпускников вуза в сфере профессиональной деятельности экспертным путем с помощью анкетирования с использованием шкалы;
- определение уровня качества подготовки студента (выпускника) -сравнение полученных результатов оценки степени формирования компетенций студента (выпускника вуза) и требований работодателей с помощью методов квалиметрической оценки;
- выявление сильных качеств оцениваемых и выявление компетенций, требующих дальнейшего развития;
- формирование комплекса корректирующих мероприятий при существенном расхождении уровня качества подготовки студента (выпускника вуза).
Рассмотрим наиболее подробно каждый из этапов предлагаемой методики оценки.
Экспертная группа, в состав которой входят заинтересованные лица (работодатели, абитуриенты и т.д.), формируют набор компетенций (профессиональный портрет специалиста данного направления). Экспертами определяется совокупность качественных параметров (компетенций) составляющих портрет будущего специалиста. Степень влияния каждого параметра (коэффициент весомости) устанавливается при сопоставлении каждому параметру весового коэффициента со который пропорционален вкладу параметра кп в формирование профессионального портрета будущего специалиста.
Обработка результатов экспертного опроса включает оценку степени согласованности мнений экспертов с помощью коэффициента конкордации и выявление причин неоднородности. Только при согласованности мнений экспертов можно утверждать, что в результате экспертизы получена достоверная информация [18,21,27].
Поскольку формирование профессиональных компетенций студентов (выпускников) происходит при изучении соответствующих учебных дисциплин, модулей и дидактических единиц в основном из циклов СД, ОПД необходимо определить наличие взаимосвязи между этими элементами образовательной системы. Взаимосвязь между п количеством компетенций, характеризующих профессиональный портрет специалиста, и перечнем т дисциплин, определяется методом экспертной оценки [70,100].
Методика предусматривает, что на формирование профессиональной компетенции могут оказывать влияние как одна, так и несколько дисциплин. Следовательно, формирование определенных профессиональных компетенций происходит при изучении нескольких дисциплин. Таким образом, при расчете степени формирования компетенции следует рассчитывать среднее значение данного показателя с учетом весового коэффициента каждой дисциплины.
Разработка комплекса тестовых заданий начинается с формулирования цели их проведения, то есть с определения того; что тест должен измерить. Дальнейшая работа по созданию тестовых заданий включает отбор учебного материала; подлежащего тестовому контролю и его спецификация, выделению- круга тем каждого модуля (дидактические единицы), включаемого в тест и относительное количество заданий, которыми? должен быть представлен каждый модуль курса,, четкое описание всех знаний, умений и навыков, которые проверяются с помощью теста.
В условиях реального накопления отдельных профессиональных компетенций студентами вуза или выпускниками сбор информации о показателях, характеризующих процесс накопления профессиональных компетенций, производится в определенной, последовательности в определенные периоды времени учебного процесса. Однако данные, полученные таким образом, не подходят в явном виде для их математической обработки по ряду причин:
- наличие пропущенных измерений;
- присутствие явно ошибочных (аномальных) значений вследствие сбоя информационной системы оценки;
- измерение различных показателей с разными интервалами времени (формирование профессиональных компетенций может происходить параллельно - при параллельном изучении нескольких дисциплин, а также последовательно, когда дисциплины, влияющие на формирование профессиональных компетенций, изучаются последовательно), что приводит к невозможности построить правильную прямоугольную матрицу наблюдений;
- возможность появления в базе данных при автоматизированном тестовом контроле нечисловых значений, обусловленных сбоями системы. Для устранения указанных выше качественных недостатков исходных данных перед началом статистического анализа предлагается проводить их предварительную обработку.
Прежде всего, необходимо проверить все значения параметров на выход за граничные значения. Значения показателя, характеризующего степень формирования отдельных профессиональных компетенций, может принимать значения в диапазоне от 0 до 1. Если такие измерения будут обнаружены, то их следует исключить из дальнейшего рассмотрения путем удаления из матрицы данных.
Прогнозирование однородности подготовки специалистов по классификационной модели
Студенты вуза представляют собой в рамках системы подготовки специалистов неоднородную структуру по показателям качества (степени формирования отдельных профессиональных компетенций - знаний, умений, навыков или интегрального показателя — уровня качества), отклонений от заданных (работодателем, вузов или другими заинтересованными лицам) или идеальных показателей. Эффективность управления системой подготовки специалистов зависит от степени однородности качества подготовки студентов. Предлагается оценивать и прогнозировать однородность системы подготовки специалистов по классификационной модели.
Пусть классифицируемые студенты по уровню формирования компетенций заданы единичным показателем q, значения которого показаны на рисунке 3.1 а. В результате классификации студентов по уровню формирования компетенций со значениями параметров qi,q2 и q3, q-i будут объединены путем отнесения к двум классам. Более сложной является ситуация, представленная на рисунке 3.1 б. Однако и в этой ситуации весьма вероятно, что будут объединены студенты со значениями показателей qi,q2 и q3, q4, хотя расстояние между qi и q2 , q3 и q4 не равны между собой. Парадоксальность приведенной ситуации, ее неоднозначность показывают, насколько сложно формализованы задачи классификации даже при существовании единичного показателя.
Следует отметить, что в реальных условиях классифицируемые студенты оцениваются множеством из I показателей (профессиональный портрет специалиста в виде набора соответствующих знаний, умений и навыков), где I 3, т.е. качество подготовки студентов оценивается «созвездиями» в 7-мерном пространстве признаков, которое не может быть осознано и представлено визуально. Хотя принципиально возможны отображение оценки подготовленности студентов на любую (единственную) ось или плоскость и их визуальное исследование, но с возрастанием числа студентов и их свойств данный метод также оказывается неприемлемым, поскольку при таком отображении существует вероятность «наложения» классов друг на друга. При разработке формальных процедур классификации задача распознавания качества подготовки студентов числа реально существующих классов является наиболее сложной и до настоящего времени наименее проработанной. Ее решением является либо априорное числа классов до выполнения процедур классификации, либо задание предельных расстояний между «центрами тяжести» классов, либо задание допустимого размера классов (внутрикластерной дисперсии). Естественно, что подобные оценки, выносимые ЛПР, носят весьма субъективный характер и, следовательно, не могут быть адекватными.
Существует иной подход при построении процедур классификации, основанный на минимаксовом критерии или F- критерии. Суть данного метода заключается в интуитивном представлении понятия класса. Объекты объединяются в классы по следующему признаку: объекты внутри класса более «похожи» (более близки), чем объекты из различных классов. Формально данный критерий описывается следующим выражением [14].
За меру степени отличия объектов внутри класса d, принимают оценку дисперсии или среднеквадратичное отклонение показателей качества подготовки студентов, за меру степени отличия студентов от различных классов D, - расстояние между центрами классов, определяемое с помощью той или иной метрики. Классификацию проводят в итерационном цикле для различного числа классов или вычисляют показатель D. Наиболее адекватным разбиением выборки объектов на классы считается то, при котором значения минимизируется. Однако, данный подход имеет весьма существенное ограничение - каждый класс должен быть представлен множеством объектов, не менее двух. Действительно, если продолжить, что каждый объект является классом, то тогда для всех ІЄТ-.СІ, =0, т.е. D=0, и, следовательно, согласно ранее приведенному утверждению, подобное разбиение следует считать наиболее адекватным, что в силу своей абсурдности исключает возможность проведения всякой классификации. Эти обстоятельства обуславливают необходимость формализации процедур определения числа реально существующих классов в статистической выборки объектов, свободных от указанных недостатков и ограничений.
Для одномерного случая данный алгоритм является весьма простым и эффективным, однако классификация по единственному параметру при переходе на многомерный случай зачастую не может быть адекватной из-за эффекта «наложения» классов. Использование приведенного алгоритма при многомерной ситуации возможно при свертке множества показателей в интегральный показатель, который наиболее полно и достоверно характеризовал бы объект. Этим единственным параметром может служить, например, евклидово расстояние между объектом в гиперпространстве признаков и началом координат. Однако здесь возможны ситуации, при которых алгоритм будет работать неверно. Одна из таких ситуаций представлена на рисунке 3.2.
Классификационные модели по основному показателю q и по значениям интегрального (3.45) позволяют определить значение оценки а по выражению (3.27). Мониторинг показателей q в форме временных рядов позволяет построить временной ряд оценки а и определить ее прогнозное значение а"р. Система управляющих воздействий на процесс подготовки специалистов формируется таким образом, чтобы апр -»є, где величина є определяет рациональный уровень однородности множества Q.
Если в условиях неоднородности качества подготовки специалистов удается получить математическое описание всех однородных компонент или части из них, каждой из которых соответствует свой показатель, то это приводит к равновероятному использованию оптимизационных моделей. При наличии нескольких оптимизационных моделей находят оптимальное решение для каждой из них, а затем ЛПР анализирует эти решения и выбирает то, которое наиболее приемлемо в данной ситуации. ЛПР может сразу отдать предпочтение той или иной оптимизационной модели, но в условиях неоднородности управления это будет абстрактное решение задачи.
Осуществлять выбор при наличии конкретных решений по оптимизационным моделям, каждая из которых приводит к результату с вероятностью Р, =1 (/ = 1,/), где /- число возможных оптимизационных моделей - задача более простая и удобная для ЛПР. Тогда по каждой оптимизационной модели производится решение, и на основании результатов решения ЛПР выбирает наиболее оптимальное с его точки зрения. Построение оптимизационной модели, выбор ограничений в условиях неоднородности задачи управления не являются формальной процедурой, а требуют непосредственного участия ЛПР и даже группы экспертов.
Структура проблемно-ориентированной информационной системы мониторинга и оценки состояния учебного процесса и качества профессиональной подготовки специалистов
Предлагаемые в работе инструментальные средства были реализованы в виде проблемно-ориентированной информационной системы, включающей в себя четыре подсистемы: аутентификация, сотрудник, преподаватель, студент:
I. Подсистема аутентификации. Подсистема аутентификации преподавателя, студента, сотрудника работает по следующему алгоритму:
1. Запрос имени и пароля.
2. Проверка правильности введенной информации.
3. Определение принадлежности к группе сотрудников, преподавателей, студентов, предоставление определенного набора функций.
4. Передача управления следующей подсистеме.
II. Подсистема работы сотрудников. Подсистема работы сотрудника предназначена для наполнения базы данных справочной информацией.
Ниже приведены основные модули подсистемы.
1. Заполнение основных справочников: кафедры, компоненты циклов плана (федеральный, региональный, вузовский для ГОС ВПО II, базовый и вариативный для ФГОС ВПО III), конструкты дисциплин, типы вопросов, циклы плана (ГСЭ, ЕН, ОПД, СД, ДС, ФТД для ГОС ВПО II; ГСЭ, ЕН, Профессиональный, Практика и (или) научно-исследовательская работа для ФГОС ВПО III).
2. Заполнение производных (от основных) справочников: дисциплины, преподаватели, сотрудники, специальности, студенты, темы дисциплин.
3. Ввод нормативов, накладываемых в виде, количественных характеристик к уровню подготовки специалиста.
4. Просмотр результатов. Возможность просмотра результатов тестирований.
III. Подсистема работы преподавателей. Подсистема работы преподавателя предназначена для ввода экспертных оценок, тестовых заданий и просмотра статистики ответов. Ниже приведены основные модули подсистемы.
1. Ввод тестовых заданий:
- ввод вопросов. Определяется тип задания (открытое, закрытое, на установление порядка, соответствия), дисциплина, тема и специальность, к которой оно относится, текст вопроса, необходимость использования изображения и путь к нему, сложность;
- ввод вариантов ответов для внесенных в базу вопросов, указание их правильности.
2. Статистика ответов. Показывает сколько раз, кто и как отвечал на каждое из тестовых заданий. Это позволяет преподавателю, основываясь на имеющихся данных, корректировать вопрос, сложность, варианты ответов.
3. Ввод теоретического материала. Осуществляется по темам дисциплин. Используется при проведении тестирования по определению способности к усвоению информации.
Данная подсистема также позволяет преподавателям осуществлять процедуру прогнозирования степени однородности профессиональной подготовки специалистов с помощью вычисления относительной энтропийной оценки для двух классификационных моделей: по уровню качества подготовки и набору показателей и обеспечивающая целенаправленное управление состоянием учебного процесса.
IV. Подсистема работы студентов. Данная подсистема предназначена для непосредственной работы со студентом в процессе оценки уровня подготовки и последующего управления его обучением. В ее рамках также проводятся все вычисления по обработке результатов тестирований.
Использование данного программного продукта, соответствующих тестов позволяет студенту на любом этапе обучения четко определить уровень формирования своих компетенций, посредством тестирования по различным- дисциплинам циклов, определять «слабые» места, а также получить рекомендации по их устранению. Причем эти рекомендации могут быть получены без непосредственного контакта «преподаватель - студент », а в виде информации, заранее заложенной в базу данных и, выдаваемой после соответствующего этапа диагностики.
По данным результатам тестирования по различным дисциплинам, влияющим на формирование профессиональных компетенций, происходит формирование интегрального показателя — уровня качества q с учетом всех коэффициентов весомости, определяемых экспертным путем.
Данные по результатам тестирования студентов хранятся за различные промежутки времени, что позволяет выстраивать индивидуальную траекторию движения студента в различные временные срезы. Таким образом, отслеживая траектории движения студентов и при возникновении несоответствия подготовки специалистов заявленным требованиям (требованиям заинтересованных сторон к данной группе) можно своевременно сформировать комплекс мероприятий, направленных на последовательную корректировку процедуры обучения студента, а также на основе дуальной прогностической модели динамики профессиональной подготовки специалистов оценивать долгосрочную и краткосрочную тенденции в изменении состояния учебного процесса.
