Содержание к диссертации
Введение
Глава 1. Постановка задачи мониторинга и оценки качества образовательных услуг вуза 14
1.1 Анализ состояния проблемы управления качеством образования.. 14
1.2 Модель управления качеством образовательных услуг в вузе 22
1.3 Выводы по главе 1 29
Глава 2 Алгоритмическое и методическое обеспечение управления качеством подготовки специалистов 32
2.1 Показатели и шкалы для измерения качества образования 32
2.2 Методы прикладной статистики в мониторинге и оценке качества образования 38
2.3 Метод структурирования функции качества 46
2.4 Методы экспертного оценивания качества образовательных услуг53
2.5 Используемые в работе методы решения задач мониторинга и оценки качества подготовки специалистов 63
2.6 Выводы по главе 2 64
Глава 3. Разработка модельного и алгоритмического обеспечения задач мониторинга и оценки качества образовательных услуг 66
3.1 Исследование мнений потребителей образовательных услуг на этапе проектирования образовательной программы и образовательного процесса 66
3.1.1 Алгоритм исследования мнений потребителей образовательных услуг на основе модифицированного метода QFD 66
3.1.2 Апробация алгоритма исследования мнений потребителей образовательных услуг 70
3.2 Исследование мнений потребителей на этапе мониторинга и оценки качества образования 81
3.2.1 Модель профессионального портрета специалиста как норма качества 81
3.2.2 Алгоритм формирования модели профессионального портрета специалиста 86
3.2.3 Разработка модели профессионального портрета специалиста на примере специальности 080801 97
3.2.4 Алгоритм измерения удовлетворенности потребителей образовательной услугой 129
3.2.5 Апробация алгоритма измерения удовлетворенности потребителей образовательных услуг 132
3.3 Выводы по главе 3 135
Глава 4. Методическое и информационное обеспечение задачи оценки качества образовательных услуг 138
4.1. Вводные замечания 138
4.2 Методика разработки модели профессионального портрета специалиста 142
4.3 OLAP-технология как инструмент анализа мнений потребителей и показателей качества образовательных услуг 150
4.4 Информационная система поддержки функционирования Регионального центра трудоустройства и адаптации выпускников к рынку труда 155
4.5 Выводы по главе 4 159
Заключение 162
Список использованных источников 166
Приложения 181
- Модель управления качеством образовательных услуг в вузе
- Используемые в работе методы решения задач мониторинга и оценки качества подготовки специалистов
- Исследование мнений потребителей на этапе мониторинга и оценки качества образования
- OLAP-технология как инструмент анализа мнений потребителей и показателей качества образовательных услуг
Введение к работе
Актуальность темы. В настоящее время вопросам управления качеством образования уделяется значительное внимание на разных уровнях управления: федеральном, ведомственном, отдельного вуза, образовательной программы. Особую актуальность эта деятельность приобретает в свете усиливающейся международной интеграции в сфере образования. Основное содержательное управление качеством подготовки специалистов осуществляется на уровне учебно-методического объединения и конкретного вуза.
Для решения стратегических и оперативных задач управления качеством подготовки специалистов необходимо наличие объективной информации о ресурсах, процессах и результатах деятельности вуза, что в свою очередь требует создания и поддержания в актуальном состоянии системы мониторинга и оценки качества образовательных услуг. На этапе создания такой системы важно определить приоритетные объекты мониторинга, информация о которых может существенным образом повлиять на управленческие решения. К таким объектам в первую очередь относится качество подготовки специалистов, потребности и удовлетворенность потребителей образовательных услуг [43]. Исследование мнений потребителей является особенно актуальным в силу его длительного игнорирования, что привело к ряду проблем, стоящих в настоящее время перед российскими вузами и системой образования в целом. На рынке труда наблюдается очевидный дисбаланс спроса и предложения по отдельным специальностям, а также сложилось несоответствие между высокой динамикой потребностей рынка труда в специалистах с определёнными профессиональными компетенциями и инерционностью системы высшего образования с точки зрения своевременного обновления образовательных программ [47].
Основу диссертационной работы составляет подсистема системы менеджмента качества, а именно подсистема мониторинга, оценки и управления качеством образовательной услуги на основе исследования мнений и удовлетворенности потребителей. Теоретико-методологическим основанием
5 исследования являются концептуальные положения TQM (Total Quality Management) и ГОСТ Р ИСО серии 9000: 2001, накопленный опыт создания СМК, применения стандартов ИСО серии 9000 в управлении качеством продукции и услуг, в том числе качеством высшего образования [65, 35-37, 39, 55, 42].
Российский опыт исследований в данной области отражён в трудах таких ученых, аналитиков образования как Адлер Ю.П., Байденко В.И., Зимняя И.А., Никитина Н.Ш., Селезнёва Н.А., Скок Г.Б., Соловьёв В.П., Субетто А.И. и другие [2, 3, 8, 29, 30, 40, 53-56, 59, 61-63, 66, 79, 80, 95-97, 102, 132]. Важная роль в этих исследованиях отводится оценке качества образования [16,71,84,93,110].
Поскольку понятие качества образования является сложным и слагается из множества компонентов, важны акценты в работах на эту тему: от проблемы измеримости образовательных стандартов [91] до методов оценки профессиональных и личностных характеристик обучающихся в техническом университете [16]. Общие подходы к оценке и мониторингу качества образования отражены в работах Исследовательского центра проблем качества подготовки специалистов, в частности в системных исследованиях Селезневой Н.А., Байденко В.И., Субетто А.И. с применением идей и принципов циклологии и системогенетики [85, 92, 107].
В трудах Нуждина В.Н. рассмотрены подходы к оценке качества образовательной услуги на основе бенчмаркинга. В.Н. Нуждин рассматривает проблему оценки качества образования в контексте решения задач стратегического управления вузом и предлагает в своих работах алгоритмы измерения таких показателей, как качество ресурсов, качество профессорско-преподавательского состава, входных и выходных данных студентов. При этом оценка компонентов качества образования основывается не на исследовании мнений потребителей образовательных услуг, а на бенчмаркинге, которому автор отводит ключевую роль в системе стратегического управления вузом [71].
В трудах Зеера Э.Ф., Никитиной Н.Ш., Скок Г.Б., Суходольского Г.В. и др. освещены вопросы оценки качества подготовленного специалиста как основного результата образовательной деятельности вуза. Особая роль в исследованиях данных авторов отводится проблеме формирования критериев оценки качества. Методики измерения профессионально-личностных качеств специалиста подробно рассмотрены в работах Берестневой О.Г., Марухиной О.В., ШаропинаК.А. [16, 61, 62].
Однако на сегодняшний день не разработано комплексного решения данной задачи, которое бы включало весь необходимый набор алгоритмического, методического и программного обеспечения. Это связано с объемностью и многогранностью темы, каждый из аспектов которой требует глубоких самостоятельных исследований и тщательной проработки.
Некоторые исследования содержат широкий, системный взгляд на мониторинг и оценку качества образовательных услуг, но при этом не подкреплены методической составляющей, что затрудняет их практическое применение. Они дают понимание проблемы в общем виде, но при этом не определяют, что конкретно и каким образом нужно сделать вузу для решения задачи оценки качества образовательной услуги. Другие исследования носят прикладной характер, однако в них рассматриваются частные, узкие аспекты данной задачи.
В процессе создания системы мониторинга и оценки качества образовательных услуг встает задача разработки алгоритмов, методик и соответствующих средств информационной поддержки.
В этой связи основной задачей настоящего диссертационного исследования является разработка решения, отвечающего современным потребностям вузов в задачах мониторинга и оценки качества образовательных услуг. Решение должно охватывать модельный и алгоритмический уровни, включать методическое и информационное обеспечение, кроме того, быть инвариантным к специфике вуза или конкретной специальности. Комплекс взаи-
7 модополняющих методик должен обеспечить мониторинг и оценивание показателей качества различных компонентов образовательной услуги вуза:
качественного и количественного характера,
в виде объективного соответствия нормам и субъективной удовлетворенности потребителей услуги результатами обучения,
на уровне направления подготовки (специальности), цикла дисциплин, отдельной учебной дисциплины и пр.,
различных целевых групп потребителей (работодателей, студентов, выпускников и др.),
как профессиональных, так и личностных характеристик специалиста,
как результата в виде подготовленного специалиста, так и процесса реализации образовательной программы, условий обучения и т.п., обеспечивающих качественный результат.
Измерение качества образовательной услуги вуза на основе исследования мнений и удовлетворенности потребителей позволит понимать деятельность вуза в контексте рынка труда и образовательных услуг и принимать адекватные управленческие решения.
Цель и задачи исследования. Целью исследования является разработка алгоритмического, методического и информационного обеспечения задач мониторинга и оценки качества образовательных услуг вуза.
Для достижения поставленной цели сформулированы следующие задачи:
провести аналитическое исследование вопросов, связанных с качеством образования, выбрать адекватные методы и разработать алгоритмы решения задач мониторинга и оценки качества образовательных услуг вуза;
разработать методическое обеспечение таких задач как: исследование мнений потребителей на этапе проектирования образовательной услуги или изменений в ней, формирование модели профессионального портрета специалиста, оценка удовлетворенности потребителей;
разработать систему информационной поддержки задач мониторинга
и оценки качества образовательных услуг.
Предмет исследования. Предмет исследования включает в себя методы и алгоритмы мониторинга и управления качеством, методы экспертно-статистического анализа применительно к задачам исследования, системы хранения, анализа и обработки информации.
Объект исследования. Объектом исследования является качество образовательной услуги вуза с позиции разных категорий заинтересованных сторон.
Методы исследования. Методы исследования включают методы системного анализа, экспертного оценивания, прикладной статистики и эконометрики, многомерного статистического анализа данных, педагогических и социально-психологических измерений, методы менеджмента качества и Другие.
Обоснованность и достоверность выдвигаемых и использованных в диссертации научных положений, выводов и рекомендаций подтверждается теоретическим обоснованием; опытом их применения для решения практических задач; перспективой дальнейшего их развития и использования.
Научная новизна. Научная новизна результатов диссертационного исследования, заключается в следующем:
предложена уровневая модель управления качеством образовательных услуг вуза, в модели выделены объекты мониторинга, определено необходимое алгоритмическое, методическое и информационное обеспечение задач мониторинга и оценки качества образовательных услуг;
разработан алгоритм исследования мнений потребителей на этапе проектирования образовательной услуги на основе метода QFD (Quality Function Deployment - структурирование функции качества) и конкретизирующая алгоритм методика;
предложен алгоритм управления качеством образовательной услуги на основе модели профессионального портрета специалиста, разработана инвариантная методика формирования модели;
предложен новый подход к оценке удовлетворенности потребителей образовательных услуг, разработаны алгоритм и методика расчета удовлетворенности на основе экспертно-статистического инструментария;
разработана система информационной поддержки мониторинга и оценки качества образовательных услуг вуза.
Практическая ценность. Практическая значимость результатов исследования определяется следующим:
алгоритм исследования мнений потребителей (модифицированный метод QFD) позволяет выявлять приоритетные требования потребителей к процессу и результату образовательной деятельности вуза, получать содержательные рекомендации по совершенствованию образовательной программы и образовательного процесса;
разработанная инвариантная методика формирования модели специалиста может применяться для любых направлений подготовки (специальностей); в свою очередь модель позволяет рассчитывать интегральные показатели качества и делать выводы о соответствии результатов обучения нормам качества;
алгоритм и методика оценки удовлетворенности потребителей позволяют получать количественные оценки удовлетворенности различных категорий целевых групп результатом обучения по учебным дисциплинам, циклам дисциплин, образовательной программе и образованию в целом;
разработанная информационная система обеспечивает автоматизацию расчетов, связанных с созданием модели профессионального портрета специалиста и оценкой удовлетворенности потребителей образовательных услуг; обеспечивает полный спектр информационной поддержки деятельности Регионального центра трудоустройства и адаптации выпускников к рын-
10 ку труда, включая хранение данных, многокритериальный поиск, формирование отчетов, сбор информации о потребителях образовательных услуг. Результаты, выносимые на защиту:
уровневая модель управления качеством образовательных услуг вуза;
алгоритм и методика исследования мнений потребителей образовательной услуги на этапе ее проектирования или модификации;
алгоритм управления качеством образовательной услуги на основе модели профессионального портрета специалиста, инвариантная методика формирования модели;
методика оценки удовлетворенности потребителей;
система информационной поддержки мониторинга и оценки качества образовательных услуг.
Апробация результатов исследования. Результаты, полученные в диссертационном исследовании, докладывались:
на Международной научно-методической конференции «Качество образования: достижения, проблемы». Новосибирск, НГТУ, 2001.
Межрегиональной научно-практической конференции «Проблемы повышения конкурентоспособности трудовых ресурсов». Бийск, 2002.
II межвузовской научно-практической конференции «Проблемы трудоустройства выпускников учреждений профессионального образования: пути решения». Красноярск, СибГТУ, 2003.
Региональной научно-методической конференции «Современное образование: интеграция учебы, науки и производства». Томск, Томск, гос. ун-т систем управления и радиоэлектроники, 2003.
IV международной научно-методической конференции «Качество образования: менеджмент, достижения, проблемы». Новосибирск, НГТУ 2005.
Система информационной поддержки функционирования Регионального центра трудоустройства и адаптации выпускников к рынку труда внедрена в эксплуатацию, активно используется и функционально совершенст-
11 вуется в соответствии с практическими потребностями центра (см. Акт о внедрении в приложении И).
Публикации. Основные положения диссертационной работы опубликованы в 12 работах: 5 материалах конференций и 7 статьях, в том числе 3 статьях - из перечня журналов, рекомендованных ВАК.
Внедрение и использование результатов работы. На основе разработанных моделей, алгоритмов, методик и информационного обеспечения решены следующие практические задачи:
проведено исследование мнений потребителей образовательных услуг Новосибирского государственного технического университета (НГТУ) и Сибирского государственного технологического университета с целью модификации образовательной программы и образовательного процесса (см. справки об использовании в приложениях Ж и 3). По результатам исследования мнений потребителей образовательных услуг сформированы требования к выпускнику вуза, к образовательной программе и образовательному процессу, предложены рекомендации частного и общего характера по совершенствованию образовательной услуги вуза с точки зрения потребителей. Сформированные рекомендации затрагивают разные уровни управления: преподаватель, руководитель цикла дисциплин, руководитель образовательной программы, выпускающая кафедра, университет, стратегия развития вуза. Полученные практические результаты докладывались на совещании деканов НГТУ, при этом отмечена значимость проведенных исследований и практическая важность полученных результатов, а также принято решение о необходимости ежегодного мониторинга мнений заинтересованных сторон;
разработана инвариантная модель профессионального портрета специалиста и опробована на примере направления подготовки дипломированных специалистов 080801 - Прикладная информатика (в экономике, в менеджменте) (см. справку об использовании в приложении Ж). Для идентификации модели предложена система профессиональных и личностных характеристик специалиста, выделены варианты формирования кластеров, опреде-
12 лены показатели и методы их измерения с учетом иерархии показателей, методами экспертного оценивания сформированы нормативные значения показателей. Полученная модель позволяет осуществлять сравнение характеристик качества подготовленных специалистов с нормативными показателями;
проведена оценка удовлетворенности студентов и выпускников
НГТУ специальности 080801 - Прикладная информатика (в экономике, в ме
неджменте) (см. справку об использовании в приложении Ж). Анализ резуль
татов показал достаточно высокую степень удовлетворенности студентов и
выпускников полученной образовательной услугой. Локализована проблема
недостаточной удовлетворенности целевых групп качеством подготовки спе
циалистов в области программных средств разработки информационных сис
тем и программных средств экономического анализа и планирования.
Гранты и НИР.
Договор субзайма №Е/А.48/01 от 20.06.2001 г. «Разработка и реализация автоматизированной административно-управленческой системы, обеспечивающей эффективное управление вузом и повышение качества образования»;
НТП «Создание системы открытого образования» по проекту «Концептуальное, учебно-методическое и информационное обеспечение повышения квалификации специалистов в области открытого образования» / Проект «Концептуальное, учебно-методическое и информационное обеспечение повышения квалификации специалистов в области открытого образования» (код: 1.2.3.4.(138).541) / Н. рук. Г.Б. Скок, 2002 г.;
Программа Европейского Союза «Развитие образовательных связей и инициатив в области высшего и профессионального образования - этап II (Делфи II)» / Микропроект «Формирование портфолио рабочих профилей специалистов открытого и дистанционного обучения, основанных на компетенциях» / Н. рук. Н.Ш. Никитина, 2005 г.;
Договор №361 от 01.11.2005 г. между Новосибирским государственным техническим университетом и ЗАО «Новосибирский электродный завод» о проведении корпоративного обучения кадрового резерва;
Соглашение о сотрудничестве от 30.06.2006 г. между Новосибирским государственным техническим университетом и Фолькуниверситетом (Швеция) о реализации проекта «Развитие рынка труда на благо экономического роста Новосибирской области», 2006-2008.
Объем и структура диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 133 источников и 9 приложений. Материал изложен на 180 страницах, содержит 45 таблиц, 27 рисунков.
Модель управления качеством образовательных услуг в вузе
Основа модели - потребитель, поскольку все действия в области качества начинаются с него и им же заканчиваются. В модели потребители представлены в двух блоках - слева и справа. Вход модели - потребности потребителей. Опрашивать можно и предыдущих потребителей для планирования потенциального качества оказываемой услуги. Такой вариант более эффективен, т.к. респондент уже более компетентен в предмете опроса. Запросы и нужды потребителей (вход модели) - основа для проектирования и последующего производства продукции/услуги.
Блок «Система процессов в вузе» означает совокупность видов деятельности, которые необходимо организовать и реализовать для получения выходного результата (продукции или услуги) с учетом мнений потребителей.
Третий блок представляет собой обратную связь - удалось ли реализовать запросы потребителей. Модель подчеркивает важность получения информации об уровне удовлетворенности потребителей и формирования обратной связи в виде обновленных требований. Уровень удовлетворенности потребителей - один из важнейших показателей эффективности работы любой организации, в т.ч. вуза. Этот показатель применяют для систем, обеспечивающих производство, как товаров, так и услуг. Уровень удовлетворенности потребителей необходимо уметь измерять, сопоставляя желаемые для потребителей значения показателей качества с их реальными значениями. Один из основных показателей удовлетворенности потребителей для образовательных организаций - удовлетворенность обучающихся уровнем подготовки по образовательным программам, курсам, учебным дисциплинам, на которые они поступили или записались. Измерения и мониторинг удовлетворенности потребителей могут отражать точки зрения различных категорий заинтересованных сторон (обучающихся, работодателей, сотрудников образовательной организации, заказчиков, общественности и пр.) о качестве подготовки специалистов. Данная модель, соответствующая требованиям стандартов ГОСТ Р ИСО серии 9000: 2001, корреспондирует с классической процессной моделью У.Э. Деминга [32, 36, 37, 70, 112, 120], реализующей цикл PDCA (Planning, Doing, Checking, Acting) и приведённой на рисунке 1.4.
В цикле PDCA деятельность вуза разбивается на процессы, представленные стадиями, образующими цикл [120]. Как легко заметить, между моделью образовательной услуги с точки зрения ориентации на потребителя и циклом Деминга существует явное соответствие. Интерпретация стадий цикла PDCA применительно к образованию приведена в таблице 1.4.
Рассмотренную процессную модель можно представить в виде разработанной в диссертационном исследовании «уровневой» модели управления качеством образовательных услуг в вузе, приведенной на рисунке 1.5.
Уровневая модель представляет деятельность вуза с точки зрения управления качеством как совокупность процессов, распределенных по уровням. Как и в модели образовательной услуги с точки зрения принципа «Ориентация на потребителя» (см. рис. 1.3) исследование мнений потребителей проводится дважды за период одного цикла PDCA - на этапе проектирования образовательной услуги и на этапе ее оценки. При этом не представляется возможным использовать одну и ту же методику исследования мнений потребителей на обоих этапах. На первом этапе применим метод, позволяющий получить качественные рекомендации, во втором - количественные оценки. Качественные рекомендации дают подробную информацию описательного характера о тех или иных требованиях к образовательной программе или образовательному процессу. Для получения такого рода оценок разработана методика, основанная на методологии QFD (структурирования функции качества) [19]. Метод QFD успешно зарекомендовал себя в маркетинговых исследованиях при формировании предложений для проектирования промышленных товаров. Однако его идеи и методика, как показано в данной работе, успешно применимы и для проектирования образовательных услуг.
Количественные оценки, предусмотренные в уровневой модели управления качеством образовательных услуг в вузе, приведенной на рис. 1.5, представляются двумя видами: оценкой соответствия профессиональных компетенций и личностных качеств выпускников нормам модели профессионального портрета специалиста и оценкой удовлетворенности потребителей образовательных услуг. Качественно и количественно выраженные требования потребителей должны дополнять друг друга. Преимущество качественных рекомендаций в том, что они более конкретно отражают важные с точки зрения качества компоненты образовательной программы или образовательного процесса. Количественные оценки дают информацию о том, насколько хорош или плох относительно нормы тот иной компонент.
В данной работе поставлена задача, разработать алгоритмическое, методическое и программное обеспечение компонентов уровневой модели, представленных на втором - проектировочном уровне. Для реализации поставленной задачи предстоит разработать: алгоритм исследования мнений потребителей образовательной услуги на этапе ее проектирования или совершенствования; алгоритм разработки модели профессионального портрета специалиста; алгоритм оценки удовлетворенности потребителей, методики, конкретизирующие обозначенные алгоритмы с набором инструкций.
Разработанные алгоритмы и методики должны быть апробированы, следовательно, на их основе должны быть реализованы элементы уровневой модели: исследование мнений потребителей образовательных услуг, анализ результатов и выработка рекомендаций; оценка удовлетворенности потребителей образовательных услуг, анализ результатов и выработка рекомендаций.
Основываясь на уровневой модели, этапы и результаты диссертационного исследования можно представить в виде блок-схемы, изображенной на рисунке 1.6.
Используемые в работе методы решения задач мониторинга и оценки качества подготовки специалистов
Проведенное аналитическое исследование методов контроля качества позволило поставить в соответствие решаемые соответствующими блоками уровневой модели задачи и используемые методы и алгоритмы. В таблицу 2.12 сведены полученные результаты. На основании проведенного в главе 2 исследования сформированы выводы и получены следующие результаты: 1. Проведена классификация показателей качества образования по совокупности критериев. Отмечено, что характеристики образовательных услуг вуза, в том числе потребности и удовлетворенность потребителей часто представлены показателями, измеряемыми в порядковых или нечётких шка лах, а нормы качества могут формироваться на основе методов экспертного оценивания. Для измерения показателей качества проанализированы типы измерительных шкал применительно к образовательной услуге. 2. Проанализирована возможность использования QFD-метода для проектирования и мониторинга качества образовательной услуги. Разработан модифицированный QFD-алгоритм применительно к образовательной услу ге. 3. Проведено исследование применимости методов экспертного оценивания, факторного и кластерного анализа, методов построения интегрированных показателей качества, нормирования и нечеткой логики, диаграмм афинности для мониторинга и контроля качества образовательных услуг. 4. Задачу разработки методического обеспечения для проектировочного уровня модели управления качеством предложено выполнить в двух уровнях: уровень 1 - качественная оценка образовательной услуги с целью ее проектирования или усовершенствования посредством исследования мнений заинтересованных сторон; уровень 2 - количественная оценка образовательной услуги, обеспечивающая сопоставление результатов предоставления образовательной услуги с эталоном (моделью специалиста), и оценка удовлетворенности потребителей. 5.
Для каждого уровня проведен анализ и предложены адекватные ме тоды решения задачи: для уровня 1 - методы менеджмента качества, позволяющие выявить потребности заинтересованных сторон. В частности показана применимость метода QFD - структурирования функции качества - для образовательной услуги, а не только для производства продукции, для уровня 2 - методы экспертного оценивания и прикладного статистического анализа (факторного, кластерного анализа, нормирования). Как было отмечено в главе 2, исходной информацией для QFD-проекта являются мнения потребителей относительно востребованных свойств конечной услуги/продукта. Процедура накопления мнений потребителей начинается с сегментации рынка. Для целей настоящего исследования выделены наиболее значимые сегменты. Для исследования мнений потребителей на этапе проектирования образовательной услуги из категорий потребителей образовательных услуг выбраны следующие: студенты старших курсов и работодатели - потребители специалистов [27]. При этом объектом исследования являются два вида продукции вуза: образовательная услуга и подготовленные специалисты. Разработка анкет для респондентов (студентов и работодателей) и проведение анкетирования. В соответствии с основным правилом и принципиальным отличием QFD-методики анкета должна предоставлять возможность свободного и обстоятельного изложения мнения респондента, для чего целесообразно применять открытые вопросы. В случае устного опроса респондента интервьюером ответы должны записываться дословно в целях сохранения «голоса» потребителя.
Это замечание важно для QFD-исследования, т.к. только мнение, выраженное собственными словами потребителя, считается неискаженной информацией. В анкете не исключается применение вопросов закрытого типа, например для сбора данных о потребителе, которые также необходимы для осознания полученных ответов. Для разных категорий потребителей часть вопросов анкеты является специфичной, а часть - инвариантной для реализации возможности последующего сравнения и анализа результатов. Формы анкет, используемых в процессе исследования мнений потребителей образовательных услуг, предоставляемых НГТУ, представлены в приложении А. Формирование таблицы «Голос потребителя». Результатом анкетирования, независимо от выбранной формы - устной или письменной, является массив необработанной и слабо организованной информации. В целях уточнения, конкретизации и систематизации этих данных в методологии QFD применяется специально разработанный инструмент, получивший название таблицы «Голос потребителя». Данный инструмент позволяет собрать воедино, конкретизировать, представить в виде лаконичной формулировки мнения потребителей и даже выявить их невысказанные явно требования. Этапы заполнения таблицы «Голоса потребителя» приведены в таблице 3.1.
Исследование мнений потребителей на этапе мониторинга и оценки качества образования
Требования государственных образовательных стандартов и рынка труда, а также видение вуза позволяют сформировать набор профессиональных характеристик (компетенции), которыми должен обладать специалист, чтобы наиболее полно соответствовать потребностям и успешно выполнять профессиональные обязанности. Профессиональные характеристики могут быть представлены в виде классификационной схемы [22, 23, 68, 113, 116-118, 124, 125, 127], изображенной на рисунке 3.3.
Профессиональные знания, умения и навыки непосредственно характеризуют специалиста в предметной области (для научной сферы и сферы высшего образования это могут быть также характеристики научной составляющей подготовки).
Личностные качества характеризуют специалиста как личность (лич-ностно-психологические характеристики - моральные, деловые и психологические качества, которые необходимы для занятия определённым видом деятельности; характеристики здоровья и физической подготовки; характеристики уровня культурного развития).
Качество конечного результата деятельности вуза (подготовленного специалиста) во многом определяется качеством условий и процессов, обеспечивающих достижение заявленного результата [118]. Поэтому предъявляемые к уровню подготовки специалистов требования как к конечному результату образовательного процесса преобразуются в требования к образовательной программе, образовательному процессу и ресурсному обеспечению (материально-техническому, информационно-методическому, кадровому и прочим). Для управления качеством подготовки специалистов и удовлетворения требований рынка труда необходимо соблюдать согласованность требований конечных потребителей образовательных услуг/продукции с показателями качества услуг/продукции вуза. Для контроля над исполнением требований необходимо создание иерархической системы показателей качества, устанавливающей соответствие между непосредственно измеренными (оцененными) параметрами условий, процессов и результатов и требованиями конечных потребителей.
Детализация требований к профессиональной подготовке специалистов обеспечивается системой показателей, позволяющей оценить (в балльной шкале) уровень развития у специалиста определенных компетенций (профессиональных характеристик). Эти показатели могут рассматриваться как измерители результативности образовательного процесса (например, показатели успеваемости) [26, 113, 118].
Для оценки уровня профессиональной характеристики может использоваться не один, а несколько показателей, а сами характеристики объединять в группы. Поэтому в систему показателей целесообразно включить также весовые коэффициенты, необходимые для получения интегральных оценок различной степени агрегирования.
Для оценки степени соответствия профессиональных характеристик конкретных студентов требованиям рынка труда необходимо использовать, кроме системы показателей, также нормы качества, т.е. границы изменения профессиональных характеристик (соответствующих показателей), в пределах которых специалист может считаться качественно подготовленным и удовлетворяющим требованиям [26, 113, 118].
Для определения соответствия оценок профессиональных характеристик студента или специалиста, полученных с помощью специальных методик, установленным нормам необходимы показатели качества, Совокупность профессиональных характеристик, соответствующая ей система показателей и нормы качества составляют модель профессионального портрета специалиста, которая структурно представлена на рисунке 3.4. Профессиональные характеристики
Система показателей (результаты измерений, оценки) Инструменты измерении уровня развития компетенций
Система требований работодателей, выраженных посредством совокупности профессиональных характеристик, результатов измерений показателей, отражающих характеристики специалиста, и норм качества, заявленных вузом, образуют эталонный (идеальный) профессиональный потрет специалиста. Оценки профессиональных характеристик реального студента или специалиста образуют фактический (реальный) профессиональный портрет. Формально модель профессионального портрета специалиста (для любой специальности или однородной группы специальностей) можно записать в виде: где М - условной обозначение модели специальности или группы специальностей, Р - набор профессиональных характеристик, О - набор показателей (измерителей) для оценки характеристик (а также значения этих показателей), V- индикаторы важности (весовые коэффициенты) характеристик и соответствующих им значений показателей, N — нормы. Взаимосвязь компонентов модели специалиста представлена на рисунке 3.5.
Будем понимать под рейтингом специалиста интегральные (обобщенные) показатели и/или полученные с их помощью оценки уровня подготовки специалиста [68, 113, 116, 118, 124].
В данном разделе приведен алгоритм разработки модели профессионального портрета специалиста, инвариантный к рассматриваемой специальности или смежных групп специальностей. Укрупненная схема применения модели профессионального портрета в практических исследованиях представлена на рисунке 3.6. Инвариантный алгоритм позволит сформировать модель профессионального портрета специалиста, а также профессиональный портрет отдельного студента в виде балльных оценок отдельных про
OLAP-технология как инструмент анализа мнений потребителей и показателей качества образовательных услуг
Проведенный мониторинг мнений потребителей для каждой специальности позволяет сформировать модель профессионального портрета специалиста. Все значения характеристик модели, интегральные показатели, нормы качества, ежегодно пополняемые по всем работодателям и студентам, необходимо хранить для последующего анализа и сопоставления их в динамике. Анализ представляется делом достаточно трудоемким в связи с огромными массивами данных и множеством анализируемых параметров. Следовательно, для решения поставленной задачи необходимо предусмотреть соответствующие программные средства анализа.
Основным требованием, предъявляемым к информационной системе, ориентированной на анализ данных, является своевременное обеспечение аналитика достоверной информацией, необходимой для принятия решения и в виде, удобном для анализа. При обработке значительных объемов статистической информации возникает проблема поиска и представления требуемых данных в подходящем для анализа виде.
Альтернативой традиционным методам анализа данных, основанным на различных системах реализации SQL-запросов к реляционной базе данных является технология оперативной аналитической обработки данных (OLAP -технология) [10, 76]. В основе OLAP - технологии лежит многомерная модель представления данных, в которой на смену таким понятиям как отношения и сущности приходят понятия измерений и кубов данных. Именно многомерность представления данных позволяет сделать механизм получения данных более доступным и интуитивно понятным аналитику, а многие ограничения языка SQL перестают существовать в силу принципиально иного механизма создания отчетов средствами OLAP-технологии. Так, например, подсчет интегральных показателей уже не требует времени непосредственно на этапе анализа, поскольку все возможные суммы уже подсчитаны на этапе построения многомерной базы данных. Реляционная база данных, содержащая всю статистическую информацию о предметной области, превращается в хранилище данных в терминах OLAP, а процесс создания структуры аналитической системы сводится к определению измерений и организации витрин данных.
Конечной целью использования OLAP-технологии является анализ данных и представление результатов этого анализа в виде, удобном для восприятия и принятия решений. Основная идея OLAP заключается в построении многомерных кубов, которые будут доступны для пользовательских запросов. Однако исходные данные для построения OLAP-кубов обычно хранятся в реляционных базах данных. Нередко это специализированные реляционные базы данных, называемые также хранилищами данных (Data Warehouse). В отличие от так называемых оперативных баз данных, с которыми работают приложения, модифицирующие данные, хранилища данных предназначены исключительно для обработки и анализа информации, поэтому проектируются они таким образом, чтобы время выполнения запросов к ним было минимальным. Типичная структура хранилища данных существенно отличается от структуры обычной реляционной СУБД. Как правило, эта структура денормализована, что позволяет повысить скорость выполнения запросов и поэтому может допускать избыточность данных.
Хранилище данных служит поставщиком информации для многомерной базы данных, представляющей набор объектов, которые позволяют манипулировать данными необходимым для аналитика способом [10, 76]. Основными классами этих объектов являются измерения и показатели. К измерениям относятся множества значений (параметров), по которым происходит индексация данных, в данном случае - время, специальности, группы характеристик модели и т. п. Каждое измерение заполняется значениями из соответствующих таблиц измерений хранилища данных. Совокупность измерений определяет пространство исследуемого процесса. Под показателями понимаются многомерные кубы данных (гиперкубы). В гиперкубе содержатся собственно данные, а также агрегатные суммы по измерениям, входящим в состав показателя. В нашем случае - это значения характеристик важности, требуемого уровня обладания, самооценки, удовлетворенности, интегральные показатели по группам характеристик модели специалиста. Показатели составляют основное содержание многомерной базы данных (МБД) и заполняются в соответствии с таблицей фактов. Вдоль каждой оси гиперкуба данные могут быть организованы в виде иерархии, представляющей различные уровни их детализации. Это позволяет создавать иерархические измерения, по которым при последующем анализе данных будут осуществляться агрегирование или детализация представления данных. Типичным примером иерархического измерения служит цепочка: группа, специальность, факультет, вуз.
Данные, структурированные соответствующим образом и хранимые в МБД, доступны для анализа с помощью клиентского приложения. Пользователь получает возможность удаленного доступа к данным, формулирования сложных запросов, генерации отчетов, получения произвольных подмножеств данных. Получение отчета с использованием данной технологии сводится к выбору конкретных значений измерений и построению сечения гиперкуба. Сечение определяется выбранными значениями измерений. Данные по остальным измерениям суммируются.
Таким образом, аналитик получает возможность глобальной оценки показателей в масштабах вуза в целом и по отдельным факультетам, в частности. В случае, когда аналитику требуется более детальная информация, например, удовлетворенность студентов определенной группы или факультета, он может опускаться на более низкие ступени иерархии измерения, содер жащего факультеты, специальности, группы, конкретных студентов и получать необходимую информацию заданного уровня. Аналитик имеет возможность получить информацию по конкретному предмету, выбрав его в качестве параметра сечения, а также изменять другие параметры, например цикл дисциплин, время (семестр, учебный год) и т. п. При этом требуемую информацию удается получить за короткий промежуток времени в результате нескольких движений мыши. Структурная схема информационной системы (ИС) анализа мнений потребителей образовательных услуг представлена на рисунке 4.4.
В качестве программной базы для хранения и анализа данных предлагается использовать Microsoft Analysis Services - OLAP-сервер фирмы Microsoft, входящий в комплект поставки Microsoft SQL Server 2000 Enterprise Edition и на сегодняшний день признанный аналитиками Gartner Group, как один из наиболее популярных продуктов этого класса [10, 76].
