Содержание к диссертации
Введение
Глава 1. Качество услуг как объект квалиметрического оценивания 17
1.1. Сущность понятия качества. Услуги и качество услуг 17
1.2. Проблемы оценки и управления качеством в сфере услуг. Специфика услуг в социальной сфере 30
Глава 2. Методы описания и обработки данных о показателях качества 41
2.1. Модели и методы описания и анализа данных в задачах комплексной оценки качества
2.2. Методы обработки данных о показателях, представленных в числовой форме 56
2.3. Методы описания и обработки данных о показателях качества, представленных в нечисловой форме. 71
Глава 3. Математические модели рандомизации, применяемые при комплексной оценке качества 82
3.1 Стохастические процессы Дирихле и их свойства 82
3.2. Дискретная модель и ее асимптотические свойства 93
3.3. Применение моделей рандомизации и стохастического доминирования при сравнительной оценке качества объектов 106
3.4. Применение моделей рандомизации при обработке данных о показателях качества, измеряемых в порядковых шкалах 116
Глава 4. Применение рандомизированных показателей в задачах комплексной оценки качества образовательньгх услуг
4.1. Показатели качества, используемые в моделях самооценки и при аккредитации российских вузов
4.2. Обзор имеющегося опыта в системах образования зарубежных стран 143
4.3. Построение рандомизированных оценок для критериев самооценки вуза на основе «Модели совершенствования деятельности» 155
4.4. Разработка системы показателей оценки качества международной деятельности высших учебных заведений 171
Глава 5. Квалиметрические методы в задачах оценки качества результатов обучения 198
5.1. Примеры шкал, применяемых при оценке качества результатов обучения. Баллы и оценки 198
5.2. Шкала ECTS, ее свойства и применение в качестве механизма перезачета оценок 209
5.3. Критерии сопоставления академических оценок, полученных в различных шкалах 215
5.4. Построение балльно-рейтинговой системы оценивания с использованием модели рандомизации 232
Глава 6. Квалиметрические методы оценки качества в здравоохранении 249
6.1. Качество медицинских услуг и анализ составляющих его компонентов 249
6.2. Медико-экономические стандарты как инструмент гарантии качества медицинских услуг и критерии их соблюдения 258
6.3. Комплексная оценка воспринимаемого качества медицинских услуг, оказываемых в условиях стационара
Выводы и заключение 290
Библиографический список 296
Приложения:
- Проблемы оценки и управления качеством в сфере услуг. Специфика услуг в социальной сфере
- Методы обработки данных о показателях, представленных в числовой форме
- Дискретная модель и ее асимптотические свойства
- Обзор имеющегося опыта в системах образования зарубежных стран
Введение к работе
Актуальность темы исследования. Услуги в таких областях, как образование, здравоохранение, сфера ЖКХ, а также услуги, оказываемые органами исполнительной власти, - востребованы всеми без исключения слоями населения. Уровень качества этих услуг во многом определяет социально-политический климат в стране, восприятие уровня жизни населения и эффективности государственных органов. Не случайно, что на совершенствование услуг именно в этих отраслях направлены реализуемые в России в последние годы национальные проекты, а также государственная административная реформа.
В настоящее время вопросам качества в сфере услуг уделяется самое серьезное внимание и со стороны бизнеса, заинтересованного в повышении конкурентоспособности предлагаемых услуг, и со стороны различных потребителей услуг: общества, отдельных граждан, и со стороны государства как регулятора взаимодействия заинтересованных сторон. При этом общепризнано, что задача оценки качества услуг существенно сложнее, чем аналогичная задача, решаемая для качества промышленной продукции, так как в значительной мере затрагивает оценку субъективного восприятия со стороны потребителя.
В тех отраслях сферы услуг, где сложилась реальная конкурентная среда, комплексной оценкой качества могут служить экономические показатели фирмы-поставщика (прибыль, объем продаж, контролируемая доля рынка и т.п.).
Совершенно иной подход требуется для решения задач оценки и управления качеством услуг в социальной сфере, где экономические показатели практически не могут служить надежными индикаторами качества. Причиной тому служат слабо развитая конкуренция среди учреждений образования, здравоохранения и ЖКХ, монополизм поставщиков, регулирование тарифов со стороны государства и т. п.
При всей очевидной важности задачи комплексного оценивания качества услуг в социальной сфере, используемые в настоящее время модели описания данных и методы оценивания носят ограниченный характер, рассматривая лишь конкретный вид социальных услуг с узкоотраслевых позиций. В каждой сфере социальных услуг накоплен свой арсенал методов и критериев оценки качества, применение которых для решения аналогичной задачи в других сферах, как правило, является проблематичным и малоэффективным. Применяемые методы оценки уровня качества в большинстве случаев недостаточно формализованы, описания нормативов и критериев качества нередко абстрактны, что делает их малопригодными на практике, или, напротив, носят настолько специализированный характер, что это не позволяет применять единообразные критерии к однотипным услугам.
В настоящее время практически не решена задача разработки и научного обоснования методов комплексного оценивания качества услуг в
социальной сфере, которые позволяют рассматривать эти услуги с единых позиций при помощи таких моделей описания, которые отражают их общую специфику. Очевидным требованием к таким моделям является необходимость рассматривать и учитывать как показатели, объективно характеризующие организацию-поставщика услуги и ее соответствие требованиям, установленным для данной отрасли услуг, так и показатели удовлетворенности потребителя. Последние, как правило, представлены с помощью данных, которые имеют нечисловой или нечеткий характер, что должно находить свое отражение при обосновании выбора той или иной математической модели для их описания, а также метода для их обработки и анализа.
Высказанные соображения обуславливают актуальность исследования, выполненного в данной диссертационной работе.
Степень разработанности проблемы. Проблемы построения комплексных оценок качества применительно к различным видам продукции разрабатывались во многих научных исследованиях по квалиметрии и управлению качеством. В разные годы в решение задач, связанных с этой проблематикой, внесли существенный научный вклад Г. Г. Азгальдов, Ю.П. Адлер, В.Н. Азаров, С.А. Айвазян, А. Г. Варжапетян, А.В. Гличев, О.П. Глудкин, Е.А. Горбашко, В.В. Окрепилов, А.И. Субетто, В.К. Федюкин, В.Н. Фомин, И.Ф. Шишкин и др. Общие вопросы статистических методов описания и анализа данных нечисловой природы исследованы в работах таких авторов, как Б.Г. Литвак, Б.Г. Миркин, А.И. Орлов, Ю.Н. Тюрин, Н.В. Хованов, Д.С. Шмерлинг и др. Проблемам, связанным с оценкой качества в сфере образования, посвящены публикации В.Н. Азарова, Г.А. Балыхина, Е.Н. Геворкян, В.В.Глухова, В.Б.Касевича, В.Н. Козлова, Я.В. Кузьминова, В.Г. Наводнова, Г.Н. Мотовой, М.В. Петропавловского, С.А. Степанова, Ю.Г. Татура, В.М. Филиппова, В.Д. Шадрикова и др. Среди работ зарубежных авторов необходимо отметить ставшие классическими в области управления качеством работы таких ученых, как Э. Деминг, Д. Джуран, К. Ишикава, А. Фейгенбаум, Д. Харрингтон, У. Шухарт и др., а также работы в области теории шкалирования и анализа нечеткой и нечисловой информации: Л. Задэ, Ч. Кумбс. И. Пфанцагль, У. Торгерсон, Т. Саати и др.
Целью диссертационной работы является разработка научно-обоснованных математических моделей описания и методов решения задач комплексного оценивания качества услуг в социальной сфере.
Для достижения поставленной цели в диссертационной работе поставлены и решены следующие задачи:
Комплексное исследование номенклатуры показателей качества услуг в социальной сфере в целях выявления присущих им специфических черт.
Научное обоснование принципов комплексного оценивания качества услуг в социальной сфере на базе анализа существующих моделей описания и методов обработки данных.
3) Разработка и научное обоснование принципов построения комплексных
оценок качества в сфере социальных услуг, допускающих использование и
совместную обработку как числовой, так и нечисловой информации.
Разработка математических моделей, отражающих выявленную специфику исходных данных и позволяющих оценивать значимость различия уровней качества оцениваемых объектов.
Обоснование предложений по дальнейшему совершенствованию методов комплексной оценки при проведении аккредитации и при самооценке систем менеджмента качества вузов на базе анализа действующих моделей.
Разработка квалиметрических шкал для оценивания нечисловых показателей, учитываемых при комплексной оценке отдельных критериев качества деятельности вузов на базе анализа опыта образовательных систем отдельных зарубежных стран.
7) Разработка и научное обоснование критериев и метода для пересчета
оценок качества результатов обучения между квалиметрическими шкалами,
применяемыми в различных национальных системах образования.
Разработка балльно-рейтинговой системы оценивания результатов обучения, учитывающей нечеткие и нечисловые данные о приоритетах отдельных видов учебной деятельности.
Разработка и научное обоснование общих принципов комплексной проверки соблюдения норм медико-экономических стандартов (МЭС).
Научное обоснование критериев сравнения уровня качества однотипных медицинских услуг, оказываемых различными лечебно-профилактическими учреждениями на основе МЭС.
Разработка методов комплексного оценивания субъективно воспринимаемого пациентами качества услуг, оказываемых при лечении в условиях медицинского стационара.
Область исследования соответствует пп.1, 2, 3, 4 специальности 05.02.23 - «Стандартизация и управление качеством продукции».
Объектом исследования являются услуги в социальной сфере, оказываемые предприятиями и организациями, финансируемыми, как правило, за счет средств государственного бюджета.
Предметом исследования является комплексная оценка качества услуг в социальной сфере.
Методы исследования. При выполнении данного исследования использовались методы системного анализа, математического моделирования, квалиметрии, теории вероятностей и математической статистики.
Теоретическая и практическая значимость. Разработанные и научно-обоснованные в диссертационной работе методы позволяют:
осуществлять комплексную оценку качества сложного многопараметрического объекта (услуги) при наличии дополнительных, представленных в нечисловом виде, сведений о сравнительной важности учитываемых единичных показателей;
учитывать при построении комплексных оценок как числовые, так и нечисловые показатели, в частности, характеризующие субъективное восприятие качества услуг со стороны потребителей; численно оценивать в рамках предложенной математической модели значимость различия между уровнем качества услуг, предоставляемых различными поставщиками;
производить комплексную оценку качества международной составляющей во всех основных показателях, характеризующих образовательные услуги, оказываемые высшими учебными заведениями;
вносить необходимые коррективы в модели, используемые при аккредитации и при комплексной самооценке деятельности вузов, в целях более гибкого учета сравнительной важности отдельных критериев и их составляющих показателей;
разрабатывать балльно-рейтинговые системы оценивания, позволяющие учитывать для каждой конкретной дисциплины те или иные приоритеты относительно оцениваемых видов деятельности учащегося;
осуществлять комплексную проверку соблюдения требований медико-экономических стандартов в отношении показателей, характеризующих качество медицинских услуг, оказываемых пациентам;
осуществлять комплексную оценку воспринимаемого пациентами качества услуг, оказываемых им при лечении в условиях медицинского стационара, а также выявлять сильные и слабые составляющие среди учитываемых показателей.
Научная новизна выполненных исследований состоит в том, что: разработаны модели комплексного оценивания качества услуг в социальной сфере, применение которых обосновано спецификой показателей, характеризующих качество этих услуг; предложен единый подход к комплексному оцениванию качества социальных услуг, относящихся к различным отраслям с выделением показателей: а) указывающих на степень соответствия организации-поставщика услуги установленным для данной отрасли нормативам и требованиям, б) характеризующих восприятие качества услуги со стороны потребителей.
разработан и обоснован метод, позволяющий при комплексном оценивании учитывать информацию, представленную в виде нечетких и нечисловых данных;
разработаны и апробированы конкретные квалиметрические методы, направленные на решение задач, возникающих, в частности: - при оценке уровня качества международной деятельности высших учебных заведений,
при построении балльно-рейтинговых систем оценивания результатов обучения,
при проверке соблюдения нормативов медико-экономических стандартов,
при комплексном оценивании воспринимаемого пациентами качества оказываемых им медицинских услуг.
Основные результаты и выводы, выносимые на защиту.
Показано, что одной из отличительных черт услуг в социальной сфере является отсутствие явно выраженного индикатора качества, связанное с недостаточной развитостью рынка и конкуренции между поставщиками услуг в указанных сферах, административными ограничениями, регулированием тарифов и т.п.
Научно обосновано для услуг в социальной сфере приоритетное значение показателей восприятия качества услуги со стороны потребителей. Показано, что модель комплексного оценивания должна также учитывать показатели, характеризующие соответствие организации-поставщика услуг установленным для данной отрасли нормативам и требованиям.
Установлено, что применяемые в настоящее время методы оценивания и управления качеством услуг в социальной сфере практически не учитывают квалиметрическую специфику исходных данных и как правило носят узкоотраслевой характер. Обоснована необходимость разработки математических моделей, ориентированных на описание и обработку данных о качестве услуг в социальной сфере и допускающих совместную обработку данных как числовой, так и нечисловой природы.
Разработана методика построения и оценивания комплексного показателя качества, основанная на линейной свертке показателей с рандомизированными весовыми коэффициентами, опирающаяся на свойства стохастических процессов Дирихле и их дискретных аналогов на целочисленных решетках.
Решена в явном виде задача о достоверности стохастического доминирования одного из сравниваемых объектов над другим по уровню их комплексного показателя качества, построенного с использованием модели, основанной на рандомизации весов.
Разработан метод обработки данных о нечисловых показателях качества услуг, использующий рандомизацию числовых меток, сопоставляемых пунктам порядковой квалиметрической шкалы, по которой оцениваются эти показатели.
Обоснована необходимость учета международной составляющей во всех видах деятельности вуза при комплексной оценке качества предоставляемых им образовательных услуг. Произведен сравнительный анализ номенклатуры показателей, используемых для этих целей в образовательных системах ряда стран Европы.
Предложена методика совершенствования модели комплексной самооценки, используемой на сегодня вузами РФ, основанная на разработанных в работе моделях рандомизации. Методика позволяет учитывать различные дополнительные ограничения относительно приоритетов отдельных критериев самооценки, выраженные в нечеткой и в нечисловой форме.
Предложен набор индикаторов для оценки качества международной составляющей при оказании образовательных услуг, разработанный с учетом опыта систем образования ряда зарубежных стран.
Разработана методика формализации и учета особенности выбранной вузом стратегии развития международной деятельности в модели комплексной оценки качества.
Предложены критерии, позволяющие осуществлять перевод оценок качества результатов обучения между квалиметрическими шкалами, применяемыми в различных национальных системах образования. Показаны сходства, различия, а также преимущества предложенного метода относительно применяемого в рамках Болонского процесса метода, основанного на шкале ECTS.
Разработан метод построения балльно-рейтинговой системы оценивания, опирающийся на имеющийся в различных вузах практический опыт и использующий при этом модель рандомизации, что позволяет более гибко учитывать специфику осваиваемых образовательных программ и набор формируемых у обучающихся компетенций.
Предложена модель построения и оценки итогового показателя качества медицинских услуг, включающего как оценку субъективно воспринимаемого качества со стороны потребителя (пациента), так и степень соответствия поставщика услуг установленным требованиям и нормам.
Разработан метод комплексной проверки соблюдения норм медико-экономических стандартов (МЭС), имеющий практическое значение при взаимодействии медицинских учреждений и страховых компаний. Предложен критерий сравнения уровня качества однотипных медицинских услуг, оказываемых различными лечебно-профилактическими учреждениями, базирующийся на включаемых в МЭС показателях качества.
Разработан и апробирован метод оценки субъективно воспринимаемого пациентами качества услуг, оказываемых в процессе лечения в условиях медицинского стационара.
Внедрение результатов. Результаты исследований, выполненных в
диссертационной работе, были использованы:
в ходе выполнения Государственного контракта № П607 от 06.09.07 г. «Разработка индикаторов и методики оценки деятельности вузов по внедрению рекомендаций Болонского процесса в части признания
документов об образовании» в рамках Федеральной целевой программы развития образования на 2006-2010 годы. (Задача II: «Развитие системы обеспечения качества образовательных услуг»);
при разработке и апробации новых медико-экономических стандартов в
ряде лечебно-профилактических учреждений г. Санкт-Петербурга:
Детская Городская Клиническая Больница № 5 им. Н.Ф.
Филатова,
Некоммерческое партнерство «Профессиональная медицина»,
Северо-Западный государственный медицинский университет
имени И.И. Мечникова (отд. сосудистой хирургии);
предприятиями и организациями жилищно-коммунального комплекса г.
Санкт-Петербурга при анализе данных об обеспеченности услугами
ЖКХ и их качестве в муниципальных округах и районах:
ООО Жилкомсервис № 1 Невского района г. Санкт-Петербурга, Ассоциация ТСЖ Фрунзенского района г. Санкт-Петербурга;
при разработке и внедрении балльно-рейтинговой системы оценки качества результатов обучения - отделом менеджмента качества образования Санкт-Петербургского государственного университета технологии и дизайна;
в работе Центра сертификации продукции легкой промышленности «Универс-Тест» - при использовании статистических методов контроля качества в ходе проведения сертификации продукции;
Результаты, полученные в ходе выполнения диссертационной работы внедрены также в учебный процесс Санкт-Петербургского государственного университета технологии и дизайна (на кафедре математики) для дисциплин «Статистические методы контроля качества», «Квалиметрия», «Управление качеством» для студентов дневной формы обучения, обучающихся по направлению подготовки 221700.62 - «Стандартизация и метрология», а также по специальности 200503.65 - «Стандартизация и сертификация».
Апробация работы. Основные результаты исследования, выполненного в диссертационной работе, неоднократно докладывались и обсуждались на семинарах и конференциях: на IV Всесоюзной школе-семинаре «Статистический и дискретный анализ данных и экспертное оценивание» (Одесса, 1991 г.); на международной конференции «Интернационализация высшего образования и научных исследований в XXI веке. Роль технических университетов» (СПб, 1999г.); на международной конференции «Высокие интеллектуальные технологии образования и науки» (СПб, 1999 г.); на Международной конференции «Проблемы и перспективы интеграции российской и европейской систем образования» (СПб, 2004 г.); на VII Международной научно-практической конференции «Актуальные проблемы экономики и новые технологии преподавания (Смирновские чтения)» (СПб, 2008 г.); на постоянно действующем семинаре кафедры математики и информатики Северо-Западного института Российской
академии народного хозяйства при Президенте РФ (СПб, 2008, 2010, 2011 гг.); на 1-й и на 4-й Всероссийских научно-практических конференциях «Менеджмент качества в образовании» (СПб, 2008, 2011 гг.); на семинаре-совещании НП «Профессиональная медицина» (СПб, 2010); на научно-методическом семинаре кафедры математики СПбГУТД (СПб, 2011); на 1-й, 2-й и 3-й Международных конференциях «Государство и бизнес. Вопросы теории и практики: моделирование, менеджмент, финансы» (СПб, 2009 -2011 гг.).
Публикации. По результатам исследований, выполненных в диссертации, опубликовано 42 работы, включая 12 публикаций в рецензируемых научных журналах, входящих в Перечень изданий, рекомендуемых ВАК, 1 научную монографию (12,5 печ.л.) и 3 учебные пособия с грифом УМО (свыше 8 печ.л. каждое).
Структура диссертационной работы. Диссертационная работа состоит из введения, шести глав основного содержания, заключения, списка использованных литературных источников, насчитывающего 226 наименований, а также 9 приложений. Основной текст диссертации изложен на 319 стр. машинописного текста, содержит 16 рисунков и 35 таблиц.
Проблемы оценки и управления качеством в сфере услуг. Специфика услуг в социальной сфере
За последние годы вопросам комплексной оценки качества услуг уделяется все большее внимание, как со стороны органов государственной власти, так и со стороны научного сообщества. Процент населения, занятого в сфере услуг, является одним из показателей экономического развития страны, достигая в передовых экономиках уровня свыше 70%.
Следует отметить, что методология оценки качества в сфере услуг на сегодня развивается двумя практически параллельными путями. Во-первых, в сфере услуг применяются методы оценки качества, где главное место занимает комплексная оценка по тем показателям (числовым и нечисловым), которые характеризуют фирму-поставщика услуги, соответствие значений этих показателей установленным нормативам и т.п. Во-вторых, достаточно широко используются методы анализа предпочтений клиентов, социологические и экспертные опросы, различные маркетинговые методики, направленные на построение оценок качества услуги, (примерами таких методик служат описываемая далее методика SERVQUAL [204], [205], а также [13], [191], [192]). И в том и в другом случае, если речь идет о прикладных исследованиях, - математические методы и модели принятия решений используются достаточно редко или в ограниченном объеме. Единая методика, которая включала бы комплексную оценку качества услуги, базирующуюся как на формальных показателях, объективно характеризующих поставщика, его соответствие требованиям данной отрасли услуг, а также учитывала бы достигаемый конечный результат (удовлетворенность потребителя), - на сегодня отсутствует. Нерешенной до конца при построении оценки качества услуги остается и проблема совместной обработки числовых показателей и показателей, измеряемых в различных нечисловых шкалах. зо Одной из отличительных черт задач оценки качества в сфере услуг является более важная роль, которую должны играть показатели, характеризующие восприятие качества услуги со стороны потребителя [137], [182], [191], [192]. Уровень качества по этим показателям, очевидно, формируется как за счет воздействия объективных признаков, характеризующих процесс оказания услуги, так и за счет субъективно оцениваемого потребителем уровня качества взаимодействия между ним и поставщиком услуги. Таким образом, возникает необходимость совместного анализа совокупности показателей, относящихся к двум принципиально отличным друг от друга типам: 1) характеризующих степень соответствия организации-поставщика услуг требованиям, установленным для данной отрасли, а также соблюдение им принятых для данного вида услуг нормативов; 2) характеризующих субъективное восприятие услуги со стороны потребителя, его удовлетворенность характером взаимодействия с исполнителем и результатом, достигнутым в итоге оказания услуги. Ясно, что субъективная оценка потребителя должна учитываться при управлении качеством, как в случае материальной продукции, так и в случае сферы услуг. Однако, именно для сферы услуг принципиально важными становятся такие «неуловимые» показатели, как «вежливость персонала», «оперативность при выполнении заказа», удобство для клиента в месте, где оказывается услуга» и т.п. В отличие от субъективно воспринимаемого качества промышленных изделий или продукции сельского хозяйства, здесь зачастую невозможно произвести оценку, собрав комитет экспертов и предъявив им для детального рассмотрения объект, качество которого им предстоит оценить. Качество одной и той же услуги вполне может восприниматься по-разному в зависимости от времени, от личных качеств сотрудника фирмы-поставщика услуг и других подобных факторов, которые могут существенно меняться во времени. В силу этого второй из указанных выше типов показателей должен иметь особую важность в задачах управления качеством услуг.
Значения показателей, относящихся к первому из названных выше двух типов, носят более или менее объективный характер, а их номенклатура, очевидно, должна меняться в зависимости от конкретной отрасли. Что же касается показателей, относящихся ко второму типу, то их объективная оценка является более сложной задачей. В отраслях услуг, где сложилась развитая конкурентная среда (услуги операторов мобильной связи, туристических агентств, финансово-кредитных учреждений и т.п.) удовлетворенность потребителей может быть косвенно оценена с помощью экономических показателей фирмы-поставщика (объем продаж, контролируемая доля рынка и т.п.). При оценке качества услуг, оказываемых предприятиями таких отраслей, в настоящее время применяются различные методы оценки, характерным примером которых может служить методика, получившая наименование SERVQUAL.
Методы обработки данных о показателях, представленных в числовой форме
Как было отмечено ранее, в разделе 1.2, исходные данные для оценивания качества услуги, могут быть представлены в виде совокупности единичных показателей {X(V, Хр-\..., Х т)). Каждый рассматриваемый показатель Х в свою очередь характеризуется рядом значений X ,у=1,..., N(i): ={Х Х2(1\ ...Хт }, (/= 1,..., т) (2.7) которые представляют собой результаты наблюдений, полученных в ходе обследования (оценки качества). Объектами наблюдения (далее для краткости: объектами) могут являться в одних задачах - поставщики услуги, качество которой подлежит оцениванию (образовательные учреждения, поликлиники, административные органы и т.д.), а в других -потребители этих услуг (пациенты, учащиеся и т.п.). Число N(i) в (2.7) обозначает общее число наблюдений, имеющихся для /-го показателя, так что в общем случае для различных показателей это число может быть различным. В свою очередь, каждый из объектов характеризуется своими значениями показателей, причем на практике далеко не всегда в задаче присутствуют значения всех т показателей для каждого из объектов. При наличии данных об объекте по всем рассматриваемым показателям, объект может быть представлен как точка в т -мерном пространстве.
Таким образом, данные могут рассматриваться как матрица { х1) }, часть элементов которой отсутствуют (наблюдения имеются не для всех объектов, или их результаты недоступны). Здесь j - номер объекта; / -номер показателя (/ = 1,..., т). В случае, когда все объекты были оценены по всем т показателям, матрица { Х } не содержит пробелов и имеет размеры N х т , где N - общее число оцениваемых объектов, и тогда N{i) = Лгдля всех /= 1,..., т .
Сами показатели, как отмечено ранее, могут носить так числовой, так и нечисловой характер. В данном разделе будут рассмотрены те методы описания и анализа, которые применимы в случае, когда все т показателей могут быть измерены (оценены) в числовой форме. Случаи нечисловых показателей, а также, когда в задаче присутствуют как числовые показатели, так и показатели, оцениваемые в нечисловых шкалах, - будут далее рассмотрены отдельно.
Обработка данных вида (2.7) представляет собой последовательное решение следующих задач. 1 1) Исследование однородности массива данных вида (2.7) для каждого показателя ХУ\ Выявление значимых различий между объектами по отдельным показателям с последующей группировкой объектов по однородным (с точки зрения данного показателя) классам. 2) Выявление и анализ структуры взаимосвязей между отдельными показателями. Решение этой задачи позволяет сократить общее число показателей, которые необходимо оценивать, исключив те из них, которые тесно связаны и во многом дублируют друг друга. 3) Снижение размерности пространства, в котором расположены объекты. Иначе говоря, проекция исходного т -мерного пространства на пространство меньшей размерности, так чтобы взаимное расположение объектов подвергалось минимально возможному искажению. При этом число учитываемых показателей должно сокращаться за счет группировки близких по смыслу исходных показателей в один. 4) Построение (синтез) комплексного показателя качества, призванного учесть наиболее лучшим способом все данные о сравнительном уровне качества объектов по всем исходным показателям. 5) Оценка степени важности отдельных показателей по степени их влияния на итоговое качество объектов. 6) Выявление значимых различий между объектами по уровню их качества в целом (то есть по комплексному показателю) с последующей группировкой объектов по однородным с точки зрения комплексного показателя классы. Рассмотрим более подробно некоторые основные методы решения перечисленных выше задач. Проверка однородности данных по каждому из показателей }& может быть осуществлена с помощью статистических критериев однородности. При этом для показателей качества услуг априорное допущение о нормальном законе их распределения вряд ли может быть обосновано (см. [10], [86]), а имеющаяся выборка, как правило, не велика. В силу этого представляется более оправданным использовать для проверки гипотез однородности непараметрические (ранговые) критерии [48], [166 ]. Так, например, пусть необходимо проверить гипотезу о том, что в двух сравниваемых клиниках (в данном контексте - поставщиках услуги) сроки госпитализации пациентов одинакового профиля, проходивших курс лечения, - значимо различны.
Далее необходимо проранжировать все p+q имеющихся значений показателя от меньшего к большему и вычислить сумму рангов для элементов, которые относятся к какой-либо одной (например, к первой) из двух частей выборки. Эта сумма рангов служит в качестве достаточно простого критерия проверки гипотезы, а именно, если ее значение лежит вне пределов интервала, границы которого можно легко найти из таблиц [166], то следует сделать вывод о значимом различии. В противном случае делается противоположный вывод, а именно, что различия в сроках для данных двух клиник лежат в пределах допустимой статистической погрешности.
Данный метод легко обобщается на случай, когда требуется сравнить между собой различия более, чем двух частей выборки значений показателя )61) . Здесь многомерным аналогом служит ранговый дисперсионный анализ, (в частности, критерий Краскела-Уоллиса, подробнее - см. [166], [201]). Помимо названных критериев можно указать на целый ряд близких по смыслу непараметрических ранговых методов ( см., например, [150]), однако, к сожалению, все они на сегодня недостаточно широко используются применительно к данным о качестве услуг.
Последнее условие является необходимым и для применения ряда других методов многомерного статистического анализа, использующих корреляционную матрицу в качестве инструмента. К таковым, в частности, относятся метод главных компонент и анализ канонических корреляций, речь о которых пойдет ниже.
Дискретная модель и ее асимптотические свойства
Дискретными аналогами математических моделей, основанных на процессах Дирихле, служат рассматриваемые в данном разделе распределения вероятностей на целочисленных решетках. Одним из несомненных преимуществ дискретных моделей является удобство их реализации на компьютере, что позволяет шире использовать их в практических приложениях.
Пусть р\,...,рт - весовые коэффициенты, которые используются при построении комплексного показателя качества в модели линейной свертки единичных показателей вида (2.6). Потребуем, чтобы помимо обычно налагаемых условий: т Pi 0 (для всех / = 1, ... т), pt =1, (3.27) весовые коэффициенты также удовлетворяли и следующему ограничению: все pi могут принимать значения лишь из множества чисел {О, п\ 2п\..., (п-1)п\ 1}, (3.28) где п — заданное целое число, которое определяется той точностью, с которой в дальнейшем будут оцениваться веса. Общее число всевозможных векторов весов (р\,..., рт% которые будут удовлетворять указанным выше ограничениям, обозначаемое далее как iVn(O), определяется следующей комбинаторной формулой: Nn(0)=(n + m 1)- (3.29) Таким образом, можно говорить о неопределенности однозначного выбора одного конкретного набора весов из имеющегося общего числа 7Vn(0) таких наборов. В качестве математической модели такой неопределенности можно рассмотреть то или иное распределение вероятностей, задаваемое на указанном конечном множестве. Предположим вначале, что все Л (0) наборов весовых коэффициентов (рі,..., Рт) в равной мере допустимы для использования в линейной свертке (2.6). Это приводит к выбору модели, основанной на равномерном распределении, когда каждый набор весов может быть принят с одинаковой вероятностью, равной [Л (О)]"1. Впервые данная модель была предложена и подробно изучена в работах Н. В. Хованова: [57], [160], [161], [162], в том числе - с участием автора: [53] .
После учета всех ограничений оставшиеся наборы весов (р\,..., рт) полагаем в равной мере допустимыми для использования в модели линейной свертки. Это позволяет моделировать имеющую место неопределенность однозначного выбора весов путем рандомизации, а именно, путем задания равномерного распределения вероятностей на множестве наборов весов, оставшихся в числе допустимых. Тем самым каждый такой набор может быть выбран с одинаковой вероятностью, равной [ „(d)]"1.
Обзор имеющегося опыта в системах образования зарубежных стран
Во многих странах, обладающих высокими стандартами и давними традициями в области образовательных услуг, гарантии качества также обеспечиваются за счет аккредитационных мероприятий [73]. Широко применяются различные системы внутренней и внешней оценки качества образовательных услуг (см., например, [202], [210], [219]). При этом внешняя оценка осуществляется, как правило, независимыми от государства агентствами, имеющими соответствующую международную или национальную аккредитацию.
Несколько приводимых далее характерных примеров фрагментов национальных систем аккредитации и контроля качества в сфере образования помогут обосновать некоторые рекомендации по дальнейшему совершенствованию такой системы в России.
Нидерланды. Организация проведения и структура внешней оценки качества в области высшего образования в этой стране была определена законом, принятом в 1993 году. Система государственной аккредитации приобрела официальный характер лишь с 2003 года. Следует отметить, что в отличие от России, система высшего образования в Нидерландах, как и в ряде других стран Европы, подразделяется на два сектора: университетский и неуниверситетский. Первый включает 13 государственных и один открытый университет19, тогда как второй представляют значительное число высших школ (Hogescholeri). Система государственной аккредитации была разработана Ассоциацией университетов Нидерландов (VSNU) и ориентирована на университетский сектор, а системы самооценки вузов впервые создавались в рамках неуниверситетского сектора, начиная с середины 90-х годов. При этом важно, что подход к оценке качества, применяемый в отношении высшего учебного заведения в целом, был полностью перенесен на оценку качества в области международной деятельности: была использована та же структура и тот же набор показателей [195].
Для России, где подобное разделение на два сектора отсутствует, обе модели могут иметь определенную ценность и представлять интерес.
Оценивание деятельности голландских вузов производится экспертными методами, при помощи специально разрабатываемых опросных листов с вопросами закрытого типа. При последующей обработке используются также построенные специально ординальные шкалы, пунктами (градациями) которых служат упорядоченные уровни оцениваемого показателя качества, т.е. возможные варианты ответа
В структуре показателей (индикаторов), используемых вузами Нидерландов в модели самооценки, явно прослеживается процессный подход и те общие тенденции, которые использованы при создании «Бельгийско-нидерландской модели улучшения качества образования», в свою очередь опирающейся на модель Европейского Фонда по Менеджменту Качества (EFQM) [183], [195], [203]. Общая система используемых индикаторов разделена на следующие подсистемы: 1. Образовательная подсистема. 2. Организационная подсистема 3. Подсистема необходимых предпосылок и условий Каждая из трех указанных подсистем фокусирует свое внимание на вполне определенных объектах управления качеством, каждый из которых в свою очередь объединяет в себе определенный набор показателей (индикаторов), подлежащих оценке, и несущих в себе определенную информацию о той или иной составляющей деятельности вуза. Модель предусматривает, что каждый из составляющих индикаторов, в свою очередь, должен быть оценен экспертным путем по 5-й балльной шкале. Объекты управления, а также количество составляющих индикаторов для каждого объекта перечислены в таблА. 1.
Финляндия. Первая программа по оценке качества системы образования проводилась в Финляндии в период 1992 - 1995 гг. В принятой в настоящее время в Финляндии системе оценки качества сочетаются оценка со стороны внешних наблюдателей (международных агентств и университетов) и самооценка учебных заведений [219]. Система показателей, характеризующих качество интернационализации образования, применяемая вузами Финляндии, была опубликована в материалах СИМО (CIMO Occasional Paper, 1) в 1995 году [211]. По форме она представляет собой опросный лист, содержащий перечень вопросов, ответы на которые должны быть даны каждым вузом в ходе процедуры самооценки. Показатели, уровень которых должен быть отражен в итоге самооценки, предполагают вербальную оценку: либо по типу «да-нет», либо в виде развернутого ответа на поставленный вопрос. Все вопросы разбиты на следующие разделы: 1. Стратегия и политика 2. Организация и структура 3. Внешние связи 4. Международное сотрудничество, осуществляемое преподавателями 5. Студенты 6. Методика обучения и содержание учебных планов
