Содержание к диссертации
Введение
Глава I Модели оценки качества в системе образования 9
1.1. Онтология и гносеология оценки качества образования 9
1.2. Системный анализ релевантных факторов 25
1.3. Существующие модели оценки качества высшего образования „37
1.4. Новая модель оценки качества деятельности образовательных учреждений 57
1.5. Модели содержания и процедур оценивания объектов системы высшего образования 72
1.6. Выводы по главе 19
Глава II Методологические принципы многомерного анализа 80
2.1. Исходные позиции 80
2.2. Ранги и семантическая шкала качеств 94
2.3. Анализ традиционных подходов к оценке статистической связи , 105
2.4. Выбор системного основания качества 117
2.5. Классические методы многомерного анализа данных 128
2.6. Выводы по главе 140
Глава III. Топометрикн статистики качеств 142
3. \. Понятие топометрики 142
3.2, Первичные данные в качественных исследованиях 143
3.3. Меры сходства в пространстве признаков 151
3-4. Коэффициенты множественной и парной качественной коикордации 161
3,5. Внутрисистемная согласованность объекта 165
3.6, Алгоритмы оценивания 168
3.7, Выводы по главе 171
Глава IV- Практические задачи оценки качества объектов системы высшего образования 172
4.1.. Основные задачи анализа интенсивных значений 172
4.2. Энтропия значений как показатель ценности фактора 175
4.3. Ранжирование объектов системы высшего образования 181
4.4. Кластерный анализ в задачах оценки качества 195
4.5. Условная энтропия распределения в анализе динамики качества 205
4.6. Разработка программы для решения комплекса задач по оценке качества деятельности образовательных учреждений 208
4.7. Выводы по главе 209
Основные результаты н выводы 211
Библиографический список
- Системный анализ релевантных факторов
- Анализ традиционных подходов к оценке статистической связи
- Первичные данные в качественных исследованиях
- Ранжирование объектов системы высшего образования
Введение к работе
Актуальность работы. Одним из ощутимых социальных последствий стремительных технологических перемен, особенно сильно проявивших себя в последние десятилетия XX в,, стал общий кризис систем образования. Он охватил сегодня практически все страны мирового сообщества, в том числе и Россию. Вместе с тем существо этого кризиса отнюдь не ограничивается исключительно финансовой недостаточностью самой этой сферы (хотя важность этой проблемы тоже недооценивать нельзя). Главный источник кризиса - в неадекватности содержания образования, масштабов и уровня развитая образовательных систем постиндустриальному направлению цивилизационного развития.
Специфика объекта управления, которым является образовательная деятельность, и слабое развитие методологической основы и технологической поддержки для образовательной отрасли делают актуальной задачу разработки научной основы для решения проблем в области оценки и управления качеством образовательной деятельности. Качество образования определяется как приоритетная задача в «Концепции модернизации Российского образования на период до 2010 года», принятой Минобразованием РФ (приказ МО РФ №393 от 11.02.02) [65]. Для успешного решения этих задач нужны как исследования методологических основ оценки качества, так и разработка практических методик анализа данных. При этом основным звеном в сфере образования без сомнения является система высшего образования, представленная субъектами предоставления образовательных услуг -высшими учебными заведениями. Вопросы оценки качества деятельности вузов и являются актуальной задачей настоящей диссертационной работы.
Целью диссертационной работы является разработка моделей и алгоритмов оценки качества деятельности учреждений системы высшего образования с точки зрения системного анализа, на основе методов математической статистики и статистики качеств, непараметрических подходов и педагогической герменевтики.
Задачи исследования. В соответствии с поставленной целью требуется решить следующие задачи:
? провести критический анализ существующих моделей и технологий оценки качества объектов системы высшего образования;
? разработать инвариантную модель оценки качества деятельности вуза;
? проанализировать применимость ранговых методов статистики в работе с факторами смешанной природы;
? проанализировать существующие и разработать новые критерии выбора системного основания качества;
? разработать топометрики в пространстве интенсивных величин;
? разработать модели и алгоритмы решения практических задач оценки качества в системе высшего образования - ранжирование объектов, кластерный анализ, анализ динамики распределения;
? разработать автоматизированную систему для решения комплекса задач в области оценки качества деятельности образовательных учреждений. Объектом исследования является область теоретической информатики, связанная с разработкой моделей и алгоритмов оценки качества объектов произвольной природы и методологией анализа данных смешанной природы.
Методы исследования. Для достижения поставленной в работе цели и решения перечисленных задач использованы методы математической статистики, статистики качеств, герменевтики, элементы квалиметрии. Разработка программного обеспечения для реализации алгоритмов проведена в среде Borland Delphi (ver.7.0).
Методологической основой исследования являются работы в области оценки качества образования, анализа многофакторных объектов произвольной природы, статистики объектов нечисловой природы, теории информации (труды А.И.Субетто, Г.Г.Азгальдова, В.И.Васильева, Б.ГЛитвака, С.А.Айвазяна, В.В.Красильникова, АЖОрлова и др.).
Достоверность полученных результатов подтверждается применением методов математической статистики, статистики качеств, моделированием и герменевтической интерпретацией результатов, практической реализацией и внедрением разработанных методов, моделей и алгоритмов.
Научная новизна полученных в данной работе результатов состоит в следующем:
L Разработана инвариантная модель оценки качества деятельности вуза, ориентирующаяся на специфику сферы высшего образования, потребности личности и общества.
2. Показана неприменимость традиционных ранговых показателей связи в анализе качественных признаков,
3. Разработаны критерии выбора системного основания качества.
4. Получены модели расчета коэффициентов множественной и парной конкордации в пространстве качеств и разработаны соответствующие этим моделям алгоритмы обработки качественных данных.
5. Разработаны технологии ранжирования, кластерного анализа, анализа динамики распределения в пространстве интенсивных величин.
6. Разработан и внедрен программный комплекс оценки качества деятельности образовательного учреждения.
Оценка теоретической значимости результатов работы. Полученные концептуальные и математические модели и алгоритмы являются теоретической основой для оценки качества многомерных объектов произвольной природы, формируют базу для создания автоматизированных систем оценки качества.
Практическая ценность работы состоит в разработке технологий использования методов статистики качеств для оценки качества процессуальной стороны образования.
На защиту выносятся следующие положения: инвариантная модель оценки качества деятельности вуза;
? методология качественного анализа данных - критерии выбора системного основания качества, вопросы перевода значений признаков к качественным аналогам;
? модели и алгоритмы расчета топометрик сходства объектов сферы образования;
? модели и алгоритмы кластеризации, ранжирования, оценки качества и анализа динамики распределения образовательных учреждений;
? автоматизированная среда оценки качества деятельности образовательного учреждения на основе методов статистики качеств. Апробация результатов работы Основные результаты диссертационной работы доложены и обсуждены на Всероссийских конференциях «Развитие методов и средств компьютерного тестирования», Москва, 2003; «Развитие методов и средств компьютерного тестирования», Москва, 2004; «Инновационные методы и средства оценки качества образования», Москва, 2006,
Внедрение результатов. На основании предложенных моделей и алгоритмов создана автоматизированная программа «ACT-ОКО - Экспертная оценка качества деятельности образовательного учреждения», успешно применяемая в ряде вузов РФ,
Публикации. Основные положения диссертации изложены в 17 научных публикациях.
Структура и объем диссертации. Диссертационная работа состоит из введения, 4-х глав, выводов по каждой главе, основных результатов, списка используемой литературы и приложений,
В первой главе проводится критический анализ современных моделей оценки качества образовательных учреждений, показывается недостаточная проработанность этих подходов, предлагается инвариантная модель оценки качества деятельности вуза.
Вторая глава посвящена методологическим основам качественного анализа данных. Здесь анализируется связь статистики качеств с ранговыми ь методами, показывается неприменимость порядковых методов к интенсивным величинам, разрабатываются критерии выбора системного основания качества, прорабатываются вопросы сведения признаков к единому основанию качества.
В третьей главе анализируются традиционные подходы к определению сходства между объектами, предлагаются топометрические коэффициенты множественной и парной качественной конкордации объектов, характеристика внутрисистемной согласованности объекта.
В четвертой главе разрабатываются модели и алгоритмы интегральной оценки вузов, ранжирования, кластерного анализа и анализа динамики распределения значений признаков.
Диссертация изложена на 234 страницах, содержит 31 рисунок, 21 таблицу, 3 приложения» Список используемой литературы содержит 171 наименование.
Системный анализ релевантных факторов
Процесс подготовки специалистов является многогранным, сложным процессом, эффективное управление которым возможно лишь при использовании системного подхода на всех этапах: изучение процесса, синтез эффективной системы управления, контроль за основными показателями деятельности вуза [11, сЛ7]. Этот подход применительно к оценке деятельности высшего образования обосновывается в федеральном законодательстве [19, с.48]. В соответствии с Федеральным Законом «Об образовании» [48] качество высшего образования определяется как системная совокупность иерархически .организованных, социально-значимых сущностных свойств высшего образования как результата, как процесса, как образовательной системы (подробнее - в [114]).
Управление образовательными системами связано с выбором адекватных методов их изучения и описания. Традиционные подход, предполагающий представление поведенческих систем на количественном языке (то есть как совокупности числовых переменных и связей между ними), все чаще признается несостоятельным, С одной стороны, такое описание оказывается непропорционально трудоемким, а иногда и попросту невозможным, с другой - даже если оно получено, то оказывается практически непригодным из-за сложности герменевтической интерпретации результатов. Поэтому в последние годы специалисты по управлению все чаще обращаются к иным методам описания систем; которые можно назвать качественными. Примером таких методов могут служить работы Ю.И. Клыкова и Д.А. Поспелова по ситуационному управлению большими системами (например, [103]).
Вместе с тем растет сознание того, что качественные методы - не какой-то компромисс, переходная ступенька на пути к количественным, а аппарат вполне самостоятельный и адекватный нечисловой природе решаемых задач. Проблемы ОКДОУ, по самой сути своей качественные, и привлечение традиционных методов параметрической статистики для их решения ведет к ненужным усложнениям. Задачи такого рода получили название слабоструктуризированных. О-И. Ларичев указывает на следующие характерные черты слабоструктуризированных задач: «Прежде всего роль субъекта при определении и анализе таких проблем исключительно велика. Информация о внешней среде, о связи между параметрами никогда не бывает полной. Принятие окончательного решения всегда сопряжено с риском. Наиболее важная по своему характеру информация может быть получена только при помощи экспертов. Не существует объективных математических расчетов, при помощи которых можно было бы полностью беспристрастно найти решение проблемы. В связи с этим окончательный выбор, принятия решения в слабоструктурированных системах осуществляется человеком на основе своего опыта и интуиции, а также информации, полученной от других людей)) (по [21]),
Объяснить с точки зрения педагогической герменевтики какое-нибудь индивидуальное явление значит включить его в общеобъемлющее его же индивидуальное целое, выделить это явление из совокупности охватывающих его культурных взаимоотношений. Поэтому строение педагогического понятия есть схема конкретной целостности, внутри которой индивидуальное выступает тем отчетливее в своей ценности, чем глубже оно в нее погружено. Задача исследователя - декомпозировать изучаемое им индивидуальное явление (или процесс) на составляющие его культурные факторы и тем самым установить согласованность с непосредственно охватывающими их более обширными, но индивидуальными же целыми компонентами, которые, в свою очередь, должны быть герменевтически осмыслены из облегающих их индивидуальной совокупности культурных "влияний". Этот процесс последовательного разбиения и герменевтической интерпретации бесконечен и не может быть формализован. Если общее естествознания есть закон, располагающий единичное в числом определенный ряд, то общее теории образования есть индивидуальное целое, объемлющее частные индивидуальные явления множеством идущих от нега в сфере образования связей.
Несомненно, оценка качества деятельности образовательной организации не может основываться только на количественных факторах и жестких методах традиционной статистики. Это механистическая точка зрения, которой придерживался, в частности, немецкий ботаник К, В. Негели (1817-1891), полагая, что качественные различая поддаются объяснению лишь постольку, поскольку они могут быть сведены к количественным различиям. Такой подход соответствует резкому разграничению между философскими категориями количества и качества.
Примечательно, что для кластеризации и ранжирования в системе оценки качества более удобным становится не иерархическая модель дерева, а комбинативная - табличная форма задания референтов и факторов. При этом матрица объекты-признаки учитывает как количественные, так и качественные (в том числе процессуальные) симптомы. Чем больше число гибридных признаков используется, тем больше удается в интегральной оценке качества отразить свойства непостоянства, неопределенности, локальности и уникальности, т.е. того, что ассоциируется с деятельностью учебного заведения, становлением и формированием новых качеств. При этом строгость оценки определяется степенью структурированности образовательного процесса.
Анализ традиционных подходов к оценке статистической связи
При анализе качества объектов произвольной природы ключевым моментом является оценка связи между признаками (факторами), описывающими этих референтов. Необоснованные попытки прямого переноса методологии классической статистики на реальную действительность приводят к неверным результатам и тем самым бросают тень на развитие качественных методов и алгоритмов анализа. Применение параметрических подходов без формулирования и должной проверки гипотез о характере распределения является распространенной практикой в современных экспериментальных исследованиях, И если в анализе объектов числовой природы можно оценить близость полученных выводов реальным данным, то в статистике качеств с концептуально отличной базой исследования подобные попытки приводят к получению совершенно неадекватных результатов.
Рассмотрим подробнее классические подходы к определению степени взаимосвязи признаков, описываемых соответствующими переменными.
Основную роль здесь играет коэффициент линейной корреляции Карла Пирсона, который представляет собой нормированное значение второго смешанного центрального момента. Для дискретных случайных величин [26, с Л 76]:
Здесь тх и ту- математическое ожидание величин х и у соответственно, г -коэффициент линейной корреляции между х к у.
Выборочное значение коэффициента корреляции (т.е. статистическая оценка неизвестного значения) подсчитывается по исходным статистическим данным (хиух), ( 2,)b)—, ( п Jb) по формуле [5, с.62]:
Определенный данным соотношением выборочный коэффициент корреляции может быть формально вычислен дія любой двумерной системы наблюдений; он является измерителем степени тесноты линейной статистической связи между анализируемыми признаками. Однако только в случае совместной нормальной распределенности исследуемых случайных величин коэффициент корреляции гху имеет смысл как характеристика степени тесноты связи между ними. В частности, в этом случае соотношение г = 1 подтверждает чисто функциональную линейную зависимость между исследуемыми величинами, а уравнение г - 0 свидетельствует об их полной взаимной независимости [5, с.62]. Здесь следует подчеркнуть, что независимость в статистическом смысле не предполагает выводов о функциональной связи. Можно построить примеры, когда, несмотря на г - 0, исследуемые переменные оказываются связанными чисто функциональным соотношением. Поэтому о величинах, для которых r -Q, обычно говорят, что они некоррелированы, и только после дополнительного статистического и профессионального анализа (исследование степени отклонения распределения рассматриваемых величин от нормального и т.п.) можно сказать, следует ли отсюда их независимость-Основной вывод, который следует из вышеизложенного - коэффициент линейной корреляции применим при доказанном нормальном распределении анализируемых признаков. Для полноты приведем все условия правомерности толкования коэффициента корреляции как показателя тесноты связи между случайными величинами [43, с.4]: а) случайные величины X и К могут считаться выборками из двумерной генеральной совокупности, распределенной по нормальному закону; б) отдельные измерения или наблюдения случайной величины стохастически независимы; в) дисперсия случайной величины X остается постоянной при изменении Y или пропорциональна некоторой известной функции; г) если случайная величина X приняла определенное значение, то математическое ожидание случайной величины Y можно выразить в виде линейной функции Y = f{X).
Стоит добавить, что обнаруженная статистически значимая корреляция может быть обусловлена непосредственной причинной зависимостью между х и у, общей зависимостью от третьей величины, неоднородностью материала или быть чисто формальной.
Причиной корреляции вследствие неоднородности является материал, относящийся к различным областям координатной плоскости. Если на это не обращать должного внимания, то разница в положении облаков точек может иметь следствием эффект корреляции, полностью отличающийся от корреляционного соотношения внутри этих облаков точек.
Например, объем профессорско-преподавательского состава и общая площадь учебного заведения не показывают корреляции отдельно в частных учебных заведениях с малым количеством обучаемых и в государственных многопрофильных вузах. Однако, если объединить статистический материал, то можно сделать ошибочное заключение о наличии выраженной корреляции между этими факторами. Или, например, если хну дополняют друг друга до 100%, то между ними имеется отрицательная корреляция - это пример формальной корреляции.
Первичные данные в качественных исследованиях
Любое практическое исследование, направленное на достижение научно-значимых результатов, начинается с выдвижения тех или иных гипотез, которые в дальнейшем будут подвергаться проверке. В многоэтапном исследовании гипотезы могут выдвигаться на каждом этапе и зависеть от результатов проверки гипотез предыдущих стадий исследования. Не претендуя на полную классификацию гипотез, возникающих в исследованиях в сфере образования, можно остановиться на некоторых основных типах. [37, с.26]
1. Гипотезы о типах вероятностных законов распределения случайных величин, характеризующих изучаемое свойство явления или процесса,
В общем виде содержание научных гипотез первого типа? возникающих в педагогических экспериментах, можно формулировать так: Некоторое свойство педагогического явления имеет определенный закон распределения (нормальный, экспоненциальный, Пуассона и т.д.).
1, Гипотезы о свойствах тех или других числовых параметров (средних значений, медиан, дисперсий и др.), характеризующих изучаемые случайные величины.
В общем виде применительно к педагогическим исследованиям гипотезы данного типа можно сформулировать так: Значение параметра, характеризующего некоторое свойство изучаемого педагогического явления, не меньше (не больше) некоторого заданного значения или заключается в заданных пределах.
3. Научные гипотезы о стохастической (вероятностной) зависимости двух и более признаков (факторов), характеризующих различные стороны рассматриваемого явления или процесса.
В общем виде, содержание гипотез данного типа применительно к сфере образования можно сформулировать так: Два или более свойств рассматриваемого педагогического явления стохастически зависимы, и зависимость эта подчиняется определенному закону (например, линейному); некоторый признак или набор факторов оказывают влияние на изучаемое свойство педагогического явления, и эта стохастическая зависимость подчиняется определенному закону.
4, Гипотезы о равенстве или различии законов распределения случайных величин, характеризующих изучаемое свойство в двух и более совокупностях рассматриваемых явлений.
Применительно к ситуациям, имеющим место в педагогических исследованиях, в общем виде содержание гипотез четвертого типа можно сформулировать следующим образом: Состояние одного и того о/се свойства имеет одинаковое или различное распределение в каждой из двух или более совокупностей учащихся, отличающихся содержанием, методом или оргаиизагіией обучения или социальной средой.
Проверка гипотез первого типа проводится с помощью методов математической статистики, получивших название «критерии согласия». Использование этих критериев возможно только на основе количественных измерений изучаемого свойства педагогического явления в выборке.
Проверка гипотез второго типа в основном осуществляется с помощью методов, получивших название параметрических (критерий Стыодента, критерий Снедекора-Фишера и др.) и опирающихся только на количественные измерения.
Установление факта наличия или отсутствия связи двух или более признаков (проверка гипотез третьего типа) возможно с помощью определения значения коэффициентов Юла, Кендалла, Спирмена и др. Однако более глубокий анализ стохастических связей а именно установление тесноты и типа этой связи, осуществляется методами корреляционного, регрессионного а дисперсионного анализов, которые применяются только на основе количественных измерений.
Проверка гипотез четвертого типа проводится с помощью методов, получивших название критериев значимости Часть из них применима только при количественных измерениях изучаемого свойства, остальные можно использовать также и при оценках качеств.
Отметим, что для проверки большинства гипотез, выдвигаемых на различных этапах педагогических исследований, в настоящее время разработаны только критерии, опирающиеся на количественные измерения изучаемых факторов.
Ранжирование объектов системы высшего образования
Качество любого объекта многомерно. Для сравнения качества двух макрообъектов в системе образования нужно сопоставить между собой все соответствующие показатели качества, К ним относятся первичные признаки объекта (например, библиотечный фонд, ППС, инфраструктура) и качества подсистем нижних уровней (факультеты, кафедры). На практике эту задачу упрощают, переходя к моделям качества. Модель характеризуется рассмотрением релевантных факторов, значимых в пределах данного исследования. В пределе качество объекта характеризуется одним показателем - комплексным или интегральным показателем качества [143, с.98].
Агрегирование экспериментальной или статистической информации, т.е. приведение ее к более компактному, содержательному описанию за счет отбрасывания малосущественных подробностей, является одним из основных методов научного познания. До недавнего времени развивались в основном методы теоретического агрегирования, в которых агрегирование информации осуществлялось на основе теоретической (как правило, математической) модели исследуемого явления или процесса. Классической является следующая схема: исследователь формулирует модель явления, и реальные данные считаются порожденными в соответствии с «заложенным» в модель механизмом. Агрегирование реальных данных при этом сводится к оценке параметров модели, а методы агрегирования сравниваются по тому, насколько точно при тех или иных условиях выполняется оценка.
В последнее время в связи с проблемами обработки данных о сложных, «многомерных», зачастую невоспроизводимых явлениях стало ясно, что эта классическая схема имеет ограниченное применение [89, с.З]. В таких областях, как социально-экономические исследования, наличие априорных моделей для изучаемых процессов - скорее исключение, чем правило. Здесь на первый план выступает проблема эмпирического агрегирования, т.е.
упрощенного описания массива реальных данных при отсутствии априорной математической модели изучаемого явления.
Переход к комплексному показателю качества определяется функциональной зависимостью между исходными значениями признаков. Выбор этой функциональной зависимости субъективен и в большинстве случаев является определяющим. Для одного и того же набора данных комплексирование с использованием различных функционалов будет приводить к различным, порой противоречащим друг другу результатам. При этом полученные результаты могут в большей степени отражать свойства, «навязанные» изучаемой системе из формальных соображений [141, с.4].
Рассмотрим методы, известные на сегодняшний день в отечественной и зарубежной теории и практике для решения задачи ранжирования объектов. 1 Метод суммирования значений всех показателей. Происходит простое суммирование значений признаков, в результате чего определяется место объекта во всей совокупности обследуемых объектов [146,с.26]; где Ri - рейтинг ї-го объекта; Xij - значение/-го фактора г -го объекта. Критерий оценки - max Rf (для факторов-стимуляторов), min Ri (для факторов-дестимуляторов).
При использовании этого метода должны соблюдаться условия сопоставимости и одинаковой направленности признаков, входящих в матрицу показателей, что не соблюдается в большинстве случаев.
2. Метод суммы мест.
Основан на использовании порядковых статистик. Определяется ранг (место) объекта по каждому признаку. Объекту с наибольшим значением данного фактора присваивается ранг, равный 1, и т.д. В результате получаем таблицу мест. Вычисляем сумму рангов для каждого объекта по совокупности всех признаков, и упорядочиваем референтов по значению этой суммы [146, с.26]: п Л/=2 (Г i = l m (4-4) № i гдеptJ - место (ранг) элемента х$ среди упорядоченных элементову-го столбца. Критерий оценки - min Rt.
В параграфе 2.2, нами была показана несостоятельность использования рангов как аналогов значений признаков, а значит и необоснованность получаемых оценок.
