Содержание к диссертации
Введение
І- Государственная аккредитация как система управления качеством образования 22
1.1. Функции и содержание государственной аккредитации 22
1.2. Объект и субъект государственной аккредитации 30
1.3. Анализ информационно-аналитической системы управления качеством образования через государственную аккредитацию 38
2. Информационная система сопровождения ^ процедуры государственной аккредитации на основе центрального банка данных 46
2.1. Информационные потоки Центрального банка данных 47
2.2. Обобщенная схема структуры данных Центрального банка данных 58
2.3. Основные программные модули сопровождения процедуры аккредитации на основе Центрального банка данных 59
3. Математические модели аккредитации учебных заведений высшего, среднего и дополнительного профессионального образования 74
3.1. Моделирование критериальных значений показателей вузов 74
3.2. Модель видовой классификации вузов на основе методов дискриминантного анализа 114
3.3. Модели оценки динамики деятельности вузов по показателям государственной аккредитации и оценки потенциала вуза в ходе самообследования 140
3.4. Моделирование критериальных значений показателей для учреждений среднего профессионального и дополнительного профессионального образования 166
3.5. Разработка математической модели классификации учреждений среднего профессионального образования на основе методов дискриминантного анализа 187
4. Методы и алгоритмы поддержки принятия управленческих решений по аттестации и государственной аккредитации 199
4.1. Метод оценки показателя «качество подготовки» при аттестации 199
4.2. Постановка задачи автоматизированного проектирования тестов как задачи обобщенного математического программирования 203
4.3. Модели оценки финансовой обеспеченности вуза и основных программ 218
4.4. Методы и технология сопровождения аттестации и аккредитации отдельных образовательных программ в вузах и филиалах 233
4.5. Методика принятия решений по аккредитации на институциональном и программном уровнях 244
5. Аналитическое сопровождение конкурса на размещение государственного задания на подготовку специалистов с высшим профессиональным образованием 252
5.1. Общая концепция системы информационно-аналитического сопровождения открытого конкурса 252
5.2. Перечень показателей для оценки укрупненных групп специальностей (направлений) подготовки 257
5.3. Модели конкурсных категорий вузов по укрупненным группам специальностей 260
Заключение 271
Список литературы
- Объект и субъект государственной аккредитации
- Обобщенная схема структуры данных Центрального банка данных
- Модели оценки динамики деятельности вузов по показателям государственной аккредитации и оценки потенциала вуза в ходе самообследования
- Модели оценки финансовой обеспеченности вуза и основных программ
Введение к работе
С начала 90-х годов XX столетия в системе высшего образования России происходят кардинальные перемены, обусловленные как демократическими изменениями в самом государстве и обществе, так и изменениями в законодательной базе системы образования - принятием Закона «Об образовании» в 1992 году и Закона «О высшем и послевузовском профессиональном образовании» в 1996 году.
С 1992 года в системе высшего профессионального образования наряду с государственными появляются негосударственные учебные заведения. Так, в 1993 году из 626 высших учебных заведений, ведущих образовательную деятельность на территории России, 78 (12,5%) имели организационно-правовую форму «негосударственное учебное заведение» и в них обучалось 2,7% студентов. Но уже в 1997 году количество негосударственных вузов выросло до 302 (34,3%), а доля обучающихся в них студентов составила 6,2%. В 2004 году количество государственных и негосударственных вузов в системе образования практически сравнялось и составило соответственно 633 и 627 учебных заведений, при этом в негосударственном секторе обучались более 1 миллиона студентов, что составляет 15,4% численности студентов России.
Анализ динамики изменения численности студентов на 10 тысяч населения в Российской Федерации свидетельствует о том, что за последние 10 лет это соотношение выросло со 171 в 1993 году до 438 в 2004 году. При этом доля студентов, обучающихся на платной основе, в 2004 году составила 50,4%.
Кроме того, в 2004 году на территории Российской Федерации функционировали более двух тысяч филиалов высших учебных заведений, в том числе 1374 филиала государственных и 762 филиала негосударственных вузов.
Аналогичная картина наблюдается и в системе среднего и дополнительного профессионального образования.
Таким образом, высшее, среднее и дополнительное профессиональное образование на современном этапе представляют собой бурно развивающиеся системы, основным требованием к которым со стороны государства и общества является качество образования.
Закон «Об образовании», повлекший за собой демократические реформы в структуру системы образования, определил и новые механизмы управления системой образования — лицензирование, аттестацию и государственную аккредитацию [46, т. 1]. При этом государственная аккредитация является основным механизмом гарантии качества образования со стороны государства, так как государство фактически доверяет аккредитованному учебному заведению от своего имени вести образовательную деятельность.
В 1997 году в структуре Министерства образования России (тогда Госкомвуза России) создается специальный общественно-государственный орган - Аккредитационная коллегия, которая представляет собой экспертную комиссию, принимающую решения по государственной аккредитации.
Степень разработанности темы исследования. Разработка технологии государственной аккредитации в России ведется с начала 1990 годов. В области развития теории управления образовательными системами, использования информационных технологий в процедурах управления образованием, разработки содержания системы аккредитации необходимо отметить работы В.А.Болотова [4], В.Н.Буркова [5,6], Е.Н.Геворкян [28, 96, 97, 100-102], Б.К.Коломийца, В.Ж.Куклина [29-38], А.А.Кушеля [41, 42], Б.Г.Литвака [44, 45], А.С.Масленникова [49, 50], А.Н.Майорова [48], В.Ф.Мануйлова, В.И.Мешалкина [17, 51], Г.Н.Мотовой [53-61], В.Г-Наводнова [53-57, 60-66, 74-77], Б.А.Савельева [32-35, 49, 50], ВА.Северцева [130], Н. А. Селезневой [131], А.И.Субетто [67], К.Н.Цейковича, В.Д.Шадрикова [136].
Большой вклад в разработку нормативной базы, а также в создание моделей и технологии аккредитации внесли В.А.Болотов, Е.Н.Геворкян, В.Ж.Куклин, В.И.Мешалкин, В.Г.Наводнов, Б.А.Савельев, В.Д.Шадриков.
Сравнительные исследования процедур оценки качества образования, анализ зарубежного опыта проведения процедур оценивания, а также рассмотрение педагогических аспектов в процедуре аккредитации можно найти в работах Г.Н.Мотовой, ВХ.Наводнова, Б.А.Савельева, К.Н.Цейковича.
Исследованием методов разработки измерительных материалов и методик проведения тестирования в процедурах аттестации и аккредитации активно занимаются В.Ж.Куклин, А.С.Масленников, А.Н.Майоров, Б.А.Савельев.
Методы анализа экспертной информации, а также системы экспертного оценивания деятельности вузов рассматривались Б.Г.Литваком.
В результате исследований была создана обобщенная модель процедуры аккредитации высших учебных заведений, основанная на циклическом оценивании по результатам деятельности как вуза в целом, так и каждой образовательной программы, оцениваемой по совокупности значимых показателей. В качестве методологии оценивания была принята смешанная: метрические показатели оценивались на основе критериального подхода, а экспертные - на основе бинарного (соответствует / не соответствует) [62]. Проблемы формализованного описания системы высшего профессионального образования и ее подсистем были рассмотрены в [29].
Из зарубежных исследований, которые внесли большой вклад в разработку систем управления образованием на основе процедуры аккредитации и исследование проблем оценки качества образования в целом, необходимо отметить работы А.Вроейнстийна, Г.Келса, D.Westerheijden [11, 18,153-155,172-177].
Разработкой систем показателей в процедурах оценки качества активно занимаются M.Adams, M.Cave, S.Yanney, D.Hopkins, JJohnes, J.Taylor, H.KelIs[139, 148, 152, 155].
Много зарубежных работ посвящено проблеме оценки качества подготовки студентов и формализации процедуры создания измерительных материалов (тестов) для этих целей (J.Adema, E.Boekkooiimminga, L.Dirk, Henk Kelderman, WJXinden, TJ.Theunissen [140-142, 144, 149, 151, 156-159, 169-171]).
Исследования зарубежных специалистов, несомненно, требуют адаптации к российской системе образования, которая специфична широкой типовой и видовой классификацией образовательных учреждений. Так, согласно Закону «Об образовании», только к системе профессионального образования относятся учреждения начального, среднего, высшего и послевузовского профессионального образования [46].
Основным структурным элементом системы управления является информационно-аналитическая подсистема. Учитывая социальную и экономическую важность качества образования для Российской Федерации, проблемы анализа структуры, функций, а также разработка на этой основе информационно-аналитической системы государственной аккредитации как системы управления качеством образования имеют, безусловно, важное значение. Задача построения информационно-аналитической системы государственной аккредитации как для информационной и аналитической поддержки работы Аккредитационной коллегии, так и для совершенствования на основе этой системы технологии управления качеством образования через государственную аккредитацию является актуальной.
Построение информационно-аналитической системы государственной аккредитации требует разработки ее методологических основ, включающих совокупность методов и методик, используемых для моделирования государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования, оценки эффективности процедуры аккредитации, моделирования критериев показателей аккредитации, поддержки принятия решений по аккредитации,
математических моделей определения вида образовательных учреждений при государственной аккредитации. Проблемой для исследования является также проектирование информационной подсистемы информационно-аналитической системы государственной аккредитации, позволяющей обеспечить информационную поддержку аккредитации учебных заведений среднего, высшего и дополнительного профессионального образования, а также отдельных образовательных программ, реализуемых в аккредитованных учебных заведениях и их филиалах.
В утвержденном Постановлением Правительства Российской Федерации от 02.12.1999 № 1323 Положении «О государственной аккредитации высшего учебного заведения» [46] определено, что аккредитацию вуза проводит аккредитационный орган (Аккредитационная коллегия) «на основании заключения об аттестации, результатов экспертизы показателей вуза и критериев аккредитации для вузов различных видов». «С целью информационно-методического сопровождения аккредитации, обеспечения объективности принимаемых решений формируется центральный банк данных по вузам России, включающий показатели деятельности вузов, учитываемые при принятии решений по аккредитации» (Положение «О государственной аккредитации высшего учебного заведения» [46, т. 3, с. 11]).
Таким образом, актуальность исследований определяется необходимостью разрешения противоречия между требованиями общества и государства к качеству образования в условиях бурного развития систем высшего, среднего и дополнительного профессионального образования в Российской Федерации, с одной стороны, и отсутствием эффективных механизмов реализации государственных процедур обеспечения качества образования — с другой, которое разрешается посредством разработки методологических основ построения информационно-аналитической системы государственной аккредитации и информационной технологии сопровождения аккредитации на основе Центрального банка данных (ЦБД ГА).
Технология государственной аккредитации, являющаяся основным механизмом управления качеством в системе образования, дает возможность решать и другие управленческие задачи. Постановления Правительства Российской Федерации от 24.09.2001 г. № 606 «О конкурсном порядке размещения государственного задания на подготовку специалистов с высшим профессиональным образованием» и от 04.10.2002 г. № 749 «О конкурсах среди аккредитованных образовательных учреждений высшего профессионального образования на выполнение государственного задания по подготовке специалистов с высшим профессиональным образованием» определили с 2003 года конкурсный порядок размещения государственного задания на подготовку специалистов [126]. Реализация данных постановлений Правительства в части разработки информационной технологии и математических моделей для поддержки принятия решений по размещению государственного задания является актуальной задачей.
Объектами исследования являются системы высшего, среднего профессионального и дополнительного профессионального образования России.
Предмет исследования: система государственной аккредитации учреждений высшего, среднего профессионального и дополнительного профессионального образования.
Гипотеза исследования состоит в том, что разработка методологических основ построения информационно-аналитической системы государственной аккредитации и информационной технологии сопровождения аккредитации на основе Центрального банка данных позволит усовершенствовать механизмы управления качеством образования через государственную аккредитацию.
Цель исследований состоит в совершенствовании механизмов управления качеством образования на основе разработки методологических основ построения информационно-аналитической системы государственной аккредитации учреждений среднего, высшего и дополнительного профессионального образования.
В работе поставлены и решены следующие задачи:
1. Исследование системы государственной аккредитации как системы управления качеством образования, анализ функций системы, определение целей государственной аккредитации, а также анализ субъекта и объекта управления государственной аккредитации.
2. Определение роли и места информационно-аналитической подсистемы в системе государственной аккредитации, морфологическое и функциональное описание подсистемы и анализ основных ее элементов.
3. Создание комплекса математических моделей государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования, включающего:
• математический аппарат моделирования критериальных значений показателей аккредитации;
• математические модели определения интегральных видовых характеристик;
• модели оценки динамики деятельности вуза по показателям аккредитации.
4. Разработка методики поддержки принятия решений по аттестации и государственной аккредитации как на институциональном, так и на программном уровнях.
5. Проектирование информационной технологии формирования Центрального банка данных государственной аккредитации и сопровождения на его основе процедуры государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования
6. Разработка методов и алгоритмов поддержки принятия управленческих решений по аттестации и государственной аккредитации, включающих:
• метод количественной оценки показателя «качество подготовки»;
• математическую модель и алгоритм автоматизированного проектирования аттестационных педагогических измерительных материалов для оценки показателя «качество подготовки»;
• модели индексов финансовой обеспеченности вуза и образовательных программ;
• методы информационно-аналитического сопровождения процедур аттестации и аккредитации отдельных образовательных программ, реализуемых в аккредитованных вузах и филиалах.
7. Создание на основе результатов апробации информационно-аналитической системы государственной аккредитации математических моделей и информационной технологии сопровождения открытого конкурса по размещению государственного задания на подготовку специалистов с высшим профессиональным образованием, включающих:
• систему показателей и критериальных значений открытого конкурса;
• алгоритм категорирования укрупненных групп специальностей (УГС) вузов;
• технологию и методы информационно-аналитического сопровождения процедуры принятия решения по размещению госзадания.
Методология и методы исследования. Методология работы как совокупность используемых методов включает в себя методы системного анализа, методы экспертного оценивания и функционального анализа, методы математической статистики, многомерный статистический анализ, методы вычислительной линейной алгебры, численные методы безусловной и условной оптимизации, методы обработки экономической информации, методы теории принятия решений, методы теории баз данных.
Научная новизна и теоретическая значимость работы состоит в следующем:
• Впервые, на основе исследования государственной аккредитации как системы управления качеством образования, определена информационно- аналитическая подсистема, проведен ее анализ с точки зрения морфологического и функционального описания и определения основных элементов.
• Разработаны методологические основы информационно-аналитической системы государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования, включающие в себя методы принятия решений по аттестации и государственной аккредитации как на институциональном, так и на программном уровнях на базе математических моделей.
• Создан комплекс математических моделей государственной аккредитации, состоящий из моделей видовой классификации учреждений высшего и среднего профессионального образования, математического аппарата моделирования критериальных значений показателей аккредитации образовательных учреждений всех трех типов, моделей оценки динамики деятельности вуза по показателям аккредитации, математической модели и алгоритма оценки потенциала вуза в ходе самообследования. В основу математических моделей положены методы многомерного статистического анализа, теория и методы математического программирования.
• Предложен метод количественной оценки показателя «Качество подготовки», а также методика количественной оценки показателя «Экономическая устойчивость вуза» при государственной аккредитации.
• Разработана математическая модель, включающая систему показателей, критериальных значений и алгоритм категорирования укрупненных групп специальностей, конкурса по размещению государственного задания на подготовку специалистов, позволившая обеспечить интегрированными данными конкурсную комиссию и сделать механизм принятия решений по размещению государственного задания объективным.
Практическая значимость исследования состоит в проектировании на основе разработанной методологии информационной подсистемы формирования Центрального банка данных государственной аккредитации по учреждениям высшего, среднего и дополнительного профессионального образования России для информационно-аналитического сопровождения процедуры государственной аккредитации образовательных учреждений указанных типов. Разработанные методы и технология адаптированы для информационно-аналитического сопровождения открытого конкурса по размещению государственного задания Минобразования России на подготовку специалистов с высшим профессиональным образованием.
Система показателей государственной аккредитации и их критериальных значений, учитывающих специфику учреждений различных типов и видов, используется для поддержки принятия решений Аккредитационной коллегией Федеральной службы по надзору в сфере образования и науки, а также ведомственными коллегиями различных министерств. Ш Математические модели видовой классификации, модели конкурсных категорий укрупненных групп специальностей (направлений подготовки) используются для принятия решений по государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования, а также для принятия решений по размещению государственного задания на подготовку специалистов с высшим профессиональным образованием.
Технология информационного сопровождения процедуры комплексной ф оценки сокращает трудозатраты образовательного учреждения на подготовку и прохождение процедур лицензирования, аттестации и государственной аккредитации.
Технология сопрождения аттестации и аккредитации отдельных образовательных программ (ООП) без выезда аттестационнной комиссии и методы поддержки принятия решений по государственной аккредитации ООП сократили финансовые затраты вуза на проведение этих процедур, повысили эффективность и объективность принимаемых Аккредитационной коллегией решений. Достоверность и обоснованность результатов исследования обеспечиваются репрезентативностью выборки объектов исследования - вся генеральная совокупность аккредитованных учреждений высшего, среднего и дополнительного профессионального образования, сведения по которым анализировались в динамике за 1997-2005 годы, применением математических методов и моделей, интерпретацией и формализацией результатов исследования, единством теоретического и практического в исследовании, адекватностью получаемых теоретических результатов практике, проверяемой многократной апробацией результатов на протяжении семи лет в ходе информационно-аналитического сопровождения государственной аккредитации на федеральном, региональном и ведомственном уровнях. % На защиту выносятся:
1. Информационно-аналитическая система государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования, включающая в себя:
комплекс математических моделей государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования:
• математический аппарат моделирования критериальных значений щ показателей аккредитации;
• математическую модель определения вида вузов и учреждений среднего профессионального образования на основе методов дискриминантного анализа;
• математическую модель оценки динамики деятельности вуза по показателям аккредитации на основе методов наименьших квадратов;
• математическую модель оценки потенциала вуза в ходе самообследования на основе методов нелинейного программирования;
тг информационную подсистему сопровождения процедуры государственной аккредитации учреждений среднего, высшего и дополнительного профессионального образования на основе ЦБД ГА, включающую в себя:
• информационные потоки и технологию наполнения ЦБД ГА по вузам, учреждениям среднего профессионального образования (УСПО) и учреждениям дополнительного профессионального образования (УДПО);
• информационные потоки и технологию поддержки принятия управленческих решений по аттестации и аккредитации вузов, УДПО, УСПО, включая аттестацию и аккредитацию отдельных образовательных программ, реализуемых аккредитованными вузами и филиалами;
методы и алгоритмы поддержки принятия управленческих решений по аттестации и государственной аккредитации:
• метод оценки показателя «качество подготовки»;
• математическая модель и алгоритм автоматизированного проектирования аттестационных педагогических измерительных материалов;
• методика оценки финансовой обеспеченности реализации основных образовательных программ в негосударственных вузах;
• методы информационно-аналитического сопровождения процедуры W принятия решения по аттестации и аккредитации отдельных образовательных программ, реализуемых в вузах и филиалах. 2. Информационная технология сопровождения открытого конкурса по размещению государственного задания на подготовку специалистов с высшим профессиональным образованием на основе ЦБД ГА, методы и алгоритмы поддержки принятия управленческих решений по размещению государственного задания, предусматривающие:
• систему показателей и критериальных значений открытого конкурса;
• алгоритм категорирования УГС вузов;
• технологию и методы информационно-аналитического сопровождения процедуры принятия решения по размещению госзадания. Апробация и внедрение результатов исследования. Результаты исследований докладывались и обсуждались на российских конференциях и семинарах «Информационные технологии аккредитации учебных заведений» (г. Йошкар-Ола, 1995, 1996 гг.), «Проблемы качества образования» (г.Уфа, 1996, 1998 гг.), «Технология государственной аккредитации» (г. Йошкар-Ола, 1997 г.), II Российско-Американской конференции «Университеты как центры развития региона» (г. Йошкар-Ола, 1999 г.), «Технологии государственной регламентации (лицензирование, аттестация, аккредитация) образовательных организаций» (г. Йошкар-Ола, 1998, 1999 гг.), «Дополнительное профессиональное образование» (г.Москва, 2001 г.), «Комплексная система оценки деятельности образовательных учреждений» (г. Йошкар-Ола, 2001 г.), X Симпозиуме «Калиметрия в образовании: методология и практика» (г. Москва, 2002 г.), III Российско-Американской конференции «Пути развития образования в XXI веке» (г. Йошкар-Ола, 2002 г.), «Актуальные проблемы современного научного знания» (г. Йошкар-Ола, 1996-2004 гг.), «Совершенствование системы лицензирования, аттестации и государственной аккредитации учреждений высшего, среднего и дополнительного профессионального образования» (г. Йошкар-Ола, 2002, 2003 гг.), «Лицензирование, аттестация и государственная аккредитация образовательных учреждений» (г. Йошкар-Ола, 2004 г.);
на международных конференциях: "Quality and Innovations in HE" (Гонконг, 2000 г.), CEENet Conference (г. Краков (Польша), 2001 г.), 7th Annual GATE Conference (г. Париж (Франция), 2002 г.), INQAAHE Workshop 2004 (г. Маскат (Султанат Оман), 2004 г.), «Содействие европейскому сотрудничеству в обеспечении качества образования» (г. Санкт-Петербург, 2004 г.), «Математическое моделирование социально-экономических процессов» (г. Дубай (ОАЭ), 2005 г.), международном семинаре «Комплексная система оценки деятельности образовательных учреждений» (г. Йошкар-Ола, 2000 г.), международной научно-практической конференции по проблемам развития и интеграции систем оценки качества высшего профессионального образования в странах СНГ и Балтии (г. Йошкар-Ола, 2003 г.), IV Международном социальном конгрессе «Социальные процессы и социальные отношения в современной России» (г. Москва, 2004 г.), XIII Международной научной конференции «Информатизация и информационная безопасность правоохранительных органов» (г. Москва, 2004 г.).
Результаты исследований прошли апробацию в международном проекте TACIS EDRUS9511 "Assistance in Licensing, Attestation, Accreditation and Certification of Business and Management Programmes in Russian Federation" (1997-1999).
Результаты научных исследований использовались при выполнении:
НИР по государственному контракту № 24.02.28 «Исследование и проектирование научно-методологических основ комплексного оценивания образовательных учреждений с целью усовершенствования процедур лицензирования, аттестации и государственной аккредитации», выполненному в рамках Федеральной программы развития образования (2002 г.);
проекта «Разработка математической модели определения вида учреждения среднего профессионального образования при государственной аккредитации» в рамках НТП "Научное, научно-методическое, материально-техническое и информационное обеспечение системы образования" (2001— 2002 гг.);
проекта «Научно-методическое и программное обеспечение определения вида учреждений среднего и дополнительного профессионального образования при государственной аккредитации» в рамках НОП «Научно-методическое обеспечение функционирования и модернизации системы образования» (2003 г.);
проекта «Математические модели определения типа и вида учреждений высшего, среднего и дополнительного профессионального образования при государственной аккредитации» в рамках финансируемого Минобразования РФ тематического плана НИР Марийского государственного технического университета (1999-2005 гг.).
Результаты научных исследований поддержаны грантами:
института «Открытое общество» Фонда Сороса (1995, 1996, 2000 гг.);
Российской Академии Наук, раздел «Информатика» (1997-1999 гг.);
Минобразования России (1999 г.), раздел «Проблемы педагогики»;
фонда INTAS «Investigation of Western Europe quality assessment models and procedures, their adaptation to Russian education management system» (2001-2002 гг.);
Президента Республики Марий Эл (2000, 2001,2003 гг.);
Благотворительного фонда Владимира Потанина (2002 г.).
Апробация результатов осуществлялась также во время научных стажировок автора:
в Центре изучения проблем высшего образования (CHEPS) в Университете Твенте (Нидерланды) в рамках гранта INTAS (2002 г.);
в Финляндии, Швеции, Норвегии в рамках программы «Оценка качества образования в России и странах Скандинавии» (2003 г.),
а также в учебном процессе в системе дополнительного профессионального образования:
при чтении авторских лекций на курсах Минобразования РФ по переподготовке экспертов, участвующих в аттестационных экспертизах вузов (2001-2002 гг.), на курсах Минобразования РФ по повышению квалификации руководителей высших учебных заведений по теме «Государственная аккредитация» (2002-2005 гг.).
Результаты исследований использовались при подготовке и проведении 65 Аккредитационных коллегий Минобразования РФ и Федеральной службы по надзору в сфере образования и науки (1997-2005 гг.), ведомственных коллегий Госстроя (2000-2003 гг.), Автодора (2000 г.), Минтранса, Минсельхоза, Минкульта, Минпечати, Госкомспорта (2001-2004 гг.), Федерального агентства по культуре и кинематографии (2005 г.) (по учреждениям среднего профессионального образования).
Результаты исследований использовались для информационно-аналитического сопровождения открытых конкурсов по размещению государственного задания Минобразования России на подготовку специалистов с высшим профессиональным образованием в 2003, 2004 и 2005 годах.
Основные результаты опубликованы автором лично и в соавторстве в 3 учебных пособиях, из них в 2, рекомендованных Министерством образования Российской Федерации, 8 научных статьях в журналах, рекомендованных ВАК для публикации научных работ, 3 зарубежных публикациях, в 1 монографии в единоличном авторстве объемом 11,2 п.л. (всего в 88 научных работах, в том числе в 50 — по теме диссертации).
Получен акт о внедрении в практику работы Федеральной службы по надзору в сфере образования и науки:
информационной технологии сопровождения процедуры государственной аккредитации учреждений среднего, высшего и дополнительного профессионального образования на основе Центрального банка данных государственной аккредитации;
комплекса математических моделей, включающего модели видовой классификации учреждений высшего и среднего профессионального образования, математический аппарат моделирования критериальных значений показателей аккредитации образовательных учреждений среднего, высшего и дополнительного профессионального образования, модели оценки динамики деятельности вуза по показателям аккредитации, модели и алгоритм оценки потенциала вуза в ходе самообследования.
Результаты исследований отмечены свидетельствами Российского агентства по патентам и товарным знакам об официальной регистрации программ для ЭВМ:
на программный комплекс сопровождения Единого банка данных лицензирования, аттестации и госаккредитации (№ 2004610162);
на информационно-аналитический комплекс «Камертон» (№ 2004610161).
Разработанные математические модели определения критериальных значений показателей аккредитации использованы при разработке:
приказа Минобразования России от 29.06.2000 № 1965 «Об утверждении перечня показателей государственной аккредитации и критериальных значений, используемых при установлении вида высшего учебного заведения» (с последующими дополнениями);
приказа Минобразования России от 01.10.2001 № 3249 «Об утверждении переченя показателей государственной аккредитации и критериальных значений, используемых при установлении вида учреждений среднего профессионального образования».
Разработанные методика и алгоритм расчета показателей утверждены Минобразования России.
Структура работы. Диссертация состоит из введения, пяти глав, заключения, списка литературы и приложения.
Общий объем работы — 335 страниц.
Объект и субъект государственной аккредитации
Государственная аккредитация учебных заведений как механизм управления качеством образования является сложной системой взаимозависимых и взаимодействующих элементов, каждый из которых служит единству целого.
В данной системе необходимо выделить: 1) субъект управления (управляющую систему), осуществляющий управленческую и организационную работу, принимающий решения и обеспечивающий достижение поставленных целей; 2) объект управления (управляемую систему), на который направлено управленческое воздействие в целях обеспечения его функционирования и развития.
Субъектом управления в системе государственной аккредитации является государство в лице Федеральной службы по надзору в сфере образования и науки (до 2004 г. — Министерства образования Российской Федерации). Пункт 18 ст. 33 Закона «Об образовании» определяет, что «государственная аккредитация образовательных учреждений проводится уполномоченными органами исполнительной власти», а Положение «О государственной аккредитации высшего учебного заведения» уточняет, что «аккредитацию вуза проводит федеральный орган управления высшим профессиональным образованием».
Отметим, что управляющая система в системе государственной аккредитации, в свою очередь, включает несколько подсистем, выполняющих свои функции. Можно выделить следующие органы, вовлеченные в процесс государственной аккредитации учебных заведений [13]:
Федеральная служба по надзору в сфере образования и науки -осуществляет стратегическое управление всей системой оценки качества образования в Российской Федерации;
Аккредитационная коллегия Федеральной службы — общественно-государственный орган - рассматривает материалы, представленные учебными заведениями к аккредитации, и принимает решение о государственной аккредитации. Членами Аккредитационной коллегии являются не только представители Федеральной службы, но и руководители учебных заведений, представители общественных организаций;
Управление лицензирования, аттестации и аккредитации - выполняет управленческие функции, обеспечивает работу Аккредитационной коллегии и экспертных комиссий;
экспертные комиссии - выполняют внешнюю оценку деятельности вузов на основе результатов самообследования, проводимого самими учебными заведениями. К работе в экспертных комиссиях привлекаются высококвалифицированные преподаватели вузов;
Аккредитационные коллегии субъектов Российской Федерации, а также различных министерств и ведомств - проводят аккредитацию подведомственных учреждений среднего профессионального образования;
Центр государственной аккредитации - выполняет информационно-методическое обеспечение процедуры государственной аккредитации вузов, проводит научные исследования в области обеспечения качества образования, сопровождает Центральный банк данных государственной аккредитации, ведет и публикует реестр аккредитованных высших учебных заведений Российской Федерации.
Одной из особенностей субъекта управления в системе государственной аккредитации является участие общества в управлении системой. Это реализуется посредством включения представителей академической
общественности в Аккредитационную коллегию, а также экспертные комиссии.
В соответствии с Положением об Аккредитационной коллегии Федеральной службы по надзору в сфере образования и науки (утверждено приказом Федеральной службы по надзору в сфере образования и науки от 24.06.20004 № 16) «Аккредитационная коллегия Федеральной службы по надзору в сфере образования и науки является совещательным органом, обеспечивающим принятие решений для осуществления надзора и контроля качества образования в образовательных учреждениях, организациях и их филиалах. Коллегия создается приказом Федеральной службы по надзору в сфере образования и науки для принятия решений по аттестации и государственной аккредитации образовательных учреждений и пределах своей компетенции» (п. 1). «Коллегия формируется по согласованию из уполномоченных представителей федеральных органов исполнительной власти, в ведении которых находятся образовательные учреждения, органов исполнительной власти субъектов Российской Федерации, органов управления образованием субъектов Российской Федерации, органов местного самоуправления и (или) местных (муниципальных) органов управления образованием, советов ректоров федеральных округов, общественных организаций и объединений, государственно-общественных объединений в системе образования, руководителей образовательных учреждений, научно-педагогической общественности, представителей объединений работодателей» (п. 4).
Обобщенная схема структуры данных Центрального банка данных
Сопровождение процедуры аккредитации образовательных учреждений различных типов определило содержательное разделение информации ЦБД ГА на три группы таблиц единой структуры: по учреждениям среднего профессионального образования; учреждениям высшего профессионального образования; учреждениям дополнительного профессионального образования.
На основании анализа входных информационных потоков разработана обобщенная схема структуры данных, представленная на рис. 2.3 (на примере вузов).
На схеме центральное место занимает блок Справочник вузов, который содержит название образовательного учреждения, контактную информацию, его вид, ведомственную принадлежность и т.д.
В блоках Информация МСД и Информация МКО содержится информация, полученная с помощью электронных модулей доставки данных — модуля сбора данных и модуля комплексной оценки.
В блоке Информация о лицензировании хранятся сведения о лицензировании образовательной организации (реквизиты лицензий,
реквизиты приказов о лицензировании, контрольные нормативы) и информация о лицензированных основных образовательных программах.
Блок Информация об аккредитации содержит сведения об аккредитации образовательного учреждения (реквизиты свидетельств, номера и даты проведения аккредитационных коллегий, реквизиты приказов об аккредитации) и информацию об аккредитованных образовательных программах.
Сведения об аттестации и аттестованных образовательных программах находятся в блоке информация об аттестации.
Блок Справочники и классификаторы представляют собой группу таблиц данных (справочник министерств и ведомств, справочник регионов, классификаторы специальностей и т.д.), необходимых для удобства заполнения остальных таблиц ЦБД ГА.
Связи между блоками осуществляются посредством кода в справочнике вузов (поле KOD).
Приказ Министерства образования Российской Федерации от 12 ноября 1999 г. № 864 ввел в действие с 1 января 2000 года порядок комплексной оценки деятельности высшего учебного заведения, основанный на объединении процедур повторного лицензирования, аттестации и государственной аккредитации. Он предусматривает выдачу вузу лицензии на право ведения образовательной деятельности и свидетельства о государственной аккредитации на единый срок, сокращение времени принятия необходимых решений, объема делопроизводства и финансовых затрат вуза [28, 88, 97,100,102].
В табл. 2.2 приведена количественная оценка сокращения трудозатрат вуза на подготовку и проведение лицензирования, аттестации и аккредитации в связи с внедрением программного сопровождения процедуры комплексной оценки с 1 января 2000 года. В среднем по всем трем процедурам трудозатраты на сбор, подготовку информации и выходных документов сократились на 30%.
Процедура оценивания проходит один раз в пять лет сразу по всем лицензионным, аттестационным и аккредитационным показателям. Использование модуля «Комплексная оценка деятельности вуза» в период самообследования и внешней экспертизы (рис. 2.4) дает возможность сбора и анализа большого объема информации, существенно экономя время, материальные и кадровые ресурсы.
Программный модуль включает в себя четыре основные части, содержащие информацию о деятельности учреждения высшего профессионального образования: справочные данные, сведения о выполнении лицензионных требований и нормативов, сведения о соответствии содержания, уровня и качества подготовки выпускников требованиям ГОС, сведения по показателям государственной аккредитации.
Каждая часть состоит из нескольких разделов, содержащих как количественную информацию, так и экспертные (качественные) оценки, выставленные экспертами в период проведения внешней экспертизы. Данные по каждому разделу заносятся на момент проведения комплексной оценки.
Структура информации, заполняемой в программном модуле: Титульный лист I. Справочные данные Часть 1-ОЇ. Реквизиты вуза Часть 1-02. Сведения по должностным лицам Часть 1-03. Перечень всех филиалов Часть 1-04. Перечень учредителей, ведомственная принадлежность Часть 1-05. Состав комиссии, проводившей комплексную оценку вуза Часть 1-06. Прежние наименования вуза Часть 1-07. Реквизиты действующих нормативных документов П. Сведения о выполнении лицензионных требований и нормативов Часть 11-01. Общие сведения о вузе Часть 11-02. Сведения об укомплектованности штатов и численности обучающихся
Модели оценки динамики деятельности вузов по показателям государственной аккредитации и оценки потенциала вуза в ходе самообследования
Накапливаемая в центральном банке данных в течение 1997-2004 гг. статистика по показателям государственной аккредитации позволяет поставить задачу об оценке динамики деятельности вузов. Учет показателей динамики при выходе вуза на государственную аккредитацию позволит повысить объективность принимаемого решения относительно его аккредитационного статуса, особенно в отношении образовательных организаций, находящихся в «зоне неопределенности», т.е. не имеющих явно преобладающей по значению вероятности принадлежности к группе вузов заявленного вида [99, 105, 124].
В качестве интегральных характеристик, определяющих вид образовательной организации, используются вероятности принадлежности вуза к группам университетов, академий и институтов, а также отображение вуза в пространстве двух дискриминантных функций (п. 3.2).
Исследуем функциональную зависимость между вероятностями отнесения вуза к видовым группам и его координатами на дискриминантной плоскости. Обозначим через ух ъ у2 — координаты вуза, ру,ра,ри — вероятности отнесения вуза к группам университетов, академий и институтов. Введем в рассмотрение функцию zy = f(yl,y2)-, отображающую дискриминантные координаты вуза на вероятность его отнесения к группе университетов. Аналогично функции zyt можно определить функции Za Zu — зависимость между координатами вуза и вероятностями принадлежности к группам академий и институтов.
Будем искать аналитический вид функций в классе полиномов второй степени, анализируя распределение невязок R =\ Р /ІУі,У2)\ для оценки точности аппроксимации: /ІУі,Уг) = a + by, + су2 + dyty2 + еу\ + iy22, (3.4) где а, 6, с, /,е,/ —параметры. Обозначим У = {(у1,у21ру)} — множество координат на дискриминантнои плоскости и соответствующих вероятностей принадлежности к группе университетов всех аккредитованных вузов. Применим метод наименьших квадратов [22] для определения неизвестных параметров функции (3.4): ІП { (Р,- )2}, где2у =/ОрУ2). (3.5) mm a,b,c,d,e,i і(у,.У2,Ру)єУ Отметим, что в качестве переменных в задаче (3.5) выступают неизвестные параметры а,6,с,(/,е,г. С использованием реализованного в пакете Statistica [7] варианта квазиньютоновских методов данная задача решена за 21 итерацию, при этом получены следующие значения неизвестных параметров:
Значение целевой функции — квадрата невязки — в точке минимума равно 1,8. Значение коэффициента корреляции между точными вероятностями и вычисленными — 0,95. График полученной функции, аппроксимирующей вероятность отнесения вузов к группе университетов, приведен на рис. 3.20. Аналогичным образом могут быть оценены параметры функции (3.4) для вероятностей принадлежности к группам академий и институтов. Полученные значения параметров приведены в табл. 3.23. Значение целевых функции для академий и институтов в точках минимума равны 0,82 и 1,14, а значение коэффициента корреляции между точными вероятностями и вычисленными — 0,91 для академий и 0,96 для институтов, соответственно. В табл. 3.24 приведены статистические характеристики невязок R=\p-/ІУ\,Уг)\ — модулей разности между точными значениями вероятностей и вычисленными по формуле (3.4).
Анализ данных табл. 3.24 показывает, что в среднем погрешность вычисленной через функцию (3.4) вероятности не превышает 0,1.
Использование полиномов степени выше второй не дает повышения точности аппроксимации, так как коэффициенты при слагаемых выше второго порядка являются статистически не значимыми.
Для построения количественных показателей, характеризующих динамику деятельности образовательной организации, рассчитаем значения аккредитационных показателей вуза за два последовательных временных интервала, например за 1998-2002, 1999-2003 годы. Для двух полученных наборов показателей проведем дискриминантный анализ, определив положение вуза на дискриминантной плоскости.
Разным наборам показателей соответствуют две точки на плоскости: точка А(уІУу2) — значения показателей вуза за 1998-2002 годы, точка Щу„У2) — показатели вуза за 1999-2003 годы.
Вектор AB(yl - ух, уг — у2) задает направление деятельности по показателям аккредитации.
Большинство метрических показателей, например научно-методическая или научно-исследовательская работа, предполагают усреднение данных вуза за три года или за 5 лет, поэтому вектор АВ будет иметь малую длину (точки А и В будут «слипшимися»). Вместе с тем, направление деятельности однозначно определяется направляющими косинусами вектора АВ:
Модели оценки финансовой обеспеченности вуза и основных программ
Рассмотрим алгоритм решения задачи (3.15) на основе приведенных направлений.
1. Выбираем начальные значения основных показателей вуза, то есть точка х =(х,...,х), и начальные значения параметров є0 0, р0 0, є(0,іХ є(0,0.5).
2. Пусть уже известно значение хк = {хк,...,хкп), числам ,/? . Определяем по (3.19) набор активных в точке хк ограничений. Строим матрицу А , находим zk и vk. Определяем pi+1 из следующего соотношения « Рт = A, ( zt,vt) 0. Используя (3.27 ), вычисляем aft+i. Если иАи 0, то есть точка, в которой выполнены условия (3.26): СТОП.
3. Пусть (оРш 0. Вычисляем направление sk из (3.17а)-(3.17Ь), шаг tk находим из условия: /t=max{f = 2 :OAJx +to sOAJV)+/itoftrf e(0aX7-04,2,...}(3.35) w 4. Находим следующую итерационную точку: х =х +tksk. 162
5. Проверяем, изменится ли ек: ЄСЛИ j(x ,t)=0 ИЛИ «/ /Д ]» то єк+і — , иначе выбираем
6. Увеличиваем к на 1 и переходим к шагу 2. Из (3.15) следует, что фигурирующее в (3.35) неравенство выполняется для всех значений t є [О, tk J, л (3.36) I, (i-/»K Ulsf где = ішп » Таким образом, выбор шага на каждой итерации осуществляется за конечное число проб и h 0jtk. (3.37) Если вырабатываемая алгоритмом последовательность \х } конечна, то последняя ее точка является решением (3.15).
Сходимость алгоритма в случае бесконечной последовательности \х } устанавливает следующая теорема: Теорема 2. Пусть последовательность (х / ограничена. Тогда любая ее предельная точка является решением задачи (3.15). При этом существует такое число , 0 и номер к}, что єк=є„к к1.
Доказательство: докажем вначале второе утверждение теоремы. Поскольку последовательность {єк} монотонно не возрастает и ограничена, то существует lim єк =є 0. Достаточно показать, что множество Af, = [к є Щєк+1 єк\ конечно. Здесь N— множество натуральных чисел. Предполагая обратное, рассмотрим возможные случаи. А. Если є 0, то єк є 0, к є N. Из непрерывности функций Р\х\ R\x\ z{x\v{x) при фиксированном множестве Ja{xys) с учетом конечности 163 множества J следует ограниченность величин j( ,z( ) Jr ). Тогда из соотношений (3.36), (3.37) вытекает оценка C KJA+1- (3.38) Объединяя (3.36), (3.38), получаем ф ., ( +1 h «V, ( )- % „ Ры. (3.39) Пусть { j eWl сходится. Покажем, что НпшА =0. Для этого рассмотрим последовательность {pk}k N Согласно (3.33), последовательность {рк} монотонно не возрастает, ограничена снизу и, следовательно, сходится. Пусть Ит рк = р й 0. Рассмотрим два случая.
1) р 0. Будем считать, что хк ,хк — две соседние точки подпоследовательности Ni. Оценим изменение значения функции Фр{х) на подпоследовательности ЛҐ,. Заметим, что в силу непрерывности 1/4 1 выполняется неравенство /+( J C,k =Niy где С — константа. Используя (3.35), имеем С V A AV-i) Е ( "- )+Р —]с ... ! k"+I)+P t +iy /vJ l- A 1 VPr AvJ C = ( )- 1 + 1 P C. Переходя в обеих частях последнего неравенства к пределу по к є Ns и учитывая, что р 0, получаем Нтсо = 0. еЛГ, 2) /э = 0. Тогда, согласно (3.33), имеем 164 4г(хкї \impk \ima—j k \ = 0, откуда, с учетом ограниченности »(;c fz4,v4), UN, tmN, C0\X ,zk,vk) следует, что limr( 2 = 0. teJV,l Далее, переходя в неравенстве 0Pk=-g%}-YJuj2(xrYjuAxk)fj\x) к пределу по A:N, получаем jsJ2 jWi limft? =0. Но сА+1 = б „ , Аг є Ni и, следовательно, lim . = 0, что противоречит предположению є 0.
