Содержание к диссертации
Введение
1. Подходы к созданию аналитических систем маркетинга, оценки профессиональной пригодности выпускников вуза с учетом качества полученного образования и содействия трудоустройству молодых специалистов 11
1.1. Обеспечение качества подготовки студентов вуза с целью максимального удовлетворения потребностей организаций в специалистах на основе систем маркетинга образовательных услуг, профессионального клиринга и трудоустройства выпускников 11
1.2. Анализ подходов к автоматизации и моделированию в аналитических информационных системах маркетинга, управления процессами подготовки специалистов и их трудоустройства 33
1.3. Неформализованные задачи в системах маркетинга, менеджмента качества образовательных услуг и трудоустройства выпускников вуза, подходы к их решению 49
1.4. Исследование методов искусственного интеллекта для решения задач оценки объектов и процессов высшего образования 53
1.5. Направления совершенствования аналитических информацион- ных систем оценки компонентов качества высшего образования и профессиональной пригодности выпускников вуза на современном этапе Выводы 61
2. Исследование и разработка экспертных систем оценки профессиональной пригодности выпускников вуза с учетом качества полученного ими образования на основе гибридного подхода в аналитических информационных системах 64
2.1. Разработка адаптивной к рынку интеллектуальной системы поддержки принятия управленческих решений в вузе 64
2.2. Структура гибридной экспертной системы оценки профессиональной пригодности выпускников вуза с учетом качества полученного ими высшего образования 76
2.3. Интеллектуальные программные компоненты информационной системы оценки профессиональной пригодности выпускников вуза на базе гибридной экспертной системы 98
Выводы 119
3. Реализация методов оценки профессиональной пригодности выпускников вуза с учетом качества полученного ими образования и содействия трудоустройству молодых специалистов с использованием аналитической системы 121
3.1. Аналитическая система профессионального клиринга выпускников вуза с учетом качества полученного ими образования с использованием Интернет-технологий 121
3.1.1. Общая структура аналитической системы 121
3.1.2. Интернет-портал «Электронное кадровое агентство выпускников» 128
3.1.3. Аналитическая информационная система маркетинга образовательных услуг 133
3.1.4. Аналитическая информационная система «Кафедра» 137
3.1.5. Интеллектуальный программный комплекс «Бизнес- Аналитик» 142
3.2. Анализ экспериментальных исследований по подбору выпускников специальности "Прикладная информатика в экономике" в соответствии с заявками организаций 148
3.2.1. Настройка решателей гибридной экспертной системы модели оценки профпригодности выпускников 148
3.2.2. Результаты оценки профпригодности выпускников специальности ПИЭ АлтГТУ с учетом качества полученного ими образования 172
Выводы 180
Заключение 180
Литература 182
Приложения 192
- Анализ подходов к автоматизации и моделированию в аналитических информационных системах маркетинга, управления процессами подготовки специалистов и их трудоустройства
- Неформализованные задачи в системах маркетинга, менеджмента качества образовательных услуг и трудоустройства выпускников вуза, подходы к их решению
- Структура гибридной экспертной системы оценки профессиональной пригодности выпускников вуза с учетом качества полученного ими высшего образования
- Анализ экспериментальных исследований по подбору выпускников специальности "Прикладная информатика в экономике" в соответствии с заявками организаций
Введение к работе
Аюуалыюсть темы исследования. В современных условиях для повышения эффективности деятельности вуза и обеспечения его конкурентоспособности на рынке образовательных услуг и рынке труда актуальными являются задачи ориентации на потребителей и качественной подготовки специалистов. В связи с этим, в настоящее время в вузах страны происходит коренной пересмотр подхода к управлению качеством образования на основе создания современных информационных систем поддержки принятия решений. Важной функцией в системе управления подготовкой студентов вуза является оценка качества образования.
Главное требование потребителей высшего образования: абитуриентов, студентов, выпускников - эффективное трудоустройство по окончанию учебы в вузе, которое определяется соответствием личностных и профессиональных характеристик выпускников заявкам работодателей.
Для оценки качества высшего образования необходимы современные аналитические системы. Основной функцией таких систем является определение профессиональной пригодности выпускников вуза с целью их эффективного трудоустройства в соответствии с требованиями работодателей. В связи с этим, актуальными являются вопросы разработки методов, алгоритмов и аналитических систем для решения задач оценки качества образования и содействия трудоустройству выпускников вуза с использованием современных информационных технологий, математического моделирования и методов искусственного интеллекта.
Степень разработанности проблемы. В настоящее время отмечается достаточно высокий уровень развития фундаментальных исследований в области управления вузом, создания информационных технологий, методов и моделей оценки состояния объектов управления с использованием средств искусственного интеллекта и нейроинформатики. В этом направлении известны работы ученых Акоффа Р., Бобко И.М., Владовского И.М, Гавриловой Т.А., Галушкина А.И., Горбаня А.Н., Заде Л., Загоруйко Н.Г., Зеера Э.Ф., Кендэла М., Климова
E.A., Кузина Б.И., Левшиной В.В., Месаровича М., Миркеса Е.М., Панкрухина
р А.П., Попова Э.В., Поспелова Г.С., Поспелова Д.А., Силича В.А., Тельнова
Ю.Ф., Тейлора Ф., Юрьева В.Н., Шеера А.В., Benson Shapiro, Margaret Kinnell и др., а также опыт научных и проектных организаций по рассматриваемой проблеме, которые создают теоретическую базу для проведения дальнейших исследований в рассматриваемой области.
Подходы к разработке методов и алгоритмов решения задач анализа каче
ства высшего образования, маркетинговых исследований и трудоустройства
Р выпускников приведены в ряде работ. На российском рынке предлагается не-
мало программных продуктов, относящихся к классу аналитических систем. Они различаются как по спектру задействованных показателей, так и по реализованным в них подходам к решению основных задач оценки деятельности учебных заведений. Однако, как показывают исследования, в данных разработках недостаточно полно используются современные методы и модели, позволяющие с гораздо большей точностью осуществлять функции интеллектуаль-ной поддержки принятия решений в системах профессионального клиринга и управления качеством образования выпускников вуза.
Следует особо отметить практическое отсутствие работ по созданию еди
ного подхода к формированию иерархических гибридных моделей оценки каче
ства образования и профессиональной пригодности, включающих различные
методы представления знаний, в том числе: аналитические, логико-
лингвистические, нейросетевые. Поэтому, разработка моделей, методов, алго-
ритмов и программных комплексов для решения сложных задач оценки про-
фессиональной пригодности выпускников вуза и их эффективного трудоустройства является современной актуальной проблемой.
Цель диссертационного исследования — разработка аналитической системы оценки профессиональной пригодности и содействия эффективному трудоустройству выпускников вуза на основе гибридных экспертных систем.
Для достижения этой цели в работе были поставлены и решены следующие задачи:
проанализированы современные подходы к моделированию, созданию методов и алгоритмов решения сложных задач в управлении процессами совершенствования качества образования и содействия трудоустройству выпускников вуза, выявлены их недостатки и определены направления развития;
разработаны метод, модель и новая информационная технология оценки профессиональной пригодности выпускников вуза с учетом качества полученного образования для содействия их эффективному трудоустройству на основе гибридной экспертной системы;
разработаны специальные программные комплексы профессионального клиринга для интеллектуальной поддержки принятия решений в процессах управления качеством образования и трудоустройством выпускников вуза на основе гибридных экспертных систем и Интернет-технологий;
проведены настройка созданной модели и вычислительные эксперименты по оценке профессиональной пригодности выпускников вуза, подтвердившие эффективность разработанных методов.
Объектом диссертационного исследования выступают процессы подготовки студентов, оценки качества образования и профессиональной пригодности выпускников вуза, а также процессы содействия трудоустройству молодых специалистов.
Предметом исследований являются методы, алгоритмы, математические модели и аналитические информационные системы оценки качества образования и профессиональной пригодности выпускников вуза, предназначенные для интеллектуальной поддержки принятия решений при управлении процессами подготовки студентов и содействия трудоустройству выпускников на основе применения гибридных экспертных систем и современных информационных технологий.
Теоретические и методологические основы исследования. Для решения поставленных в диссертационной работе задач применялись методы системного анализа и исследования операций, нейроинформатики, экспертных оценок и гибридных экспертных систем.
В своих исследованиях автор опирался на труды отечественных и зарубежных ученых, посвященные проблемам маркетинговых исследований рынка труда и образовательных услуг; разработки систем и методов профессионального клиринга, искусственного интеллекта и нейроинформатики, математического моделирования; создания информационных технологий.
Научная новизна проведенных исследований заключается в следующем:
-разработаны метод и модель решения задачи оценки профессиональной пригодности выпускников вуза с учетом качества полученного образования на базе гибридной экспертной системы для интеллектуальной поддержки принятия решений при управлении процессами обучения студентов и содействия эффективному трудоустройству выпускников;
-на базе разработанной модели создана новая технология оценки профессиональной пригодности и содействия эффективному трудоустройству выпускников вуза на основе методов нейросетевого анализа и гибридных экспертных систем, включающая этапы настройки поля знаний на предметную область, предобработки данных, обучения нейросетевых компонентов;
-на базе созданной модели и технологии разработана интеллектуальная программная система профессионального клиринга выпускников вуза с учетом качества полученного ими образования с использованием Интернет-технологий.
Практическая значимость результатов исследования заключается в том, что разработанные теоретические положения и методические рекомендации являются научной базой при создании информационных систем маркетинговых исследований, менеджмента качества образования и трудоустройства выпускников, внедряющихся в вузах страны.
Реализация диссертационной работы служит инструментом повышения эффективности существующих систем управления вузом, что, в конечном итоге, позволит повысить уровень качества образовательных услуг высшего учебного заведения и продуктивность работы выпускников вузов на предприятиях и
9 организациях страны.
Практическую ценность представляют программные комплексы, разработанные при участии автора:
«Интеллектуальная система профессионального клиринга выпускников вузов с учетом качества полученного высшего образования с использованием Интернет-технологий (Профклиринг)»: свидетельство Федеральной службы по интеллектуальной собственности, патентам и товарным знакам об официальной регистрации программы для ЭВМ № 2007610079 от 09.01.2007 г.;
«Аналитическая система управления кафедрой вуза (КАФЕДРА)»: свидетельство Федеральной службы по интеллектуальной собственности, патентам и товарным знакам об официальной регистрации программы для ЭВМ №2006610543 от 08.02.2006г.;
- «Бизнес-Аналитик V 1.0 (БА)»: свидетельство Федеральной службы по
интеллектуальной собственности, патентам и товарным знакам об официальной
регистрации программы для ЭВМ №2005611449 от 15.06.2005г.
Реализация результатов работы.
Разработанная информационная система используется на кафедре «Информационные системы в экономике» и в отделе маркетинговых исследований АлтГТУ для содействия эффективному трудоустройству выпускников вуза.
Диссертационная работа выполнена в соответствии с:
- техническим заданием НФПК №Е/А. 06/99-2-8 54 по теме «Разработка технического проекта системы управления образовательной деятельностью крупного вуза с разветвленной территориальной структурой с учетом рыночных механизмов регулирования и с использованием информационно-аналитической поддержки»;
государственным контрактом по теме РИ-16/006 «Научно-организационное, методическое и техническое обеспечение организации и поддержки научно-образовательных центров в области информационных технологий и осуществление на основе комплексного использования материально-технических и кадровых возможностей совместных исследований и разрабо-
10
ток»,
р Основные положения, выносимые на защиту;
Модель решения задачи оценки профессиональной пригодности выпускников вуза с учетом качества полученного ими образования в соответствии с заявками организаций на основе гибридной экспертной системы.
Технология решения задачи оценки профессиональной пригодности выпускников вуза с этапами настройки модели на предметную область, формирования поля знаний, обучения нейросетевых компонентов.
» 3. Структура и функции интеллектуального программного комплекса
профессионального клиринга выпускников вуза с учетом качества полученного ими образования, его математическое и информационное обеспечение на основе Интернет-технологий.
4. Результаты экспериментальных исследований на разработанных моделях.
Апробация работы и публикации. Основные результаты диссертацион-ной работы доложены и обсуждены на конференциях: шестьдесят первой научно-технической студентов, аспирантов и профессорско-преподавательского состава (Барнаул, 2003); международной научно-практической «Наука и практика организации производства и управления» (Барнаул, 2003); всероссийской научно-технической «Наука и молодежь» (Барнаул, 2006); международной научно-технической «Измерение, контроль, информатизация» (Барнаул, 2006); на десятом, одиннадцатом, двенадцатом и четырнадцатом всероссийских семинарах
«Нейроинформатика и ее приложения» (Красноярск, 2002, 2003, 2004, 2006);
международной научно-технической «Виртуальные и интеллектуальные системы» (Барнаул, 2006); всероссийской научно-практической «Современные технологии обеспечения качества образования» (Барнаул, 2006); международной научно-практической «Качество образования: системы, технологии, инновации» (Барнаул, 2007).
По теме диссертации опубликовано 19 работ, в том числе одна статья в издании, рекомендованном ВАК для опубликования результатов диссертаций.
Личный вклад. Автору принадлежит разработка представленных в диссертации метода, модели, баз знаний, постановок задач на разработку комплексов информационных систем, проектирование блоков программного обеспечения аналитической системы.
Структура и объем работы. Диссертация состоит из введения, трех глав, заключения, приложений и списка литературы из 205 наименований. Основная часть работы изложена на 193 страницах машинописного текста и содержит 66 рисунков, 9 таблиц.
Анализ подходов к автоматизации и моделированию в аналитических информационных системах маркетинга, управления процессами подготовки специалистов и их трудоустройства
Маркетинговая информационная система (МИС) — это совокупность (единый комплекс) персонала, оборудования, процедур и методов, предназначенная для сбора, обработки, анализа и распределения в установленное время достоверной информации, необходимой для подготовки и принятия маркетинговых решений- МИС - это концептуальная система, помогающая решать как задачи маркетинга, так и задачи стратегического планирования [129],
Рассмотрим решения, представленные на современном рынке маркетингового ПО. К ним можно отнести следующие программные продукты: «ОЛИМП-Маркетинг», «Касатка», «БЭСТ-Маркетинг», «КОНСИ», «Marketing Expert», «Marketing Analytic» [34,159]. Перечень задач, которые позволяют решать основные данные системы представлены в таблице 1.
Анализ показывает, что для решения задач оценки и прогнозирования в системах применяются следующие методы, В системе ОЛИМП-Маркетинг прогнозирование спроса основано на адаптивных моделях: модель Хольта-Уинтерса с мультипликативным и аддитивным эффектами сезонности, В системе Marketing Analytic для решения задач прогнозирования реализован метод многоканальной авторегрессии, В БЭСТ-Маркетинг для оценки значений показателей используется модель Розенберга,
Информационные технологии, применяющиеся в настоящее время в системах трудоустройства. В настоящее время на рынке программных продуктов поддержки принятия решений в сфере управления персоналом существует достаточно много систем, предназначенных для решения задач оценки профпригодности претендентов на вакансии и содействия их трудоустройству. Среди таких программ необходимо отметить следующие: система «П-ПРОФИЛЬ» фирмы LifeMode Interactive предназначена для психологического тестирования кандидатов или сотрудников в рамках работы кадровой службы [190]; автоматизированная система подбора персонала (АСИПП) позволяет оценить степень соответствия характеристик претендента на вакансию требованиям профессии [176]; «Резюмакс» - корпоративная система подбора персонала, разработанная компанией «Центр кадровых технологий», предназначена для отделов персонала компаний, кадровых агентств и индивидуальных рекрутеров [194]; автоматизированная система подбора персонала «Рекрутер» [195], разработанная компанией «Центр кадровых технологий»; автоматизированная информационная тестовая система для оценки персонала «Ресурс» [173] позволяет, в частности, производить конкурсный отбор кандидатов на вакантную должность; прогнозировать профессиональную успешность; производить оценку и расстановку персонала.
В данных системах существуют основные функции, необходимые для успешного трудоустройства претендентов на вакансии, в том числе, зачастую используются Интернет-технологии для организации коммуникаций между субъектами процесса трудоустройства. Однако, общим недостатком всех рассмотренных выше автоматизированных систем подбора персонала является их неприспособленность для реализации процесса содействия трудоустройству выпускников вузов. В этих системах невозможно производить оценку профпригодности по результатам успеваемости выпускников, характеризующую уровень знаний, умений, навыков молодых специалистов- Кроме того, системы являются «закрытыми», поэтому пользователю невозможно настроить программы под свои потребности.
Электронные кадровые агентства в сети Интернет. В глобальной сети Internet существует множество электронных кадровых агентств, которые предлагают поиск вакансий для соискателей, подбор специалистов для работодателей- Самыми известными среди них являются кадровые агентства «job.ru», «zarplata.ru». Данные агентства позволяют соискателям и работодателям регистрироваться в базе данных. Здесь есть возможность в режиме on-line найти по некоторым критериям (город, заработная плата, опыт, образование и т.д.) именно ту информацию, которая требуется. Однако, поскольку база этих агентств довольно велика, то на запрос можно получить очень большой список резюме и вакансий, который придется изучать самому. Кроме того, велика вероятность не найти информации о вакансиях и резюме по интересующему городу.
Другие электронные кадровые агентства имеют схожую структуру. Но в некоторых вообще отсутствует поиск в режиме on-line: пользователям предлагается отослать информацию о себе на сервер компании и ждать ответа на указанный адрес электронной почты. Таковыми являются web-ресурсы «Отдел кадров XXI век», «кадровое агентство «ГОСТ-Юнивер».
Анализ электронных кадровых агентств показывает, что они реализуют следующие функции: регистрацию соискателей и работодателей в базе данных агентства; регистрацию заявки от работодателя; рассылку предложений о вакансии соискателям; информирование о деятельности агентства. Остальные же функции по-прежнему выполняются вручную сотрудниками агентств.
Примерами подобных агентств в городе Барнауле могут служить: Недостатком в работе всех рассмотренных и подобных электронных кадровых агентств является то, что они содержат очень незначительный объем ин формации о претенденте на вакантное место (из его анкеты, резюме), что не по зволяет в полной мере отобразить его профессиональный и личностный портрет. Кроме того, автоматизированные технологии оценки соответствия характеристик кандидатов требованиям профессий, применяемые в системах, не позволяют достаточно эффективно выбрать действительно нужных специалистов из большого числа претендентов. Данное обстоятельство происходит из-за отсутствия необходимого и достаточного набора показателей оценки профпригодности для каждой конкретной профессии, а также достаточно грубых критериев оценки.
Автоматизированные системы по содействию трудоустройству выпускников вузов. В настоящее время в большинстве вузов страны созданы службы содействия трудоустройству выпускников, отделы маркетинговых исследований и другие подразделения, помогающие молодым специалистам устроиться на работу. Практически в каждом подобном подразделении вуза разрабатываются автоматизированные системы, позволяющие получать, обрабатывать и выдавать достоверную информацию о состоянии рынка труда и образовательных услуг, проводить отбор выпускников в соответствии с требованиями вакантных профессий.
Существует два типа информационных систем, необходимых для деятельности центров содействия трудоустройству выпускников (ЦСТВ): открытые Интернет-сайты по размещению и поиску резюме и вакансий, внутренние системы автоматизации деятельности ЦСТВ и кадровой службы. Обычно, подобные информационные системы реализуют следующие функции: сбор, хранение, обработка и предоставление информации: об имеющихся вакансиях рабочих мест и требованиях к их соискателям, условиях трудоустройства, прохождения стажировок, практик; о выпускниках; о трудоустройстве выпускников, о востребованности специалистов в разрезе специальностей подготовки, о карьерном и профессиональном росте, достижениях выпускников, включая и тех из них, кто не обращался за содействием в трудоустройстве;
Неформализованные задачи в системах маркетинга, менеджмента качества образовательных услуг и трудоустройства выпускников вуза, подходы к их решению
Особенностью задач управления деятельностью вуза является то, что они относятся к мониторинговым, т.е. их решение производится регулярно (по времени) и принятие управленческих решений основывается на его результатах.
Анализ информации о функционировании объекта управления является этапом, предшествующим принятию решений. Обработку информации в системе можно представить как преобразование: K-F(p)9 где Р - социально экономические показатели, полученные в результате выполнения функций учета и планирования. К- множество критериев оценки деятельности вуза.
Обычно преобразование F определяется набором функций от переменных Р и от дополнительно задаваемых параметров агрегирования Л, определяющих вид и степень детализации выполнения анализа. При этом под целью управления понимается достижение множеством векторов А заданных значений, удовлетворяющих соответствующим критериям качества объектов и процессов вуза [6,7,19,62],
Анализ работ по автоматизации управления вузом показывает, что в настоящее время, в основном, функционируют системы автоматизации учета приема (АИС «Прием»), учета текущей успеваемости (АИС «Деканат»), автоматизации бухгалтерского учета и кадров. Многие области автоматизации управления и поддержки принятия решений практически отсутствуют. Анализ показывает, что не находят должного развития автоматизированные системы маркетинговых исследований; оценки деятельностью вуза и его подразделений; оценки качеством образования выпускников, прогнозирования показателей функционирования вуза; планирования учебной деятельности и различных бизнес-процессов; управления научными исследованиями и опытно-конструкторскими работами; управления персоналом вуза. Практически отсутствуют АИС поддержки принятия решений руководителей подразделений вуза - автоматизированные рабочие места заведующих кафедрами и отделами, деканов, проректоров, ректора. Особенностями данных систем является то, что в них необходимо решение задач, для которых характерны большой объем первичной информации, искаженные и неполные данные, наличие качественных входных показателей, динамичность и нестабильность состояний объектов и процессов анализа, стохастический или неопределенный механизм вычисления результирующих значений. Для решения таких задач значительную роль играет экспертный опыт, то есть большинство задач решаются только высоко квалифицированными специалистами предметной области. Здесь нужны методы, которые способны не только выполнять однажды запрограммированный алгоритм действий над заранее определенными данными, но и способны сами анализиро вать вновь поступающую информацию» находить в ней закономерности, произ водить оценку.
Все это позволяет сделать вывод о сложности и неформализованное многих задач маркетинга, процессов управления качеством образования и тру доустройством выпускников вузов. В составе данных задач можно выделить следующие: оценка качества образования студентов и профессиональной при годности выпускников вуза; оценка рейтинга преподавателей, кафедр, отделов, факультетов вуза и его филиалов; прогнозирование спроса на выпускников учебного заведения со стороны предприятий и организаций; ценообразование для внебюджетной деятельности; группировка студентов по качественным признакам профпригодности с целью их дальнейшего трудоустройства на конкурсной основе; оценка финансово-хозяйственной деятельности вуза и его подразделений; прогнозирование потребности на технологии и разработки учебного заведения и ряд других. Целью данной работы является разработка методов оценки качества образования и решения неформализованных задач оценки профессиональной пригодности выпускников вуза в соответствии с заявками организаций. Согласно А. Ньюэллу и М.Саймону [162], к неформализованным будем относить такие задачи, которые обладают одной или несколькими из следующих характеристик: -задачи не могут быть заданы в числовой форме (полностью или частич но); -цели не могут быть выражены в терминах точно определенной целевой функции; -не существует алгоритмического решения задач; -алгоритмическое решение существует, но его нельзя использовать из-за ограниченности ресурсов (время, память). Попытки решения неформализованных задач в информационных системах вуза предпринимались с момента начала автоматизации организационного управления. Однако, ввиду отсутствия соответствующей технической базы, ин струментальных программных средств и реализованных в программных систе мах моделей, основанных на методах искусственного интеллекта, данное направление получает развитие только в настоящее время [38,94]. Поэтому разработка методов и программных систем (интеллектуальных компонентов) для решения неформализованных задач в информационных системах вуза является актуальной проблемой и служит одним из направлений данной работы. Применение экспертных систем в системах принятия решений получило широкое распространение, начиная только с восьмидесятых годов. Это вызвано тем, что их использование выдвигало повышенные требования к техническим средствам. С развитием информационных технологий и технических средств наблюдается интенсивное развитие областей применения средств искусственного интеллекта. При этом, в настоящее время выделяют следующие основные направления искусственного интеллекта, которые применяются в информационных системах; - системы, основанные на знаниях (СОЗ), которые представляют экспертные системы, основанные на логически прозрачных правилах (правила продукций, семантические сети, фреймы, логика предикатов, прецеденты и др.) [94,96,97,125]; - искусственные нейронные сети (НС)[29,30,79,158]; - естественно-языковые системы (ЕЯ)[66] Обзоры состояния исследований в развитии методов искусственного ин теллекта приведены в работах [30,66,96,125]- До настоящего времени преобла дающим направлением являются СОЗ, а также выделяются новые направления, в том числе, — генетические алгоритмы» нечеткие логики. При решении неформализованных задач эффективно применение нейро-сетевых методов. Фундаментальные исследования в этой области представлены в настоящее время в работах [25,28,29,30,60,69,75,76,77,79,80,134].
Структура гибридной экспертной системы оценки профессиональной пригодности выпускников вуза с учетом качества полученного ими высшего образования
Любая профессиональная деятельность представляет собой набор типовых профессиональных задач (ТПЗ), которые специалист периодически выполняет. Типовые профессиональные задачи, в свою очередь, делятся на подзадачи, которые могут делиться на другие задачи и т.д. Детализация профессиональной деятельности может продолжаться вплоть до отдельных умений и навыков. Фактически, претендент соответствует требованиям той или иной вакансии, если он продуктивно (эффективно, качественно) сможет справиться со всеми ТПЗ данной профессии. Поэтому, чтобы оценить пригодность специалиста к выполнению профессиональной деятельности, необходимо оценить пригодность к выполнению отдельных ТПЗ и полученные оценки объединить.
Вышеизложенные теоретические исследования легли в основу создания гибридной экспертной системы (ГЭС) для оценки профессиональной пригодности выпускников специальности «Прикладная информатика в экономи-ке»(ПИЭ) к выполнению одной из ТПЗ специальности. Данной ТПЗ является «Разработка автоматизированной экономической информационной системы (АЭИС) в любой из возможных (согласно государственного стандарта) предметных областей экономики». Требования к ЗУН выпускников для выполнения ТПЗ, а также содержание дисциплин, формирующих эти ЗУН, изложены в соответствующих стандартах специальностей молодых специалистов, изменяющихся в соответствии с актуальными запросами потребителей образовательных услуг.
На основе системного подхода к анализу предметной области была разработана модель решения задачи для гибридной экспертной системы, общая структура которой представлена на рисунках 2.5, 2.6. В модели, помимо непосредственно качества результатов высшего образования, учитывается качество отдельных элементов полученного выпускниками образования, в виде рейтингов преподавателей и кафедры. Кроме того, учитывается качество образования на исследуемой специальности в соответствии с факторами обратной связи по уже трудоустроенным выпускникам специальности, а именно: в соответствии с мнением работодателей о качестве подготовки выпускников, мнением самих выпускников как работающих, так и не работающих по специальности о качестве их образования, спросом на выпускников специальности. Структура показателей профессиональной составляющей модели была разработана на основе содержания анализируемой ТПЗ «Разработка АЭИС» (представленного в профессиограмме, должностной инструкции информатика-экономиста и государственном стандарте соответствующей специальности), а также тех характеристик выпускников, которые свидетельствуют о ЗУН молодых специалистов, требующихся для выполнения данной ТПЗ (например, оценки (рейтинги) за зачеты и экзамены, курсовые работы, практики, диплом и т.д.)- Структура показателей личностной составляющей модели создана на основании некоторых социально-психологических характеристик выпускников, требующихся для эффективного выполнения ТПЗ и отраженных в соответствующей профессио-грамме и психограмме.
Узлы дерева модели представляют собой неформализованные задачи, для решения которых применяются нейросетевые методы, аналитические формульные зависимости, правила продукции, оценки экспертов. Показатели аналитического дерева и шкалы их измерения представлены в таблице Б.1 (приложение Б).
Рассмотрим описание структуры показателей модели оценки, полное описание с указанием смысла и значимости отдельных показателей представлено в научно-исследовательском отчете [193]. Оценка соответствия характеристик выпускника требованиям типовой профессиональной задачи «Разработка АЭИС»- показатель S узла 1 модели (рисунок 2.5): S = F(P,L,R), где Р - оценка соответствия профессиональных характеристик выпускника требованиям вакансии; L- оценка соответствия личностных (социально-психологических) характеристик выпускника требованиям вакансии; R - оценка качества образования выпускника вуза в соответствии с факторами обратной связи. Верхний индекс функции означает порядковый номер показателя в модели, индекс целевого показателя равен нулю. Для оценки соответствия выпускника требованиям ТПЗ используется метод решения задачи «Экспертная система» с моделью представления знаний «Правила продукции». Причинами выбора данного решателя ГЭС явилась, прежде всего, необходимость объяснения для потребителей информации (работодателя и руководства вуза) причин полученного результата, небольшая размерность входных показателей (три), небольшая вариация значений входных показателей и, соответственно, приемлемая мощность базы знаний системы.
Для формирования базы знаний экспертной системы используются знания опытных специалистов в областях подбора персонала и разработки автоматизированных экономических информационных систем.
Очевидно, наиболее значимыми детализирующими показателями в методике (функции) оценки будут Р и L. Менее значимым - показатель качества образования на кафедре по результатам исследования факторов обратной связи по уже работающим выпускникам (R). Это связано с тем, что данный показатель может лишь косвенно определять характеристики выпускников через субъективное мнение работодателей и уже работающих выпускников о качестве образования на специальностях (кафедрах), выпускники которых подбираются на вакантную должность. Оценка соответствия профессиональных характеристик выпускника соответствующим требованиям ТПЗ (оценка соответствия) — показатель Р узла 1.1 модели (рисунок2.6): P = Fl(V ,NR ), где V - оценка соответствия выпускника требованиям ТПЗ по результатам учебы в вузе; NR - оценка соответствия по результатам научной работы, влияющей на формирование профессионализма выпускника. Показатель Р рассчитывается с помощью правил продукции экспертной системы.
Нейрооценка соответствия по результатам учебы в вузе (1.1.1, рисунок 2J):V = F2(RD ,К ,Pr,G,Dip,RK ), где RD - оценка соответствия по результатам изучения актуальных для ТПЗ дисциплин на основе полученных рейтингов за зачеты и экзамены; К — оценка соответствия по результатам выполненных курсовых работ и проектов; Рг - оценка соответствия по результатам пройденных практик: учебной, производственных, преддипломной; G - оценка за государственные экзамены; Dip - оценка за защиту диплома; RK - оценка рейтинга кафедры, характеризующая уровень качества образования. профпригодности к решению задачи «Разработка АЭЙС» - показатели оценки ВО результатам учебы н вузе ВшеО - оценка соответствия но результатам подготовки ПО базовым общеобразовательным дисциплинам; Рг&#) - оценка эффективности »ыпол нения работ на стадии анализа и формирования требований к АЭИС; VronktD - оценка эффективности выполнения работ iro проектированию АЭИС; PtegD -- оценка
Анализ экспериментальных исследований по подбору выпускников специальности "Прикладная информатика в экономике" в соответствии с заявками организаций
Согласно разработанной модели (модели решения) данный показатель рассчитывается (оценивается) методом нейронных сетей.
На входе набор рейтингов выпускников по базовым общеобразовательным предметам, ЗУН которых так или иначе используются при выполнении типовой профессиональной задачи «Разработка АЭИС», а также рейтинги преподавателей соответствующих дисциплин. Рейтинги преподавателей по предметам используются для получения более объективной картины о реально полученных и усвоенных выпускниками ЗУН. Рейтинг преподавателя характеризует степень объективности простановки рейтинга студенту. В эксперименте рассматривается упрощенная модель без учета рейтингов преподавателей, поэтому далее, говоря о входных показателях, будем рассматривать только рейтинги выпускников. Фактически это означает, что в экспериментальной модели мы упрощенно предполагаем, что рейтинги выпускникам были выставлены всеми преподавателями объективно.
Описание обучающей выборки. Целевой показатель решаемой задачи измеряется в двадцатиоднобалльной шкале [0; 0,5; 1; 1,5; 2;„„9,5;10]. Входные показатели - оценки выпускников по предметам измеряются в трехбалльной шкале [3,4,5]- В качестве обучающей выборки для данного и других показателей, измеряющих профессиональные и социально - психологические характеристики выпускников, выступают рейтинги (оценки) 80 % студентов потока ПИЭ-01,02 (выпуск 2005 год) - 40 человек. Тестирующая выборка представлена соответственно 20 % студентов потока - 10 человеками. Целевой параметр был определен как совокупное мнение трех экспертов в данной предметной области и рассчитан с учетом компетентности экспертов.
Предобработка, Предварительный анализ обучающей выборки не выявил аномалий и пропусков. Конструирование сети. Первоначально строились избыточные 2,3,4-ех -слойные сети.
Выбор тактики обучения. Будем считать, что сеть хорошо обучилась и пригодна к практическому применению для оценки новых выпускников, если в результате тестирования она правильно классифицирует 50-100% примеров тестовой выборки, В нашем случае необходимо различать примеры с точностью до 0,5, т.е. 5 и 5.5; 7,5 и 8 и т.д. сеть должна различать как разные значения для примеров тестовой выборки. Дня этого необходимо, чтобы максимальная ошибка обобщения не превышала 0,24(9) или, в процентном соотношении в программе реквизит «Ошибка в %»(максимальная ошибка обучения) можно указать 1 или 2.
Анализ результатов. Технология поиска оптимальной сети. С целью определения структуры сети (при разных методах обучения), наиболее качественно классифицирующей тестовую выборку (т.е. наибольший процент правильно распознанных тестовых примеров и наименьшая максимальная и средняя ошибки обобщения), и оптимизации ее структуры были проведены эксперименты.
Изначально строились избыточные 2,3,4 - ех слойные сети. Данные сети хорошо запоминали обучающую выборку, однако, при тестировании показывали посредственные результаты- С целью поиска оптимальной структуры сети при обучении различными методами применялось выборочное и полное контрастирование к избыточным сетям. Следующим этапом необходимо было определить сети, наиболее качественно классифицирующие тестовую выборку. Для этого проводилось обучение с несколькими сетями (5-7 сетей для каждой структуры и метода обучения, максимальная ошибка обучения 1-2%) со структурами, полученными в результате контрастирования (или близкими к ней: +1,-1 нейрон на 1-2 -ух слоях). В результате таких экспериментов были найдены сети, наиболее удачно классифицирующие примеры тестовой выборки. Данные сети отражены в таблице ЗЛ, Для настройки аналитической модели и дальнейшего проведения экспериментов была выбрана нейронная сеть №3. Результаты обучения и тестирования нейронных сетей показали достаточно мало правильно распознанных примеров. Это вызвано использованием шкалы измерения выходного показателя избыточной размерности, а также высокой точностью распознавания отдельных значений: различаются два значения, отличающиеся на 0,5. Однако, как показывают исследования, для определения небольшой группы выпускников, в наивысшей степени подходящих для выполнения ТПЗ? а также для анализа качества высшего образования, достаточно использовать десятибалльную шкалу измерения. В этом случае, как показали эксперименты, число правильно классифицированных выпускников возрастет до 70-90%. Данный результат является вполне приемлемым для практики.
Показатель модели ЫЛД-3. Проектирование АЭИС Согласно разработанной модели (модели решения) данный показатель рассчитывается (оценивается) методом нейронных сетей.
На входе - рейтинги выпускников по дисциплинам, изучающим стадию проектирования АЭИС. Для эксперимента использовались дисциплины модели, по которым выпускниками были получены оценки за экзамены» а именно: проектирование ЭИС, базы данных, разработка и стандартизация программных средств и информационных технологий, интеллектуальные ИС, ИС в организации. Статистика обучения и тестирования нейронных сетей представлена в таблице 3.2. Для настройки аналитической модели и дальнейшего проведения экспериментов была выбрана нейронная сеть №2. Согласно разработанной модели (модели решения) данный показатель рассчитывается (оценивается) методом нейронных сетей. На входе показатели - промежуточные вершины дерева оценки соответствия ЗУН выпускника требованиям ТПЗ «Разработка АЭИС», а именно: 1 Л. 1.1.1 «Оценка эффективности выполнения ТПЗ в соответствии с подготовкой по базовым общеобразовательным предметам»; 1ЛЛЛ.2 «Оценка эффективности выполнения работ на предпроектной стадии»; 1ЛЛЛ.З «Оценка эффективности выполнения работ проектирования АЭИС»; 1ЛЛЛ.4 «Оценка эффективности выполнения работ кодирования, тестирования АЭИС»; 1ЛЛЛ.5 «Оценка эффективности выполнения работ обеспечения дополнительной информационной безопасности, ввода в действие АЭИС», Статистика обучения и тестирования нейронных сетей представлена в таблице 3,3, Для настройки аналитической модели и дальнейшего проведения экспериментов была выбрана нейронная сеть №3, Согласно разработанной модели (модели решения) данный показатель рассчитывается (оценивается) методом нейронных сетей. На входе показатели - промежуточные вершины дерева оценки соответ ствия ЗУН выпускника требованиям ТПЗ «Разработка АЭИС», а именно: IЛ Л Л «Оценка по результатам изучения актуальных дисциплин»; 1ЛЛ.2 «Оценка по результатам выполненных итоговых заданий - курсовых работ (КР)»; 1ЛЛ.З «Оценка по результатам выполненных учебной, производственной и преддипломной практик»; 1ЛЛ.4 «Оценка по результатам сдачи госэкзамена»; 1ЛЛ.5 «Оценка по результатам зашиты диплома»; 1Л Л.6 «Оценка рейтинга кафедры». Статистика обучения и тестирования нейронных сетей представлена в таблице 3,4. Для настройки аналитической модели и дальнейшего проведения экспериментов была выбрана нейронная сеть №7
