Содержание к диссертации
ВВЕДЕНИЕ 4
ГЛАВА 1. КАЧЕСТВО ОБРАЗОВАНИЯ С ТОЧКИ ЗРЕНИЯ
МЕЖДУНАРОДНЫХ СТАНДАРТОВ ИСО СЕРИИ 9000 11
1.1. Основные понятия и определения 11
1.2. Процессный подход к оценке качества образования с позиции
философии ИСО 9001 18
1.3. Показатели и критерии качества обучения студентов в вузе... 21
Выводы по 1 главе 27
ГЛАВА 2. РЕШЕНИЕ ЗАДАЧИ ОЦЕНКИ КАЧЕСТВА ОБУЧЕНИЯ НА
ОСНОВЕ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ 28
2.1. Основные понятия теории экспертного оценивания 28
2.2. Алгоритм статистической обработки и анализа результатов
экспертного оценивания 32
2.3. Выявление скрытых закономерностей объектов образовательного процесса на основе методов многомерного
статистического анализа 38
Алгоритм построения формализованных критериев на основе факторного анализа 38
Выявление типов объектов образовательного процесса на основе кластерного анализа 40
2.4. Применение экспертно-статистических алгоритмов для
решения прикладных задач 42
Формирование набора профессионально значимых показателей для успешного обучения абитуриента на выбранном факультете 42
Задача оценки профессиональных качеств преподавателей 48
Задача оценки качества содержания учебных дисциплин 58
Задача выявления требований работодателей к молодым специалистам 70
Выводы ПО 2 ГЛАВЕ 78
ГЛАВА 3. РЕШЕНИЕ ЗАДАЧ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ НА
ОСНОВЕ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ 80
3.1. Тестирование в образовании 80
3.2. Компьютерное тестирование в задаче контроля остаточных
знаний студентов (педагогическое тестирование) 84
Основные понятия 84
Использование моделей Раша и Бирнбаума для оценки параметров педагогического теста 86
3.3. Анализ и обработка результатов тестирования. Принятие
решения по результатам тестирования 92
Особенности исходной информации 92
Алгоритм принятия решений в условиях разнотипности исходных данных 94
Принятие решений на основе минимаксного критерия 99
Алгоритм выбора альтернатив (принятия решений в условиях неопределенности) по результатам тестирования 102
3.4. Решение задач прогнозирования успешности
интеллектуальной деятельности студентов на основе данных
психодиагностического тестирования 106
Прогнозирование успешности обучения студентов младших курсов на основе анализа личностных качеств 106
Прогнозирование успешной интеллектуальной самореализации студентов старших курсов на основе анализа показателей познавательной деятельности 108
Выводы по 3 главе 113
ГЛАВА 4. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ДЛЯ ОЦЕНКИ
КАЧЕСТВА ОБУЧЕНИЯ СТУДЕНТОВ ВУЗА 115
4.1. Техническое описание программного комплекса 115
4.2. Универсальный блок анализа результатов экспертного
оценивания 117
4.3. Программа оценки соответствия профессионально-значимых
качеств личности выбранной специальности 121
4.4. Блок КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ 124
Контроль остаточных знаний студентов 124
Определение личностных и интеллектуальных особенностей студентов на основе психодиагностического тестирования и диагностика успешности 128
Выводы ПО 4 ГЛАВЕ 130
ЗАКЛЮЧЕНИЕ 131
ЛИТЕРАТУРА 135
ПРИЛОЖЕНИЕ 1 148
ПРИЛОЖЕНИЕ 2 153
ПРИЛОЖЕНИЕ 3 157
ПРИЛОЖЕНИЕ 4 158
ПРИЛОЖЕНИЕ 5 159
Введение к работе
Актуальность темы исследования
В настоящее время понятие «качество» проникает во все сферы деятельности человека. И как следствие одной из наиболее актуальных проблем в области образования является повышение его качества. В «Концепции модернизации российского образования на период до 2010 года» решение задач качества образования заявлено, как приоритетное. Это утверждение нашло также отражение в Перспективной программе работ Министерства образования РФ. С другой стороны, как раз в настоящее время произошли важные изменения в процессах международной стандартизации в области менеджмента качества - разработана и принята новая версия стандартов ИСО серии 9000 в версии 2000 года, регламентирующих процесс создания, сертификации и поддержания в актуальном состоянии систем менеджмента качества (СМК) на предприятии (в организации). Поэтому как никогда ранее актуальной становится проблема контроля и оценки качества образовательной деятельности. Вопросами качества занимаются многие исследователи, однако приходится признать, что, несмотря на это, концепция качества образования только складывается: определяются подходы, формируются показатели, аспекты качества, ставится вопрос о критериях.
Нельзя заимствовать чужую национальную систему оценки качества, нельзя взять в готовом виде концепцию другого образовательного учреждения, необходимо разрабатывать свою систему, формировать черты качества образования в каждом высшем учебном заведении.
Ведущие российские университеты, такие как Московский институт стали и сплавов (МИСиС), Московский государственный технологический университет «Станкин», Санкт-Петербургский государственный технический университет, Сибирский технологический университет, Новосибирский государственный технический университет и ряд других приступили к созданию систем менеджмента качества в соответствии с требованиями международных стандартов ИСО серии 9000. В Томском политехническом университете работа по созданию внутривузовской системы менеджмента качества образования ведется уже давно. Еще в 80-е годы здесь проводилась работа по построению автоматизированной системы управления вузом (АСУ ВУЗ). Была проведена большая работа по
5 созданию автоматизированной системы управления вузом, построены математические модели управления, проведен системный анализ деятельности вуза. В данной области можно выделить несколько направлений исследований, характерных для Томского политехнического университета: о автоматизация управления вузом. Системный анализ образовательного
процесса. [3,4,118,124]; о социально-психологический аспект в оценке качества образовательного
процесса [2,11,13,22]; о подготовка квалифицированных педагогических кадров для технического
университета [59,115,116]; о построение системы менеджмента качества в вузе [42,98,99,117];
Работа в области управления качеством образования ведется практически во всех высших учебных заведениях России - в настоящее время это является жизненно необходимой задачей для каждого вуза. Результаты исследований данной диссертационной работы базируются на изучении зарубежного опыта и опыта российских вузов в решении поставленной задачи. Так, например, под руководством Исследовательского центра проблем качества подготовки специалистов (ИЦ ПКПС) в течение ряда лет группой ведущих вузов России реализовывался проект ЮНИКОМ/Россия, основное назначение которого -формирование базы данных «Общая характеристика высшего учебного заведения». В Воронежском государственном техническом университете реализованы подсистемы: автоматизация документооборота, компьютерная система оценки знаний и пр. В Уфимском региональном центре информатизации разработана компьютерная система для организации управления учебным процессом, внедрение которой обеспечило частичную автоматизацию управления учебным процессом, что позволило значительно повысить эффективность управления его качеством. В Красноярском государственном педагогическом университете разработана и внедрена в образовательный процесс единая информационная система планирования, управления и контроля учебного процесса в образовательном учреждении, направленная на решение задачи оценки качества знаний. В Северо-Кавказском государственном технологическом университете -разработана система контроля успеваемости студентов. Новосибирский
государственный технический университет реализовал мощную систему мониторинга качества образовательного процесса. В течение ряда лет ИЦ ПКПС руководил Целевой комплексной программой «Государственный стандарт в системе непрерывного образования» («Экспериментальная реализация первой версии аналитического федерального доклада «Качество образования в России: состояние, тенденции, проблемы, прогнозы»), в которой принимало участие около 20 образовательных организаций России. Основная цель программы - разработка методики проведения комплексного мониторинга качества высшего образования как информационно-аналитической базы и механизма формирования ежегодного доклада "Качество образования в России: состояние, тенденции, перспективы"; разработка структуры ежегодного доклада, реализация его первой версии. Однако, большинство разработанных систем либо узко направлены на решение частных задач оценки качества знаний, другие же, более широкомасштабные, ограничиваются либо описательными, либо статистико-описательными методиками. Таким образом, актуальность исследований данной диссертационной работы продиктована необходимостью внедрения математических методов измерения и системного анализа оценки качества образовательного процесса. Актуальность исследований также продиктована необходимостью дальнейших исследований в области оценки и управления качеством в Томском политехническом университете - для развития и усовершенствования существующей системы менеджмента качества. При этом основные исследования диссертационной работы направлены на разработку новых моделей и алгоритмов для измерения качества различных составляющих образовательного процесса.
Теоретико-методологической основой диссертационной работы явились теоретические и методологические положения в области управления качеством образовательного процесса, нашедшие отражения в трудах Адлера Ю.П., Полонского В.М., Ямпольского В.З., Аграновича Б.Л., Поташника М.М., Челышковой М.Б., Скок Г.Б., а также теоретические и методологические положения о системном подходе Выготского Л.С., Ломова Б.Ф., Перегудова Ф.И., Шадрикова В.Д., Тарасенко Ф.П., Уемова А.И.. Был использован опыт построения и сертификации на соответствие международным стандартам ISO серии 9000
7 системы менеджмента качества (в частности, на факультете автоматики и вычислительной техники ТПУ).
Цели и задачи работы
Целью работы является разработка информационной технологии для решения задач оценки качества обучения студентов вуза.
В связи с этим в диссертационной работе решаются следующие задачи:
Разработать алгоритмы обработки и анализа результатов тестирования и экспертного оценивания с учетом разнотипности исходной информации.
Разработать алгоритм построения формализованных критериев для решения задач оценки качества объектов образовательного процесса.
Разработать систему поддержки принятия решения по результатам. компьютерного тестирования для определения степени соответствия объекта образовательного процесса заданному классу и прогнозирования успешности абитуриентов, студентов и молодых специалистов в различных сферах интеллектуальной деятельности.
Программно реализовать разработанные алгоритмы оценки качества обучения студентов вуза по результатам экспертного оценивания.
Разработать универсальное программное обеспечение для контроля и оценки остаточных знаний абитуриентов, студентов и выпускников.
Научная новизна
Разработан алгоритм построения формализованных критериев для оценки качества объектов образовательного процесса, достоинством которого является снижение роли субъективного фактора при формировании обобщенной экспертной оценки.
Разработана система поддержки принятия решения по результатам компьютерного тестирования, в состав которой входит алгоритм принятия решений по результатам тестирования, являющийся модификацией алгоритма выбора альтернатив в условиях неопределенности А.Борисова и И.Крумберга и алгоритм принятия решения в условиях разнотипности исходных данных на основе неоднородной последовательной процедуры распознавания. Отличительной, особенностью предложенных алгоритмов является возможность использования в
качестве исходной информации результатов как психодиагностического, так и педагогического тестирования.
Для решения задач прогнозирования успешности абитуриентов, студентов и молодых специалистов в различных видах интеллектуальной деятельности получены решающие правила на основе неоднородной последовательной процедуры распознавания в виде диагностических коэффициентов. Полученные решающие правила обеспечивают качество распознавания 80-86%.
Разработана информационная технология для решения задач оценки качества обучения студентов вуза, отличительной особенностью которой является возможность использования в качестве инструментария как тестовые технологии, так и разработанные автором алгоритмы обработки результатов экспертного оценивания.
Теоретическая ценность. Теоретическая ценность работы заключается в разработанной автором информационной технологии, позволяющей решать задачу оценки качества обучения студентов вуза как на основе анализа результатов экспертного оценивания, так и тестовых технологий.
Достоинством предложенных в работе алгоритмов является:
возможность получать формализованные критерии для количественной оценки объектов образовательного процесса;
возможность интерпретировать результаты как психологического, так и педагогического тестирования с учетом факторов нечеткости и неопределенности;
возможность анализа экспертных данных с учетом типа измерительных шкал, в которых приведены экспертные оценки.
Практическая ценность
- Предложенные автором алгоритмы обработки и анализа результатов
экспертного оценивания и построения формализованных критериев для решения
задач оценки качества объектов образовательного процесса, позволяет эффективно
решать задачи обеспечения мониторинга и оценки качества обручения студентов
вуза. Предложен более эффективный по сравнению с существующим способ
обработки результатов анкеты Минвуза «Преподаватель глазами студента», а также
новая методика оценки преподавательской деятельности. Разработанные алгоритмы и их программная реализация внедрены в вузах г. Томска и в Новосибирском государственном техническом университете.
Разработанный автором программный модуль REMSTATE, предназначенный для решения задач генерирования тестов, снабжен блоком статистической обработки результатов педагогического тестирования, что позволяет оперативно проводить оценку качества педагогического теста. Программный продукт внедрен в вузах г. Томска и в Новосибирском государственном техническом университете.
Система поддержки и принятия решения по результатам компьютерного тестирования, разработанная автором диссертационной работы, включена в состав программного и математического обеспечения отдела социально-психологических исследований информационно-аналитического центра Томского политехнического университета и используется при проведении психологического профориентационного консультирования абитуриентов и студентов.
Отдельные модули разработанного автором диссертационной работы программного комплекса имеют самостоятельное значение и могут использоваться в автономном режиме, что делает данный комплекс универсальным инструментом для решения различных прикладных задач мониторинга и оценки качества образовательной деятельности вуза;
На основе разработанного алгоритмического и программного обеспечения решены следующие прикладные задачи (в рамках факультета автоматики и вычислительной техники Томского политехнического университета): оценка профессиональных качеств преподавателей, оценка качества содержания учебных дисциплин, выявление требований работодателей к потенциальным специалистам, прогнозирование успешности обучения студентов младших курсов на основе анализа личностных качеств, прогнозирование успешной интеллектуальной самореализации студентов старших курсов на основе анализа показателей познавательной деятельности, задача оценки соответствия личностных качеств абитуриента выбранному факультету, оценка остаточных знаний студентов.
Апробация результатов исследования. Результаты работы докладывались на: VI Международной научно-практической конференции «Качество - стратегия XXI века». - Томск, 2001; IV Международной научно-практической конференции
10 «Качество образования. Достижения. Проблемы». - Новосибирск, 2001; V Международной научно-практической конференции «Проблемы и практика инженерного образования». - Томск, 2002; научно-практической конференции, посвященной 300-летию инженерного образования в России. - Томск, 2001; региональной научно-практической конференции «Современное образование: интеграция учебы, науки и производства» - г. Томск, 2003.
Внедрение результатов работы. Результаты работы используются в учебном процессе и внедрены в отделе социально-психологических исследований информационно-аналитического центра Томского политехнического университета, Томском государственном педагогическом университете, Центре оценки качества образования Томской области Новосибирском государственном техническом университете, Томском университете систем управления и радиоэлектроники,.
Публикации
Основные положения диссертационной работы изложены в 23 работах,
представленных в общем списке литературы. Личный вклад автора в каждой работе составляет 45-50%.
Основные результаты исследований получены при выполнении следующих НИР: гранта РГНФ «Выявление специфики когнитивного развития студентов со сверхвысоким уровнем интеллекта» (проект № 01-06-00084а); Целевой программы НИР Томского политехнического университета «Поиск талантов» (проект «Комплексный анализ личностных свойств и творческих способностей абитуриентов и студентов первого курса ТПУ»); комплексной программы развития Томского политехнического университета «Разработка системы менеджмента качества АВТФ Томского политехнического университета»; комплексной программы развития АВТФ «Усовершенствование системы качества на кафедре прикладной математики».
Структура работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы (130 источников) и приложений. Материал изложен на 165 страницах, содержит 39 таблиц, 35 рисунков.
