Содержание к диссертации
Введение
Глава 1. Теоретические и методологические проблемы, диагностики качества обучения 13
1.1. Международные и российские концепции управления качеством высшего профессионального образования 13
1.2. Методы оценки качества обучения в высшей школе 27
1.3. Квалиметрическии анализ данных внутривузовского мониторинга для оценки качества обучения 37
1.4. Разработка структуры экспертной системы для решения задач диагностики качества обучения 52
Выводы по главе 1 74
Глава 2. Разработка и реализация системы квалиметрических методов для внутривузовской диагностики качества обучения ...77
2.1. Праксеологические аспекты разработки системы диагностики качества обучения в высшей школе на основе методов математической статистики 77
2.2. Анализ данных педагогического мониторинга методами математического моделирования 100
2.3. Применение планов выборочного контроля знаний в системе тестирования для оценки уровня знаний студентов 125
2.4. Эмпирическая интерпретация статистических законов распределения в исследовании результатов тестирования 135
Выводы по главе 2 148
Заключение 151
Список литературы 160
- Международные и российские концепции управления качеством высшего профессионального образования
- Методы оценки качества обучения в высшей школе
- Праксеологические аспекты разработки системы диагностики качества обучения в высшей школе на основе методов математической статистики
- Анализ данных педагогического мониторинга методами математического моделирования
Введение к работе
Актуальность исследования. За последнее десятилетие высшее профессиональное образование в России приобрело широкомасштабный характер, в связи с чем остро встал вопрос об обеспечении качества обучения. Качество обучения как научно-теоретическая проблема включает в себя экономические, социальные, познавательные, культурные аспекты образования и является интегральной характеристикой образовательной деятельности и ее результатов. Для предоставления гарантий качества во всех сферах деятельности вуза, в соответствии с предъявляемыми требованиями к результату обучения со стороны потребителей необходимо наличие современных систем управления качеством.
Управление развитием образования как приоритетное направление выделяет создание системы внутривузовского мониторинга с охватом всех его объектов и различных измерительных средств, отслеживающей совокупность характеристик педагогических технологий. Ратификация Болонского соглашения, международные требования соответствия общеобразовательному стандарту ISO 9000 и Концепции модернизации российского образования ставят перед системой диагностики учебного процесса в высших учебных заведениях проблему выработки таких показателей (индикаторов) качества, которые отражали бы не только достигнутый уровень знаний обучаемых, но и параметры использования технологий обучения и контроля.
Информационный поток данных оценки знаний, его множественная структурированность, обусловили необходимость разработки нового аппарата педагогических измерений, который обеспечил бы выявление несоответствий, прогнозирование результатов, оптимизацию задач мониторинга, то есть технологию алгоритма диагностики качества высшего профессионального образования с количественной оценкой полученных результатов на каждом этапе.
Концептуальные основы качества образования сформулированы в правительственных программах, направленных на реформирование образовательной системы и призванных повысить качество и эффективность образования, это: «Концепция модернизации образования России до 2010 г», федеральная целевая программа «Электронная Россия 2002 - 2010 гг.», федеральная целевая программа развития образования на 2006 - 2010 гг.
Методологические подходы к мониторингу высшего образования с охватом всех «объектов мониторинга» и различных измерительных средств разработаны А.И. Субетто, В.В. Чекмаревым в конце 90-х годов в «Концепции мониторинга качества ВПО», где был проведен анализ существующих показателей качества, действующих оценочных систем и существующих статистических систем учета данных мониторинга. Исследование вопросов мониторинга качества учебной деятельности и анализ результатов диагностики знаний осуществляются в работах B.C. Аванесова, СЕ. ТТТитова, А.Ю. Александрова, Л.В. Колясниковой, О.И. Федорищевой и др.
Последнее десятилетие характеризуется развитием идеи глобальной информатизации, как необходимого признака прогресса, применение информационных технологий в педагогическом процессе для решения задач оптимизации и повышения эффективности образовательного процесса проводилось Ю.К. Бабанским, В.П. Беспалько, Г.В. Ившиной, B.C. Ильиным, Г.И. Кириловой, В.В. Краевским, Е.И. Машбиц.
Однако, несмотря на наличие научных работ по проблемам
мониторинга, диагностики качества обучения и использования
информационных средств в этой области, результативный и стандартизированный механизм измерения и оценки качества обучения, в том числе, образовательных программ, методов и результатов обучения недостаточно разработан в российской системе образования. Отсутствие объективных норм уровня образовательной деятельности приводит к тому, что существующая оценка качества объектов образовательной системы представляет собой недостаточный индикатор для принятия
соответствующих управленческих решений. Кроме того, слабо отражены возможности использования информационно-технических средств и математических методов в работе систем управления качеством образовательной деятельности. Корректная оценка качественных показателей и их анализ возможны лишь на основе квалиметрического подхода, который позволит от нечетких и зачастую субъективных оценок перейти к математически обоснованным, объективным выводам.
Таким образом, анализ научной литературы, и результатов теоретических исследований:позволил выявить противоречия:
между необходимостью обеспечения гарантированного вузом качества обучения и неэффективностью совокупности применяемых методов диагностики и оценки качества образовательного процесса.
между качественным характером оценивания и необходимостью измерения количественных показателей качества обучения для привлечения объективных математических методов обработки и анализа данных. './
Выявленные противоречия обусловили проблему исследования: каковы научная основа и система диагностики качества обучения на основе информационных средств и математических методов.
Цель исследования заключается в разработке внутривузовской системы диагностики качества обучения на основе информационных средств и математических методов.
Объект исследования: диагностика качества учебного процесса в вузе.
Предмет исследования: структурно-функциональная модель внутривузовской диагностики качества обучения на основе информационных и математических методов.
В основу исследования положена гипотеза: качество профессионального обучения в вузе может быть повышено значительно, если при организации внутривузовской диагностики качества обучения на основе автоматизированной экспертной системы будут системно реализованы функции:
сбора данных текущего и итогового контроля знаний и их хранения в базе данных;
управления базами данных для осуществления процедур исследования и анализа статистики результатов учебного процесса;
определения значимых показателей качества обучения, отражающих" уровень усвоенных знаний и параметры преподавания учебной дисциплины;
оценивания показателей качества обучения в соответствии с системой математических методов;
выработки рекомендаций для принятия управленческих решений по обеспечению качества образования.
В соответствии с целью исследования и гипотезой были выдвинуты следующие задачи:
Провести анализ состояния теории, практики и проблем диагностики качества обучения в вузе;
Разработать концепцию системы диагностики качества обучения в вузе на основе автоматизированной экспертной системы;
Теоретически разработать и практически реализовать индикативные показатели качества обучения и методы их оценки;
Экспериментально показать эффективность разработки методов внутривузовской диагностики качества обучения.
Теоретико-методологическую основу исследования составили работы отечественных и зарубежных авторов, касающиеся вопросов оценки качества обучения, мониторинга образования, квалиметрических и математических методов диагностики качества образовательной деятельности вуза.
Переход к мировым стандартам качества образования (ISO 9000) инициировал разработку положений методологической базы системы управления качества обучения в вузе (В.В. Бойцов, А.В. Гличев, А.А. Азгальдов, В.Я. Белобрагин, Г.В. Мухаметзянова, НИ. Селезнева и др.). Процесс обучения перечисленными авторами рассматривается как технология, включающая в
8 себя приемы его оптимизации и управляемости для повышения его эффективности (В.П. Беспалько, Н.Ф. Талызина).
Особенности применения методов математической статистики в
педагогических исследованиях и способов педагогических измерений и диагностики рассматривалась в работах B.C. Аванесова, А.И. Орлова, И. Д. Рудинского и др.
Инновационный подход к организации информационных ресурсов и технологий поддержки учебного процесса применен в работах В.П. Беспалько, Г.И. Ибрагимова, Г.К. Селевко, В.И. Солдаткина, М.А. Чошанова.
Современные исследования в области математического моделирования тестирования знаний и выявления реального уровня обученности студентов представлены в исследованиях В.Б. Моисеева, Л.Г. Пятирублевого, К.Р. Таранцевой, С.Д. Ионе, ИИ Лимановой, И.Н. Павловой, А.В. Одинокова и др.
Для решения поставленных задач использовались следующие методы исследования: системный анализ психолого-педагогической литературы, учебно-программной документации; моделирование и дидактическое тестирование; наблюдение; анализ результатов самостоятельных, проектно-конструктивных работ студентов, итоги сдачи экзаменов; проверка остаточных знаний; методы анализа педагогических явлений и статистической обработки экспериментальных педагогических данных; методика организации баз данных контроля знаний; методика выборочного контроля качества; численные методы математического моделирования и способы имитационного моделирования на ЭВМ.
Экспериментальной базой послужили статистические и оперативные данные текущего и итогового контроля знаний студентов вузов различного профиля: ТГГПУ (Татарский государственный гуманитарный педагогический университет), РГГУ (Российский государственный гуманитарный университет), КГТУ (Казанский государственный технический университет), КГТУ (Казанский государственный технологический университет), КГУ (Казанский государственный
9 университет), КГЭУ (Казанский государственный энергетический' университет).
Этапы исследования.
Первый этап (2003-2005гг.) - поисковый и диагностический. Изучались вопросы диагностики и оценивания качества обучения, проблемы модернизации качества высшего профессионального образования, сложившаяся практика проведения внутривузовского мониторинга, квалиметрические подходы к оценке качества обучения, определялись и уточнялись возможные показатели качества образовательной деятельности, осуществлялось накопление экспериментальных данных.
Второй этап (2005-2006гг.) — разработка теоретической базы, квалиметрического аппарата, адаптация математических методов для организации внутривузовской диагностики качества обучения на базе автоматизированной экспертной системы.
Третий этап (2006-2008гг.) - создание целостной системы диагностики качества обучения для решения некоторых задач оценки и повышения качества образовательной деятельности преподавателей и студентов. Произведена апробация, экспериментальное внедрение и обобщение результатов исследования.
Научная новизна исследования состоит в том, что:
— Определена роль и обозначено место внутривузовской
автоматизированной системы диагностики качества обучения в управлении
качеством образования в вузе, как средства обнаружения дефектов
образовательной деятельности в вузе, осуществляющее стандартизацию
качества обучения посредством мониторинга образовательного процесса и
анализа признаков, характеризующих наличие отклонений в обучении.
- Разработан способ реализации индикативных критериев качества
обучения основанного на данных статистического наблюдения, оценки
образовательных достижений, обработки результатов контроля знаний
посредством совокупности методов математической статистики и
10 математического моделирования, подтверждающих возможность количественного оценивания качества образовательной деятельности в вузе.
— Предложена система внутривузовской диагностики качества обучения на базе средства искусственного интеллекта -автоматизированной экспертной системы, отличающейся достоверностью оценок и высоким уровнем оперативности контроля, результаты работы которой с данными" образовательных достижений студентов вуза обеспечивают основу для принятия объективных управленческих решений по совершенствованию образовательной деятельности, реализации педагогических технологий обучения.
Теоретическая значимость исследования состоит в теоретическом обосновании технологии функционирования системы диагностики качества обучения в вузе на основе квалиметрического подхода и информационного обеспечения, включающей: сбор и хранение данных о процессе обучения; расчет показателей качества; методы анализа индикаторов качества для выявления недостатков процесса обучения; оценку педагогических условий учебного процесса адаптированными методами математической статистики; формирование диагностического заключения для организационно-управленческих структур вуза по повышению качества образовательной деятельности преподавателей и студентов в вузе.
Практическая значимость исследования заключается в том, что создана диагностика качества обучения на основе автоматизированной экспертной системы, осуществляющая информирование организационно-управленческих структур вуза о качестве обучения. Оценка качества ведется на основе расчета индикативных показателей качества (дескриптивных статистик), рассчитанных по результатам контроля знаний в студенческих группах.
Данная гибкая информационная система диагностики качества обучения также предназначена для оценки применения педагогических технологий в образовании, самооценки и самокоррекции преподавательской
деятельности, проверки эффективности внедрения новых методов и средств обучения, выявления уровня усвоения учебных дисциплин, аттестации преподавателей, для дальнейших исследовательских и практических работ в области управления сферой высшего образования. Созданная автоматизированная система диагностики качества отвечает принципу минимакса, имеет открытый характер, позволяет вводить дополнительные параметры измерений и математический инструментарий. Элементы представленной системы диагностики качества образовательной деятельности реализованы в ряде вузов и могут быть использованы в корпоративной информационной системе вуза. На защиту выносятся:
Концепция создания системы диагностики качества обучения в вузе, включающей в себя аналитические и квалиметрические методы оценки.
Система внутривузовской диагностики качества обучения на основе автоматизированной экспертной системы. ,
Индикативные показатели качества обучения и методы их оценки, позволяющие автоматизировать и объективизировать диагностику качества обучения в целях педагогического управления.
Достоверность и обоснованность результатов исследования
обеспечиваются соответствующим методологическим подходом к решению
данной проблемы, изучением научной литературы и нормативных актов,
репрезентативностью выборки экспериментальных данных и их статистической
обработкой, использованием методов педагогической квалиметрии,
математической статистики, математического моделирования для оценивания качества педагогических процессов, количественным и качественным анализом результатов эксперимента, личным опытом работы автора в должности преподавателя вуза.
Апробация и внедрение результатов исследования.
Основные положения и выводы были доложены в семнадцати публикациях и получили одобрение на международных, всероссийских и региональных
12 научных конференциях и семинарах: Международной научно-методической конференции «Инновационное образование в техническом университете», 2004 г.; Международной конференции «Математические методы в технике и технологиях», 2005 г.; Региональной научно-практической конференции «Инновации в обучении и образовании», 2005 г., Международной научно-методической конференции «Управление качеством профессионального образования: от проблемы к системе», 2005 г.; Всероссийской научно-практической конференции профессорско-преподавательского состава Р11 У, 2006г.; Международной научно-практической конференции «Информационные технологии в образовании и науке», 2007г.; Региональной научно-практической конференции «Предпринимательство в туризме и социально-культурной сфере», 2008 г.
Результаты диссертационного исследования внедрены в Казанском ' государственном техническом университете им. А.Н. Туполева и в Казанском государственном энергетическом университете.
Структура диссертации.
Работа состоит из введения, двух глав, содержащих 8 параграфов, заключения, содержащего выводы исследования, списка литературы, включающего 166 наименований и 8 приложений. Основное содержание работы изложено на 160 страницах машинописного текста, содержит 12 схем, 14 таблиц, 18 формул, 86 рисунков.
Международные и российские концепции управления качеством высшего профессионального образования
Международная стандартная классификация образования определяет образование как "организованный и устойчивый процесс коммуникации, порождающий обучение", то есть процесс, в ходе которого потребителю предоставляется передача «учебной и научной информации как суммы знаний и практических навыков общеобразовательного и специального характера» [48] посредством педагогической деятельности. Посредством вуза, как образовательной системы, происходит передача знаний, научного и культурного потенциала будущим специалистам, следовательно, вузом, в той или иной степени удовлетворяются потребности личности, общества, предприятий и организаций. Потребности эти на различных уровнях удовлетворяют «качество материально-технической, научной, информационно-методической обеспеченности и преподавательского потенциала» [83].
Вуз, как общественное учреждение предоставляет образовательные услуги (в том числе и на коммерческой основе) обучающимся посредством преподавательской деятельности, впоследствии подготовленный вузом специалист предоставит свои знания на рынок труда. Качество обучающих действий в определяющей степени зависит от уровня образовательных программ, квалификации, компетентности преподавателей, качества обеспечивающих ресурсов, качества руководства и управления, при этом процесс образовательной деятельности в настоящее время активно модифицируется, преподаватель и студент становятся «равноправными субъектами образовательного процесса» [82].
Качество абитуриентов Широко обсуждаемый в настоящее время вопрос о повышении качества образования, его эффективности и подготовке конкурентноспособных специалистов отражен в работах Александрова А.Ю., Байденко В. И., Ибрагимова Г.И., Поташкина М.М.,Селезневой Н.А., Субетто А.И., Шишкова Г.М., основная идея которых состоит в том, что «в качестве специалиста отражается качество компонентов образовательной системы или образовательного процесса», и как следствие этого положения, необходим постоянный контроль качества для каждой из составляющих качества высшего профессионального образования, что возможно лишь при создании современных систем управления в вузе.
Поскольку, на настоящем этапе развития общественных отношений образовательную структуру должен сменить образовательный процесс, только через «менеджмент качества процессов в образовательной системе можно обеспечить управление качеством результатов образовательного процесса» [115]. Как любой предоставляемой услуге, образованию присущи те же характеристики, то есть в основе процессов управления качеством высшего образования лежит замкнутая цепочка действий, известная как цикл Деминга или цикл PDCA[50].
В нем определяются наиболее общие и универсальные методы, которые рекомендовано использовать при построении системы качества, гарантирующей полное удовлетворение потребностей клиента. Стандарт предполагается применять именно к системе качества, а не к конечному продукту или услуге. Реализация системы качества должна определяться продукцией, процессами и индивидуальными особенностями каждой конкретной организации. Отличительной чертой стандарта является то, что построенная на его основе система качества не является застывшим механизмом. В самом стандарте заложены требования постоянного улучшения в соответствии с предполагаемыми потребностями клиента. В стандартах ISO 9000 используется определение качества из стандарта ISO 8402, определяющего термины, относящиеся к понятиям качества в части их применения ко всем областям, для разработки и использования стандартов по качеству, а также установления взаимопонимания в международных связях. Вводится понятие системы качества (QS - Quality System), под которой понимается документальная система с руководствами и описаниями процедур достижения качества. Другими словами, система качества по ISO 8402 — это «способ организации процедур, процессов и ресурсов, обеспечивающая наиболее эффективное осуществление общего руководства качеством» [29].
Мировой опыт показывает, что идет неуклонный рост применения стандартов ISO 9000 для создания и сертификации систем менеджмента качества образовательной деятельности. В ведущих странах мира, таких как США, Франция, Германия, Япония, качество подготовки абитуриента, его личность не являются объектами конечной оценки, так как вместе с уровнем абитуриента осуществляется еще и «оценивание качества образовательных программ и условий их реализации с точки зрения организационных, методических, правовых позиций» [50].
Метод управления качеством по ISO 9000 имеет рыночную направленность на обеспечение конкурентоспособности, как самой организации, так и ее товаров на рынке за счет организации систем качества и обеспечения соответствующих гарантий качества. Требования стандарта предусматривают постоянное улучшение и предупреждение несоответствий, они также ориентированы на демонстрацию возможностей организации-исполнителя обеспечивать качество продукции или деятельности, соответствующее требованиям потребителя.
В рамках стандарта ISO 9000 существует понятие жизненного цикла продукции, которое включает «совокупность процессов, выполняемых от момента выявления (прогнозирования) потребностей общества в определенной продукции до удовлетворения этих потребностей и утилизации изделия» [29]. Для осуществления (программы) данного алгоритма необходимо взаимодействие всех исполнителей, участвующих в поддержке жизненного цикла образовательного процесса или образовательного продукта и находящихся в рамках единого информационном поля.
В основе концепции единой информационной среды лежит использование открытых информационных систем, международных стандартов, а также безбумажный обмен документами и данными. Стандартизации подлежат не только системы качества в организациях-исполнителях, но и «форматы представления соответствующих данных, единые методы и инструментальные средства доступа к ним» [29].
С концепцией стратегического управления качеством во многих элементах совместима идеология TQM (Total Quality Management). Понятие "Тотальное управление качеством" определяется [59] как «прозрачный» подход к управлению, при котором вклад, полученный каждым сотрудником, исчерпывающим образом используется и внедряется в дело постоянного улучшения всего, что касается удовлетворения требований клиента.
Оперативное совершенствование образовательного процесса должно ориентироваться на поиски и устранение слабых мест, недостатков в процессе, а долгосрочное - опираться на широкое исследование новых идей, анализ качественных данных и интуицию руководителей. При этом результаты деятельности вуза должны соответствовать государственным образовательным стандартам. В системе TQM понятие качества включает в себя: соответствие стандарту, соответствие применению, соответствие стоимости, соответствие скрытым потребностям, то есть в динамике развития качеству необходимо быть «эволюционно-избыточным»[82], работать на опережение требований предъявляемых к образованию.
Методы оценки качества обучения в высшей школе
В рамках Европейской системы оценки качества применяется «четырехступенчатая» модель [156], основным методами оценивания качества которой являются оценка, ранжирование, аккредитация и аудит. Оценка как «термин обеспечения качества» [155] включает в себя: Оценку темы (качество образовательной темы); Оценку предмета (качество определенного предмета); Оценку программы (деятельность учебной программы); Оценку учебного заведения (качество работы вуза).
Первые два типа оценки — внутривузовские, частные, они требуют создания собственной системы мониторинга для оценивания и анализа результатов; а последние два типа, которые в настоящее время широко распространены в Европе и США, позволяют довольно быстро получить представление о состоянии университетов [155].
Ранжирование является элементом оценки, в ходе которого сравниваются результаты по предметам, программам, учебным заведениям или темам. Это, по мнению Европейской Ассоциации Университетов, ведет к постоянному обмену положительным опытом [103].
Аккредитация признает соответствие или несоответствие стандартам учебного заведения или его программ [155]. В европейских странах (Германия, Великобритания, Нидерланды) аккредитация учебных программ — одно из основных направлений по оценке качества, позволяющих сделать институты более гибкими в создании новых проектов.
Аудит - метод оценки сильных и слабых сторон механизмов, обеспечивающий качество образования в оцениваемом учебном заведении, он необходим для улучшения деятельности вуза, преподавания в нем и организации обучения. Каждый вуз самостоятелен в выборе процедур оценки, используя при оценке качества как внешний мониторинг (независимая экспертиза), так и внутренний мониторинг (самооценку).
Для решения задач мониторинга, понимаемого как "организованное систематическое наблюдение за ходом и характером качественных изменений» [81], требуется разработка показателей качества, которые бы позволили реально осуществить интенсивное «развитие процедур сбора, транспортировки, хранения, обработки, анализа и презентации статистики образования в России»[103].
Каждый из существующих показателей предполагается измерять в соответствии с разработанными специалистами в области социологии и психологии анкетами и алгоритмами экспресс-оценки, впоследствии из полученных данных посредством компьютерной обработки выводятся средние оценки, демонстрирующие основную тенденцию состояния качества оцениваемого объекта, происходит сравнение с эталонными значениями данных показателей, итоговые оценки служат базой для принятия управленческих решений.
Однако на наш взгляд, система получения первичных данных для выявления состояния качества оцениваемого объекта несколько усложнена и недостаточна объективна. Заполнение анкет требует дополнительных временных затрат, достаточно большая вероятность получить пристрастные данные может быть вызвана многими психологическими причинами, особенно при оценке преподавательской деятельности как студентами, так и самим преподавателем и его коллегами-педагогами. Три основные группы специалистов должны отвечать за качество высшего образования: внешние контролирующие вуз органы (инспекторы), руководство вуза, как распределители кадровых ресурсов, и преподаватели, как носители знаний, создающие и осуществляющие учебный процесс. В рамках данного диссертационного исследования предложен алгоритм оценки субъектов образовательной деятельности, то есть образовательных услуг, поставляемых вузом посредством деятельности каждого преподавателя студенту, без. дополнительных измерений показателей качества. Безусловно, в качество образовательных услуг и качество образованности студентов значительный вклад вносит компетентность, знания, опыт преподавателей и удовлетворительная организация ими процесса обучения. Педагог обрабатывает необходимую для обучения информацию и поставляет ее группе студентов, при этом являясь производителем образовательной услуги. При этом студент как потребитель услуги, имеет ряд некоторых требований к педагогу, например1 требование актуальности материала, применения современных технологий обучения, доступности и понятности изложения, объективной оценке знаний студента. Однако на настоящий момент мотивация студентов недостаточно высока, самообразованием, на которое делается большой упор в системе высшего образования, занимаются в полной мере лишь единицы студентов. При всем том в условиях группового обучения в вузе, преподаватель не в состоянии справиться с большим объемом информации, поэтому использование сочетания контроля и самоконтроля тоже не приносит положительных результатов. Работа по сбору, накоплению, хранению, обновлению необходимой для оценки студентов информации составляет трудоемкую часть преподавательской работы, поскольку для улучшения качества преподавания, необходимо измерять и анализировать показатели качества учебной деятельности, обеспечивающие принятие управленческих решений по совершенствованию качества обучения.
Актуальной становится потребность в «получении оперативной информации, которая явилась бы результатом переработки данных, и преобразования этих данных в удобные для анализа формы» [20]. Указанные данные должны собираться в компьютерной системе вуза без временных перегрузок студентов, преподавателей и администраторов. И как следствие, формируется задача по созданию гибких систем диагностики учебного процесса, отличающихся наивысшим (высоким) уровнем оперативности и технологичностью контроля, позволяющих оценить с высокою степенью достоверности деятельность субъектов образовательного процесса преподавателей и студентов.
Праксеологические аспекты разработки системы диагностики качества обучения в высшей школе на основе методов математической статистики
Психолого-педагогические процессы обусловлены действием как закономерных, так и случайных причин, связанных с воздействием трудно предсказуемых факторов: «Большинство общественных явлений обнаруживают изменчивость, которая не может быть целиком объяснена закономерными причинами» [81]. Данные об уровнях усвоения знаний, регистрируемые мониторингом, по всей видимости, также содержат случайную компоненту, связанную с разнообразием условий испытаний, непостоянством психологического состояния испытуемых, а также со случайным выбором самими испытуемыми тестирующих вопросов или задач. Случайные комбинации воздействий на результат разнообразных факторов маскирует наблюдаемые тенденции. Для выявления закономерностей приходится увеличивать объемы регистрируемых данных, поскольку ряд важных зависимостей можно четко выявить и количественно описать только в случае массовых наблюдений, в области действия закона больших чисел [81].
В качестве информативного критерия качества обучения используется степень обученности учащихся, основанная на статистике оценок, полученных учащимися при выполнении отдельных заданий или контрольных работ. Многими авторами за типовое распределение оценок принимается нормальный закон [108]. Для оценки изменения степени обученности во времени используется [110] известная в математической статистике методика, связанная с критерием «За». Согласно этой методике, если какой либо процесс идет нормально, то отдельные значения должны, как правило, укладываться в интервал «За» относительно среднего значения m (а - стандартное отклонение). Те измеренные значения х, которые не укладываются в указанный интервал m-3a x m + 3a, принимаются условно за серьезные отклонения от стандартного распределения (нормы). Если взять отношение числа значений х, попадающих в интервал «За» к общему количеству значений, то такую величину можно назвать коэффициентом стандартности распределения, а в случае рассмотрения учебного процесса — коэффициентом отлаженности учебного процесса [ПО]. Небольшое (в пределах 6%) относительное число таких отклонений характеризует в целом «хорошо отлаженный» учебный процесс, большое (более 30%) - «плохо отлаженный».
В свою очередь нормальный закон является предельным случаем биномиального распределения. Этот факт можно формально интерпретировать так, что «уровень знаний» является долей решенных задач, так как число решенных из общего числа задач при заданной вероятности решения теоретически должно описываться биномиальным распределением.
Если предположить, что вероятности ответов на каждое задание -независимые величины [110], тогда можно для описания процесса оценивания знаний использовать понятие однородной марковской цепи и искать единственное и не зависящее от начального состояния стационарное распределение вероятностей, соответствующее вероятностям набора студентом в данном испытании той или иной сумме баллов.
Присутствие биномиального распределения в итоговых оценках знаний студентов исследовано в публикациях не только Рудинского И.Г. [107-110], Моисеева В.Б., Пятирублевого Л.Г., Таранцевой К.Р., Усманова В.В. [77-80, 103], но и, например, Узденова Д.М. [129], Чилап А.Я., Хамзина А.А. [137] и др.
Между тем, все эти публикации относятся к автоматизированному тестовому контролю знаний. При проведении классического экзамена со случайным выбором билета также присутствует элемент неопределенности, имеются в виду случаи, когда знания студента не являются стопроцентными. Какими законами описывается данный тип неопределенности и как он проявляется в итоговом распределении оценок, остается невыясненным.
В настоящем разделе работы, проведены расчеты и исследуются параметры вероятностных распределений баллов, набранными студентами в экзаменационных испытаниях с целью выявления статистических закономерностей для исследования оснований и последующего нахождения критериев отлаженности учебного процесса, а также для поиска методов фильтрации вкладов случайных факторов в суммарные результаты оценивания знаний.
Анализ данных педагогического мониторинга методами математического моделирования
Для математической интерпретации рассматриваемых процессов оценки статистических данных внутривузовского мониторинга воспользуемся методами математического моделирования. Они являются содержательно обоснованными, а каждое формализуемое понятие и соотношение подвергается вербальному анализу, следовательно, наиболее существенные закономерности образовательного процесса могут быть представлены в лаконичной форме с помощью математических символов. В дальнейшем это облегчает применение статистических методов в эмпирической составляющей педагогического исследования.
Одно из главных достоинств модели состоит в том, что она строится на основе эмпирических и предположительных данных, которые не являются не законами, ни закономерностями. Это формальное представление сложной системы позволяет рассматривать модель, как инструмент для объединения элементов системы в единое целое и получения выводов для анализа всего многообразия факторов, влияющих на качество образовательной деятельности. Моделирование обладает формирующей и конструкторской функцией, а также обеспечивает предпосылки для оценивания эффективности различных моделей специалиста без проведения эксперимента в реальных условиях вузовской практики, что снижает риск принятия ошибочных решений применительно к педагогическим системам.
Глубина анализа закономерностей систем, состоящих из огромного количества элементов, в естественных науках достигает очень высокого уровня. Поэтому возникает уверенность в возможности столь же глубокого анализа квалиметрических процессов в образовании, связанных с взаимодействием множества субъектов.
Любое использование модельных представлений несколько изменяет рассматриваемый объект, упрощает его личностные свойства, однако нахождение зависимостей и закономерностей в теоретическом описании его свойств позволяет выйти на новый уровень обобщений и обнаружить ранее неизвестные особенности исследуемого процесса, что полностью компенсирует издержки, возникающие при ее разработке. Несмотря на то, что невозможно создать модель во всех деталях отражающую исследуемый процесс, его теоретическое описание является единственным способом анализа ключевых закономерностей развития, а также причин, приводящих к тем или иным последствиям. Если же ограничиться рассмотрением эмпирических данных, то невозможно сформулировать сколько-нибудь значимую гипотезу, позволяющую вскрыть истоки исследуемого процесса. На основании полных, в значительной мере отражающих исследуемый процесс экспериментальных данных, можно выдвинуть ряд гипотез, проверяемых в дальнейшем строгими математическими критериями.
Существующий опыт применения методов моделирования в педагогических исследованиях позволяет: более четко сформулировать проблему, пренебрегая факторами не существенными при описании данного конкретного объекта; установить связь данной проблемы с другими, имеющими сходное внутреннее строение; проверить гипотезы исследования, так как это усиливает доказательность рассуждений. Для того чтобы сделать предварительные выводы о статистических распределениях, присутствующих в регистрируемых данных мониторинга, используем метод моментов [26].
Нанеся на фазовую плоскость точки (а4; аз2), полученные в результате обработки экспериментальных данных, можно сделать заключение о типе вероятностного распределения, который в наибольшей мере соответствует этим данным.
Фазовыми координатами в данном случае являются коэффициент эксцесса а4 (ось ординат) и квадрат коэффициента асимметрии а32 (ось абсцисс). Нормальному распределению соответствует на рис. 2.34 точка ct4 = а3 — 0, равномерному — точка оц - -1,2; ссз - 0, биномиальному — пунктирная кривая, гамма - и логарифмически нормальному распределениям - сплошные линии, р - распределениям - области, t -распределению Стьюдента - отрезок оси ординат выше значения а.4 =0.
Каждая точка на рисунке соответствует одной записи базы данных (результатам сдачи экзамена определенной студенческой группой по одному предмету, т.е. набору из 20-40 оценок (баллов)). Кроме точек, на рисунке приведена и линия тренда, представляющая собой параболическую линию регрессии, которая аппроксимирует экспериментальные данные. Уравнение регрессии получено из условия минимума среднеквадратического отклонения точек от аппроксимирующей кривой. Это уравнение вида: а4 = 0,8533 а] + 0,1382 а3 - 0,7562 (2.9) и представлено на рисунке сплошной кривой. Для сравнения укажем, что биномиальному распределению (2.10.) соответствует простая парабола (пунктирная кривая на рис.2.35.): p(z, М, т) = — zm (1 - z)M m п ш 2 2 аА=а2--. (2.11) Здесь М — число (испытаний) вопросов теста; т М- количество правильных ответов (успешных испытаний); z — вероятность успеха в каждом испытании (относительная доля выученного студентом материала; р — вероятность в М испытаниях получить ровно т успехов. Формула (2.10) теоретически должна правильно описывать результаты компьютерного тестирования студента, знающего материал частично.
Близкие к пунктирной кривой (рис.2.35) являются также параболы, соответствующие гипергеометрическим распределениям p(Q,q,M,m) для объемов совокупностей Q 45 при числе испытаний M«Q (под Q можно понимать число общее число испытаний (вопросов в программе экзамена), М=3 - число вопросов, содержащихся в каждом экзаменационном билете).
