Содержание к диссертации
Введение
ГЛАВА 1. СОВРЕМЕННОЕ СОСТОЯНИЕ ОЦЕНКИ КАЧЕСТВА ПОДГОТОВКИ ОБУЧАЮЩИХСЯ В ПРОЦЕДУРЕ АТТЕСТАЦИИ ОБРАЗОВАТЕЛЬНЫХ УЧРЕЖДЕНИЙ 16
1.1. Анализ отечественного и зарубежного опыта оценки качества подготовки обучающихся образовательных учреждений 17
1.2. Макроанализ государственных стандартов для целей аттестации образовательных учреждений 38
1.3. Структурный подход к формированию содержания аттестационных педагогических измерительных материалов для контроля выполнения требований образовательного стандарта 49
ГЛАВА 2. ПРОЕКТИРОВАНИЕ МЕТОДОВ ОЦЕНКИ КАЧЕСТВА МАТЕМАТИЧЕСКОЙ ПОДГОТОВКИ ОБУЧАЩИХСЯ В ЦЕЛЯХ АТТЕСТАЦИИ ОБРАЗОВАТЕЛЬНЫХ УЧРЕЖДЕНИЙ 65
2.1. Модель аттестации общеобразовательных программ и основных образовательных программ высшего профессионального образования в части оценки качества математической подготовки обучающихся 66
2.2. Методы оценки качества математической подготовки выпускников на основе освоения стандарта среднего (полного) общего образования (базовый уровень) 70
2.3. Методы оценки качества математической подготовки студентов на основе освоения государственных образовательных стандартов высшего профессионального образования 79
ГЛАВА 3. АПРОБАЦИЯ МЕТОДОВ ОЦЕНКИ КАЧЕСТВА МАТЕМАТИЧЕСКОЙ ПОДГОТОВКИ ОБУЧАЩИХСЯ В ЦЕЛЯХ АТТЕСТАЦИИ ОБРАЗОВАТЕЛЬНЫХ УЧРЕЖДЕНИЙ 83
3.1. Апробация методов оценки качества математической подготовки выпускников общеобразовательных учреждений на основе результатов Единых государственных экзаменов по математике 83
3.2. Апробация методов оценки качества математической подготовки студентов на основе результатов Интернет-экзамена в сфере высшего профессионального образования 90
3.3. Структурирование информации в системе оценки качества подготовки обучающихся на различных уровнях управления образованием 105
ЗАКЛЮЧЕНИЕ 112
СПИСОК ЛИТЕРАТУРЫ 115
ПРИЛОЖЕНИЕ 133
- Анализ отечественного и зарубежного опыта оценки качества подготовки обучающихся образовательных учреждений
- Модель аттестации общеобразовательных программ и основных образовательных программ высшего профессионального образования в части оценки качества математической подготовки обучающихся
- Апробация методов оценки качества математической подготовки выпускников общеобразовательных учреждений на основе результатов Единых государственных экзаменов по математике
Введение к работе
Актуальность темы исследования. Важным шагом реформирования системы образования России стала замена государственного контроля деятельности образовательных учреждений механизмом государственной регламентации их деятельности и государственной гарантии качества образования. Государственное регулирование процесса реформирования системы образования России осуществляется на основе процедур лицензирования, аттестации и государственной аккредитации. По закону Российской Федерации «Об образовании» обязательная для всех образовательных учреждений процедура лицензирования проводится с целью обеспечения социальных гарантий соответствующих условий осуществления образовательного процесса и выдачи лицензии на право образовательной деятельности. Государственная аккредитация рассматривается как признание образовательного учреждения, предполагающее оценку соответствия содержания и качества образования определенным нормам, гарантию стабильности полученных результатов. В этой системе аттестация выступает как один из этапов оценки выполнения образовательной организацией определенных требований государства. Положительное заключение по аттестации является необходимым условием государственной аккредитации.
Наряду с лицензированием и государственной аккредитацией аттестация введена в отечественную нормативную базу системы образования в 1992 году Законом Российской Федерации "Об образовании". Центральное место среди показателей деятельности образовательного учреждения, которые обследуются в ходе аттестации, занимает качество подготовки обучающихся. В результате аттестации устанавливается степень соответствия содержания, уровня и качества подготовки выпускников требованиям государственных образовательных стандартов. В диссертационном исследовании содержание аттестации ограни-
чено одной из самых важных и трудоемких процедур - процедурой оценки качества подготовки обучающихся образовательных учреждений.
Новый этап развития системы оценки качества подготовки обучающихся связан с введением государственных образовательных стандартов (ГОС) в практику работы образовательных учреждений, что приводит к необходимости перестройки системы контроля результатов обучения. Требования к обязательным результатам обучения, зафиксированные в ГОС, становятся объективной основой для создания новых технологий оценивания, а также комплекса аттестационных педагогических измерительных материалов (АПИМ), требующих использования научных методов отбора содержания и теории педагогических измерений. Аттестационные педагогические измерения, являясь частью многих педагогических новаций, позволяют оценить степень соответствия содержания, уровня и качества подготовки обучающихся требованиям государственных образовательных стандартов. Таким образом, актуальность диссертационного исследования обусловлена необходимостью повышения эффективности использования педагогических измерений в процедуре оценки качества подготовки обучающихся при аттестации образовательных учреждений.
Основные принципы образовательной политики в нашей стране определены в Законе Российской Федерации «Об образовании» и раскрыты в Национальной доктрине образования в Российской Федерации до 2025 года, в Концепции модернизации российского образования на период до 2010 года. Эксперимент по введению Единого государственного экзамена (ЕГЭ) - важное звено в цепи проводимых преобразований, так как задает единый уровень требований к содержанию общего образования по всей территории России. По результатам ЕГЭ можно оценить степень соответствия содержания и уровня подготовки выпускников требованиям образовательных стандартов, а, следовательно, оценить и эффективность образовательного процесса в общеобразовательном учреждении. При этом для формирования критериев аттестации общеобразовательных учреждений могут быть использованы положения статьи 33 пункта 20 Закона
Российской Федерации «Об образовании»: «Условием аттестации образовательного учреждения является положительная итоговая аттестация не менее 50% выпускников в течение трех лет, предшествовавших аттестации».
При аттестации высших учебных заведений оценка качества подготовки студентов осуществляется по результатам педагогических измерений освоения дисциплин основной образовательной программы (ООП). При оценке уровня подготовки студентов все чаще используются тестовые технологии, требующие разработки специализированных аттестационных педагогических измерительных материалов для каждой ООП, поскольку только объективные, достоверные, теоретически обоснованные измерения результатов обучения могут дать необходимую информацию о ходе педагогического процесса, выявить влияние определенных факторов на процесс обучения и его результаты. При этом для целей аттестации ООП высшего профессионального образования (ВПО) эти результаты могут быть использованы при приведении их к виду, адекватному условию аттестации, установленному Законом РФ «Об образовании».
Ключевым моментом при аттестации образовательных учреждений по результатам педагогических измерений является качество АПИМ, разработанных по контролируемой дисциплине учебного плана. Если при этом выполняются условия валидности по содержанию и уровню трудности требованиям ГОС, то тем самым с помощью аттестационных измерительных материалов оценивается качество подготовки обучающихся на уровне требований ГОС. Механизм проведения такой оценки недостаточно разработан, так как преобладает практика субъективного контроля, и отсутствуют показатели освоения государственных образовательных стандартов. Таким образом, наблюдается противоречие между необходимостью проведения объективной оценки качества подготовки обучающихся в целях аттестации образовательных учреждений и недостаточной разработанностью научных методов проведения такой оценки.
На основании этого противоречия проблема нашего исследования формулируется следующим образом: какое методическое обеспечение необходимо
разработать для проведения объективной и достоверной оценки качества математической подготовки обучающихся в целях аттестации общеобразовательных программ и основных образовательных программ высшего профессионального образования?
Объект исследования - качество математической подготовки обучающихся образовательных учреждений среднего общего и высшего профессионального образования.
Предмет исследования - методы оценки качества математической подготовки обучающихся в целях аттестации образовательных учреждений.
Целью исследования является разработка методов оценки качества математической подготовки обучающихся в целях аттестации образовательных учреждений.
Анализ современного состояния исследуемой проблемы дает основание для выдвижения гипотезы исследования, состоящей в предположении о том, что оценка качества подготовки обучающихся в целях аттестации образовательных учреждений, будет способствовать прогрессивному развитию образовательных учреждений, если:
оценивать качество подготовки обучающихся в образовательных учреждениях на основе показателей освоения государственных образовательных стандартов;
оценивать качество подготовки выпускников образовательного учреждения за несколько лет.
Предмет исследования и выдвинутая гипотеза позволили сформулировать следующие задачи:
Анализ отечественного и зарубежного опыта оценки качества подготовки обучающихся образовательных учреждений
Существует достаточно много способов проверки результатов обучения: это устные опросы, контрольные работы, экзамены, написание рефератов, олимпиады, подготовка курсовых и дипломных работ и др. Оценка же в большинстве случаев является индивидуальной (преподавателем) или коллегиальной (комиссией). Однако как раз здесь возникают споры между разными научными школами. Некоторые из них считают, что представление о качестве подготовки как о результате обучения некорректно, так как с их точки зрения представление о качестве подготовки должно ассоциироваться с внутренним состоянием обучающегося на момент его аттестации, в то время как результаты обучения оцениваются по внешним признакам, во внешних наблюдениях и результатах учебного процесса. Другим подходом является поиск и создание современного научного, алгоритмизированного аппарата для получения представлений о внутренних параметрах знаний учащихся.
Анализируя обозначенную проблемную ситуацию, можно прийти к выводу о необходимости проведения анализа исследований по оценке качества обучения в силу их явной актуальности и важности для повышения эффективности образовательного процесса в учреждении. Качество результатов обучения - это ключевой показатель при оценке качества подготовки обучающихся, напрямую связанный с проблемой аттестации образовательных учреждений. Какими бы гранями не поворачивалось понятие «оценка качества подготовки», суть и значимость его неизменно высока. Подтверждением этому может служить краткий обзор отечественного и зарубежного опыта по использованию методов оценки качества подготовки обучающихся.
Метод оценки индекса структурированности знаний, который предложил Keeves J.Р. в 1974 году [145], позволяет выявить не только уровень подготовки обучающихся, но и структуру их знаний. Все задания в тесте ранжированы по нарастанию трудности, а по содержанию и порядку расположения полностью воспроизводят структуру обучения. Выводы о качестве подготовки учащихся получаются довольно просто: чем меньше пробелов в ответах обучаемого на задания теста, тем лучше структура его знаний и качество подготовки по предмету. Степень отклонения индивидуальной структуры знаний от планируемой педагогом определяется подсчетом специального индекса структурированности знаний. Идеальный результат имеет значение индекса, равное нулю, а при стремлении индекса к единице возникают сомнения в структурированности и качестве знаний обучаемого. Такого рода тесты эффективны при аттестации учебных заведений, когда речь идет о работе преподавателей. При этом, хотя уровень подготовки зависит от прилежания учащихся, структура знаний заметно отражает особенности организации учебного процесса.
Обращает на себя внимание аутентичная оценка уровня подготовки учащихся, впервые предложенная Лордом Ф.М. в 1988 году [149]. При таком контроле тесты составляются из критериальных заданий, вызывающих определенный интерес у испытуемых. Время работы над таким тестом не ограничивается, по результатам выполнения таких тестов делается вывод об уровне овладения учебным материалом по данной дисциплине на основе специально разработанных методов оценок.
В 1990 году была разработана «уравновешенная» оценка учебных достижений обучающихся, она позволяет оценить умения высокого уровня [141]. Основной идеей является использование математических методов оценки уровня подготовленности и интеллектуальных способностей испытуемых по специально разработанным тестам, включающим характеристики содержания (соответствия учебным программам или содержательную валидность), техники измерения (технологичность заданий для автоматизированной обработки результатов) и несколько уровней познавательной деятельности обучаемых (планируются в спецификации теста).
Модель аттестации общеобразовательных программ и основных образовательных программ высшего профессионального образования в части оценки качества математической подготовки обучающихся
Стандарт среднего (полного) общего образования позволяет разрабатывать контрольные измерительные материалы для аттестации общеобразовательных программ, в содержание которых включена проверка требований как к базовому уровню подготовки выпускников, так и к повышенному. В стандартах высшего профессионального образования обязательный минимум содержания по математике задается только на уровне «знать и уметь использовать», определяющимся той степенью освоения учебного материала, которая может быть достигнута при обучении (является целью обучения). Выполнение требований образовательных стандартов на различных ступенях образования приводит к созданию модели аттестации общеобразовательных программ и основных образовательных программ высшего профессионального образования в части оценки качества математической подготовки обучающихся, предполагающей использования методов независимого объективного контроля.
Мы согласны с точкой зрения А. Дахина на педагогическое моделирование «никакая модель, даже очень сложная не может дать полного представления об изучаемом объекте и точно предсказать его развитие или описать траекторию движения в каком-то собственном пространстве, но перспективу можно увидеть в построении комплекса моделей, описывающих разные факторы развития образовательной системы» [17].
Центральное место при создании аттестационной модели, на наш взгляд, должна занимать оценка освоения государственных образовательных стандартов среднего (полного) общего и высшего профессионального образования, позволяющая повысить надежность и обоснованность принимаемых решений при аттестации образовательных учреждений. Подход к процедуре аттестации через педагогические измерения — это основной принцип рассматриваемой в данном диссертационном исследовании аттестационной модели (табл.4). Оценка качества подготовки обучающихся образовательных учреждений проводится на основе результатов проведения массовых педагогических измерений:
эксперимент в сфере среднего общего образования: Единые государственные экзамены ,
эксперимент в сфере высшего профессионального образования: Интернет-экзамен в форме компьютерного тестирования.
Каждая компонента модели аттестации общеобразовательных программ и основных образовательных программ высшего профессионального образования в части оценки качества математической подготовки обучающихся также является в свою очередь моделью или методикой, наглядно представляющей разнообразные факторы, влияющие на принятие решения об аттестации общеобразовательных программ {модель структурно-уровневого соответствия математической подготовки выпускников требованиям стандарта среднего (полного) общего образования, модель оценки освоения стандарта среднего (полного) общего образования по математике на основе выполнения выпускниками заданий базового уровня, методика оценки качества математической подготовки выпускников общеобразовательных учреждений по результатам Единых государственных экзаменов) и основных образовательных программ высшего профессионального образования {модель структурно-уровневого соответствия математической подготовки студентов требованиям государственных образовательных стандартов высшего профессионального образования, методика оценки качества математической подготовки студентов по результатам эксперимента «Интернет-экзамен в сфере высшего профессионального образования»).
Апробация методов оценки качества математической подготовки выпускников общеобразовательных учреждений на основе результатов Единых государственных экзаменов по математике
Как известно, педагогические измерения представляют интерес не только с точки зрения оценки качества подготовки обучающихся образовательных учреждений, но и с точки зрения анализа качества используемых измерительных материалов. В данном исследовании проанализировано качество заданий АПИМ по математике, использовавшихся в ходе проведения эксперимента «Интернет-экзамен в сфере высшего профессионального образования». Для этого выделена одна из структур АПИМ (для совокупности ООП экономического профиля), каждое задание которой выполняли не менее 220-250 студентов. Известно, что к числу наиболее важных качественных характеристик заданий закрытого типа относятся коэффициент решаемости задания, его дифференцирующая способность, коэффициент точечно-биссериальной корреляции для правильного ответа и для дистракторов, частотный профиль выбора вариантов ответов в задании.
Коэффициент решаемости задания определяется долей студентов, верно выполнивших данное задание. Наиболее эффективным считается задание с коэффициентом решаемости не ниже 0,4 - 0,5. Такое задание максимально разделяет студентов на тех, кто владеет определенными знаниями и умениями, и тех, кто ими не владеет. Опыт показывает, что сложно подобрать все задания, имеющие такую трудность, особенно если при отборе заданий необходимо обеспечить содержательную валидность теста. В результате проведенного эксперимента были рассчитаны коэффициенты решаемости для каждого задания банка АПИМ, значения которых приведены на рисунке 20.
Значения коэффициентов решаемости зависят от основных характеристик группы студентов, т.е. могут меняться при изменении уровня подготовки студентов. Статистические данные результатов тестирования свидетельствуют о том, что коэффициент решаемости заданий - не главный критерий для отбора заданий в АПИМ. Более важным показателем для АПИМ является дифференцирующая способность задания.
Дифференцирующая способность задания рассчитывается как разность двух значений: коэффициента решаемости задания для сильной группы (Р1) студентов, составляющих 27% от их общего числа, и коэффициента решаемости задания (Р2) для слабой группы студентов (также 27%): Д = PI - Р2. Этот показатель может быть выражен в процентах или в десятичных дробях. Чем выше дифференцирующая способность задания, тем лучше оно разделяет студентов по уровню подготовки, а, значит, АПИМ - более валидный и надежный. Важно обратить внимание на критерии оценки дифференцирующей способности.
