Содержание к диссертации
Введение
1. Теоретические основы измерений в образовании 29
1.1. Исторические аспекты развития педагогических измерений в отечественном образовании 29
1.2. История развития измерений в образовании за рубежом 39
1.3. Основные компоненты и понятийный аппарат в теории педагогических измерений 50
1.4. Объективность педагогических измерений 55
1.5. Уровни педагогических измерений и шкалы 59
1.6. Постановка задачи шкалирования и шкалы 66
1.7. Размерность измерений, одномерные и многомерные измерения 78
1.8. Современное состояние теории педагогических измерений и проблемные области исследования 87
Выводы по первой главе 94
2. Процесс управления качеством образования и его научное обеспечение 9S
2.1. Качество образования в современном мире 98
2.2. Качество учебных достижений, эволюция понятия и его современная трактовка в измерениях 107
2.3. Уровни управления образованием и информационные потоки между ними 119
2.4. Показатели качества образования (общая характеристика) 124
2.5. Показатели качества учебных достижений на различных уровнях
управления качеством образования 127
2.6. Общие проблемы управления качеством образования,
их связь с измерениями 138
Выводы по второй главе 152
3. Методологические основы педагогических измерений в контексте проблем управления качеством образования 155
3.1. Проблема теоретико-методологического обоснования измерений в управлении качеегвом образования 155
3.2. Основные цели, функции и задачи измерений в образовании 161
3.3. Принципы научной организации измерений в образовании 173
3.4. Традиционная (классическая) теория тестов 186
3.5. Современная методология педагогических измерений 192
3.6. Бипарадигмальная методология и модели измерений в управлении качеством образования 197
3.7. Классификация бипарадигмальных моделей измерения применительно к современным проблемам управления качеством образования, схемы сочетания уровней измерения 207
Выводы по третьей главе 220
4. Теоретико-метолологические основы использования измерений в управлении качеством образования 223
4.1. Общие направления теоретико-методологических исследований по использованию измерений в управлении качеством образования 223
4.2. Эвалюация в образовании 226
4.3. Научное обоснование точности педагогических измерений (надежность и ее оценивание) 235
4.4. Валидность педагогических измерений 246
4.5. Теория генерализации, ее общие положения и дизайн в управлении качеством образования 254
Выводы по четвертой главе 269
5. Современные измерители, метолические аспекты обработки. анализа и интерпретации данных измерения в управлении качеством обучения 271
5.1. Общая типология видов современного инструментария педагогических измерений, контрольные измерительные материалы единого государственного экзамена 271
5.2. Методика формирования выборочных совокупностей учащихся и оценивания генерализуемости данных измерения (на примере результатов единого государственного экзамена) 291
5.3. Методики шкалирования к выравнивания данных по вариантам и по годам (па примере результатов единого государственного экзамена) 297
5.4. Методические подходы к анализу и интерпретации данных измерения управлении качеством образования (на примере результатов единого государственного экзамена) -, 320
Выводы по пятой плане 331
Заключение 333
Литература 345
Приложение 1 379
Приложение 2 382
Приложение 3 391
Приложение 4 392
Приложение 5 395
- Исторические аспекты развития педагогических измерений в отечественном образовании
- Качество учебных достижений, эволюция понятия и его современная трактовка в измерениях
- Основные цели, функции и задачи измерений в образовании
- Общие направления теоретико-методологических исследований по использованию измерений в управлении качеством образования
Введение к работе
Актуальность работы- Современная ситуация реформирования в отечественном образовании характеризуется многими радикальными переменами, нацеленными на приведение системы образования в соответствие с потребностями развивающейся структуры национальной экономики и общества. К числу этих перемен, в первую очередь, можно отнести обновление содержания образования, обеспечение равенства доступа к качественному образованию, становление инновационных технологий обучения с преимущественной ориентацией на личностно-ориентированные аспекты, введение независимой аттестации выпускников учебных заведений па основе единого государственного экзамена, переход к новым информационным технологиям и другие инновации.
Мировой опыт показывает, что в условиях реформирования образования необходимо повышение эффективности управленческих воздействий на качество образовательного процесса и достигаемые в нем результаты. Понимание важности роли управления находит свое отражение в попытках переосмысления трактовки качества образования, в создании развернутого научного обоснования систем управления качеством и интенсивном развитии их методологического, методического и информационного обеспечения.
В настоящее время исследования по научным проблемам управления
качеством образования в нашей стране идут, по меньшей мере, в трех
важных направлениях. Одно из них нацелено на методологию,
закладывающую теоретические основы инновационных методов управления
качеством образования и научной организации процесса управления (Адлер
Ю.П., Андреев В.И., Бермус А.Г., Гузаиров МБ,, Ефремова Н.Ф., Качалов
В.А., Ковалева Г\С, Майоров A.IL, Макаров А,А., Монахов В.М., Панасюк
В.П., Поташник М.М., Селезнева П.А., Субетто А.И., и др.). Сюда же
примыкают концептуально-методологические исследования,
рассматривающие различные аспекты опенки качества образования,
выделяющие совокупности показателей и расставляющие приоритеты в определении его критериев.
Другое направление исследований связано с попытками стандартизации целевых ориентиров и составляющих процесса управления качеством образования. К нему относятся работы по созданию государственных образовательных стандартов и систем менеджмента качества образования, основанных на стандартах ИСО 9000-2000 (Аристов СКВ., Байдепко В.И., Исаев В А, Качалов ВА, Колесников СМ., Коротков Э.М., Круглов С.К., Нефедов В.А., Селезнева НА, Соколов В.М., Соловьев ВЛ., Татур Ю.Г., Чекмарев A.R, Фирсов В.М. и др.)-
Третье направление - теоретико-методологические исследования в области опенки состояния, изменений и тенденций в образовании -базируется на теории педагогических измерений, получивших интенсивное развитие после начала в нашей стране эксперимента по введению единого государственного экзамена (ЕГЭ) (Аванесов B.C., Бахмутский А. Е.7 Белооородов В.Н., Болотов В.А., Гуэапров МБ., Ефремова Н.Ф., Ковалева Г.С., Коротков Э.М.. Кузнецова О.З., Кулемин Н.А., Легостаев И.И,, Майоров А.Н., Михайлычсв Е.А., Мокосссв В.М., Перевертев В,Ю., Сафонцев С.А., Севрук А.И., Татур А.О,, ЧелышковаМ.Б,, Шмелев А.Г. идр,),
В целом, управление качеством образования - сложный многоаспектный процесс, научное обоснование которого предполагает взаимосвязанное развитие всех перечисленных направлений. Однако разнообразные подходы к концептуально-методологическому обоснованию качества образования, многочисленные попытки его стандартизации, различные модели управления так и останутся в сфере теории, если не признать в системах управления качеством образования приоритетную роль объективного оценивания, основанного на теории педагогических измерений и обеспечивающего научную основу для анализа результатов обучения, функционирования, развития, прогнозирования и совершенствования систем управления качеством образования. Действительно, ограниченность знаний об объекте
управления и о каждом ю его субъектов? вызванная несовершенством информацион ного обеспечения управленческих процессов вне культуры педагогических измерений, не позволяет педагогам в полной мере соотнести результаты обучения с целевыми критериями, объективно оценить эффективность инновационных технологий, обоснованно определить степень и особенности управленческих воздействий, необходимых для повышения качества образования.
Анализ опыта развития образовательных систем свидетельствует о том, что интенсификация контрольно-оценочной деятельности педагогов путем использования аппарата и средств педагогических измерений позволяет не формально, а реально управлять образовательным процессом и принимать правильные управленческие решения, способствующие повышению качества образования. Таким образом, в практическом плане актуальность поставленной проблемы диссертационного исследования обусловлена необходимостью развития систем качества образования, доведения их характеристик до уровня, адекватного современным требованиям модернизации отечественного образования. Особую важность исследованию придают задачи, поставленные в Концепции модернизации отечественного образования на период до 2010 года и в Плане действий Правительства Российской Федерации в области социальной политики и модернизации экономики. В этих документах предусматривается введение независимой аттестации выпускников общеобразовательных учреждений и создание эффективной системы отбора абитуриентов вузов на основе результатов единого государственного экзамена, анализ и интерпретация которых предоставляют новые возможности для совершенствования системы управления качеством образования.
В теоретическом плане актуальность проблемы исследования определяется отсутствием должного уровня разработок по теоретико-методологическим основам педагогических измерений, рассматриваемым в контексте актуальных проблем управления качеством образования. Несмогря
на широкий круг перечисленных имен ученых и новаторов-практиков, в
научных работах по измерениям применительно к проблемам управления
качеством образования можно выделить ряд нерешенных задач.
Нсі/шсі аточно представлены вопросы концептуально-методологического
обоснования измерений в управлении качеством обучения и
методологические подходы к измерению качества учебных достижений.
Отсутствуют разработки по методологии генерализации данных
педагогических измерений, необходимые для распространения результатов выборочных исследований на генеральные совокупности обучаемых и обоснованного выбора управленческих воздействий. Нет должного обоснования системы измеряемых показателей качества обучения, адекватных объективным требованиям общества, рынка труда и личностным ожиданиям обучаемого. Слабо проанализирована связь между традиционными и инновационными контрольно-оценочными процессами, рассматриваемыми как необходимые составляющие управления качеством образования. Отсутствует классификации видов современных измерителей, а отдельные выстроенные классификационные схемы давно устарели, либо не в полной мере отвечают требованиям полноты и непротиворечивости. К качеству отдельных компонентов педагогических измерений не разработаны требования, выполнение которых необходимо для эффективного управления качеством образования.
На сегодняшний день состояние в сфере контроля и оценки качества образования в России крайне ироіиворечиво, что не случайно, поскольку процесс модернизации любой системы всегда сопровождается элементами ее кризисного состояния, наличием противоречий между ее традиционным -современным и перспективным - прогнозируемым состоянием. К основным факторам такого кризисного состояния можно отнести противоречия между:
- необходимостью моделирования процессов самоорганизации системы управления качеством обучения и недостатками традиционной контрольно-оценочной системы в образовании, ее субъективностью и низкой
прогностичностью, порожденными отсутствием опоры контроля на теорию и практику педагогических измерений;
- потребностью в направленности систем управления качеством
обучения на решение актуальных глобальных задач, стоящих перед
отечественным образованием, и отсутствием теоретико-методологических
основ анализа и интерпретации результатов педагогических измерений,
необходимых для решения этих задач в процессе управления качеством
обучения;
необходимостью смещения целей учебного процесса с традиционного формирования знаний, умений и навыков па развитие мышления, интеллекта, информационной культуры и отсутствием методик разработки валидного контрольно-оценочного инструментария, пригодного для управления качеством обучения в условиях инноваций;
потребностями внедрения технологий личпостно-ориентированного обучения в учебный процесс и низким обучающим потенциалом традиционных средств контроля, его авторитарностью, недостаточной информативностью и слабой индивидуализацией, препятствующей дифференциации управленческих воздействий.
Поиск путей преодоления отмеченных противоречий, недостатков и недоработок послужил основой для выбора тематики данного исследования и позволил сформулировать ведущую исследовательскую проблему. Ее суть состоит в поиске ответа па вопрос: каким образом следует увеличить теоретико-методологический потенциал теории педагогических измерений с тем, чтобы заіожить эффективную контрольно-оценочную основу в современные системы менеджмента качества образования и увеличить тем самым эффективность управленческих воздействий на повышение качества обучения?
Анализ путей решения этой проблемы привел к необходимости ее некоторого сужения, в результате которого была выбрана тема исследования: «Педагогические измерения в управлении качеством
обучения». Прикладные аспекты темы были конкретизированы
применительно к практическим потребностям эксперимента по введению единого государственного экзамена и систем качества университетского образования. Основными особенностями исследования, предопределившими возможность получения новых результатов, являются такие свойства, как интегративность и междисциплинарность, В исследовании переплетаются педагогика, психология, теория педагогических измерений, теория управления образовательными системами и теория вероятности, достижения которых объединяются с методами математического моделирования и прилагаются к практике в контексте обших проблем образования.
Цель исследования - разработать фундаментальные теоретические и прикладные положения научной организации педагогических измерений применительно к проблемам развития современных систем управления качеством образования и внедрения инновационных технологий обучения. Объектом исследования являются контрольно-оценочные процессы, рассматриваемые в контексте проблем управления качеством образования.
Предмет исследования -теоретико-методологическое и технологическое обоснование педагогических измерений, обеспечивающее рост результативности контрольно-оценочных процессов в управлении качеством обучения.
Гипотеза исследования. В основе исследования лежит предположение о том, что педагогические измерения приобретают инновационные функции, увеличивающие эффективность управления качеством обучения, если теоретико-методологические и технологические основы измерений будут:
обеспечивать высокую прогностичность результатов педагогических измерений в соответствии с приоритетом стратегических задач систем качества образования;
учитывать возможность совмещения педагогических измерений с традиционными формами и методами контроля в пропорциях, необходимых для успешной реализации функций по управлению качеством образования;
отражать общую направленность измерений не только на традиционные методы обучения, но и на современные педагогические концепции развивающего и личпостно- ориентированного обучения;
опираться на операциопализируемую совокупность показателей качества обучения, нацеленную на формирование наиболее существенных характеристик профессиональной подготовки в вузе;
- включать преимущественную ориентацию средств измерения на
проверку продуктивного уровня усвоения, интеллектуальных умений более
высокого порядка за счет использования инновационных видов измерителей;
- включать научный аппарат для обеспечения высокой объективности,
надежности и валидности результатов измерений в образовании.
Поставленная цель и сформулированные гипотезы реализуются в ходе решения следующих конкретных задач исследования:
- проанализировать и обобщить результаты научных исследований по
проблемам педагогических измерений, выявить позитивные тенденции с
позиций перспективных направлений для совершенствования систем
управления качеством обучения;
- провести периодизацию исторического пути развития теории и
методологии педагогических измерений;
разработать концептуально-методологические основы научной организации педагогических измерений в контексте современных подходов к сочетанию различных уровней измерения и проблем создания систем управления качеством образования;
- разработать концептуальные основы систем управления качеством
обучения, предполагающие интеграцию педагогических измерений и
традиционных методов контроля в условиях ориентации на приоритет
инновационных технологий обучения; использования
операционализируемых показателей качества обучения, инновационных
видов измерителей, методов самоконтроля, самокоррекции и самооценки
результатов учебной деятельности;
- разработать классификационную схему традиционных и инновационных
видов измерителей, дополнить и уточнить основные определения
понятийно-категориального аппарата теории педагогических измерений;
сформировать совокупность научных требований к качеству основных компонентов педагогических измерений, рассматриваемых как составляющие системы управления качеством обучения;
сформировать совокупность измеряемых показателей качества подготовленности обучающихся, необходимую для выработки управляющих воздействий на стадии проектирования и функционирования образовательных систем;
- разработать основные теоретико-методологические и методические
подходы к использованию результатов педагогических измерений в
управлении качеством обучения.
Методологической основой исследовании послужили:
- синергетический подход (И. Пригожий. Г. Хакен), предполагающий
интеграцию и использование многих научных подходов и направлений;
системный подход, позволяющий осуществлять анализ качества обучения, рассматривая его как совокупность свойств образовательной системы, протекающего в ней образовательного процесса и результатов обучения;
меюдология социально-педагогического проектирования, служащая научной базой для проведения научно-практических исследований в области управления качеством образования.
Теоретическая база исследования: - теория педагогических измерений (Аианесов В. С, Легостаев И.И., Ефремова Н.Ф., Масленников А,С, Михайлычев ЕЛ., Наводнов В.Г., Нейман Ю.М., Мельникова М.Б., Berk R.A. Binet A., Birnbaum A., Campbell R.N., Hambleton R., Kcevcs J. P., Lord F.M„ Rasch G.. Swaminathan H., Thorndike EX., Thurstone I,X., Weiss DX);
педагогические концепции личностио-ориентированного обучения (Акимова М. К., Бондаревская Е.В., Волков И. П., Давыдов В, В., Занков Л.В., Ильина Е.Н., Якиманская И. С-3 Ямбург Е. А,);
общая теория управления педагогическими системами (Беспалько В. П., Борк Дж-, Букович У,, Вебер А.В,, Данилов АД, Джексон П., Панасюк В. П., Уильяме Р.);
фундаментальные и прикладные теоретические исследования в области качества образования (Вроейнстийн А.В., М.Б. Гузаиров, Максимов Н.И., Селезнева Н.А., Татур Ю.Ґ., Чекмарев АЛ.).
Методы исследования- В работе использовались общенаучные методы теоретического и эмпирического исследования и специальные методы, нацеленные на педагогические измерения и статистическое обоснование результатов исследования.
В число методов первой группы вошли классификация, сравнение, объяснение, индукция и дедукция, научное доказательство, абстрагирование и многие другие. Ко второй группе общенаучных методов эмпирического исследования можно отнести наблюдение, экспертизу, моделирование, измерение. К группе специальных методов следует отнести математическое моделирование в рамках теории IRT.
Исследование осуществлялось на протяжении нескольких этапов;
1 этан (2000 - 2002 гг.) - подготовительный и аналитико-поисковый
включал: анализ практических проблем, сложившихся в области
педагогических измерений при решении задач управления качеством
образования (эксперимент по введению ЕГЭ, вузовские системы
менеджмента качества образования); анализ литературных источников
(свыше 400 источников); постановку и обоснование проблемы
диссертационного исследования; определение круга задач
исследовательской работы; моделирование объектов исследования,
2 этап (2002 -2005 гг.) - аналитико-синтетический, нацеленный на обобщение практического опыта, разработку концептуальной и
методологической части результатов исследования, проведение развернутого статистического анализа данных ЕГЭ по тематике исследования и смежной проблематике в рамках НИР и НИОКР Федеральной программы развития образования в России с привлечением соисполнителей из Ивановского государственного университета и Донского государственного технического университета (свыше 10 проектов), разработку и проведение анкетирования в соответствии с требованиями стандартов качества образования в Государственном университете управления, обобщение статистических данных и их интерпретацию для решения задач исследования, разработку экспериментальной авторской учебной программы «Педагогические измерения в управлении качеством образования», ее внедрение в систему повышения квалификации профессорско-преподавательского состава вузов на базе кафедры педагогических измерений Исследовательского центра проблем качества подготовки специалистов и кафедры тестологии в Российском университете дружбы народов, подготовку статей и монографии, апробацию результатов исследований на конференциях, симпозиумах и совещаниях (свыше 15).
3 этап (2005 - 2006 гг.) - заключительный: обобщение данных анализа, разработка выводов, подведение итогов исследования, оформление диссертационного исследования, разработка методик и рекомендаций по использованию результатов измерения в управлении качеством образования.
Базой исследования явились: кафедра педагогических измерений Исследовательского центра проблем качества подготовки специалистов Московского института стали и сплавов (технологического университета), Центр качества подготовки специалистов Государственного университета управления, кафедра тестологии Российского университета дружбы народов, кафедра педагогических измерений Донского государственного технического университета, Центр качества образования Ивановского государственного университета, рабочая комиссия по организации ЕГЭ, созданная в 2001 г.
при Минобразования России для научного и методического сопровождения эксперимента по введению ЕГЭ.
Личный вклад автора составляет, прежде всего, его работа в статусе руководителя (проректор по качеству Государственного университета управления) и участие в создании университетской системы менеджмента качества образования, руководство научными проектами по проблемам оценки качества образования.
Автор диссертации ведет занятия по теории и методике конструирования
педагогических тестов, общим проблемам педагогических измерений в
различных структурах повышения квалификации управленческих,
профессорско-преподавательских, педагогических и научно-
исследовательских кадров системы образования во многих городах России
(Москва, Иваново, Ростов-на-Дону, Краснодар и т.д.). В развитие приказа
Минобразования России №1122 от 17.04. 2000 г. для подготовки лиц с целью
получения дополнительной квалификации «Тестолог» (специалист по
педагогическим измерениям)» автором разработана и издана
экспериментальная учебная программа «Педагогические измерения в
управлении качеством образования», предназначенная для повышения
квалификации управленческих, профессорско-преподавательских,
педагогических и научно-исследовательских кадров системы образования,
В 200: году в России под руководством автора на базе Исследовательского ценіра проблем качества подготовки специалистов Московского института стали и сплавов (технологического университета) создан Центр сертификации педагогических тестовых материалов, предназначенный для производства тестов и обеспечения их высокого профессионального уровня, без которого немыслимо широкое внедрение педагогический измерений в управление качеством образования и практику образовательного процесса.
С момента начала эксперимента по введению ЕГЭ автор диссертационного исследования являлся научным руководителем 17 научно-
исследовательских и экспериментальных проектов, среди которых, в первую очередь, следует назвать:
L «Разработка государственных требований к качеству
педагогических тестовых материалов», 2001.
«Разработка контрольных измерительных материалов по общеобразовательным предметам для проведения единого государственного экзамена в 2002 - 2003 годах и мониторинг эксперимента», 2002.
«Разработка требований к контрольным измерительным материалам на основе современных подходов к оценке качества образования и результатов первого этапа эксперимента», 2002.
«Разработка методики оценивания открытых заданий по предметам гуманитарного и естественно-математического циклов в рамках единого государственного экзамена», 2002.
«Разработка требований к контрольным измерительным материалам по каждому общеобразовательному предмету на основе современных подходов к оценке качества образования и результатов проведения единого государственного экзамена», 2003,
«Анализ и психолого-педагогическая интерпретация латентных характеристик подготовленности выпускников, оцениваемых в ЕГЭ по отдельным предметам», 2004.
7. «Выявление причин и факторов, приводящих к отклонению
результатов выборочных совокупностей выпускников, значимо
отличающихся от средних результатов по России», 2004.
Я. «Разработка методики использования результатов ЕГЭ для управления качеством образования в учреждениях образования, на федеральном, региональном и муниципальном уровнях управления», 2004.
9. «Мониторинг эксперимента по введению единого государственного
экзамена», 2005.
10. «Разработка научно-методических подходов к шкалированию
результатов единого государственного экзамена по иностранным языкам», 2005.
По результатам исследований подготовлены и изданы учебные 4 учебных пособия, монография, научные труды, раскрывающие основные фундаментальные и прикладные аспекты теории педагогических измерений в управлении качеством образования, учебник «Контроль и оценка в современной школе», предназначенный для студентов педагогических направлений и специальной полготовки при освоении ими общей профессиональной дисциплины по современным средствам контроля и оценки в образовании.
Достоверность и обоснованность новых научных результатов
исследования обеспечивалась за счет использования современных,
получивших признание научной общественности источников информации в
области теории педагогических измерений, теории управления и
методологии IRT,
Достижению должного общенаучного уровня диссертационного исследования и обоснованности ^го результатов способствовало использование системного подхода. соблюдение логики общенаучного подхода с опорой на методологию педагогической науки.
Повышению обоснованности технологических подходов, предлагаемых в диссертационном исследовании для решения ряда поставленных в нем проблем, способствовало проведение эмпирических проверок инновационных технологических разработок, их внедрение в практику эксперимента по введению единого государственного экзамена и в учебный процесс Государственного университета управления.
Научная новизна работы заключается в том, что:
- проведена периодизация исторического пути развития теории и
методологии педагогических измерений. В отличие от существующих ранее
работ по исследованию истории развития тестов в основу предлагаемого
подхода положен анализ эволюционного пути становления и развития
измерений в образовании. Благодаря этому удалось вычленить сущностные предпосылки развития теории и методологии педагогических измерений, связав их с различными социальными, экономическими и политическими изменениями в обществе в нашей стране и за рубежом;
- разработаны фундаментальные методологические положения теории
научной организации измерений применительно к проблемам управления
качеством образования. В частности, предложена совокупность принципов,
регламентирующих научную организацию педагогических измерений,
исследованы основные положения теории генерализации в контексте
проблемной области исследования, определены функции измерений в
управлении качеством обучения, введено представление о методологии
использования измерений в управлении качеством образования и определены
составляющие ее теории;
- разработана концептуальная модель количественных и качественных
измерений, основанная на бипарадигмальной методологии применительно к
различным уровням управления качеством образования;
создана концепция системы управления качеством обучения, строящаяся на бипарадигмальной методологии и ориентированная на инновационные технологии обучения, операционализируемые показатели качества обучения, современные виды измерителей, методы самоконтроля, самокоррекции и самооценки результатов учебной деятельности;
создана логически исчерпывающая типология бипарадигмальных моделей педагогического измерения и предложены схемы сочетания различных уровней измерения для разработки дизайна измерения;
создана таксономическая схема видов современных измерителей, ориентированных на преимущественную проверку продуктивного уровня усвоения, интеллектуальных умений и приоритеты когнитивного обучения;
разработаны дидактические и технологические требования к качеству компонентов педагогических измерений, рассматриваемых как составляющие систем управления качеством обучения;
- предложена совокупность измеряемых показателей качества
подготовленности учащихся, необходимая для выработки управляющих
воздействий на стадии проектирования и функционирования
образовательных систем;
- разработаны методики сопоставимости и интерпретации результатов
педагогических измерений (наблюдаемых и латентных) в управлении
качеством обучения.
Теоретическая значимость работы обеспечивается решением ряда инновационных теоретических задач общенаучного и специального характера. В частности, в результате исследования;
- проведена периодизация исторического пути развития теории и
методологии педагогических измерений;
систематизированы представления о категории «качество образования», обоснованы наиболее перспективные подходы к его трактовке с позиций измерений в управлении,
проведена систематизация и дополнение понятийного аппарата теории педагогических измерений и ее методологических основ, обеспечивающих как научную организацию самого процесса измерений, так и применение его в управлении качеством образования;
- предложены современные подходы к трактовке объективности
педагогических измерений и размерности пространства измерений,
объединяющие в единую систему теории надежности, валидности и
размерности;
разработаны новые концептуальные подходы к построению систем управления качеством обучения, отражающие особенности инновационных технологий обучения, сочетания количественных и качественных уровней измерения, современных измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности;
обоснованы преимущества динамического подхода к оцениванию качества образования;
выделены и структурированы совокупности показателей качества обучения для различных уровней управления, обоснована необходимость учета дополнительных факторов для анализа качества образования, предложены основополагающие показатели для различных уровней управления качеством обучения;
разработаны типологии моделей педагогического измерения» видов современных измерителей и схем сочетания различных уровней измерения;
разработаны и обоснованы научные требования к качеству компонентов педагогических измерений, обеспечивающие высокое качество результатов и возможность принятия на их основе обоснованных управленческих решений;
- предложены теоретические подходы к обеспечению сопоставимости результатов педагогических измерений при их использовании для сравнительных исследований в управлении качеством обучения;
введены в оборот педагогической науки отдельные ключевые положения теории измерений и управления образовательными системами, как существующие ранее, так и предлагаемые автором исследования (цикл управления, бипарадигмальная модель измерения, бенчмаркинг и т.д.).
Практическая значимость исследования достигается за счет
значительных методических и технологических наработок, нацеленных на
обеспечение корректности использования результатов педагогических
измерений в управлении качеством обучения, преимущественной
ориентации области результатов на операционализируемые показатели качества обучения, приоритетной разработки прикладных аспектов теории педагогических измерений применительно к проблемам управления качеством обучения. В частности, в исследовании содержатся методики оценивания размерности пространства измерений, методики формирования репрезентативных выборок, подсчета коэффициента генерализации, дизайны генерализации, методики шкалирования к интерпретации данных измерения,
ориентированные на эмпирические данные ЕГЭ и используемые по мере создания в практике развития эксперимента.
Большинство результатов работы внедрено в практику эксперимента по введению ЕГЭ и в практику менеджмента качества образования в Государственном университете управления» Материалы диссертации, включающие ряд методик, имеют практическую ценность для разработки систем менеджмента качества образования, деятельности управленческих структур федерального и регионального уровнен в образовании. Разработанные показатели качества учебных достижений могут быть использованы при аттестации учебных заведений, для проведения сравнительных исследований качества обучения.
Материалы исследования используются в системе повышения квалификации и дополнительного профессионального образования профессорско-преподавательского состава учебных заведений России.
На зашиту выносятся:
Г Результаты анализа истории развития теории и методологии педагогических измерений. По данным анализа необходимо выделить четыре периода. Первый период занимает временной интервал с конца 19-го до начала второго десятилетия 20-го века. В этот период педагогические измерения не получили самостоятельного статуса и развивались в рамках общей теории измерений, используемой в соответствии с представлениями того времени исключительно в естественных науках, а не в психологии и образовании. Ко второму периоду в истории развития измерений можно отнести временной промежуток с 1920 г. По 1945 г., начало которого можно соотнести с развитием теоретических и методологических концепций измерительных процедур во внефизических областях. Третий период продолжался с 1946 по 1980 г. и проходил под знаком доминирующей классической теории тестов. Характерной чертой третьего периода является нарастающее расширение сферы приложения теории измерений, когда центр тяжести прикладных исследований по измерениям переместился из точных
наук в социальные науки на фоне создания основных положений теории JRT.
Четвертый период развития теории и практики педагогических измерений, начавшийся в 80-х годах и продолжающийся по сей день, характеризуется интенсивным внедрением в массовое тестирование основных теоретических положений IRT, компьютерной техники и современных компьютерных технологий в образовательный процесс. Высокая эффективность процедур измерения, связанная с качественной калибровкой тестовых заданий, хранением их в виде банков, автоматизацией предъявления заданий в процессе обучения и контроля, компьютерным моделированием тестов, сыграла решающую роль в расширении сферы приложения теории педагогических измерений вплоть до решения на ее основе комплексных задач управления качеством образования. Характерной чертой четвертого периода является становление новой бипарадигмальной методологии, нацеленной на научную организацию педагогических измерений в системах менеджмента качества образования.
Главный итог проведенного анализа исторического развития теории и методологии измерений в отечественном образовании - это вывод о необходимости создания в нашей стране специального полноправного направления педагогической науки - теории педагогических измерений, которая в силу междисциплинарного характера не может полнокровно развиваться в рамках классической педагогики, по без опережающего развития которой страдает сфера управления в образовании.
2, Понятийный аппарат теории педагогических измерений, который строится на типологической, классификационной основе, отвечающей требованиям полноты н непротиворечивости, и включает ряд определений. К основным определениям, сформулированным и уточненным в исследовании применительно к проблемам управления качеством обучения, относятся: педатгическое измерение, методология педагогических измерений, бипарадигмальная методология и модели педагогических
измерений, процедура педагогического измерения, педагогический
измеритель, стандарты качества измерителей, качество учебных достижений,
управление качеством обучения, теория генерализации,
операционализируемый показатель качества обучения, технология измерений в системе управлении качеством образования и ряд других.
3, Совокупность принципов, обеспечивающих научную организацию измерений в управлении качеством обучения. Процесс педагогических измерений регламентируется рядом общих принципов организации контрольно-оценочных процессов и специфическими принципами, ориентирующими на эффективную организацию измерений в управлении качеством обучения. К числу важнейших специфических принципов следует отнести:
- принцип функционально-структурного строения целостной контрольно-
оценочной системы, сочетающей традиционный контроль и педагогические
измерения;
принцип полноты состава процесса педагогических измерений, предполагающий включение всех необходимых компонентов измерений, выполнение полного перечня функций, налаживание всех необходимых информационных потоков;
принцип объективности, требующий использования измерителей, технологий и процедур, обеспечивающих высокую объективность результатов измерений;
принцип релевантности, регламентирующий соответствие характеристик компонентов педагогических измерений уровню управления качеством обучения;
- принцип прогностической направленности, регламентирующий наличие
достаточного объема информации, накапливаемой внутри контрольно-
оценочной системы, ее надежности, высокой прогностической валидности,
предполагающей оценивание потенциальных возможностей объектов, учет
Г).
изменяющихся потребностей и запросов внешней и внутренней по отношению к системе среды;
принцип динамичности при оценивании показателей качества образования, способствующий повышению обоснованности управленческих решений на основе педагогических измерений;
принцип мипимакса и контроля дисперсии, позволяющий регламентировать качество измерений.
4. Концепция системы управления качеством обучения, строящаяся на
возможностях педагогических измерений в сочетании с традиционной
диагностикой и ориентированная на приоритет инновационных технологий
обучения, операционализируемых показателей качества обучения,
инновационных видов измерителей, методов самоконтроля, самокоррекции
и самооценки результатов учебной деятельности. Измерения в управлении
качеством обучения должны опираться на единый концептуальный подход,
ориентированный на основные задачи управления в образовательной
системе и предназначенный для различных целей и уровней управления: от
задач макроуровня до уровня каждого учащегося. Такой концептуальный
подход должен носить комплексный характер и строиться на сочетании
динамического (включение временного фактора в обработку и
интерпретацию результатов измерения}, сравнительного (сопоставление
результатов измерения по отдельным показателям качества),
дифференцирующего (соотнесение баллов учащихся со
среднестатистическими нормами, и последующая качественная интерпретация для установления причин смещения личностных показателей относительно статистических норм, анализом работы образовательных учреждений и принятием коррекционных мер в управлении качеством образования) и прогностического видов анализа (выявление тенденций в изменении качества образования).
Приоритетная роль в обеспечении информационной базы управления принадлежит объективным оценкам качества, основанным на аппарате
теории педагогических измерений, операционализируемых показателях качества обучения, инновационных видах измерителей, преимущественной проверке продуктивного уровня усвоения, интеллектуальных умений и приоритетах когнитивного обучения.
5. Концептуальная модель сочетания количественных и качественных уровней измерений, основанная на бипарадигмальной методологии и выстроенная применительно к различным уровням управления качеством образования. Она включает логически исчерпывающую типологию бипарадигмальных моделей педагогического измерения, обладающую свойствами полноты и системности, восполняющую существующие пробелы в разработке теоретико-методологического обеспечения в русле современных тенденций интеграции количественных и качественных методов, и охватывает все главные стадии измерения: планирование, разработку дизайна и измерителей, сбор данных (проведение тестирования, анкетирования или других форм), обработку, анализ и интерпретацию данных, получение управленческих выводов для повышения качества образования.
6. Основные компоненты методологии измерений в управлении качеством образования. К ним отнесены теория надежности результатов педагогических измерений, теория валидности и теория генерализации. Последняя теория, включающая комплексный всеобъемлющий набор концепций и оценочных процедур для анализа всех аспектов надежности измерений и распространения результатов на различные совокупности объектов измерения, является необходимой методологической основой научно-обоснованного процесса измерений в управлении качеством образования. Сочетание фундаментальных положений теории генерализации и вероятностных подходов позволяет получить обоснованные надежные результаты педагогических измерений и использовать их в многообразном спектре вариантов интерпретации и выдвижения гипотез, закладывающих фундамент принятия управленческих решений.
Применение основных положений теории надежности, конструктной валидизации и генерализации применительно к экспериментальной области исследования, связанной с обеспечением высокого качества КИМ для использования данных ЕГЭ в управлении качеством образования, должно базироваться на методиках, объединяющих воедино надежность и размерность пространства педагогических измерений и основанных на возможностях факторного анализа для сжатия данных. Генерализация данных ЕГЭ, основанная на предлагаемых в диссертации фасетных дизайнах, позволит выявить особенности региональных компонентов в содержании образования и создать сбалансированные КИМ, адекватные задачам управления качеством образования.
7. Дидактические и технологические требования к качеству компонентов педагогических измерений как составляющих систем управления качеством обучения. Разработанные дидактические и технологические требования к качеству компонентов педагогических измерений позволяют повысить эффективность систем управления качеством обучения. В число требований, не ранжированных по степени важности, вошли: опора на базисную методологию управления качеством; приоритет бипарадигмапьной методологии и современной теории тестов; высокая объективность (надежность) и обоснованность (валидность) информации; широкое использование динамического подхода к оцениванию качества обучения; обязательность присоединения к результатам измерения дополнительной информации об оцениваемом объекте; обеспечение сопоставимости результатов измерения по различным годам; реализация инновационных функций измерений; высокая прогностичность результатов педагогических измерений и общая направленность измерений на современные педагогические концеппии развивающего и личностно-ориентированного обучения; операционализируемость совокупности показателей качества обучения; преимущественная ориентации средств измерений на проверку продуктивного уровня усвоения знаний и интеллектуальных умений за счет
использования инновационных видов измерителей; соответствие аппарата, используемого для обработки данных педагогических измерений, характеристикам распределений эмпирических данных; стандартизация процедур проверки, оценки, шкалирования и интерпретации эмпирических данных педагогических измерений; устойчивость шкал для отображения результатов педагогических измерений и репрезентативность выборок обучающихся,
8. Совокупность измеряемых показателей качества подготовленности учащихся, необходимая для выработки управляющих воздействий на стадии проектирования и функционирования образовательных систем и выстроенная в соответствии с уровнями управления качеством образования. Предлагаемая совокупность показателей в сочетании с набором требований, обеспечивающих в рамках бипарадигмальной методологии измерений корректность информационной управленческой базы. Учет разработанных в диссертации дополнительных факторов необходим при использовании результатов педагогический измерений б управлении качеством образования для выработки корректных, обоснованных, эффективных и согласованных управленческих решений. Для обоснованного отбора абитуриентов вузов на основе данных ЕГЭ к информации, собранной в процессе ЕГЭ с помощью КИМ, необходимы дополнительные данные, получаемые с помощью средств аутентичного оценивания качества учебных достижений в различных регионах с учетом временного фактора.
9. Методика анализа, шкалирования и интерпретации результатов педагогических измерений применительно к проблемам управления качеством обучения. Полученные результаты теоретического характера позволили сформулировать новые методические подходы к шкалированию, анализу и интерпретации данных ЕГЭ в условиях сопоставимости данных педагогических измерений, выявить ряд проблем, снижающих обоснованность сравнения данных массового тестирования в условиях национальных экзаменов.
Апробация работы. Основные положения диссертационного исследования отражены в публикациях автора в виде статей в журналах и сборниках, тезисов докладов на научных конференциях и монографии «Измерения и качество образования».
Материалы исследования доложены на следующих конференциях и симпозиумах:
Десятый симпозиум «Квалиметрия в образовании: методология и практика», Москва, 4-5 апреля 2002 г.
Международная научно-практическая конференция «Качество дистанционного образования, Москва, 8 декабря 2003 г.
3- Третья Всероссийская научно-практическая конференция «Управление качеством», Москва. 10-11 марта 2004 г.
II Всероссийская научно-практическая конференция «Проблемы и перспективы развития экономического и управленческого потенциала России в XXI веке», Пенза, 20-21 апреля 2004 г.
XIV Всероссийское совещание «Проблемы качества образования», Москва, 28 мая-2 июня 2004 г.
Международная научно-практическая конференция «Развитие личности в полнкулыурном Славянском образовательном пространстве», Кривой Рог, 23-24 сентября, 2004 г.
Международная научно-практическая конференция «Актуальные проблемы управления - 2004». Москва, 10-11 ноября 2004 г.
Международная конференция «Оценка образовательных достижений в рамках национальных экзаменов», Москва, 13-15 декабря 2004 г.
18й1 Annual Conference of the American Evaluation Association, Atlanta, USA, Evaluation 2004,3-6 November.
10.19lh Annual Conference of the American Evaluation Association and CSE, Toronto, Canada, Evaluation 2005, 5 - 10 November.
11.20-я Всероссийская научная конференция молодых ученых и студентов «Реформы в России и проблемы управления - 2005», Москва, 20 -22 января 2005 года.
12.Четвёртая Всероссийская научно-практическая конференция «Управление качеством», Москва «МАТИ», 10-11 марта 2005 г.
13.11 Межрегиональный семинар «Построение общероссийской системы оценки качества образования». Москва, 22-23 сентября 2005 г,
14.ХХІХ научно-методическая конференция «Научно-методическое управление качеством образования», Иваново, 23-24 ноября 2005 г.
15-Пятая Всероссийская научно-практическая конференция «Управление качеством» 9-10 марта 2006 г., ГОУ ВПО «МАТИ» - Российский государственный технологический университет им. К.Э. Циолковского.
16.0диннадцатый симпозиум «Квалиметрия в образовании», Москва, 16-17 марта 2006 г.
Публикации. Основные результаты работы опубликованы в монографии, 4 учебных пособиях, учебнике, 72 статьях и тезисах, 2 научно-исследовательских отчетах ло проблемам измерений и управления качеством образования.
Внедрение результатов исследования; Результаты исследования внедрены в практику эксперимента по введению ЕГЭ в Российской Федерации, в учебную деятельность кафедры педагогических измерений Исследовательского центра проблем качества подготовки специалистов (ИЦПКПС) и кафедры тестологии Российского университета дружбы народов (РУДН), деятельность Центра качества подготовки специалистов Государственного университета управления (ГУУ).
Структура й объем диссертации. Текст диссертации содержит пять глав, введение, заключение и пять приложений с результатами, иллюстрирующими реализацию предлагаемых в исследовании методик. Общий объем работы составляет 378 страниц. Список литературы состоит из 348 первоисточников,
Исторические аспекты развития педагогических измерений в отечественном образовании
В России, как и в других странах, появление тестов в практике образования предшествовало попыткам научного обоснования их качества и созданию теории педагогических измерений. Первый опыт применения измерений в образовании можно отнести к концу XIX века. Четкое разделение между видами тестов в это время еще не сложилось, как и не сформировалось сообщество специалистов по педагогическим измерениям, поэтому тестированием в образовании занимались и психологи, и педагоги, в основном, в университетских лабораториях, где проводились антропометрические измерения, разрабатывались программы психолого-педагогических наблюдений и анкеты.
В начале XX века тесты широко применялись сторонниками экспериментальной педагогики, которые создавали их и всячески пропагандировали наравне с другими методиками для психометрических приложений в педологии. На курсах по педологии, открытых в этот период в Москве (1906, 1908 гг.), Петербурге (1904 г.), Нижнем Новгороде (1907 г,), Самаре (1909 г.), разрабатывались экспериментальные методы изучения ребенка и методики комплексной диагностики развития учащихся, основанные на тестах. Видные педологи того времени (А.П, Болтунов, А,Ф. Лазурский, А.П. Нечаев, Ф.Е. Рыбаков и др.) в своих исследованиях личности обучаемого и накоплении информации об обучаемых широко использовали тесты [193, 214]. Интерес общественности к этим проблемам был настолько велик, что многие труды зарубежных исследователей по измерениям в психологии и образовании переводились и издавались в России. В частности, уже в 1911 году на русском языке вышел перевод первой книги А. Бине «Современные идеи о детях», выполненный под редакцией русского философа Г.Г. Шпегга, а также перевод М. Владимирского книга А. Бине «Умственно отсталые дети» [26],
Прикладные работы в России в области тестирования успешно развивались на фоне педологии вплоть до начала революции 1917 г. В этот период интенсивно разрабатывались технологии измерения психических процессов (мышления, памяти, восприятия), выявлялись взаимосвязи различных показателей познавательных способностей, полученных с помощью широкого диапазона тестов. На волне стремления к прогрессу в первые годы после революции в России педологическое движение продолжало нарастать, так как потенциал, накопленный российской наукой в образовании, был востребован советской властью. Вскоре после окончания Гражданской войны довольно большое распространение получили педагогические тесты и тесты для профотбора. Первые использовались благодаря педологии, а вторые вызывали интерес в рамках развернувшегося в Советской России движения за повышение производительности труда. У истоков развития советского периода в педологии стояли известные ученые (МЯ. Басов, JLC. Выготский, А.П. Болтунов, ПЛ.Блонский, К,Н Корнилов, А.П. Нечаев, А.Р. Лурия и др.), посвятившие многие из своих работ обучению и развитию детей [28, 193, 214]. Благодаря им с начала 20-х годов в России стали активно развиваться масштабные научные эксперименты в образовании, разрабатывались тестовые методики, совершенствовалась педологическая и педагогическая подготовка учителей. К этому же времени относятся первые публикации по использованию тестов в обучении, среди них выделяется одна из работ А.П. Нечаева 1921 года «Простейшие измерения степени умственного развития детей», В ней приводятся простейшие тесты, предназначенные для оценивания внимания испытуемых, процессов формирования суждений, восприимчивости к новой информации при обучении и уровня развития детской речи.
В 1928 году в Москве состоялся первый Всесоюзный съезд педологов, которые вплоть до 1934 года активно развивали научные представления о тестах и использовали их в учебном процессе советской школы. Однако период активной деятельности педологов и тестологов в советской России оказался коротким. В 1936 году вышло известное постановление ВКП(б) «О педологических извращениях в системе Наркомпросов», которое отнесло тесты к вредным методам и на многие годы породило атмосферу недоверия и неприятия, окружавшую тесты в официальной педагогике вплоть до начала девяностых годов. Сами педагоги-практики вернулись к тестам гораздо раньше, в период прекращения массовых политических репрессий. Уже в начале шестидесятых годов многие педагоги, заботящиеся не о формальных показателях, а о реальном качестве учебного процесса, стали использовать при контроле наборы задании в тестовой форме, которые чаще всего называли различными терминами, лишь не произносить слово «тест». Естественно, что в условиях полного запрета на тесты теория педагогических измерений, как полноправное направление научных исследований, отсутствовала в СССР. Если и появлялись отдельные публикации, то исключительно негативного плана, клеймящие тесты как буржуазные средства расовой или социальной дискриминации детей.
Промежуток времени с шестидесятых годов вплоть до конца восьмидесятых годов был для отечественной школы периодом постепенной либерализации, когда учителя изыскивали различные резервы в борьбе за повышение качества обучения на фоне снижения авторитарности и стремления решать многие вопросы с помощью давления на учащихся, с позиции силы. Тесты вели в это время полулегальное существование - запрет на них никто не отменял, но в СССР появились первые попытки проведения диссертационных исследований по проблемам измерений в образовании [69, 193]. В этот период еше было далеко до официального признания теории педагогических измерений советской педагогикой, однако, в практике зачастую возникала потребность в независимой оценке последствий реформ в образовании, инициатив и экспериментов. Например, в работе педагогов -новаторов, где тесты и анкетные опросы использовались как инструментарий для подтверждения эффективности нововведений. Как правило, используемые в то время тесты только по названию были таковыми, они разрабатывались их авторами без должного знания теории и методологии измерений на основе педагогического опыта и здравого смысла.
Качество учебных достижений, эволюция понятия и его современная трактовка в измерениях
В соответствии с поставленной целью к основным задачам ОСОКО можно отнести оценку качества учебных достижений обучаемых и выпускников учебных заведений на различных образовательных ступенях, разработку научно-методического обеспечения процедур и инструментария для оценки качества образования, создание структур, обеспечивающих качество инструментария и технологий педагогических измерений (центров сертификации), создание центров статистической обработки и анализа данных о качестве образования, организацию системы подготовки и переподготовки педагогических кадров и т.д. Процесс создания ОСОКО в России пока еще не завершен, поэтому число основных задач может меняться по мере ее становления в образовании. Организация ОСОКО предполагает широкое использование существующих структур, механизмов и процедур: ЕГЭ, центров сертификации, аттестации и аккредитации, центров качества образования и мониторинга, работающих на единой научно-методической основе в рамках стратегии развития общероссийской системы оценки качества образования [54, 89, 101, 103].
ЕГЭ является неотъемлемым структурным элементом ОСОКО, обеспечивающим объективную информацию о реальном состоянии качества школьного образования [31, 32, 80, 85, 123]. Данные ЕГЭ позволяют получить оценки состояния образовательных достижений выпускников гикол, выявить тенденции и динамику изменения системы среднего образования, сформировать совокупность основных факторов, влияющих на качество образования в различных регионах, и оценить меру их влияния. Несомненно, что к собранной информации в процессе экзамена о предметных знаниях и умениях выпускников школ необходимо присоединить дополнительные данные, описывающие состояние качества образования на различных ступенях (оценки умений применять знания, собранные с помощью портфолио и других средств аутентичного оценивания: оценки междисциплинарных, обшеучебных и комм никаійвньіх умений; данные об уровне воспитанности обучаемых и результативности воспитательных воздействий; результаты участия учащихся в олимпиадах и творческих конкурсах и т.д.) 2,2. Качество учебных достижений, эволюция понятия и его современная трактовка в измерениях Для сужения области исследования в контексте данной работы рассматривается качество не образования, а обучения, где последнее понимается в традиционном для педагогической пауки смысле, как учебный процесс вместе с сопутствующими составляющими и результаты этого процесса [14, 170, 232]. Как следствие еще одного сужения возникает понятие "качество подготовки", обсуждение которого можно вести на различных уровнях [227, 234,25І], Первый уровень - планирование обучения, когда определенные представления о планируемом качестве подготовки закладываются в образовательные программы по каждому предмету. Второй -этап реализации образовательных программ в учебном процессе, на котором качество подготовки обучаемого приходится рассматривать в сочетании с целым спектром факторов, определяемых и личностными особенностями усвоения, и качеством преподавания, и качеством организации учебного процесса. Третий уровень анализа качества подготовки обычно проводится с позиций оценки результатов осуществленного учебного процесса.
Непосредственно третий уровень смыкается с содержанием данной диссертации, где качество подготовки обучаемых рассматривается применительно к проблеме оценивания результатов учебного процесса, а оба термина «качество подготовки» и «качество учебных достижений» нередко используются как синонимы. Последнее словосочетание «учебные достижения» трактуется как итоговые результаты обучения (в общем случае под учебными достижениями иногда понимают не только подготовленность обучающихся в определенной предметной области, но и показатели сформированное личностных качеств, представляющие наибольший интерес для успешного обучения) [66,67]. Извечные попытки ученых и практиков найти ответ на вопрос о чом, что же такое качество подготовки обучаемых, позволяют сделать лишь один неиомненныи вывод о неоднозначности подходов к трактовке этого понятия. Даже внутри одного уровня анализа невозможно установить единый ряд критериев и стандартов для оценки качества учебных достижений. Каждая заинтересованная в результатах учебного процесса сторона имеет свои собственные нормы и кршерии качества, а нередко, если представления о критериях расходятся, подвергает сомнению оценки качества, полученные другой стороной, вплоть до полного отрицания правомерности самого оценочного процесса. Яркий пример, иллюстрирующий ситуацию отрицания, дает эксперимент федерального уровня по введению ЕГЭ в России, процедуру, измерительные материалы и саму возможность обоснованного отбора абитуриентов вузов по данным ЕГЭ, не приемлют многие из числа тех, чьи ожидания не оправдываются после подведения прямых итогов или социальных эффектов экзамена [31, 77]. Критика со стороны практиков в сфере оценочных процессов не нова и имеет свои давние теоретические корни. Некоторые представители традиционной отечественной научной школы подвергают сомнению корректность оценки качества подготовки, как результатов осуществленного учебного процесса [235]. Критическая аргументация ученых обычно базируется на том, что представления о качестве подготовки должны ассоциироваться с внутренним состоянием обучаемого, в то время как результаты обучения проявляются во внешних наблюдаемых признаках и результатах учебного процесса. Это обстоятельство, по их мнению, исключает возможность корректного оценивания качества подготовленности вне зависимости от возможностей оценочных средств и широкого использования количественных подходов в измерениях. Причем критики в нашей стране нередко апеллируют к тезису о невозможности интериоризации результатов оценивания, как к обоснованию принципиальной порочности тестов, подменяя тем самым стройный и корректный фундамент теории педагогических измерений, обеспечивающей высокую объективность результатов измерения, приоритетом субъективных подходов к оцениванию качества результатов учебного процесса.
Основные цели, функции и задачи измерений в образовании
При выделении целей измерений в образовании необходимо конкретизировать область их приложения, поскольку использование измерении имеет многоплановый характер. Например, в текущем контроле тестирование способствует организации коррекции процесса усвоения знаний. В других случаях оно может носить обучающий характер либо использоваться для повышения эффективности входного контроля в целях индивидуализации учебного процесса. Однако в диссертации в дальнейшем изложенииs в основном, будут рассматриваться педагогические измерения, результаты которых применяются для принятия административно-управленческих решений в образовании и получаются с помощью итоговых тестов. Наиболее характерным примером такого итогового тестирования, служащего аттестации выпускников школ и отбору абитуриентов, в России является ЕГЭ. Поэтому формулировка основных целей измерения, предлагаемых ниже, частично соотносится с социально значимыми целями эксперимента по введению единого государственного экзамена в отечественном образовании [217]. К основным целям измерений в управлении качеством образования можно отнести:
1. Содействие эффективному осуществлению единой государственной политики в области образования и подготовки кадров, 2. Защита прав граждан на получение образования, соответствующего но своим характеристикам требованиям к качеству образования, установленным государством в нормативных документах. 3. Защита общества от появления некомпетентных обладателей аттестатов, дипломов и прочих документов об образовании. 4. Повышение качества образования, процесса обучения и его результатов. 5. Обеспечение преемственности требований к качеству образования в системе непрерывного общего и профессионального образования. 6. Предоставление всем субъектам и пользователям системы образования объективной информации о фактическом уровне учебных достижений; защита обучающихся от проявлений субъективизма и связанной с ним несправедливости традиционной оценочной системы. 7. Совершенствование системы конкурсного отбора при поступлении выпускников в учебные заведения системы профессионального образования. 8. Совершенствование системы аттестации выпускников образовательных учреждений и системы профессионального отбора, Помимо перечисленных общих целей тестирования, ориентированных на применение тестов в национальных экзаменах, есть ряд других частных, крайне важных, наиболее актуальных для современной ситуации в образовании и достижимых только с помощью педагогических измерений при управлении процессом усвоения знаний в текущем учебном процессе. Основываясь на анализе инновационных процессов, определяющих основные направления модернизации российского образования к актуальным целям, реализуемым на основе измерений, можно отнести: повышение качества обучения путем систематического его оценивания, выявления пробелов в обучении и их коррекции с помощью тестирования; совершенствование объективных процедур и технологий, обеспечивающих контрольно-оценочную деятельность педагогов, за счет введения измерений в практику обучения; повышение эффективности рубежной аттестации обучаемых процессов методами тестирования для реализации государственной политики в области образовательных стандартов; обеспечение оптимальных условий для самостоятельной работы учеников или студентов с помощью контрольно - обучающих программ, основанных на тестах; повышение вариативности и доступности образовательных программ для обучающихся путем индивидуализации учебного процесса на основе тестирования; обеспечение условий для дифференциации и индивидуализации массового образовательного процесса на основе технологий тестирования. Для выделения основных функций измерений в обучении необходимо определись те условия, в которых применяются тесіьі, поскольку Б зависимости от приоритетных целей учебного процесса на первый план в различные моменты его осуществления выходит либо итоговое тестирование.либо текущее тестирование и, соответственно, доминируют те или иные функции» В целом, к основным функциям тестирования можно отнести, прежде всего, ряд традиционных: диагностическую, корректирующую, обучающую, оценочную, мотивирующую и развивающую.
Диагностическая, корректирующая, обучающая и развивающая функции измерений вытекают из самой сущности текущего контроля, нацеленного на выявление пробелов в знаниях, установление причин этих пробелов и коррекцию учебного процесса с помощью тестов [5, б, 27, 41, 73, 98, 119, 126, 136, 188, 200, 204, 254, 261, 263]. Текущий контроль характеризуется сознательно поставленной целью отслеживать ход обучения, что достигается наиболее эффективным и простым способом для педагога в тех случаях, когда есть компьютеризованный банк калиброванных тестовых заданий и специальные программно-инструментальные средства для генерации и выдачи тестов.
Реализация диагностической функции измерений возможна на различных уровнях. Преподаватели используют тестирование в классе, чтобы выявить проблемные области, нуждающиеся в дополнительном изучении и коррекции у отдельных учащихся. В районе диагностическое тестирование может быть нацелено на определение в некоторых школах отдельных слабо усвоенных умений и навыков, нуждающихся в усилении акцентов при преподавании, либо на выявление отставаний и недостатков в реализации учебных программ. Сбор диагностической информации обычно проводится с помощью критериально-ориентированных корректирующих (за рубежом они называются формирующими) тестов, которые нередко сопровождаются диагностическими тестами для установления причин пробелов в усвоении учебного материала [210, 247, 236, 237, 253, 273, 282].
Общие направления теоретико-методологических исследований по использованию измерений в управлении качеством образования
Мировой опыт показывает, что в условиях реформирования образования необходимо повышение эффективности управленческих воздействий, рассматриваемых как катализатор модернизации. Понимание такой важной роли управления в образовательных инновациях находит свое отражение в создании развернутого научного обоснования систем управления качеством на основе приоритетного развития методологии, закладывающей научный подход к целостно } решению ряда проблем, К их числу, в первую очередь, относятся методологические проблемы, непосредственно связанные с научной организацией деятельности по применению результатов измерений в системах управления качеством образования для анализа, прогнозирования и повышения качества образования. Оценка состояния и возможностей системы образования на основе научно обоснованного провеса измерений позволит определиться в выборе оптимальных стратегии управления качеством на основе выбора воздействий, согласованных с внутренними характеристиками и текущим состоянием системы образования- В отечественной педагогической литературе термин «измерение» не принят как общепризнанный, но потребность в нем ощущается, поэтому его иередье заменяют другим, близким, но не тождественным понятием «диагностика». Разница между этими понятиями состоит в том» что в отличие от педагогических измерений, диагностика признает любые методы и средства оценивания, как отвечающие, так и не соответствующие научным критериям качества педагогических измерений. В рамках диагностических процедур не разработано аппарата для опенки надежности и валидности эмпирических данных, да к этому в диагностике обычно и не стремятся.
В частности, основную задачу диагностики как научного направления такие авторы, как Б, П. Битинас, Л. И. Катаева, Е. А. Михайлычев и многие другие, видят в определении оптимальной совокупности непосредственно фиксируемых показателей состояния педагогических явлений и процессов, где каждый отдельно взятый показатель только с некоторой вероятностью свидетельствует об этом состоянии [193, 194]. С этих позиций в современной педагогической литературе понятия «диагностика качества образования» и «диагностирование» рассматриваются как «деятельность по установлению и изучению признаков, характеризующих состояние каких-либо систем, для предсказания возможных отклонений и предотвращения нарушений нормального режима их работы». Для сбора данных в диагностике широко распространены субъективные оценочные процессы и наблюдения, при осуществлении которых каждый выбирает свою совокупность оценочных методов и средств.
Естественно, что такой подход имеет ряд недостатков. Состояние педагогических процессов выявляется фрагментарно, только по отдельным показателям, выбранным без учета требований корректной сопоставимости в процессе сравнений и интеграции данных. Для разных объектов одного и того же ряда нередко анализируются и интерпретируются данные разной природы, полученные на основе субъективных оценок и в процессе наблюдения и потому, в силу значительной ошибки измерения, не адекватные состоянию исследуемых объектов. Диагностические выводы, сделанные на основе таких оценок, не способствуют выявлению качества объектов наблюдения и не дают полного представления о состоянии объектов, исключая возможность их корректного сравнения. В целом, можно считать, что вплоть до настоящего времени неэффективные, необъективные подходы к оценке процесса и результатов обучения остаются тормозом в развитии педагогических измерений в отечественном образовании. Эти подходы противоречат общим тенденциям реформирования и развития образовательного процесса, его гуманистической, гуманитарной, личностно-ориентированной и развивающей напра&тенности. Сами формы и методы педагогической диагностики пока еще не стали предметом систематического анализа и специально организованных исследований; недостаточно развита методологическая и методическая базы, отсутствуют возможности для стандартизации и статистической обработки, проистекающие из природы данных диагностики, отличающихся от результатов измерений высоким уровнем субъективизма и явно выраженным несопоставимым характером. В целом, для отечественной педагогики неизбежен тот путь, которым идет большинство стран с высоко развитыми системами образования - обращение к теории педагогических измерений, к ее методологии для эффективного управления качеством образования.
Методологию применения результатов педагогических измерений в управлении качеством образования в диссертации предлагается отличать от самого научного обоснования средств педагогических измерений. Последнее методологическое направление включает классическую и современную теории, нацеленные на создание тестов в образовании. Нередко эти две теории в зарубежных публикациях не вполне верно объединяются с третьей -теорией генерализации (Genera 1 izabї 1 г ty Theory), обобщающей концепцию надежности и предназначенной для обоснования качества педагогических измерений, включая все их составляющие компоненты, в том числе, сам процесс и средства [306]. В отечественном образовании исследования по теории генерализации практически отсутствуют, а сама надежность, равно как и валидность, зачастую неверно трактуется в публикациях в тех случаях, когда говорят не о надежности и валидности результатов измерения, а соотносят их с характеристиками качества самого измерителя - теста. Последний подход не вполне корректен, поскольку оценки валидности и надежности в значительной степени зависят от того, для какой выборки испытуемых применяется тест и от условий его применения. Сам тест выполняет не более чем вспомогательную функцию средства получения результатов измерения и не может иметь раз и навсегда определенной надежности или валидности. Поэтому научные представления о валидности и надежности скорее закладывают методологические основы процесса применения результатов измерения, нежели являются характеристикой теста. Таким образом, в трактовке автора диссертации, методология применения результатов педагогических измерений в управлении качеством образования включает теорию методов обоснования качества педагогических измерений (теорию надежности и валидности, теорию генерализации данных педагогических измерений) и является составной частью теоретико-методологических основ эвалюации, комплексно охватывая ту ее часть, которая связана с теоретическими аспектами использования эмпирических данных измерения в образовании [69].
