Содержание к диссертации
Введение
ГЛАВА 1. Качество знаний учащихся как социально-педагогический показатель уровня развития современного образования 13
1.1. Качество образования и образовательные технологии в научно-педагогической литературе 14
1.2. Проблемы педагогического мониторинга качества образования 26
1.3. Тестовые технологии в педагогической диагностике 39
1.4. Особенности адаптивного тестового контроля знаний учащихся 53
Выводы по первой главе 64
ГЛАВА 2. Научно-практические основы адаптивного контроля в общеобразовательной школе 65
2.1. Концептуальная модель адаптивного контроля качества знаний учащихся общеобразовательной Школы .. 65
2.2. Таксономическая и математическая модели адаптивного контроля знаний учащихся 76
2.3.Квалиметрическая технология конструирования адаптивных педагогических контрольных материалов 91
2.4. Методика проведения и интерпретация результатов педагогического контроля с применением адаптированных тестовых измерителей 106
Выводы по второй главе 124
Заключение 127
Библиографический список 133
Приложения:
- Качество образования и образовательные технологии в научно-педагогической литературе
- Проблемы педагогического мониторинга качества образования
- Концептуальная модель адаптивного контроля качества знаний учащихся общеобразовательной Школы
- Таксономическая и математическая модели адаптивного контроля знаний учащихся
Введение к работе
Закон Российской Федерации "Об образовании" провозглашает в качестве одного из основных принципов государственной политики -адаптивность системы образования к уровням и особенностям развития учащихся. До сих пор результатом педагогического контроля (ПК) безоговорочно считается оценка успеваемости учащихся, которая определяет соответствие деятельности учащихся требованиям конкретной педагогической системы и всей системы образования. Адаптивность системы образования требует обратного - определения соответствия деятельности конкретной педагогической системы возможностям и образовательным потребностям каждого учащегося. Адаптивность системы образования должна предполагать и адаптивность системы ПК, что также влечет изменение смысла этого процесса. Педагогическая система должна поставить корректно дидактическую задачу и с помощью педагогических технологий быть способной решить ее. При этом интерпретации должны подвергаться не единичные оценки и тем более не средний балл учащегося, а величины, отражающие динамику изменения некоторого измеряемого качества, например, овладение учащимися учебным материалом.
Реформа образования в Российской Федерации предусматривает обеспечение системного реформирования содержания образования, развитие Национальной системы оценки качества образования и на этой основе создание условий для объективного контроля качества образования. Пути и методы повышения эффективности, оптимизации и индивидуализации обучения являются объектами всестороннего изучения в психолого-педагогических науках (СИ. Архангельский, Ю.К. Бабанский, Л.С. Выготский, П.Я. Гальперин, В.В. Давыдов, М.В. Кларин, В.В. Краевский, Н.В. Кузьмина, А.Н. Леонтьев, И.Я. Лернер, Н.А. Менчинская, М.Н. Скаткин, Д.Б. Эльконин, И.С. Якиманская и др.).
Методология педагогического контроля знаний учащихся освещена в трудах ряда отечественных (B.C. Аванесов, В.П. Беспалько, В.И. Гинецинский, З.Д. Жуковская, В.И. Михеев, В.М. Полонский, Н.Ф. Талызина и др.) и зарубежных исследователей (Б. Блум, Д. Гилфорд, К. Ингенкамп, В. Оконь, Г. Раш и др.).
Реализация Национальной системы оценки качества образования в России ставит задачу осуществления квалиметрического мониторинга качества образования (В.И. Андреев, В.А. Кальней, А.Н. Майоров, А.А. Макаров, Д.Ш. Матрос, В.П. Панасюк, А.И. Севрук, В.П. Симонов, А.И. Субетто, СЕ. Шишов и др.). В последние годы появились диссертационные исследования по школьной диагностике, знаний учащихся (Е.А. Аринкин, Т.С Веселкова, Т.И. Дормидонова, Г.И. Кириллова, А.Б. Кузнецов, Е.А. Леонова, А.А. Мирошниченко, Е.А. Михайлычев, Е.Г. Полуаршинова, СР. Сакаева, И.Г. Салова, Л.А. Серебрякова, Т.А. Снигирева и др.).
В процессе обучения постоянно ощущается потребность в объективной оценке качества знаний учащихся. Для этих целей в последнее время все чаще используются тесты, разработанные на основе параметрических методов современной теории педагогических измерений Item Response Theory (IRT), получившей широкое развитие в ряде западных стран (A. Birnbaum, М. Novick, G. Rasch, R. Hambleton, F. Lord и др.). К отечественным исследованиям последних лет в этом направлении относятся труды B.C. Аванесова, Е.Н. Лебедевой, А.Н. Майорова, А.А. Макарова, Ю.М. Неймана, А.О. Татура, В.А. Хлебникова, B.C. Черепанова, М.Б. Челышковой и др.
Увеличение значимости и роли тестирования в образовании, внедрение государственных образовательных стандартов, а также перспективных технологий обучения в общеобразовательных учреждениях вызывает необходимость совершенствования систем контроля и оценки качества подготовки учащихся. Многими исследователями отмечается наличие внутренних противоречий между традиционной организацией педагогического
5 контроля знаний и индивидуализацией обучения, развивающего и деятельностного подхода в образовании.
Одним из перспективных направлений решения проблемы повышения качества обучения учащихся является адаптивное обучение, основанное на адаптивных тестах и компьютеризации адаптивного тестирования (С.С. Андреев, В.А. Исаев, В.И. Нардюжев, М.Б. Челышкова, Г.Ю. Ксензова, Т.И. Шамова, А.Г. Шмелев, Е.А. Ямбург и др.). Вопросы адаптивного тестирования привлекали внимание ряда зарубежных ученых (R.K. Hambleton, G.G. Kingsbury, W.A. Sands, J. Spray, R. Swets, P.H. Wainer, DJ. Weiss и др.) и с начала 90-х годов компьютерное адаптивное тестирование получило за рубежом широкое признание в сфере практики. Вместе с тем анализ научной литературы показывает, что пока недостаточно разработаны многие теоретико-методологические основы адаптивного тестирования и технология конструирования адаптированных тестовых измерителей.
Несмотря на проводимые исследования в области использования тестовых технологий в процессе педагогического контроля знаний учащихся, носящие как психолого-педагогическую, так и прикладную направленность, происшедшие изменения в практических потребностях образования, в частности, в целях и практических задачах контрольно-оценочной деятельности учителей, привели к обострению ряда противоречий:
1. Проведение международных сравнительных исследований о
состоянии качества образования в различных странах и выявление факторов,
влияющих на результаты обучения, приводит к необходимости сравнивать
подготовку учащихся школ отдельных стран с международными стандартами,
с другой стороны, в образовательные учреждения России пока еще не
внедрена в должной мере вся технология мониторинга качества образования,
основанная на педагогической квалиметрии.
2. Повышение качества обучения и качества педагогического контроля
обеспечивается внедрением в учебно-воспитательный процесс
образовательных учреждений технологий развивающего обучения, дифференциации и индивидуализации, основанных на принципах адаптивного обучения и адаптивного тестового контроля с учетом умственного развития обучаемого, однако в отечественной педагогике недостаточно исследований по проблеме адаптивности системы образования к индивидуальным особенностям учащихся.
Введение независимой системы аттестации учащихся школ требует объективности в установлении соответствия качества их подготовки требованиям образовательных стандартов, с другой стороны, существующая практика тестирования не позволяет объективно оценить качества знаний выпускников школ.
Смещение целей учебно-воспитательного процесса с традиционного формирования знаний, умений и навыков на развитие мышления, интеллекта и информационной культуры требует изменения модели обучения и системы оценивания, с другой стороны, отсутствует валидный инструментарий для этих целей.
Анализ выделенных противоречий позволил сформулировать проблему исследования, суть которой заключается в следующем: какое средство педагогического контроля качества знаний учащихся по учебному предмету можно использовать в рамках определенной модели измерения с учетом адаптивности педагогической системы к индивидуальным особенностям учащихся, чтобы обеспечить эффективное и индивидуально объективное измерение качества знаний учащихся?
Исследование путей решения этой проблемы позволило сделать вывод о несоответствии существующей системы традиционного педагогического тестового контроля задаче измерения качества индивидуальной подготовки учащихся. Анализ этой системы в аспекте ее адаптивности применительно к индивидуальным возможностям каждого учащегося привел к идее о необходимости разработки и применения адаптивных тестов. Это определяет
7 актуальность сформулированной нами темы исследования: "Адаптивные тесты как средство индивидуализации педагогического контроля качества знаний учащихся".
Цель диссертационного исследования состоит в разработке и теоретическом обосновании технологии педагогического контроля знаний учащихся на основе применения адаптивных тестов.
Объект исследования - технология педагогического контроля в образовательных учреждениях.
Предмет исследования - технология конструирования адаптивных тестов для индивидуализации педагогического контроля качества знаний учащихся (на примере школьного курса "Основы информатики и вычислительной техники").
Исходя из цели исследования, на основе анализа проблемы и результатов констатирующего эксперимента, нами была выдвинута гипотеза о том, что педагогический контроль качества знаний с применением адаптивных тестов обеспечит максимум возможной информации в индивидуальной оценке качества знаний учащихся определенного уровня, а следовательно, объективность и эффективность результата измерения за счет:
-использования модели адаптивного тестового контроля учащихся по школьному предмету, соотнесенной с таксономией учебных целей в когнитивной области, подуровнями интеллектуальной деятельности учащихся и предметным содержанием с учетом классификатора видов знаний;
-внедрения квалиметрической технологии конструирования адаптированных тестовых измерителей, предназначенных для индивидуализации педагогического контроля качества знаний учащихся в рамках выбранной модели измерения;
-корректировки адаптивных тестовых контрольных материалов с учетом результатов экспериментального апробирования на репрезентативных выборках.
Для достижения цели и проверки гипотезы исследования нами решались следующие задачи:
1 .Проанализировать проблему педагогического мониторинга качества обучения в образовательных учреждениях на основе тестовых технологий.
2.Разработать концептуальную модель адаптивного контроля качества знаний учащихся.
3.Обосновать таксономическую и математическую модели адаптивного контроля и модель адаптивного теста для измерения качества знаний учащихся.
4.Разработать квалиметрическую технологию конструирования адаптивных тестов для индивидуализации педагогического контроля качества знаний учащихся.
5.Создать комплекс адаптивных тестов по курсу "Основы информатики и вычислительной техники" (ОИВТ) и экспериментально апробировать его на репрезентативной выборке учащихся.
Для решения поставленных задач были использованы следующие методы исследования: общенаучные методы теоретического исследования (анализ, синтез, абстрагирование, формализация, моделирование, классификация, аналогия, обобщение); методы эмпирического исследования (изучение педагогического опыта, изучение литературы и документальных источников, наблюдение, тестирование, анкетирование, метод экспертных оценок). Для подтверждения теоретических предположений был проведен педагогический эксперимент, включающий в себя: анализ соответствия качества содержания существующих тестов по информатике требованиям рекомендуемых программ обучения, мониторинг результатов обученности учащихся, экспертную и статистическую оценку надежности и валидности тестовых материалов, разработку компьютерных программ.
Методологическая и теоретическая основа исследования определяется поставленными целями и задачами и базируется на:
-методологии и принципах педагогического исследования и педагогического контроля (СИ. Архангельский, Ю.К. Бабанский, В.М. Блинов, В.П. Беспалько, П.Я. Гальперин, В.В. Гузеев, К. Ингенкамп, А.С. Казаринов, М.В. Кларин, В.В. Краевский, И.Я. Лернер, А.А. Маслак, В.И. Михеев, В. Оконь, П.И. Пидкасистый, В.М. Полонский, М.Н. Скаткин, Н.Ф. Талызина, М.А. Чошанов и др.);
-психолого-педагогических теориях, раскрывающих принципы и методы диагностики индивидуальных склонностей, способностей и возможностей учащихся (Е.Д. Божович, В.Н. Дружинин, Л.Н. Ланда, Т.В. Машарова, Н.А. Менчинская, И.Э. Унт, М.А. Холодная, И.С. Якиманская и др.) и трудах по адаптивному обучению (А.С. Границкая, Н.П. Капустин, Г.Ю. Ксензова, Т.И. Шамова, Е.А. Ямбург и др.);
-квалиметрическом подходе к измерению педагогических показателей (С.С. Андреев, В.И. Байденко, В.А. Исаев, А.А. Кузнецов, Н.А. Кулемин, А.А. Макаров, А.А. Мирошниченко, И.Г. Салова, Н.А. Селезнева, А.И. Субетто, B.C. Черепанов, Ю.К. Чернова и др.);
-теоретических основах образовательной тестологии (В.С Аванесов, А.Н. Майоров, Е.А. Михайлычев, В.И. Нардюжев, Ю.М. Нейман, А.О. Татур, М.Б. Челышкова, А.Г. Шмелев и др.);
-концепции образовательного мониторинга (В.А. Кальней, А.Н. Майоров, А.А. Макаров, Д.Ш. Матрос, В.П. Панасюк, Л.А. Серебрякова, В.П. Симонов, СЕ. Шишов и др.).
Научная новизна исследования состоит в том, что:
-разработаны научно-практические основы адаптивного тестового контроля;
-обоснован квалиметрический подход к конструированию адаптированных тестовых измерителей для индивидуализации педагогического контроля качества знаний;
-установлены критерии эффективности и качества адаптированных тестовых измерителей;
-разработано научно-методическое обеспечение адаптивного тестового контроля.
Теоретическая значимость проведенного исследования заключается в том, что:
-разработана концептуальная модель адаптивного контроля качества знаний учащихся;
-разработана таксономическая модель адаптивного контроля знаний учащихся;
-модифицирована математическая модель современной тестовой теории IRT для педагогического измерения индивидуальной обученности учащихся;
-разработана квалиметрическая технология конструирования адаптивных тестов.
Практическая значимость проведенного исследования находит свое выражение в следующем:
-на основе проведенных исследований разработаны и апробированы в учебном процессе образовательных учреждений адаптивные предметно-ориентированные тестовые задания для текущего и итогового контроля, соответствующие уровню подготовленности учащихся, которые служат инструментом измерения качества их знаний;
-предложена методика по индивидуальному педагогическому контролю знаний с применением адаптированных тестовых измерителей при оценке текущих и итоговых знаний учащихся, что позволяет объективно оценивать качество знаний за счет снижения ошибки измерения, и способствует оперативному управлению качеством обучения;
-разработанные тестовые задания, выполненные в компьютерном варианте, и компьютерные программы обработки результатов могут быть
использованы при автоматизированном контроле качества знаний учащихся и в дистанционном обучении.
База исследования: учебное заведение - Муниципальное общеобразовательное учреждение лицей №41 г. Ижевска и учебные заведения Удмуртской Республики.
Основные этапы исследования.
На первом этапе (1997-1998) изучалась проблема существующей практики педагогического контроля качества знаний учащихся в школе с применением тестовых измерителей.
На втором этапе (1998-2000) были обоснованы концептуальные положения адаптивного тестового контроля качества знаний учащихся и разработана модель адаптивного теста для педагогического контроля качества знаний учащихся.
На третьем этапе (2000-2002) была разработана квалиметрическая технология конструирования адаптированных тестовых измерителей и апробирована по школьному курсу основ информатики и вычислительной техники.
Апробация основных положений и результатов исследования. Исследование включено в план НИР Уральского отделения РАО в рамках программы "Образование в Уральском регионе: научные основы развития и инноваций" на 2001-2005гг. Основные результаты исследования рассмотрены и обсуждены на научно-методических семинарах учителей (Ижевск, 1998-2002), на ряде Всероссийских и региональных научно-практических конференциях по вопросам качества обучения и контроля, проводимых в гг. Москве (1999-2002), Воронеже (1997), Виннице (2000), Ижевске (1998, 1999), Глазове (1999) и на виртуальных @вгустовских Российских педсоветах учителей (, 2000, 2002).
Достоверность полученных результатов и обоснованность основных выводов исследования обеспечиваются методологической обоснованностью
12 исходных теоретических положений, совокупностью разнообразных методов исследования, применением системы современных методов теоретико-экспериментального исследования, корректным применением математико-статистических методов и компьютерных программ для оперативной реализации объемных вычислений, апробацией и внедрением разработанных методов и средств в учебном процессе, репрезентативностью экспериментальных данных.
Основные положения, выносимые на защиту:
1 .Концептуальная модель адаптивного контроля знаний учащихся, основанная на квалиметрической оценке качества обученности учащихся, на применении адаптированных тестовых измерителей в данной модели измерения, позволяет реализовать технологию адаптивного обучения и проводить мониторинг качества знаний.
2.Таксономическая модель адаптивного контроля знаний в виде трехмерной структуры (учебные цели в когнитивной сфере, подуровни интеллектуальной деятельности, предметное содержание) служит основанием для определения структуры теста, состоящего из адаптивных предметно-ориентированных тестовых заданий, предназначенных для текущего и итогового контроля.
3.Математическая модель адаптивного контроля качества знаний, основанная на адаптации тестовых заданий уровню подготовленности учащихся, позволяет осуществлять процедуру оптимизации батареи тестовых заданий для организации адаптивного тестирования на репрезентативной выборке испытуемых, достигая при этом максимально возможного значения точности измерения.
4.Квалиметрическая технология конструирования и применения адаптированных тестовых измерителей, включающая в себя конструирование тестовых заданий, формирование банка тестовых заданий эмпирическим путем и экспертным методом, экспертизу качества теста, математико-
13 статистическую обработку результатов тестирования с применением компьютерных программ, позволяет обосновано оценить результаты тестирования за счет введения таких показателей как адаптивность теста, адаптивность тестовых заданий, эффективность теста и индивидуальная обученность учащихся.
5.Разработанные тестовые задания, выполненные в компьютерном варианте, могут быть использованы при определении индивидуальной динамики развития учащегося по окончанию изучения всего курса, а также при обоснованном сравнении между собой качества знаний учащихся при обучении в образовательных учреждениях различного типа, при автоматизированном контроле качества знаний учащихся и в дистанционном обучении.
Качество образования и образовательные технологии в научно-педагогической литературе
Последние годы характеризуются объединением усилий ряда стран в проведении международных сравнительных исследований о состоянии образования в различных странах, выявлении факторов, влияющих на результаты обучения, что позволяет сравнивать подготовку учащихся отдельных стран с международными стандартами (Международная ассоциация по оценке учебных достижений - IEA). Россия была принята членом IEA в 1991г. и активно участвует в ее исследованиях по естественно-математическому образованию, иностранным языкам и социальным наукам, результаты которых явились толчком для проведения реформы образования. В связи с этим, многими учеными и практиками рассматриваются новые направления в решении проблем формирования системы объективной оценки качества обучения на ряде Всероссийских симпозиумах [48, 49, 85, 99, 105], на Всероссийских научно-практических конференциях [47, 106, 107] и на других конференциях. В последние годы ведутся исследования по школьной диагностике в исследовательских центрах учеными-практиками: Г. С. Ковалевой, В.И. Нардюжевым, Ю.М. Нейманом, Н.А. Селезневой, А.О. Татуром, В.А. Хлебниковым, М.Б. Челышковой, А.Г. Шмелевым и др. [53, 74, 85, 87, 88, 140, 151], появились диссертационные исследования по диагностике знаний учащихся: Е.А. Михайлычев (1991) [82], Г.И. Кириллова (1994) [50], Е.А. Аринкин (1994) [9], СР. Сакаева (1997) [ПО], Т.Н. Дормидонова (1998) [31], Е.А. Леонова (1999) [63], А.А. Мирошниченко (1999) [80], Е.Г. Полуаршинова (1999) [98], Т.С. Веселкова (2000) [20], Л.А. Серебрякова (2000) [115], Т.С. Снигирева (2001) [119] и др.
В условиях всеобщего массового образования его технологизация позволяет гарантировать достижение некоторого обязательного порога качества образования при неоднородном уровне профессиональной подготовки учителей. Для учителей и управленцев сегодня незнание понятия "образовательная технология" рассматривается как признак их профессиональной некомпетентности. Однако в сложившейся сейчас ситуации многообразие подходов и позиций настолько велико, что в конечном счете приводит к потере смысла. Ценное в образовательной технологии - это разработка общей стратегии развития личности и создание для этого адекватных средств. Технологический подход к конструированию учебного процесса базируется на конкретном формулировании целей обучения на уровне повседневной работы учителя, на определении фиксированного результата обучения, который должны достичь все ученики, на оперативной обратной связи, позволяющей корректировать процесс формирования знаний и умений. Проблема быстрой проверки результатов проверочных работ -наиболее трудная в технологическом подходе к конструированию учебного процесса в целом и во внедрении мониторинга как составной части этого подхода в частности.
Педагогические технологии как динамически структурированные системы обучения с гарантированным результатом базируются на модели обучения с учетом модели обучаемого и зависят от целей и задач. Хорошо известна системная теория педагогических технологий, принадлежащая В.П. Беспалько [14], о систематическом и последовательном воплощении на практике заранее спроектированного учебно-воспитательного процесса. Объект ее рассмотрения является строго алгоритмизированным и сегодня утрачивает признаки актуальности. М.А. Чошанов [146[ определяет технологию как категорию процессуальную, как совокупность методов изменения состояния объекта. По определению ЮНЕСКО (Международной организации объединенных наций по вопросам образования, науки и культуры) технология обучения - это системный метод создания, применения и определения всего процесса преподавания и усвоения знаний с учетом технологических и человеческих ресурсов и их взаимодействия, ставивший своей задачей оптимизацию форм образования. Т.И. Шамова [148] учитывает управленческий аспект в образовательной технологии и рассматривает совместную деятельность учащихся и учителя по проектированию, организации, корректированию обучения при обеспечении комфортных условий участникам процесса обучения. Системное представление и существенные черты современных педагогических технологий рассматриваются Г.К. Селевко [113], который предложил их классификацию по характерным признакам, в том числе по использованию психологических теорий обучения, по методике оценочной деятельности учащихся и др. В своей работе автор отмечает, что педагогическая технология разрабатывается под конкретный замысел, идею, в основе ее лежат учебные цели, имеющие форму конкретного ожидаемого результата, она функционирует с учетом принципов индивидуализации учащихся, органической частью ее являются диагностические процедуры, содержащие критерии, показатели и инструментарий измерения результатов деятельности. К сожалению, иногда нарушается условие переносимости и воспроизводимости, которое считается обязательным для технологии.
Проблемы педагогического мониторинга качества образования
Реализация Национальной системы оценки качества образования в России ставит задачу осуществления квалиметрического мониторинга качества образования, что нашло отражение в трудах В.А. Кальней, А.Н. Майорова, А.А. Макарова, Д.Ш. Матроса, В.П. Панасюка, В.П. Симонова, А.И. Субетто, П.И. Третьякоа, СЕ. Шишова и др. [44, 66, 69, 75, 92, 117, 124, 149, 150]. Исследователями: Е.Д. Божович, В.В. Гузеев, Э.Ф. Зеер, Т.В. Машарова, И.С. Якиманская [17, 28, 34, 76, 130, 162] отмечается наличие противоречий между традиционной организацией педагогического контроля знаний учащихся и современными научно-педагогическими идеями гуманизации образования, индивидуализации обучения, развивающего и деятельностного подходов в образовании.
В нашей стране еще в 60-е годы в работах Е.И. Перовского [94] было отмечено, что проблема проверки знаний учащихся принадлежит к числу наименее теоретически проработанных педагогических проблем. Представленные В.П. Беспалько [15] результаты среза качества знаний, проведенного в 1993г. в СССР в 50 регионах по 5 учебным предметам в выпускных классах (участвовало 4000 школьников), показали, что подготовка учащихся держится на I (репродуктивном) уровне усвоения с коэффициентом К 0,8. К сожалению, не были разработаны стандартизованные измерители, не проводились систематические исследования качества знаний по стране и сопоставимых по годам данных не было.
С введением в действие Закона Российской Федерации "Об образовании" появилась необходимость проведения независимой экспертизы качества подготовки выпускников общеобразовательных учреждений в соответствии с образовательными стандартами, что нашло отражение в работах В.И. Байденко, В.П. Беспалько, А.А. Кузнецова, А.О. Татура, В.М. Соколова, Г.А. Стрюкова, А.И. Субетто и др. [13, 15, 55, 108, 120, 122, 123]. В связи с этим особую значимость приобретает проблема качества образования, и основным принципом становится адаптивность системы образования к особенностям развития учащихся как одного из основных принципов государственной политики, однако, в общеобразовательные учреждения России пока еще не внедрена в достаточной степени технология мониторинга качества образования, основанная на педагогической квалиметрии, о чем свидетельствуют труды З.Д. Жуковской, Н.А. Кулемина, А.А. Макарова, И.Г. Саловой, А.И. Севрук, А.И. Субетто, Ю.К. Черновой и др. [33, 58, 69, 111, 112, 124, 125, 145]. Педагогика не располагает к решению проблемы качества образования, как справедливо отмечает В.П. Панасюк [92], и должна дополняться привлечением аппарата научного знания концепции всеобщего управления качеством. Сегодня сформировалось новое научное направление -педагогическая квалиметрия, о проблемах которой можно судить по сборнику трудов [102]. Основными методами педагогической квалиметрии являются тестирование, анкетирование, а также метод групповых экспертных оценок (ГЭО), разработанный B.C. Черепановым [107, 141, 142, 143]. Этот метод зарекомендовал себя как надежное средство переработки слабо формализуемой информации, при котором экспертами применяется интуитивно-логический анализ с количественной оценкой суждений и обработки этих результатов методами математической статистики. Ряд исследователей, публикуемые свои работы в сборниках трудов [36, 37, 99, 101], рассматривают педагогическую квалиметрию как научное направление по проблемам измерений в педагогике на основе квалиметрического подхода, предполагающего объективность, оперативность, возможность соотнесения результатов диагностики с количественными и семантическими шкалами, свертку информации для удобства анализа результатов и выработки решений. Педагогическая квалиметрия раскрывает особенности педагогических измерений и оценки качества "процессов" и "результатов" обучения, образования и воспитания, показывает особенности измерения качества педагогических систем, квалиметрические основы построения измерительно-тестовых комплексов.
Таким образом, обеспечение качества образования в школе, продуманное и взвешенное внедрение стандартов, основанное на теории оценки качества - квалиметрии и ее современных направлений развития, требует дальнейшего исследования, о чем можно судить по материалам Всероссийской научно-методической конференции [47].
О деятельности общеобразовательных учреждений судят по психолого-педагогическим результатам учебно-воспитательного процесса, рассматривая требования образовательных стандартов как качественную и количественную меру их оценки. Ведущее место в проблематике психолого-педагогических особенностей школьного мониторинга занимает педагогическая оценка и соответственно педагогический контроль, который должен быть системой научно-обоснованных проверок, способов измерения и оценки качества знаний. Традиционный педагогический контроль знаний и умений удовлетворяет требованиям классно-урочной системы ведения занятий, но не решает задачи измерения конечных результатов обучения. Известно, что применяемая шкала оценок является порядковой шкалой и измерительная ошибка системы оценки может составлять (+1, - 1) балл, так что колебания между оценками "2" и "4" могут быть вызваны недостаточной надежностью применяемого метода оценивания. Отметка в этом случае сообщает только о порядке в совокупности учащихся и о том, как идет усвоение материала. В опубликованных работах В.И. Гинецинского, Л.Я. Зориной, B.C. Леднева, П.И. Пидкасистого, Н.Ф. Талызиной [24, 25, 35, 62, 95, 126] обоснован теоретико-методологический подход к оценке знаний, раскрыта методика традиционных методов и форм контроля, сформированы требования к качеству знаний школьников, которые является руководством к выбору целей обучения. Однако, предложенные понятия неконструктивны, их сложно использовать для измерения и они непригодны для оценки качества. Анализ традиционных методов проверки и оценки знаний показал, что при контроле знаний не устанавливается единых, общепринятых и одинаково понимаемых целей, которых нужно достигнуть в процессе обучения, отсутствует единый подход к обоснованию критериев оценивания знаний учащихся.
Концептуальная модель адаптивного контроля качества знаний учащихся общеобразовательной Школы
Благодаря существующему сегодня прогрессу в развитии тестовых методов и проведению ряда концептуально-методологических исследований, появляется реальная научная основа для эффективной оценки качества подготовки обучаемых. Создание компьютерных адаптивных тестов лежит на стыке многих наук: квалиметрии, теории педагогических измерений, педагогики, психологии, тестологии, математики, кибернетики, статистики. Теоретической основой адаптивного контроля является теория педагогических измерений, основанная на тестовой теории IRT, представляющей большие возможности применения метода математического моделирования при конструировании тестов и интерпретации результатов тестирования. Опираясь на концепцию о зоне ближайшего развития ребенка, адаптивные тесты могут обеспечить адаптивное обучение с индивидуализированной контрольно-корректировочной оценочной деятельностью. При адаптивном контроле упор делается не на выделение признаков различных уровней достижений учащегося, а на сам процесс измерения качества знаний учащегося с определенным уровнем подготовки. Организация адаптивного тестового контроля качества знаний базируется на принципах объективности, научности, эффективности, достоверности, индивидуальности, динамичности. Нами разработана концептуальная модель адаптивного контроля, представленная на рис.2.1.
В модели выделено 8 блоков. Первый блок ("Учебные цели") учитывает цели обучения, которые определяют успешность процесса обучения и его содержание. Согласно диагностично формируемым учебным целям определяется второй блок ("Образовательный стандарт"). Третий блок ("Содержание обучения") строится с учетом учебных целей и образовательного стандарта, предполагает модульный принцип структурирования предметного содержания для осуществления адаптивного обучения ("Технология адаптивного обучения"), четвертый блок. Пятый блок ("Таксономическая модель контроля") создается с учетом целей и учебного тезауруса. Шестой блок ("Модель измерения") формирует выбранную модель измерения для диагностики. Седьмой блок ("Педагогический мониторинг") осуществляет взаимосвязь адаптивного контроля знаний с адаптивным обучением и определяет соответствие фактических результатов конечным целям обучения. Восьмой блок ("Автоматизированная технология") введен для реализации процесса компьютерного тестирования.
Цели обучения.- это идеальное предвосхищение конечных результатов обучения, т.е. к чему надо стремиться. В этой связи выделены три группы взаимосвязанных целей: образовательные, развивающие мышление и способности, а также воспитательные. Поскольку они определяют успешность процесса обучения, то их содержание, конкретная формулировка являются важнейшим шагом в технологическом конструировании учебного процесса. Наряду с общими требованиями к базовым структурам фундаментализации среднего образования следует отнести квалитологическую и квалиметрическую подготовку личности, формирование "философии качества" как одного из базовых компонентов мировоззрения личности и овладение основами оценочной культуры как базовой культуры интеллекта. Формально минимально возможная цель обучения в сегодняшней школе - это стандарт по образовательным предметам ("Образовательный стандарт"). Задача учителя при формировании целей обучения в рамках учебного предмета заключается в следующем: по каждому образовательному модулю он должен определить степень успешности ученика, учесть проявляемое отношение к предмету и на основании этого определить комплекс учебных целей, при этом эталон усвоения определять для каждого класса. Следующим шагом является выявление базовых понятий учебного предмета (информатики) и оптимальная последовательность их изучения. Таким образом, обязательным условием является организация учебной деятельности на основе ориентиров, представляющих собой точно и конкретно сформулированные учебные цели ("Учебные цели"), которые выступают для учащихся эталоном. На его основе планируется оценка их результатов, выполнение учениками проверочных работ (тестов) после изучения и проработка каждого изученного модуля, объявление результатов выполнения проверочной работы сразу же после ее выполнения, назначение дополнительных заданий и выполнение повторного теста. Заключительный этап - итоговая контрольная работа.
Можно выстроить своеобразную лестницу уточнения целей: от общих требований общества - к задачам образовательной системы, от них к задачам данного учебного заведения и далее к целям учебных программ и конкретного учебного предмета. Чем ближе к ученику, тем однозначнее должны быть цели. В итоге получаются модели результатов обучения, которые становятся базой для построения моделей обучения. От проектирования дерева целей можно перейти к разработке таксономии целей для контроля ("Таксономическая модель контроля"). Описание целей обучения состоит в указании уровней, ступеней, которых достигает ученик по мере овладения знаниями. Характерной чертой такого подхода является тенденция избежать указаний, касающихся содержания обучения, возможность выбрать вариативную часть содержания образования, определяемую конкретной школой в зависимости от ее конкретизированных целей (школьный компонент).
Таксономическая и математическая модели адаптивного контроля знаний учащихся
Функционирование системы обучения подчинено ее общей цели, т.е. сознательно определенным результатам, которых общество стремиться достичь. Цели обучения формируются через результаты обучения, выраженные в действиях учащихся, которые можно надежно опознать. Надо отметить, что зарубежные исследователи наибольшее внимание уделяют целям и результату обучения. Системы педагогических целей, внутри которых выделены их категории и последовательные уровни реализации, получили название педагогических таксономии (taxis - расположение в порядке, nomos — закон) и рассмотрены в трудах М.В. Кларина, В. Оконь, B.S. Bloom, R.M. Gagne, J.P. Guilford [51, 91, 167, 171, 173, 174]. Такой принцип позволяет измерять отдельные положения, обрабатывая их с учетом конечных результатов. Таксономии учитывают качественную модификацию достижений учащихся: измеримые и изменяемые объемы знаний, процессы мышления, связи между ними. При этом проверка приобретает, как отмечают исследователи, формирующий характер.
Фундаментальной классической является концепция таксономии учебных целей, разработанная группой американских психологов и педагогов под руководством профессора Чикагского университета B.S. Bloom в начале 50-х гг. Она известна по публикациям в русле проблемы педагогических технологий, очень удобна для учителя-практика и охватывает различные области учебной деятельности учащихся, мы же остановимся на систематизации учебных целей в когнитивной (познавательной) сфере. B.S. Bloom опирается на иерархию внутренних умственных действий и выделяет шесть иерархических ступеней, каждая из которых, в свою очередь, подразделяется на группы, конкретизирующие и раскрывающие эти ступени [52, 167]. На практике в процессе планирования содержания используются содержательно-деятельностные матрицы, основанные на данной таксономии. При этом, как правило, эксперт определял уровень мыслительной деятельности, необходимый учащимся для ответа на каждое задание теста. Однако такой подход не отражает современные достижения в области психологии обучения и уделяет большое внимание оценке результатов обучения, а не процессу его осуществления, нечетко просматривается сама когнитивная структура на уровне восприятия, памяти, мышления и др.
Одной из основных целей оценки учебных достижений в обучении становится выявление уровня владения учащимися интеллектуальными и практическими умениями, которые в своей основе достаточно сложны.
Развитие личности, развитие ее умственных способностей - это область когнитивной психологии. Умственные (интеллектуальные) способности - это, с одной стороны, результат обучения, а, с другой стороны, предпосылка обучения, как отмечают В.Н. Дружинин и Н.Ф. Талызина [32, 126]. Индивидуальный интеллект складывается по мере того, как закрепляются основные мыслительные операции - анализа, синтеза, обобщения. Вторым, производным компонентом способностей является совокупность умственных действий, с помощью которых может осуществляться соответствующая деятельность (мышление-способность).
В связи с этим интересны некоторые модификации таксономии B.S. Bloom, предложенные в работах В. Оконь и М.А. Чошанова [91, 147], а также ряд таксономии зарубежных и отечественных исследователей, предлагаемых: - более гибкую разветвленную классификацию в звене "применение -анализ - синтез" (Г. Мадэс); - таксономию, отражающую особенности конкретных методических аспектов, например, по умению решать задачи, (R. Horn); - таксономию V. Gerlach - A. Sullivan, базирующуюся на концепции учебного поведения [172]; - уровни учения (R.M. Gagne., M.D. Merrill) [171]; - формирование умственной деятельности (П.Я. Гальперин, Н.Ф.
Талызина, А.Н. Леонтьев) [22, 64, 126]; - таксономию в виде трехмерных моделей A. De Block [169], построенной на основе деятельности преподавателя, и J.P. Guilford [173, 174], включающей операции, их содержание и результат.
Наиболее известной таксономией целей в области формирования и развития интеллектуальных способностей учащихся является модель J.P. Guilford, как результат его исследований в области общих способностей. Однако эта модель несет все черты априорных моделей, т. к. основывается на тестовых теоретических попытках. "По своей имплицитной структуре модель является необихевиористской, основанной на схеме: стимул - латентная операция - реакция" [32, С.20]. Модель является трехмерной, мерности модели - это шкалы наименований: "содержание", "способность испытуемого", "результат", она имеет высокую корреляцию с применяемой таксономией B.S. Bloom по иерархии учебных целей ("способность испытуемого"). Рассмотрим содержание модели. Компонент "способность испытуемого", включает пять категорий:
Первый - познание - поиск информации, распознавание, понимание. Категория включает: факты, терминологию, способы представления понятий и явлений, тенденции развития, хронологию, последовательность событий, а также как знание, которое позволяет вступить в коммуникацию и пользоваться имеющейся информацией, в умении схватить основной смысл параграфа, текста, перевести математические символы в вербальные, использовать полученные данные для определения следствий и т.д.
Второй - память - запоминание и воспроизведение информации, умение применять информацию (правила, методы, общие понятия) в новой ситуации.
Третий - анализ - рассматривается как знание, позволяющее делить информацию на части и устанавливать взаимозависимость между ними. Анализ включает умение определять элементы, составляющие данное содержание, выяснить зависимость между отдельными частями и элементами.
