Содержание к диссертации
Введение
Глава 1. Проблемы педагогической диагностики
1.1. Педагогическая диагностика как часть когнитологии 17
1.2. Таксономические модели в педагогике 28
1.3. Качество образования как объект системного исследования 38
1.4. Тестовые технологии - основа диагностики структуры знаний обучаемых 45
1.5. Педагогическая экспертиза и когнитология 55
Выводы по первой главе 61
Глава 2. Научные основы когнитивной структурологии
2.1. Концепция когнитивной структорологии (таксономия, нормология, стандартология) 62
2.2. Концепция квалиметрического мониторинга структуры знаний обучаемых 74
2.3. Таксономические модели структуры знаний 83
2.4. Фасетные модели обученности 90
2.5. Классификаторы видов знаний 96
2.6. Таксономические модели структуры незнания 102
2.7. Алгоритм формирования «нормативной» структуры знаний 111
Выводы по второй главе 116
Глава 3. Квалитативная технология диагностики структуры знаний
3.1. Концепция квалитативной диагностики 118
3.2. Алгоритм разработки технологии диагностики 123
3.3. Технология разработки контрольно-измерительных материалов. 132
3.4. Технология экспертизы контрольно-измерительных материалов141
3.5. Сертификация контрольно-измерительных материалов 150
3.6. Методика формирования структуры знаний обучаемых 159
3.7. Математические модели обработки результатов диагностики структуры знаний 173
3.8. Графическая интерпретация результатов диагностики 180
Выводы по третьей главе 189
Глава 4. Опытно-экспериментальная проверка эффективности квалитативной технологии диагностики структуры знаний обучаемых
4.1. Определение репрезентативности выборки 191
4.2. Методика диагностики структуры знаний обучаемых по предмету 196
4.3. Валидизация контрольно-измерительных материалов 203
4.4. Оценка эффективности эксперимента 214
4.5. Интерпретация результатов диагностики уровней незнания 224
4.6. Интерпретация результатов диагностики структуры знаний обучаемых 230
Выводы по четвертой главе 242
Заключение 243
Литература 248
Приложение 1. Понятийно-терминологический аппарат квалитативной технологии диагностики знаний 279
Приложение 2. Математический аппарат для обработки результатов эксперимента 288
Приложение 3. Образцы контрольно-измерительных материалов для диагностики структуры знаний обучаемых 299
Приложение 4. Варианты нормативных знаний по курсу медицинской и биологической физике 326
- Педагогическая диагностика как часть когнитологии
- Концепция когнитивной структорологии (таксономия, нормология, стандартология)
- Концепция квалитативной диагностики
- Определение репрезентативности выборки
Введение к работе
Современная государственная политика по обеспечению качества образования в России предусматривает решение целого комплекса проблем, стоящих перед учебными заведениями (школами, гимназиями, лицеями, институтами, академиями и т. д.), основными из которых являются: общие проблемы квалиметрии человека и образования, качество образования и его оценка на современном этапе в общемировом, европейском и отечественном контекстах, мониторинга качества образования разных уровней, проблемы создания современных диагностических и оценочных средств для итоговой и поэтапной аттестации и самооценки качества подготовки обучаемых в образовательных учреждениях общего и профессионального образования, квали-метрия тестовых технологий, проблемы оценки качества учебного процесса, а именно, оценки качества подготовки обучаемых.
Проблемами оценки качества подготовки обучаемых, разработкой Национальной системы оценки качества образования занимаются Центр оценки качества образования ИОСО РАО, лаборатория аттестационных технологий при Московском институте повышения квалификации работников образования, Федеральный центр тестирования, Федеральный институт педагогических измерений.
Путь к созданию системы оценки качества подготовки обучаемых многие исследователи видят в разработке теории научной организации педагогического контроля и использовании возможностей контрольно-измерительных материачов, в том числе и педагогических тестовых материалов, разработанных на основе методов теории моделирования и параметризации педагогических тестов - теории IRT.
Разработка новых моделей контроля качества образования (систем диагностического, текущего и итогового контроля) для оценки эффективности образовательного процесса и мониторинга состояния системы образования, включая экспертизу педагогической деятельности и диагностику развития
личности в системе образования, являются приоритетными направлениями фундаментальных и прикладных исследований Российской академии образования.
В педагогической теории и практике появляются разнообразные подходы к оценке качества подготовки обучаемых (учащихся, абитуриентов, студентов и др.), в учебно-воспитательный процесс образовательных учреждений внедряются новые педагогические технологии контроля знаний, опирающиеся на современные информационные и телекоммуникационные возможности, а так же методики контроля знаний обучаемых на тестовой основе, в том числе единый государственный экзамен и другие педагогические инновации.
Проблему качества образования и его управления исследовали многие отечественные ученые: СИ. Архангельский, Ю.К. Бабанский, В.И. Байденко, Г.Д. Бухарова, Л.И. Гурье, Г.С. Ковалева, Г.П. Корнев, В.В. Краевский, B.C. Леднев, И.Я. Лернер, В.М. Полонский, Г.М. Романцев, Н.А. Селезнева, В.М. Соколов, А.И. Субетто, Н.Н. Тулькибаева, В.А. Федоров, Ы.Е. Эрганова и другие. Идеи и результаты этих исследований служат теоретико-методологической и научно-методической базой для организации педагогического контроля в различных видах образовательных учреждений.
Диагностика знаний обучаемых - предмет исследований ряда отечественных и зарубежных ученых: B.C. Аванесова, В.П. Беспалько, В.В. Майера, Л.В. Макаровой, В.И. Михеева, А. Анастази, К. Ингенкампа, А. Бирнбаума, Б. Блума, Р. Гагна, Г. Раша, а также диссертационных исследований (И.М. Александров, О.Ю. Ефремов, Ю.Г. Кислякова, Л.В. Колясникова, О.В. Любимова, М.Г. Минин, Т.А. Родыгина, О.Ф. Шихова и др.).
Исследователи отмечают, что система педагогической диагностики, включенная в структуру учебно-воспитательного процесса, в настоящее время находится в стадии модернизации. Для осуществления процедур педагогической диагностики необходим комплекс педагогических контрольных ма-
териалов, разработанных на научной основе и отвечающих характеристикам объективности, надежности и валидности. Создание научно-обоснованных методов измерения качества знаний представляет определенные трудности, связанные с разработкой методического обеспечения процедур диагностики, обоснованием критериев оценивания, созданием стандартных процедур диагностики, разработкой измерительных шкал для оценки качества подготовки обучаемых. Методологические трудности дополняются еще и тем, что в исследованиях практически не рассматриваются методики диагностики структуры знаний обучаемых.
Все это позволяет обозначить в педагогической теории и практике следующие противоречия:
между неопределенностью или отсутствием единых критериев оценки качества подготовки обучаемых и необходимостью получения объективной оценки эффективности учебного процесса;
между необходимостью научного обоснования категории «структура знаний обучаемых» и отсутствием ее однозначного толкования в педагогической теории и практике;
между необходимостью диагностики структуры знаний обучаемых в различных типах образовательных учреждений и недостаточной разработанностью валидного и надежного инструментария для ее оценивания;
между необходимостью отбора содержания материала при формировании структуры знаний обучаемых на фиксированное учебное время курса, семестра, раздела учебной дисциплины, лекции, практического занятия (семинара) или урока и неразработанностью соответствующей технологии;
между потребностью в повышении качества контрольно-измерительных материалов с учетом требований ГОС, и недостаточной разработанностью технологии их создания, в том числе для диагностики структуры знаний обучаемых.
В контексте изложенного проблема исследования может быть сформулирована следующим образом: каким образом усовершенствовать методы формирования и диагностики структуры знаний обучаемых для повышения эффективности учебного процесса и объективности педагогического контроля и как повысить качество педагогических контрольных материалов, предназначенных для этих целей?
Недостаточная теоретическая разработанность проблемы, ее практическая значимость и актуальность обусловили выбор темы диссертационного исследования: «Основы квалитативной технологии формирования и диагностики структуры знаний обучаемых».
Цель исследования: разработать теоретико-методологические основы квалитативной технологии формирования и диагностики структуры знаний обучаемых.
Объект исследования: система педагогической диагностики знаний обучаемых в различных типах образовательных учреждений.
Предмет исследования: теория и технология формирования и диагностики структуры знаний обучаемых.
Ключевые понятия исследования:
квалитология - наука о качестве любых объектов или процессов; квалитология образования или образовательная квалитология - совокупность методов, направленных на обеспечение и контроль качества образовательного процесса;
квалитативная технология формирования и диагностики структуры знаний обучаемых - совокупность методов, разработанных на основе тезау-русного и квалиметрического подходов, с использованием тестовых измерителей, позволяющих проводить оценку качества подготовки обучаемых;
структура знаний - устойчивая и упорядоченная связь между знаниями определенного вида, соотнесенными с содержанием изучаемой учебной информации, классификатором знаний в рамках определенной модели
обучения, характеризующаяся рядом параметров (обобщенность, «прочность», «полнота», многофункциональность, скорость «забывания» и др.) и определяемая в зависимости от категорий обучаемых и их подготовки в образовательном учреждении;
квалиметрический подход - метод педагогической квалиметрии, ос
новой которого являются групповые экспертные оценки, учитывающие опыт
специалистов - экспертов;
тезаурусный подход при диагностике структуры знаний обучаемых -метод, предполагающий выделение дескрипторов учебного предмета и сопряжение их с выбранной таксономической моделью уровней обученности.
Гипотеза исследования: повышение качества формирования заданной структуры знаний, объективность и эффективность ее диагностики возмож-но, если:
методологическими основами технологии формирования и диагностики структуры знаний обучаемых являются принцип системности знаний, тезаурусный и квалиметрический подходы;
при отборе педагогических контрольных материалов для диагностики структуры знаний обучаемых использовать квалиметрически обоснованный учебный тезаурус, сопряженный с таксономической моделью уровней обученности и классификатором знаний;
применять методы теории моделирования и параметризации при разработке педагогических контрольных материалов;
использовать квалитативную технологию диагностирования для совершенствования содержания и методики обучения.
В соответствии с предметом, целью и гипотезой исследования предполагается решить следующие задачи:
1) провести сравнительный теоретический анализ работ по проблемам формирования и диагностики структуры знаний, включая тестовые технологии;
обосновать определение и содержание категории «структура знаний обучаемых»;
разработать технологию отбора содержания материала при формировании структуры знаний обучаемых на фиксированное учебное время курса, семестра, раздела учебной дисциплины, лекции, практического занятия (семинара) или урока;
разработать методику формирования структуры знаний обучаемых на основе таксономической модели обученности;
обосновать концептуальную модель квалитативной диагностики и разработать алгоритм ее технологии;
разработать квалиметрическую технологию отбора педагогических контрольных материалов для диагностики структуры знаний обучаемых;
провести экспериментальную проверку эффективности и результативности разработанной технологии.
Теоретическую и методологическую основу исследования составляют теории и концепции:
в области изучения структуры научных и учебных знаний обучаемых (П.Я. Гальперин, В.И. Гинецинский, B.C. Данюшенков, В.И. Загвязииский, Л.В. Загрекова, А.А. Зиновьев, Л.Я. Зорина, В.В. Краевский, И.Я. Лернср, М.Н. Скаткин, Н.Ф. Талызина и др.);
в области таксономии целей образования (Б. Блум, В.В. Гузеев, М.В. Кларин, Д. Кратволь, В.Н. Максимова, Б. Масиа, В.П. Симонов и др.);
в области педагогической квалиметрии (М.Л. Левицкий, В.П. Мизинцев, А.А. Мирошниченко, В.П. Панасюк, Л.Т. Турбович, B.C. Черепанов и
дрО;
в области педагогической тестологии (B.C. Аванесов, А. Бирнбаум,
К. Ингемкамп, А.Н. Майоров, Е.А. Михайлычев, Ю.М. Нейман, Г. Раш, А.О.
Татур, В.А. Хлебников, М.Б. Челышкова и др.);
в области педагогических технологий (В.П. Беспалько, О.В. Должен-ко, З.Д. Жуковская, А.С. Казаринов, Ю.Н. Семин, Т.В. Машарова, Н.Ф. Талызина, Ю.К. Чернова, М.А. Чошанов и др.).
Ведущей идеей исследования является использование методов образовательной квалитологии, педагогической квалиметрии и тезаурусного подхода для разработки технологии формирования и диагностики структуры знаний обучаемых.
При разработке квалитативной технологии формирования и диагностики структуры знаний обучаемых, ее концептуальных положений были использованы теоретические идеи Черепанова B.C.
Для решения поставленных задач применялись следующие методы исследования:
теоретический анализ и синтез при изучении литературных источников, при разработке концепции исследования, при обосновании квалитативной технологии формирования и диагностики структуры знаний обучаемых;
теоретические методы классификации, аналогии и системного анализа;
эмпирические методы анкетирования, наблюдения, тестирования;
методы экспертных оценок и педагогической квалиметрии;
вероятностно-статистические методы обработки результатов педагогического эксперимента.
Организация, база и этапы исследования* Опытно-экспериментальная работа осуществлялась на кафедре физики и химии Ижевской государственной медицинской академии и в 10-11-х лицейских классах медицинского направления Ижевской гимназии № 56.
Исследование проводилось в период с 1998 по 2006 гг.
На первом этапе (1998 - 2002) (подготовительном) - основной задачей являлось изучение проблемы диагностики структуры знаний обучаемых через анализ состояния существующей практики диагностики структуры
знаний при преподавании курса медицинской и биологической физики в Ижевской государственной медицинской академии. В результате были сформулированы проблема и гипотеза исследования.
На втором этапе (2002 - 2004) (исследовательском) - осуществлялся анализ теоретических работ по теме исследования, разрабатывалась технология формирования и диагностики структуры знаний обучаемых на основе тестовых измерителей.
На третьем этапе (2004 - 2006) (опытно-экспериментальном) - происходила апробация квалитативной технологии диагностики структуры знаний на выборках студентов первого курса, обучающихся на кафедре физики и химии Ижевской государственной медицинской академии и учащихся лицейских классов медицинского направления Ижевской гимназии № 56, а также проводился статистический анализ и обобщение результатов исследования.
Научная новизна исследования заключается в следующем:
разработаны концептуальные основы квалитативной технологии формирования и диагностики структуры знаний обучаемых как научного направления, обеспечивающего технологичность педагогического контроля за счет применения методов педагогической квалиметрии;
предложен и обоснован соответствующий требованиям ГОС алгоритм формирования и диагностики «нормативной» структуры знаний, которые подлежат обязательному усвоению обучаемыми и последующему контролю со стороны образовательных учреждений;
создана технология отбора содержания материала при формировании структуры знаний обучаемых на фиксированное учебное время на основе те-заурусного подхода;
создана технология конструирования педагогических тестовых материалов для диагностики структуры знаний обучаемых в различных типах образовательных учреждений;
разработана и обоснована методика оценки качества сформированной
структуры знаний обучаемых (уровня структуры знаний, объема сформиро
ванных знаний, «полноты» структуры знаний, скорости «забывания» знаний,
сопоставительного анализа уровня структуры и уровня усвоения знаний па
основе критерия хи-квадрат).
Теоретическая значимость исследования состоит в том, что в нем:
обоснованы концепция квалитативной технологии формирования и диагностики структуры знаний обучаемых и алгоритм ее разработки на основе тестовых измерителей;
в педагогический категориальный аппарат введены понятия: таксономическая модель структуры знаний, учебный таксономический тезаурус, критерий сформированности уровня структуры знаний;
уточнены и предложены методы количественного оценивания ряда понятий: «полнота» и «прочность» структуры знаний обучаемых, скорость «забывания» знаний, объем сформированных знаний, коэффициент усвоения знаний;
обоснована концепция квалиметрического мониторинга структуры знаний обучаемых, основными критериями качества которого являются «полнота» структуры знаний (предметно-содержательный уровень); «прочность» знаний» (содержательно-деятельностный уровень);
теоретически обоснованы авторские модели:
структуры «нормы» для педагогического контроля;
квалиметрического мониторинга структуры знаний обучаемых;
таксономии структуры диагностируемых знаний;
технологии диагностики структуры знаний обучаемых;
формирования структуры знаний.
Практическая значимость исследования заключается в том, что содержащиеся в исследовании теоретические положения и выводы могут быть
использованы в научных исследованиях, а также применены при диагностике и контроле знаний в различных типах образовательных учреждений. Разработанная технология позволяет:
создавать контрольно-измерительные материалы для диагностики структуры знаний обучаемых и применять их в учебном процессе для контроля и диагностики качества подготовки обучаемых;
использовать результаты контроля и диагностики структуры знаний обучаемых для совершенствования содержания и методики обучения по конкретной учебной дисциплине.
Авторские учебно-методические пособия используются в учебном процессе учителями, преподавателями, учащимися старших классов и студентами.
Разработанная технология дает возможность конструировать педагогические контрольные материалы и тесты для диагностики структуры знаний обучаемых, которые могут быть использованы в процессе изучения любой учебной дисциплины.
Результаты исследования нашли отражение в монографиях, пособиях, серии статей, тезисах и материалах конференций, методических разработках.
Основные положения, выносимые на защиту:
1. Структура знаний определяется категорией обучаемых и их подго
товкой в образовательном учреждении, соотносится с содержанием изучае
мой учебной информацией, классификатором знаний в рамках определенной
модели обучения и характеризуется рядом параметров (обобщенность,
«прочность», «полнота», многофункциональность, скорость «забывания» и
др.)-
2. Технология отбора содержания материала на фиксированное учебное
время курса, семестра, раздела учебной дисциплины, лекции, практического
занятия (семинара) или урока, разработанная на основе метода групповых
экспертных оценок с использованием тезаурусного подхода позволяет повысить качество формирования структуры знаний обучаемых.
Концептуальная модель технологии диагностики структуры знаний обучаемых, включающая требования ГОС учебной дисциплины, цели диагностики, таксономическую модель структуры диагностируемых знаний, учебный таксономический тезаурус дисциплины, педагогические контрольные материалы, технические средства для диагностики, квалиметрический мониторинг структуры диагностируемых знаний, оценку качества сформированной структуры знаний обучаемых может быть разработана на основе тезаурусного и квалиметрического подходов, что позволяет обеспечить научность и технологичность процедуры.
Технология отбора педагогических тестовых материалов (ПТМ) для диагностики структуры знаний обучаемых, разработанная на основе метода групповых экспертных оценок, и включающая подготовительный этап, отбор содержания учебного материала, по которому составляются ПТМ, анализ и экспертизу теста, апробацию пробного теста, статистическую обработку результатов тестирования и анализ полученных данных, позволяет составлять ПТМ, не только учитывая требования ГОС учебной дисциплины, но и опыт ведущих специалистов (учителей, преподавателей и т.д.).
Методика диагностики структуры знаний обучаемых на основе тестовых измерителей, включающая несколько этапов (определение объема репрезентативной выборки, составление характеристики теста, вычисление метрологических показателей испытуемых и характеристик теста, оценка качества сформированной структуры знаний обучаемых, графическая интерпретация результатов диагностики, выводов и рекомендаций, определение уровней незнания обучаемых, оценка эффективности эксперимента) применима в любом типе образовательных учреждений для оценки качества подготовки обучаемых.
6. Качество сформированной структуры знаний обучаемых устанавливается с помощью ПТМ, разработанных методом групповых экспертных оценок, и удовлетворяющих ряду критериев качества (содержательность, репрезентативность структуры и ГОС, пригодность для диагностики уровней обучен ности и видов знаний).
Достоверность и обоснованность полученных результатов обеспечена исходными методологическими позициями, системным взглядом на проблему формирования и диагностики структуры знаний обучаемых, совокупностью методов теоретического и эмпирического исследования, их адекватностью цели и задачам исследования, разносторонним качественным и количественным анализом собранного фактологического материала, многолетней апробацией идей в различных видах образовательных учреждений.
Апробация работы и внедрение результатов исследования.
Диссертационное исследование выполнено в рамках научно-исследовательской программы «Образование в Уральском регионе: научные основы развития и инновации» в соответствии с планом важнейших НИР Уральского отделения РАО на 1998-2006 гг. (разд. 3, п. 3.21 «Разработка теоретических основ и квалитативной технологии формирования и диагностики структуры знаний обучаемых»).
Материалы исследования были представлены на Х-м и Х1-м Всероссийских симпозиумах по квалиметрии человека и образования «Квалиметрия в образовании: методология и практика» (г. Москва, 2002, 2006); международных научно-практических конференциях: «Инновационные процессы в сфере образования и проблемы повышения качества подготовки специалистов» (г. Ижевск, 2005); «Психология и педагогика современного образования в России» (г. Пенза, 2006); «Парадигмы образования» (г. Ижевск, 2006); «Интеллектуализация образования и компетентностный подход» (г. Воронеж, 2006); «Концептуальные модели нормирования качества образования в компетентностном формате» (г. Уфа, 2006); IV-й, V-й, VI-й и Vll-й Всерос-
сийских конференциях «Развитие системы тестирования в России» (г. Москва, 2002 - 2005); IV-й региональной научно-практической конференции «Образование в Уральском регионе: научные основы развития и инноваций» (г. Екатеринбург, 2006); в сборнике научных статей по проблемам измерения в педагогике (г. Ижевск, 2003).
Основные положения и результаты исследования обсуждались на кафедре профессиональной педагогики Ижевского государственного технического университета.
Результаты исследования использовались в учебном процессе на кафедрах физики и химии Ижевской государственной медицинской академии, а также нашли применение на физическом факультете Удмуртского государственного университета, на кафедре профессиональной педагогики Ижевского государственного технического университета, на кафедре физики Ижевской государственной сельскохозяйственной академии, на кафедре психолого-педагогических дисциплин филиала Глазовского государственного педагогического института им. Короленко, Ижевском педагогическом колледже, Ижевской гимназии № 56, Ижевском естественно-гуманитарном лицее «Школа 30», Гуманитарно-юридическом лицее № 86, муниципальной средней школе № 83 г. Ижевска, школах г. Глазова, г. Воткинска, сельских школах ряда районов Удмуртской Республики и др. организаций.
Структура диссертации включает введение, четыре главы, заключение, список литературы, включающий 311 наименований, из них 21 на иностранном языке, приложений. Работа содержит таблицы, рисунки, схемы, диаграммы, формулы.
Педагогическая диагностика как часть когнитологии
Диагностика - это процесс определения состояния какого-либо объекта (от греч. diagnostikos - способный распознавать). Диагноз - это результат исследования сущности и отклонений от нормы в состоянии объекта диагностики.
Под диагностикой понимают процесс получения информации о состоянии наблюдаемого или изучаемого объекта с помощью различных методов, способов, приемов. Диагностическая информация включает в себя сведения о состоянии объекта, степени его соответствия норме, тенденциях его развития. Она позволяет эффективно влиять на процесс с целью его торможения или ускорения, совершенствования или коррекции [109, с. 264]. На основе диагностического критерия и с помощью средств диагностики можно охарактеризовать состояние изучаемого объекта, определить наличие или отсутствие отклонений в его функционировании или развитии.
С позиций общей методологии науки диагностика рассматривается как специализированная область познания, включающая в себя теорию и методы организации процессов распознавания, а также принципы организации и построения средств диагноза [55, с. 10].
Понятие «педагогическая диагностика» было предложено в 1968 году немецким педагогом К. Ингенкампом [74], в отечественной литературе этот термин начал широко применяться в 80-90-х годах, в работах В.П. Симонова, П.И. Пидкасистого, И.П. Подласого и др. [189, 158,160].
Под педагогической диагностикой понимается система специфической деятельности коллективов, призванная выявить определенные свойства личности для оценки (измерения) результатов воспитания, образования и обучения. Систему диагностической деятельности образуют цели и методы диагностики, результаты и интерпретация результатов, кадры и учреждения, занимающиеся диагностикой. Обязательным является гуманное применение результатов диагностики в образовательном процессе [6].
В понятии «педагогическая диагностика» необходимо обратить внимание на прилагательное педагогическая, которое характеризует следующие особенности данной диагностики [120]:
во-первых, диагностика осуществляется для педагогических целей, то есть она ориентирована на то, чтобы на основе анализа и интерпретации результатов получить новую информацию о том, как улучшить качество образования (обучения, воспитания) и развития личности обучающегося;
во-вторых, она дает принципиально новую содержательную информацию о качестве педагогической работы преподавателя;
в-третьих, она осуществляется при помощи методов, которые органически вписываются в логику педагогической деятельности;
в-четвертых, с помощью педагогической диагностики усиливаются контрольно-оценочные функции деятельности педагога;
в-пятых, даже некоторые традиционно применяемые средства и методы обучения и воспитания могут быть трансформированы в средства и методы педагогической диагностики.
Для осуществления процедур педагогической диагностики необходима разработка комплексов диагностических материалов, разработанных на научной основе и отвечающих характеристикам объективности, надежности и валидности. Этот процесс можно назвать диагностическим обеспечением. Однако необходимо отметить, что к диагностическим материалам, средствам диагностики, относятся не только контрольные вопросы и задания, к ним относятся и формы методического обеспечения процедур диагностики, например, рекомендации по подготовке и проведению диагностических процедур, научно-обоснованные критерии оценок, методики анализа полученных результатов, рекомендации по отбору экспертов и др.
Как отмечает Е.А Михайлычев [144], система педагогической диагностики, надежная и доступная, включенная в структуру учебно-воспитательного процесса, сейчас еще находится в стадии создания. Одни ее компоненты разработаны лучше, другие хуже. Но, в любом случае, она все время нужна всем: и педагогам - практикам, и школьным психологам, и управленцам всех звеньев образования.
Проблемы педагогической диагностики рассматриваются в монографиях B.C. Аванесова, В.И. Гинецинского, В.И. Загвязинского, А.А. Зиновьева, Л.Я. Зориной, В.В. Ильина, К. Ингенкампа, Л.В. Макаровой, Е.А. Михайлы-чева, Н.Ф. Талызиной, В.С Черепанова и др., а также в диссертационных работах ЗД Жуковской, 1994; Т.А. Родыгиной, 1996; О.Ф. Шиховой, 1997; Е.Н. Лебедевой, 1998; Е.Г. Полуаршиновой, 1998; А.А. Макарова, 1999; Т.С. Веселковой, 1999; М.Г. Минина, 2001; О.Ю. Ефремова, 2001; И.М. Александрова, 2002; О.В. Любимовой, 2002; Ю.Г. Кисляковой, 2002; Л.В. Коляснико-вой, 2003 и др. [2, 42, 62, 67, 68, 72, 74, 116, 143, 250, 275, 60, 177, 284, 102, 163,119,36,137,58,14,110,88,95].
В современных условиях модернизации содержания профессионального образования, гуманизации, демократизации, постепенного перехода к разнообразию в обучении и воспитании педагогическая диагностика становится многофункциональной [52]. Она включает в себя такие функции как аналитическая, собственно диагностическая, оценочная, коррекционная, ориента-ционная и информационная.
Аналитическая функция предполагает психолого-педагогический анализ результатов, полученных в процессе диагностики образовательного процесса на всех уровнях его структурной организации как педагогической системы. В отличие от контроля, направленного лишь на выявление конечного состояния того или иного объекта, с помощью анализа мы хотим установить, почему произошли изменения в учебно-воспитательном процессе, с какими причинами эти изменения связаны. То есть аналитическая функция диагностики выявляет причинно-следственные связи между условиями и результатами обучения.
Собственно диагностическая функция. Диагностическая деятельность не может быть осуществлена без получения с помощью диагностических методик и средств данных. В процессе диагностики могут изучаться психолого-педагогические условия протекания учебно-воспитательного процесса, уровень обученности, воспитанности и развития обучаемых, а также уровень профессиональной компетентности педагога.
Оценочная функция - это качественная и количественная оценка деятельности обучаемых, педагогов и администрации образовательного учреждения. Полученные в процессе диагностики данные отнесены к той или иной группе, классу, их необходимо сравнивать с известными нормами или соотнести с выбранной оценочной шкалой.
Коррекционная функция диагностики достаточно тесно связана с самодиагностикой. Полученные результаты диагностики (даже если они неудовлетворительные) должны вызывать не реакцию страха наказания или подавленности, а осознание перспективы собственной активности обучающегося или педагога в сторону саморазвития.
Ориентационная функция. Эта функция связана с пониманием диагностики как метода исследования. В процессе диагностики происходит ориентация педагогического коллектива на решение целей и задач образовательного учреждения, на устранение тех проблем, которые имеют место в жизни всего коллектива и отдельных педагогов.
Информационная функция. Постоянная информация всех участников педагогического процесса о результатах педагогической диагностики играет важную роль в процесса самооценки и саморазвития.
Функция обратной связи. Получение диагностических данных об уровнях успешности обучающихся, которые являются необходимой информацией и для учащегося и для педагога при их взаимодействии для поиска общего решения возникающих проблем, конструирования дальнейшего педагогического процесса. Данная функция влияет на успешность коммуникации между субъектами образовательного процесса.
Основные стороны диагностико-оценочной деятельности, это - предмет, субъект, объект, характер и основания, с помощью которых определяются те или иные оценки, используемые далее в процессе педагогической диагностики [2].
Предмет педагогической диагностики - измерение (оценка) интересующих свойств личности, включенной в образовательный процесс. Следовательно, диагностика представляет собой часть педагогической практики и теории, т. е. педагогики.
Субъектами диагностики в связи с отсутствием в стране тестологиче-ского образования могут стать кадры педагогов-тестологов, получающих специальное дополнительное образование в системе научно-педагогических специализированных учреждений.
Концепция когнитивной структорологии (таксономия, нормология, стандартология)
Разразившийся в последнее десятилетие социально-экономический кризис в стране поставил перед системой образования России ряд острых проблем. Одна общесистемная, касающаяся всех уровней образования проблема - это обеспечение и контроль качества образовательного процесса. На решение этой проблемы направлены усилия многих исследователей в области педагогики, которые пытаются за счет моделирования учебного процесса с использованием принципов структорологии, таксономии и нормологии повысить его качество и эффективность.
Под когнитивной структурой в нашем исследовании понимается упорядоченная совокупность элементов учебной информации в виде слов или словосочетаний, характеризуемая семантической устойчивостью и контрастностью, которая включается в программу учебного предмета для изучения.
Понятие структуры (лат. structura - строение, расположение, порядок) в научном знании рассматривается как - внутренняя форма организации системы, выступающая как единство состава системы и устойчивых взаимосвязей между ее элементами. Система - это множество элементов, находящихся в отношениях и связях друг с другом, которое образует определенное целостность, единство.
Т.А. Ильина считает, что знания можно считать системными, если они структурированы. Выявление структуры системы важно для получения полного и более глубокого представления обо всей системе в целом [72, с. 18].
Структурирование знаний в виде тезауруса впервые в педагогике в информационно-семантической модели обучения, как запечатленный и хранимый в памяти индивидуума запас понятий, оценок, норм ввел Л.Т. Турбович [259].
Термин тезаурус достаточно древнего происхождения (теза - понятие; аура - свод, оболочка; «тезаурус» - свод понятий).
Согласно модели Л.Т. Турбовича заместителем сознания индивидуума является понятийный психологический тезаурус. Используя данное понятие, автор предлагает выполнение следующих процедур: построение списка оснований (фактов, законов, норм, оценок), подлежащих усвоению; перечисление признаков изучаемых объектов, составление сигнатур понятий; группировка понятий путем квантификации, классификации, упорядочения посредством генерализации; определение содержания начального тезауруса учащегося; построение модели текста как разности конечного и начального тезауруса.
Расширение тезауруса учащегося при включении в него новой информации интерпретируется Л.Т. Турбовичем как обучение [259].
В работе В.И. Гинецинского [42] предлагается модель факторов регуляции учебно-познавательной деятельности. Центральным объектом в дайной модели является тезаурус, который «служит информационным хранилищем накапливаемого опыта, отдельные уровни и компоненты которого могут актуализироваться под влиянием внешних воздействий (условий)» [42, с. 58]. Автор также рассматривает процесс обучения как процесс расширения и переструктурирования тезауруса, так как «содержанием педагогического воздействия может считаться такое сообщение, которое реально преобразует (расширяет) тезаурус обучаемых» [42, с. 27].
Использовать понятие тезауруса для обоснования системы параметров контроля за выполнением государственного образовательного стандарта предлагается в работе Б.С. Гершунского и В.М. Березовского [41]. По мнению авторов, возможно создание эталонного тезауруса, который содержит в себе систему понятий, полно и адекватно характеризующую качество и уровень полученного образования. Степень различия между эталонным тезаурусом и тезаурусом личности может быть основным показателем выполнения образовательного стандарта.
Тезаурус как множество дескрипторов и множество связей между ними рассматривают в своей работе П. Георгиева и П. Папай [40]. Дескриптор -основной носитель информации. Авторами утверждается, что основное смысловое содержание учебного материала с необходимой степенью точности и полноты можно описать совокупностью дескрипторов и связей между ними. Поэтому тезаурус в данной работе определяется как множество дескрипторов и множество связей между ними. Предполагается использовать дескрипторы для обоснования требований к абитуриентам и студентам вуза, при составлении и корректировке учебного плана, при формировании «модели дескрип-торного тезауруса специалиста» и т.п.
Методике отбора диагностируемого материала фундаментальных дисциплин на базе учебных тезаурусов посвящены работы B.C. Черепанова, А.А. Мирошниченко, Л.В. Макаровой, А.А. Макарова, С.А. Маркелова, ТА Родыгиной, В.Ф. Башарина, Ш. А. Горбушина и др. [272, 273, 140, 141, 115,118,119,177,26].
Методика построения учебных тезаурусов предметов на основе метода групповых экспертных оценок приведена в работах B.C. Черепанова [272, 273]. Автор предлагает использовать понятие учебного тезауруса, предложенное Л.Т. Турбовичем и П. Георгиевой. Тогда задачу составления программы по і-й дисциплине (учебного плана у'-типа) можно представить как составление тезауруса Qi (Qj). Дескрипторами данного тезауруса являются множества базовых понятий, умений и навыков, которыми должен овладеть учащийся на определенном уровне обучения. Отбор данных дескрипторов и определение уровней их изучения производится с учетом опыта учителей, методистов, ученых и специалистов, которые и составляют экспертную группу. Методика построения учебных тезаурусов предметов включает в себя 5 этапов: 1) подготовительный этап; 2) этап деятельности рабочей группы; 3) этап работы экспертной комиссии; 4) этап работы технической группы; 5) заключительный этап.
Построенные таким образом учебные тезаурусы, по мнению автора, способны решить задачи оптимального структурирования, планирования учебного материала и обоснованной оценке знаний и умений учащихся.
В своих работах [140, 141] А.А. Мирошниченко видоизменяет определение учебного тезауруса. Учебный тезаурус он представляет как систему, состоящую из информационно-семантических и коммутационных элементов учебного материала. Информационно-семантический элемент представляет собой дескриптор. Множество связей между дескрипторами осуществляется коммутационными элементами, которые подразделяются на внутренние и внешние. Внутренние коммутационные элементы обеспечивают связи между дескрипторами внутри учебного тезауруса, а внешние - между дескрипторами других учебных тезаурусов. Совокупность дескрипторов определяет информационно-семантическую структуру, а совокупность коммутационных элементов - логическую структуру учебного тезауруса. По мнению автора, целесообразность приведенного определения учебного тезауруса объясняется тем, что оно, во-первых, «уравновешивает» роль дескрипторов и множества связей между ними как равноправных элементов системы; во-вторых, рассматривает учебный тезаурус как систему, что позволяет использовать присущие ей свойства.
Каждый информационно-семантический элемент учебного тезауруса характеризуется тремя параметрами: означающим, детонантом и означаемым. Местоположение данного элемента в информационно-семантической структуре определяется значением этих трех параметров. Оптимальное значение данных параметров для дескрипторов учебного материала (соответствующие уровню семантического содержания тезауруса личности) возможно определить на основе экспертных методов. Представление процесса отбора и структурирования учебного материала как процесса построения учебного тезауруса через описание его информационно-семантической структуры, по мнению А.А. Мирошниченко, обеспечивает выполнение общедидактических принципов.
Разработкой и внедрением пакета прикладных программ «Тезаурус» занимаются в Самарском аэрокосмическом университете под руководством Л.В. Макаровой [115-118]. Данная система позволит создать продукционную базу знаний на основе информационно-поисковых и логико-категориальных тезаурусов. Данная система, по утверждению автора, позволит «оценить уровень сформированности знаний, делать прогноз дальнейшего педагогического процесса и осуществлять управление содержанием образования» [115, с. 106].
Концепция квалитативной диагностики
Создание Национальной системы оценки качества образования в России, введение государственных образовательных стандартов и ЕГЭ повышает актуальность проблемы более качественного и эффективного педагогического контроля, диагностику структуры знаний обучаемых. Это предполагает внедрение новых педагогических технологий контроля и диагностики знаний в систему Российского образования.
Проектирование педагогического процесса как разновидности социальной технологии связано с совершенствованием традиционных форм и методов работы, организационных средств, технического инструментария. Этим проблемам уделяют внимание исследователи и преподаватели - практики (В.П. Беспалько, О.В. Долженко, З.Д. Жуковская, М.В. Кларин, Т.В. Машарова, Н.Ф. Талызина, Ю.К. Чернова, М.А. Чошанов и др. [31, 32, 54, 60, 90,127,128,250,276,277,278]).
«Педагогическая технология - систематический метод планирования, применения и оценивания всего процесса обучения и усвоения знаний путем учета человеческих и технических ресурсов и взаимодействия между ними для достижения более эффективной формы образования» - определение ЮНЕСКО (1986 г) [52].
Понятие «технология обучения» в нашей стране появилось в конце 60-х годов, а в 70-е годы завоевало большое число сторонников. Для оптимальной организации учебного процесса на основе использования различных технических средств необходима выработка системной концепции. Как утверждает О.В. Долженко, «такая концепция и получила развитие в рамках технологии обучения. В технологии обучения основное внимание концентрируется не только на средствах, группирующихся вокруг учащихся или преподавателей, но прежде всего на системной организации учебного процесса..., в своей полноте охватывающей информационный массив учебной информации, которой обеспечивает содержательную, управляющую и контролирующую функции обучения» [54, с. 77].
В связи с разработкой Национальной системы оценки качества образования в России требования к качественному уровню сформированное личности будут непрерывно расти, соответственно необходимо постоянное обновление инструментальных средств педагогики. В настоящее время таким обновлением, по словам В.П.Беспалько [30], является переход к методам и средствам педагогической технологии как орудию преемственного и непрерывного развития педагогической науки и практики.
Глубинный смысл педагогической технологии В.П. Беспалько видит: во-первых, в отходе от экспромтов и переходе к предварительному проектированию; во-вторых, в разработке структуры и содержания учебно-познавательной деятельности самого учащегося; в-третьих, в диагностичном целеобразовании и объективном качестве усвоения учащимися учебного материала и развития личности в целом; в-четвертых, в реализации принципа целостности структуры и содержательности компонентов учебно-воспитательного процесса.
Развитие педагогической технологии состоит в соподчинении всех практических разработок общенаучным принципам измеримости, системности и управляемости. «В педагогической технологии, в отличие от общей дидактики, не может нечто декларироваться, если его нельзя измерить, системно построить и управляемо воспроизвести на практике» [30, с. 177] - вот главный тезис В.П. Беспалько, который мы полностью принимаем и используем в своем исследовании.
Ю.К. Чернова выделяет [276] наиболее существенные признаки, присущие педагогической технологии: диагностичность целеобразования; результативность; экономичность; проектируемость; целостность; управляемость.
Одним словом, педагогическая технология - наука о мастерстве обучения. (Само слово «технология» происходит от греческих techne - значит искусство, мастерство и logos - наука, закон).
Качество педагогической технологии зависит от совокупности целенаправленных действий по достижению запланированных гарантированных результатов [276].
Технологию диагностики, базирующуюся на методологии педагогической квалиметрии, тезаурусном подходе с использованием тестовых измерителей, можно назвать квалитативной, так как она предполагает оценку качества обучения.
Для процедуры диагностирования разработана концептуальная модель технологии диагностики структуры знаний обучаемых, которая учитывает требования государственного образовательного стандарта по соответствующей дисциплине и цели диагностики. Предлагаемая технология включает в себя таксономическую модель диагностируемых знаний, учебный таксономический тезаурус, педагогические контрольные материалы, технические средства для диагностики, а также предусматривает педагогический мониторинг структуры диагностируемых знаний, что нашло отражение в предложенной схеме (рис. 7).
Концептуальная модель содержит девять основных блоков, каждый из которых имеет определенное значение при проведении технологической процедуры диагностики структуры знаний обучаемых (СЗО).
Определение репрезентативности выборки
Проблемы построения выборки испытуемых для апробации тестовых заданий, тестов, получение информации об уровне обученности, качестве формирования структуры знаний обучаемых являются чрезвычайно важными. От того, насколько качественно построена выборка, зависят: корректность расчетов трудности и дискриминативности заданий, надежности и отчасти валидности, кроме того, на основе работы с выборочными совокупностями строится система оценивания, перевода тестовых баллов в стандартные оценки [114].
Большая статистическая совокупность, из которой отбирается часть объектов для исследования, называется генеральной. Теоретически это бесконечно большая или приближающаяся к бесконечности совокупность. Число объектов генеральной совокупности называют ее объемом и обозначают N Лучше всего проводить сплошное исследование, т.е. изучить каждый объект совокупности. Однако в большинстве случаев по разным причинам это сделать невозможно (трудоемко, требует больших экономических затрат и т.д.), поэтому из генеральной совокупности выбирают для изучения часть объектов. Множество объектов, случайно отобранных из генеральной совокупности, называют выборочной совокупностью или выборкой. Число объектов выборки называют ее объемом и обозначают п.
В общем виде объем выборки определяется следующими обстоятельствами [114, с. 206]. Это:
1. Задачи и условия проведения исследования: объем выборки зависит от разрешающей величины шкалы изучения (дихотомическая, процентная и др.); способ определения объема выборки зависит от условий проведения эксперимента; доверительная вероятность результатов исследования зависит от вида проводимого эксперимента (фундаментальное исследование, получение экспресс-информации, составление прогноза по результатам исследования и т.д.).
2. Степень однородности генеральной совокупности. Объем выборки определяется разбросом измеряемого показателя в генеральной совокупности, выражаемой дисперсией или стандартным отклонением. 3. Вероятность, с которой гарантируется достоверность результата. Определяется условиями исследования. Наиболее часто используется вероятность 95% (0,95). 4. Точность результатов, определяемая предельной ошибкой репрезентативности. Предельная ошибка репрезентативности задается обычно в пределах от 0,01 до 0,1 с наиболее частым употреблением 5% (0,05). Объем выборочной совокупности рассчитывают в основном четырьмя способами: 1) по изменению дисперсии; 2) по таблицам достаточно больших чисел и номограммам больших чисел; 3) эмпирический способ по среднему квадратическому отклонению; 4) по формулам математической статистики.
Подробно все четыре способа описаны в работе А.Н. Майорова [114]. Приведем описание четвертого способа (расчеты объема выборки по статистическим формулам).
А.Н. Майоров отмечает, что рассчитанные четырьмя различными способами объемы выборок дают примерно одинаковые результаты, при сохранении показателей качества и приводит рекомендации по выборкам при создании тестов [114]: проверка формулировок ТЗ - от 30 до 50 чел.; определение времени, необходимого для выполнения ТЗ - от 100 до 200 чел; определение трудности ТЗ - около 200 чел; определение валидности и надежности теста - от 200 до 300 чел; обоснование норм к уровню обученности - около 1000 чел.
Для целей тестирования гораздо большее значение имеет не объем выборочной совокупности, а ее репрезентативность, которая зависит не только от ее объема.
Репрезентативность предполагает близость характеристик генеральной совокупности и выборочной совокупности по основным стратифицированным переменным (см. БСЭ, т. 22, с. 40; representatis - франц. - показательный; БСЭ, т. 24 (1), с. 552; stratum - лат. - слой - в социологии выборки однородных объектов - респондентов по возрасту, социальному положению, профессии, полу и т.п.).
Для образовательных учреждений основными стратифицирующими переменными являются: 1. Тип образовательного учреждения (вуз, ССУЗ, ПТУ, школа, лицей и т.д.). 2. Тип образовательной программы, выделенный по двум основаниям:
по уровню преподавания (коррекционная (компенсирующего обучения), базового уровня или повышенного);
по профилю (физико-математический, естественнонаучный, гуманитарный, эстетический, военно-спортивный, профессионального обучения и т.п.).
3. Статус образовательного учреждения (университет, академия, институт; начальная школа, неполного среднего, полного среднего образования, НПО,СПОит.п.).
4. Географическое размещение образовательного учреждения (город, поселок, село; центр крупного мегаполиса, «спальный район» и т.п.).
5. Пол обучаемых (муж., жен., смешанная группа).
В зависимости от целей тестирования количество страт может быть уменьшено. Например, если педагогические тестовые материалы используются в однотипных образовательных учреждениях, одного статуса, одного уровня преподавания (например, базового в школе), одного профиля и в одной местности (городе). Остается 2 страты - по половому различию.
При формировании двух выборок из генеральной совокупности контрольной (КГ) и экспериментальной (ЭГ) обе выборки должны быть «уравновешены» друг с другом (в начале эксперимента) по полу, возрасту, профессии, уровню обученности и другим значимым для исследования характеристикам.
Опыт показывает, что создать «уравновешенные» подгруппы (даже КГ и ЭГ) практически невозможно [35, с. 75], поэтому в педагогическом эксперименте рассматривают несколько видов репрезентативности.
Репрезентативность методов педагогического эксперимента означает, что и в КГ и ЭГ используются одни и те же методы исследования или их комплексы (наблюдение, анкетирование, моделирование, тестирование, экспертиза и т.д.). И сравнивать результаты педагогического эксперимента следует по методам их получения раздельно и в каждой страте.
Репрезентативность инструментария педагогического эксперимента означает разнообразие методов диагностики (разнообразие педагогических контрольно-измерительных материалов, форм тестовых заданий), применяемых в КГ и ЭГ.
Репрезентативность выборок по стратам в КГ и ЭГ.
Репрезентативность «масштабная» означает зависимость объема КГ и ЭГ от масштаба педагогического эксперимента (отдельное образовательное учреждение; группа однотипных образовательных учреждений; в районе, городе, республике, РФ и т.д.), причем, по каждой страте генеральной совокупности.
Репрезентативность «статистическая» означает использование при обработке результатов педагогического эксперимента в ЭГ и КГ единого аппарата математической статистики.
