Содержание к диссертации
Введение
Глава 1. Теоретические основания стандартизации диагностики качества знаний учащихся
1.1. Проблемы организации обратной связи в обучении
1.2. Валидные измерители качества знаний
1.3. Стандартизация критериальной базы диагностики
1.4. Программно-инструментальные средства контроля знаний
1.5. Концепция создания комплекса диагностики качества общеобразовательной подготовки учащихся
1.7. Выводы по первой главе
Глава 2 Программно-методическое обеспечение педагогической диагностики
2.1. Базовые системы заданий критериально-ориентированных измерителей автоматизированного диагностического комплекса по химии
2.2. Содержание, принципы работы компьютерных программ' автоматизированной диагностики качества знаний
2.3. Методика использования автоматизированного диагностического комплекса
2.4. Анализ условий внедрения автоматизированной системы диагностики качества знаний в педагогическую практику
2.5. Выводы по второй главе
Глава 3 Разработка контрольно-измерительных средств психолого-педагогической диагностики качества знаний
3.1. Операционализация процессов мышления
3.2. Спецификация и стандартизация теста сформированности приемов мыслительной деятельности на материале учебного предмета химия
3.3. Выводы по третьей главе
ЗАКЛЮЧЕНИЕ
ВЫВОДЫ
БИБЛИОГРАФИЯ
ПРИЛОЖЕНИЯ
- Проблемы организации обратной связи в обучении
- Валидные измерители качества знаний
- Стандартизация критериальной базы диагностики
- Базовые системы заданий критериально-ориентированных измерителей автоматизированного диагностического комплекса по химии
Введение к работе
Смена образовательной парадигмы в условиях становления новой системы российского образования сопровождается стремительным разрушением административной унифицированной системы оценки качества обучения. Процессы обвальной диверсификации сети образовательных учреждений, углубляющейся дифференциации целей и содержания образования не подкрепляются адекватным уровнем научной разработки методологических и методико-эмпирических оснований прогнозируемого качества образования, что дезориентирует педагогов, учащихся и общественность относительно конечных обязательных результатов общеобразовательной подготовки.
Вопросы об однозначно позитивной динамике качества новых образовательных услуг, обязательном росте общеобразовательного уровня учащихся, а также о целесо образности значительных затрат на те или иные педагогические инновации остаются открытыми, поскольку в системе управления развитием образования фактически от сутствуют объективные данные об эффективности внедряемых новшеств, с точки зре ния, их влияния на рост качества подготовки учащихся. Эта ситуация обусловлена двумя причинами: неопределенностью критериев и норм гарантируемого государст вом обязательного базового образования и неоправданно медленными темпами раз вертывания независимых диагностических служб систематического контроля за каче ством образования [257]. (
Во все более широких кругах академической общественности нарастает понимание необходимости комплексного решения проблем управления качеством образования, обеспечения его педагогического и информационного сопровождения. Важным в этом направлении является организация системы квалиметрических мониторингов для формирования единой Национальной системы оценки качества образования [19; 230]. Решение этой задачи включает [98; 168]: создание нормативной базы; разработку оценочных средств измерителей качества; построение технологий комплексного мониторинга; и должно решаться с новых позиций: - использование компьютерных технологий, помогающее перейти к системам адаптивного обучения [49; 146]; ориентация на дифференцированные и индивидуализированные программы обучения; переход от разомкнутой схемы контроля знаний к осуществлению полноценной обратной связи в организации учебного процесса; переход от внешней мотивации учения к внутренне-нравственной волевой регуляции; взгляд на учение как на процесс умственного развития.
Эффективное управление гибкой, многоуровневой образовательной системой на основе валидной информации актуализирует разработку диагностических комплексов, федеральных и региональных форм мониторинга качества образования [164]. При этом под управлением нами понимается не только управление образовательной системой (ОС) [43], но и управление обучением каждого учащегося, такое воздействие на процесс, которое выбрано из множества возможных воздействий с учетом поставленной цели, состояния процесса, его характеристик и ведет к улучшению функционирования, т.е. к приближению цели [126]. Н.Ф. Талызина [236], выделила узловые моменты построения и реализации процесса управления качеством образования: конкретизация целей обучения, технологичность диагностики, выявление ведущих факторов образования, систематичность обратной связи; все перечисленные задачи должны решаться на основе стандартных, единых для всех участников образовательного процесса подходов.
Большинство проводимых исследований по решению вышеназванных проблем посвящены, как правило, какому-нибудь одному аспекту: методам, формам, средствам. Практически нет исследований о системности учебной стандартизированной управленческой информации. Контроль качества образования рассматривается с позиции контроля качества выпускаемой продукции на производстве, а не по принципу педагогического контроля; изучаются только квалиметрические аспекты контроля. Компьютерные технологии в диагностике используются как средство сокращения временных затрат, редко как средство активизации познавательной деятельности [66; 178]. И совсем не исследуются [21 ;73; 123] как средство создания оптимальных управленческих систем и диагностических технологий.
Между тем, только на основе стандартизированных подходов и критериев, формирующих фундамент диагностических комплексов, будет возможно: оценивать достижения и вносимые изменения в образовательную политику и практику [284]; осмысленно формулировать цели развития, создавать эталоны [197]; определять конкурентоспособность образовательных учреждений (ОУ) [224]; измерять эффективность и проводить самоанализ деятельности субъектов образования на всех уровнях управления: ученик - учитель - администратор ОУ - методист территориального органа управления образованием - управленец (региональной, муниципальной, федеральной ОС) [103]; обеспечить гарантии прав человека на получения образования, соответствующего мировому уровню [224]; экономить средства, которые общество тратит на образование [224]; отслеживать параметры качества образования в целях сохранения российского этноса [92].
Проблема формирования системы объективной оценки качества обучения постоянно рассматривается на ряде конференций [6; 42; 97; 170; 194; 202; 247], всероссийских симпозиумах по квалиметрии человека и образования, организуемых Исследовательским центром проблем качества подготовки специалистов Министерства общего и профессионального образования. В последние годы расширяется круг исследований по диагностике, осуществляемых в лаборатории аттестационных технологий Московского института повышения квалификации работников образования, лаборатории педагогического мониторинга и стандартов Санкт-Петербургского университета педагогического мастерства. При МПГУ им. В.И. Ленина в 1996 г. был создан Федеральный центр тестирования учащихся общеобразовательных школ, который имеет около 200 представительств в регионах России. В декабре 1999 года принято решение о создании аналогичного центра при Министерстве образования РФ. Диагностические центры и мониторинговые службы, призванные обеспечить управление объективной и валидной информацией создаются в регионах, вузах, ОУ [38; 63; 181]. Несомненным позитивным явлением для применения мирового опыта при информационном обеспечении является проведение в нашей стране международных сравнительных исследований под руководством Г.С. Ковалевой [102;103].
Оцениваясь комплексно, качество образования достаточно полно проявляется в свойствах конечного продукта образовательной системы, базовым компонентом которого является достигнутый уровень общеобразовательной подготовки ученика.
Если исходить из того, что степень достижения целей обучения (заранее нормируемых разделенных параметров качества знаний учащихся) находится в прямой зависимости от качественных сторон преподавания, то по результатам диагностики реальных учебных достижений учащихся и сопоставления этих результатов с требованиями стандартов обученности может быть получена достоверная информация об эффективности функционирования образовательной системы.
Объективность, полнота, систематичность, оперативность и конкретность такой информации позволяет создать все необходимые условия для подготовки, принятия и реализации управленческих решений о функционировании и развитии образования на всех уровнях управления. Таким образом, стержневым условием реализации идеологии управления качеством образования является наличие эффективной системы образовательного мониторинга, четко ориентированной на систематическую стандартизированную диагностику и оценку конечных результатов образовательной деятельности.
В сравнении с административным этот подход имеет явно выраженные преимущества: открывает широкие возможности для внедрения личностно-ориентированных моделей образования и развития сферы индивидуализированных образовательных услуг за рамками требований стандартов; освобождает педагога и руководителя образовательного учреждения от унизительной регламентации их текущей деятельности; обеспечивает на основе единой базовой информации о качестве образования преемственность управленческих решений между государственными, региональными, муниципальными и территориальными органами образованием при сохранении их законодательно закрепленной автономии; исключает субъективизм в оценке профессиональной деятельности педагога; позволяет создать демократические механизмы лицензирования, аттестации и аккредитации образовательных учреждений.
Основополагающими компонентами системы управления качеством образования являются: требования к знаниям учащихся, содержанию образования и условиям образовательной деятельности, устанавливаемые в стандартах (критериально-нормативная база управления качеством образования); система стандартизированной диагностики качества образования, включающая в себя измерительные средства параметров качества образования, диагностические методики, средства обработки и описания результатов диагностики, а также службы образовательного мониторинга (система образовательного мониторинга); 3. механизмы подготовки, принятия и реализации управленческих решений о функционировании и развитии самой образовательной системы и образовательного мониторинга на основе анализа и оценки объективной информации о качестве образования (структура управления образованием).
Приоритетным направлением перехода на эту модель управления является опережающая разработка и апробация комплекса диагностики качества знаний учащихся. В рамках этого направления появляется возможность не только оптимизировать управление образованием, но и внести существенные коррективы в процессы проектирования образовательных стандартов на этапе их апробации.
Под процессом стандартизации диагностики качества знаний в наших исследованиях понимается комплексная деятельность по разработке, апробации, утверждению, использованию стандартов и контроль за их использованием.
Актуальность исследований определяется углублением противоречий в системе апробации стандартов учебных достижений, а также крайне низким уровнем объективности в оценке реальных изменений качества подготовки учащихся в ситуации неуклонно нарастающей вариативности образования. Потребности разработки и использования различного типа диагностических комплексов подготовки учащихся обусловливаются, с одной стороны, отсутствием механизмов контроля, оценки и коррекции внедряемых в массовую практику образовательных стандартов, а с другой - неэффективным использованием компьютерных технологий в формирующейся, принципиально новой системе мониторинга качества образования.
Цель исследования: теоретико-экспериментальное обоснование и разработка организационно-педагогических условий диагностики качества знаний учащихся, позволяющих эффективно осуществлять обратную связь в условиях вариативного образования на всех управленческих уровнях.
Объект исследования: технологии, процедуры, критерии диагностики качества знаний учащихся в системе вариативного образования.
Предмет исследования: совокупность педагогических условий осуществления диагностики качества знаний на основе единых подходов в системе вариативного образования с помощью технологий автоматизированного мониторинга образовательной деятельности.
Гипотеза исследования: стандартизация диагностики качества знаний учащихся в системе вариативного образования будет осуществляться более эффективно, если учтены следующие условия: критериальная база диагностических средств проектируется на Основе системы гибких стандартов учебных достижений с учетом планируемых уровней обученности и операциональной структуры учебной деятельности, подлежащей освоению; контрольно-измерительная система параметров качества знаний конструируется по принципу целенаправленности диагностики с использованием соответствующих подходов к стандартизации теста; технология обратной связи базируется на комплексе педагогических программных средств, позволяющих обеспечить цикл диагностики качества знаний; диагностика рассматривается как средство реализации обратной связи с ан-тропоцентристских позиций в педагогике.
Задачи исследования
Выявить условия организации обратной связи в обучении при главенствующей функции - управление качеством знаний - и теоретические основания проектирования измерительных средств диагностики наиболее эффективных в условиях вариативного образования.
Предложить концепцию автоматизированного комплекса, базирующегося на системе гибких стандартов учебных достижений учащихся с учетом планируемых уровней обученности как условие эффективности осуществления диагностики качества знаний.
Разработать принципы построения валидного измерительного инструмента, позволяющего обеспечить технологический цикл педагогической квалиметрии как условие стандартизации диагностики качества знаний.
На основе критериальной базы диагностики, анализа литературы, собственного опыта проведения тестирования разработать пакет программных средств автоматизированной диагностики качества знаний учащихся по химии с методическим обеспечением (технология подготовки, применения, проведения контроля и анализ результатов диагностики; методические пособия, инструкции).
Апробировать и проверить эффективность использования разработанного программно-методического обеспечения и предлагаемой технологии его применения в учебном процессе образовательных учреждений разных уровней обучения (на примере конкретного учебного предмета).
Научная новизна и теоретическая значимость
Осуществлен системный подход к построению комплексной автоматизированной системы диагностики качества знаний учащихся, структурные и функциональные компоненты которой взаимосвязаны, как конкретная педагогическая технология со всеми ее слагаемыми. Теоретически обоснована концепция и критериальная база комплекса, используемого при: объективной аттестации учебных достижений учащихся; определении результативности профессионально-педагогической деятельности в системе аттестации работников образования; аттестации и аккредитации образовательного учреждения по конечным результатам деятельности; оптимизации нормативно-методического базиса образования в системе разработки, апробации, утверждения, внедрения образовательных стандартов и контроль за их соблюдением.
Разработана и апробирована система педагогических условий эффективного осуществления обратной связи для вариативного образования. Данная система включает: принципы построения базовых систем измерителей педагогической и психолого-педагогической диагностики, учитывающих специфические функции учебного предмета в общем образовании ученика, технологичность условий автоматизированной обработки и интерпретации результатов диагностики; программно-методическое обеспечение, являющееся основой технологического цикла диагностики качества зна- ний; требования к структуре, содержанию, использованию программно-методического обеспечения образовательного мониторинга.
Определены концептуальная основа и методика активизации познавательной деятельности и креативных способностей учащихся с использованием созданного автоматизированного комплекса, позволяющего форсировать оптимальную программу индивидуального обучения.
Уточнены подходы к методологическому обоснованию и разработаны теоретические основы категории "стандартизация диагностики качества знаний".
Методология и методы исследования
Наш подход к анализу, осмыслению и решению проблемы диссертационного исследования базировался на общей и частной методологии. Методологической основой для нас служили фундаментальные научные положения психологии и педагогики: принципы дидактики и теории управления образованием, ведущие психолого-педагогические теории обучения, принципы технологизации обучения, педагогической квалиметрии, концепция разработки государственных общеобразовательных стандартов (B.C. Леднев, Н.Д. Никандров, М.Н. Лазутова), методология комплексного исследования и системный подход к деятельности педагогических систем (Н.В. Кузьмина), положения об иерархической структуре достижения наивысшего результата в обучении (В.П. Беспалько, И.Я. Лернер, М.Н. Скаткин), представление технологии обучения как процесса управления учебно-познавательной деятельностью (В А. Якунин, Б.Г. Ананьев), личностно-ориентированный подход к обучению, системно-деятельностный подход к определению конечных целей обучения; измерение сущности явлений по определенным критериям.
Для решения поставленных задач использованы следующие методы исследования: анализ педагогической, методической, психолого-педагогической, химической и социометрической литературы; системно-структурный и структурно-логический анализ учебного материала; анализ содержания учебных программ по химии, отечественных учебников, пособий и руководств, а также зарубежных учебно-методических изданий по тестированию; анализ специализированных методик и нормативной документации по стандартизации образования, использованию ПЭВМ в учебном процессе;
11 экспериментальная предсертификационная экспертиза пакета компьютерных программ автоматизированного комплекса диагностики качества знаний; методы экспертных оценок - анкетирование, интервьюирование, наблюдение за деятельностью учащихся и преподавателя; математические методы обработки статистических данных, программирования; педагогический эксперимент.
Эксперимент проводился в два этапа: констатирующий и формирующий. Применялись методики, традиционные для педагогических исследований, и способы оценки эффективности, соответствующие поставленным задачам и целям.
Практическая значимость работы
Результаты проведенного комплексного исследования могут быть использованы как непосредственно в практике обучения учащихся, так и в теории дидактических исследований в целях дальнейшей интенсификации и повышения качества образования.
Концептуальные принципы и технологические основы разработки и функционирования комплексной системы диагностики качества знаний учащихся позволяют проектировать организацию контроля как на любом этапе обучения, так и для любого локального элемента (учебного предмета, раздела, темы и т.д.), а также организацию входного контроля в вуз. Эти технологии являются основой многочисленных контролирующих и обучающих материалов (учебных пособий, методических указаний, компьютерных программных средств) и успешно реализуются в вузах и общеобразовательных учреждениях сибирского региона. Только на кафедре неорганической химии Томского государственного педагогического университета под руководством автора данной диссертационной работы и при непосредственном его участии разработано пособий общим объемом 25 печ. листов и 10 компьютерных диагностирующих программ.
Методика подхода к конструированию учебной информации для гибкой дифференцированной диагностики качества знаний учащихся, разработанная соискателем, используется в практике научных педагогических исследований (Томский госу- дарственный педагогический университет, Сибирский институт образовательных технологий РАО г. Новосибирск, ИПК г. Новокузнецк). Система автоматизированной диагностики качества знаний учащихся по химии с использованием пакета компьютерных программ: для текущего и итогового контроля информационной базы знаний, созданная для условий вариативного обучения, апробирована в образовательных учреждениях г. Томска, г. Северска, г. Новокузнецка, г. Междуреченска и др.
В течение 4 лет она используется, как альтернативная форма приема вступительных экзаменов в Томский педагогический университет, Томский политехнический университет, Северский технологический институт.
Предлагаемая система использования алгоритмов и структурно-логического анализа учебного материала и выделение опорных, базовых единиц знания в каждой теме является средством активизации познавательной и самостоятельной деятельности учащихся, формирования и развития способности самоконтроля и оптимизации процесса коррекции усвоения учебной информации, развития и наиболее продуктивного функционирования субъектно-субъектных отношений преподавателя и учащегося в процессе обучающего контроля.
Изученные в процессе исследования возможности компьютерных технологий значительно расширяют границы функционирования обучающего контроля за счет сокращения временных затрат на него и развития самоконтроля, самокоррекции, самоуправления обучаемых.
Положения, выносимые на защиту
1. Педагогические условия создания и использования автоматизированного диагностического комплекса, стандартизирующего осуществление обратной связи при системообразующей роли стандартов учебных достижений (заранее нормируемых целей разных уровней обученности), способствующего повышению качества предметного обучения и оптимизации личностно-ориентированных подходов в условиях
13 вариативного образования, благодаря получению валидной информации для всех управленческих уровней.
Методическая система реализации автоматизированного мониторинга в обучении химии на основе стандартизации измерителей и технологического цикла диагностики качества знаний для разных уровней управления образованием.
Принципы построения и использования стандартизованных валидных контролирующих программ автоматизированного мониторинга.
Пакет педагогических программных средств (ППС) автоматизированного мониторинга по учебному предмету химия, имеющих многоцелевое применение на разных этапах обучения.
Апробация работы проводилась через практическое внедрение и проверку предложенного программно-методического сопровождения автоматизированной диагностической системы в образовательных учреждениях Томской, Кемеровской областей, Красноярского края, г. Новосибирска с общим охватом 2000 учащихся 8-11 классов, абитуриентов и студентов вузов. Основные положения и результаты исследования обсуждались на Международных научных и научно-методических конференциях, симпозиумах (Новосибирск, 1997; Томск, 1999); Всероссийских научных, научно-практических, научно-методических конференциях (Томск, 1995, 1997, 1998, 1999); Региональных и межвузовских конференциях и семинарах (Красноярск, 1996; Тобольск, 1997; Новокузнецк, 1998, 1999; Томск, 1996-1999); на курсах для учителей химии Томского областного института повышения квалификации работников образования и Новокузнецкого института повышения квалификации, областных научно- практических конференциях, семинарах городских методобъединений.
Автоматизированный комплекс диагностики качества знаний представлялся на международных выставках в г. Москве - "EDIT-96", г. Новосибирске - "Учсиб-99", где был отмечен Малой золотой медалью, г. Томске - "ИНТЕГРАЦИЯ - 99", отмечен дипломом.
Студентами Томского государственного педагогического университета под руководством диссертанта выполнено 7 дипломных работ по проблеме диссертационного исследования в 1996-1999 гг. Содержание исследования отражено в 23 публикаци- ях, раскрывающих основные идеи диссертации, изложены практические рекомендации.
Задачи исследования и последовательность их решения определили структуру диссертации: введение, три главы, заключение, библиография, приложения. Она включает 16 таблиц, 11 рисунков. Библиография содержит 303 наименования.
Проблемы организации обратной связи в обучении
Основная задача дидактики как науки - исследовать процесс обучения в единстве всех его частей и сторон. В связи с этим исследование вопросов стандартизированной диагностики необходимо рассмотреть в ряду связанных с ним проблем.
При разработке теории оптимизации процесса обучения [18; 222] определено место и значение контроля знаний учащихся в процессе обучения, рассмотрена проблема относительной оптимальности методов контроля, поднят вопрос о необходимости теоретического обоснования критериев эффективности обучения. Контроль рассмотрен в общей системе методов обучения [72; 145], и этим подчеркнута образовательная функция, но вместе с тем затушена его основная функция выявления и диагностики результатов обучения в аспекте управления.
Большое развитие в отечественной педагогике получила теория управления процессом усвоения знаний [46; 236] и теория умственного развития учащихся [64; 91; 287]. В работах этих направлений известное внимание уделялось такому аспекту процесса обучения, как результат усвоения знаний, при этом подчеркивался уровне-вый характер результатов и рассматривались те или иные качественные показатели соответствующих уровней усвоения, позволяющих перейти к разработке иерархической системы заданий измерителей знаний.
В специальных исследованиях проблемы учебных задач [147; 215; 288] рассматривался логический анализ учебной задачи, механизм ее решения и в связи с этим предлагалось конструирование соответствующих заданий с целью достижения тех или иных качественных показателей результатов усвоения знаний.
Среди исследований можно выделить группу работ, где специально обсуждались те или иные вопросы контроля знаний, лежащие в основе стандартизации данного процесса: применение ПЭВМ и методика составления контрольных работ, ориентированных на это [167; 241 ;295], статистическая обработка результатов контроля [90; 171]; функции контроля [246], формы, виды и средства контроля знаний [20;176]; критерии для оценки знаний учащихся, качественные и количественные характери- -стики знаний [27; 84; 153; 174]. В работах, посвященных решению задач контроля знаний при обучении различным предметам [34; 75; 83; 99], уделялось внимание организационным вопросам контроля, а также его функциям, рассматривались формы, виды и методы контроля в связи со спецификой учебных предметов, предлагались варианты контрольных работ при проверке усвоения того или иного содержания, иногда с обоснованием их необходимости.
Однако при обсуждении функционального аспекта контроля авторы зачастую путают функции образования и функции контроля [86], что мешает целенаправить контроль на выявление конечных результатов усвоения учащимися соответствующего учебного материала. В педагогике не до конца разрешен вопрос о взаимоотношениях обучающих и управляющих функций проверки знаний, а это приводит к искажениям в методике контроля. Основные функции контроля, отмечаемые в разных литературных источниках [99; 128; 246], следующие: обучающая, развивающая, воспитывающая, управляющая, контролирующая, обобщающая, диагностирующая, корректирующая, дисциплинирующая, мотивационная, ориентирующая, повторения. 1. Основной канал - движение содержания, передача информации от источника (учителя) к приемнику (ученику): ее предъявление ученикам, управление учебно-познавательной деятельностью, процедура восприятия, усвоения, закрепления знаний учениками.
2. Канал управляющих воздействий, включающий в себя планирование, коррекцию основного технологического движения обучающей информации.
3. Канал передачи информации от ученика к учителю о результатах процесса (обратная связь, контроль, оценивание и канал дополнительной информации).
Исходя из вышеизложенного определяются лишь общедидактические принципы организации обратной связи [24; 159]: планомерность, доступность, систематичность, объективность, экономичность, простота, обозримость (предполагает наглядность и гласность результатов). Нами в ходе апробации программно-методического автоматизированного комплекса диагностики качества знаний выявлены как необходимые для повышения эффективности обратной связи: технологичность, адаптивность и целесообразность, открытость (открытое предъявление требований к знаниям учащихся в виде конкретных заданий с обязательным указанием уровня обучения), параллельность вариантов заданий, дифференцированное и рейтинговое оценивание результатов контроля.
Анализ научно-педагогической литературы [262] и схема технологического процесса позволили нам выделить четыре основные функции контроля.
Под обучающей функцией контроля следует понимать деятельность учащихся по приобретению новых знаний и умений и их совершенствованию под влиянием испытательных заданий. Обучающая функция стимулирует самостоятельность и познавательные интересы обучающихся. Совершенствование знаний при проверке происходит путем дополнений, уточнений и исправлений. Во время выполнения контрольных заданий обучающиеся обобщают и переосмысливают пройденный материал, объединяют отдельные части и темы в целостный предмет познания, устанавливают межпредметные связи и отношения, оценивают роль и значение их деятельности. Роль обучающей функции можно свести к понятию "обучение в процессе проверки", складывающееся из ряда составных частей, которые связаны между собой и взаимопроникают друг в друга. К ним можно отнести: выделение во время проверки новых понятий; разделение на главное и второстепенное; углубление знаний; детализация представлений; получение дополнительной информации; оперирование знаниями в новой обстановке; творческое осмысливание значения знаний, возможность использования знаний в практической деятельности.
Проверка знаний требует от учащихся выполнения каких-то действий, упражнений, поэтому она способствует формированию у обучаемых определенных навыков и умений. Обучающая функция позволяет как преподавателям, так и учащимся судить о том, насколько знания носят систематический характер и практически применимы, что говорит о качестве знаний. Естественно, что разделение обучающей функции на отдельные части весьма успешно.
Валидные измерители качества знаний
При отборе и конструировании педагогических средств контроля необходимо принимать во внимание их действенность - соответствие выявляемому результату, а также в каждом конкретном случае при контроле достижения определенного результата учитывать возможности средств (их преимущества и ограничения).
Педагогические измерения, как показано исследованиями [2] должны проводиться с помощью таких средств, которые удовлетворяют требованиям надежности, валидности, оперативности, объективности, технологичности, предусматривают возможность тренинга, делают процедуру измерения дифференцированной и индивидуализированной. Таким стандартизированным средством признано [3, 106] тестирование на основе компьютерных технологий, помогающее перейти к созданию современных систем адаптивного обучения и контроля. Применение автоматизированной диагностики [273] стандартизирует способы формализации заданий, методы интерпретации полученных результатов, обеспечивая максимум объективности и оперативности. Основные традиционные виды контроля качества знаний (устный и письменный опрос) не соответствуют требованиям рационального управления учебным процессом на всех уровнях. Преподаватель не в состоянии осуществить полный и достаточно регулярный контроль, администратор образовательного учреждения не получает объективную и оперативную информацию о результатах обучения учащихся, сами обучающиеся не имеют возможности своевременно корректировать процесс усвоения знаний.
Метод тестирования при значительном количестве преимуществ, как и всякий измерительный инструмент имеет ряд ограничений в использовании [137, с.8-9]. Прежде всего, это инструмент для массовых обследований. Однако и в рамках существующих ограничений на сегодняшний день метод тестирования является наиболее мощным, надежным, объективным при решении широкого спектра педагогических задач, но и наименее теоретически и практически разработанным средством контроля знаний в нашей стране.
В педагогической теории тестов [1, 100] можно выделить ряд понятий, каждое из которых приобретает особую важность на различных этапах разработки теста. В частности, на наиболее ответственном этапе составления и подбора заданий основное внимание уделяется определению задания в тестовой форме, которая рассматривается как некий инвариант относительно содержания дисциплин. Задание в тестовой форме определено как задание удовлетворяющее требованиям предметной чистоты содержания, логической правильности и ряду специфических требований, обусловленных выбранной тестовой формой [100].
К стандартизированным формам заданий в тестовой форме по предложенной B.C. Аванесовым [1] и принятой в отечественной научной литературе классификации относятся:
- задания закрытой формы, в которых студенты выбирают правильные ответы из данного набора готовых ответов к тексту задания;
- задания открытой формы, требующие при выполнении самостоятельного формулирования ответа;
- задание на соответствие, выполнение которых связано с установлением соответствия между элементами двух множеств;
- задание на установлением правильной последовательности, в которых от студента требуется указать порядок действий или процессов, перечисленных преподавателем.
Мы придерживаемся другой классификации [99] - наличие двух основных форм: закрытые (элективные) и открытые (инветивные), но не абсолютизируем этого. Часто специфика предмета требует новых наилучших форм, отмечает в своем исследовании Н.П. Воскобойников [40].
Преимущества элективных заданий хорошо известны: они экономичны по времени; позволяют охватывать большое количество объектов проверки [278]; учат сравнивать [32]; технологичны, так как позволяют легко переносить информацию о результатах деятельности учащихся к память компьютера для последующей обработки; допускают возможность автоматизации на стадии самой диагностики в форме диалога учащегося с компьютером; обеспечивают высокий уровень объективности среднестатистической информации в достаточно широкой выборке массива тестируемых. 95% тестов, изученных нами, содержат задания только закрытой формы. Мы объясняем это, прежде всего, тем, что тестирование как форма контроля знаний, в отечественной дидактике получило распространение благодаря программированному обучению [160; 243]. Но если в обучении выбор неправильного ответа сопровождался соответствующей инструкцией по коррекции знаний (т.е. форма теста вполне оправдана), то при диагностике доминирующее использование любой формы имеет негативный оттенок [100].
В то же время элективные задания имеют недостатки: эффективно диагностируя репродуктивную деятельность, они в меньшей мере пригодны для контроля творческой деятельности, оценки умений учащихся обосновывать и комментировать собственные действия, непригодны для проверки различных по своей природе видов деятельности для предметов гуманитарного цикла (с невысокой степенью формализации содержания образования), менее объективны для оценки учебных достижений каждого отдельного учащегося, способствуют механическому заучиванию, вследствие отсутствия логического обоснования своего выбора. Но наиболее серьезным недостатком считается возможность угадывания правильного ответа, т.е. случайного выбора ответа. Б.Г. Сладкевичем [225] проанализированы возможные результаты выполнения элективных тестов с использованием известных методов теории вероятности. Рассмотрим пример теста из пяти вопросов, на каждый из которых предложено три, четыре или пять вариантов ответов (дистракторов). Из предложенных вариантов лишь один является правильным. Вероятность получения положительной оценки (=3) при разном количестве вариантов ответа показана вероятность угадывания.
При увеличении числа вариантов ответа процент угадывания станет приемлем и не будет превышать процент случайных ответов при традиционном способе контроля знаний. Правда, составление вопросов с пятью и даже с четырьмя вариантами ответов представляет значительную методическую трудность, а в некоторых случаях является просто невозможным.
Тенденция повышения надежности теста за счет увеличения числа возможных ответов не всегда желательна, вместе с числом дистракторов будет увеличиваться время, необходимое для выполнения задания и разработчик неизбежно придет к необходимости уменьшения объема контролируемого материала, снижая в то же время надежность и валидность теста. К тому же если число ответов в каждом задании слишком велико, то ухудшаются мотивация и внимание у тестируемых, что при прочих равных условиях отражается на надежности и валидности теста [187]. Говорить об оптимальном числе дистракторов не представляется возможным, так как оно варьируется в зависимости от различных условий и целей тестирования.
Тестовое задание считается "хорошо работающим", если знающие учащиеся выполняют его правильно. А незнающие выбирают любой из предлагаемых ответов с равной вероятностью. Мера привлекательности оценивалась авторами после первой эмпирической проверки на репрезентативной выборке с помощью подсчета долей учеников, выбравших каждый из дистракторов в качестве правильного ответа. Точное равенство долей является определенной идеализацией, практически не достижимой при эмпирической проверке, но тем не менее, создавая задания, к этому равенству мы стремились. При существенном смещении значения одной из долей в сторону увеличения или уменьшения задание теста подлежало переработке. Если дистракторы легко различаются тестируемыми от правильного ответа, то задание считалось неудачным.
Стандартизация критериальной базы диагностики
Однако содержание образования в сознании обучающихся перерабатывается, перестраивается, преобразуется в процессе учебной деятельности. Обучающийся становится все более активным субъектом самого обучения. Воспроизведение объекта изучения осуществляется в соответствии со спецификой учебной деятельности и через нее [109]. Процесс обучения направлен от воспроизведения знаний к применению их сначала в учебных целях, для освоения новых знаний и далее к использованию в практике. Знания являются средством для построения той или иной деятельности. В связи с этим необходимо выделить такую группу качеств, которые характеризуют знания в той мере, в какой они сами изменяются, трансформируются под влиянием деятельности обучающихся. Качества этой группы составляют содержателъно-деятельностный уровень.
С помощью усвоенных знаний человек участвует в выработке новых знаний, трудовых навыков. Качества знаний на этой ступени приобретают личностный характер, поскольку в данном случае они не могут быть отторгнуты от субъекта и рассматриваются как элемент структуры этой личности. В этом случае обучение рассматривается не только как процесс дающий знания, но и формирующий направленность его личности, его ценностно-эмоциональное отношение к действительности. А.Н. Леонтьев отмечает, что отношению, сознанию нельзя обучить. "Обучение, приобретаемые знания воспитывают. Но для того, чтобы знания воспитывали, нужно воспитывать отношения к самим знаниям." [126, с.302]. Группа качеств, которые характеризуют знания как моменты перехода в убеждения, свойства самой личности характеризуют содержательно-личностный уровень качеств знаний.
Выделенные группы качеств можно представить и как "слои" в структуре личности обучающихся, и как ступени (уровни) усвоения, реализующие различные функции в процессе обучения [87]. Не противоречит сказанному и вывод о том, что каждая группа качеств, описывая с точки зрения широкого подхода к педагогическому процессу усвоение знаний учащимися, в определенной мере характеризует и их обучен-ность (I уровень), развитость (II уровень), воспитанность (III уровень) [28].
Для того, чтобы результаты усвоения могли быть описаны системно, необходимо на каждом из уровней выделить соотносимые качества знаний, соблюдая тот же принцип уровневого, целостного членения.
На предметно-содержательном уровне качества должны отражать существенные особенности самого объекта - знаний учащихся: воспроизведение отдельных сторон усваиваемого содержания, воспроизведение связей внутри его, воспроизведение связей между различными объектами содержания. Качества знаний на этой ступени могут характеризоваться полнотой, обобщенностью и системностью. На содержа-тельно-деятельностном уровне качества должны описывать результаты последовательного овладения учебным материалом: закрепления и актуализации знаний; их перестройки и реконструкции; применения. К этой группе относятся прочность, мобильность, действенность знаний. Диагностика этих уровней названа нами контролем информационной базы знаний, соответствует педагогической диагностике.
На содержательно-личностном уровне качества должны отражать свойства личности, приобретаемые под влиянием воспитывающего обучения, и описывать результаты применения знаний в самостоятельной деятельности с использованием разнообразного учебного материала. Здесь мы выделяем такие свойства умственной деятельности ученика, которые непосредственно формируются под влиянием обучения: активность, самостоятельность, продуктивность, гибкость, критичность, осознанность, устойчивость, глубину мыслительной деятельности. Именно в этих качествах находит выражение единство знаний и мыслительной деятельности, переход в свойства личности обучающегося. Контролем качеств данного уровня занимается психолого-педагогическая диагностика, в которую мы включаем авторский тест сформированное приемов умственных действий.
Выделенные ступени воспроизведения и преобразования знаний могут служить ориентиром за тем, как формируется знание, управлять этим процессом, корректировать его. Качества результатов усвоения могут быть представлены как критерии оценки знаний учащихся на основании сопоставления предполагаемых и достигнутых результатов обучения.
Качество знаний в целом является критерием, т.е. признаком, средством для суждения, мерилом оценки результатов усвоения. При этом, исходя из диалектического единства категорий "качество" и "количество", оценке подлежат наличие качества результатов учебной деятельности (собственно качественные отождествления и различения результатов усвоения) и интенсивность, степень проявленности признаков выделенного качества (количественные различения результатов усвоения) [239, с.20].
Для того, чтобы качество знаний могло быть действительно использовано в диагностике обучения как критерий оценки результатов усвоения, необходимо соблюдение некоторых важных условий выявления, анализа и описания качества знаний.
Одно из таких условий - достаточно однозначное и логически непротиворечивое задание признаков каждого качества и связей и отношений между этими признаками [96]. Другое необходимое условие использования качества знаний в роли критерия оценки - возможность выделения признаков качества в материализованной форме ответа учащегося. Для этого необходимо выделить содержательные показатели ответа, по которым можно судить о наличии или интенсивности, степени проявленности признаков качества. Выделение содержательных показателей ответа связано с формой его языкового выражения.
Форма выражения содержательных показателей зависит от того, в каком языке дается ответ учащегося: в естественном; в специальном (языке науки), выраженном в формах естественного языка; в формализованном. Наиболее "краткие, четкие легко обозримые" содержательные показатели качества результатов усвоения - правильно употребленные символы. Формулы формализованного языка. Среди школьных предметов нет ни одного, в котором были бы полностью формализованы и специфические термины данной науки, и логические термины, которые она использует [182, с.257]. В химии только формулы химических соединений и уравнения химических реакций формализованы полностью. Но чаще в ответе учащегося сочетаются формализованный язык и специальный язык науки, выраженной в формах естественного языка. Содержательные показатели такого результата усвоения также будут представлять собой сочетание символов формализованного языка и специальных терминов научной дисциплины. Связь формализованного языка с естественным в обучении и усвоении знаний имеет особое значение. Перевод формализованного языка в естественный является способом проверки осознанности знаний на разных этапах усвоения.
Признаки качества усвоения такого объекта изучения, как научное понятие различной степени обобщенности (факт, понятие, закон, теория и т.д.), могут найти свое выражение в том, насколько правильно и сознательно владеет учащийся научной терминологией, объясняет значение терминов, их связей и отношений между собой и т.д. Сознательное владение и оперирование символами и формулами в формализованном языке - один из содержательных показателей признаков качества усвоения научного понятия.
Третьим условием, благодаря которому качества результатов усвоения могут быть представлены как критерии оценки, является словесное описание содержательных показателей качества ответа. Такое описание результатов обучения на основе выделенных содержательных показателей качества можно назвать его качественной характеристикой.
Процесс реализации теоретических оснований по оцениванию качественных сторон результатов обучения при проведении диагностики знаний учителями изучается систематически. Широкое исследование, проведенное в лаборатории по изучению уровня знаний учащихся НИИ СиМО АПН под руководством И.И. Кулибабы [117] обнаружило значительные расхождения в требованиях учителей к качественным результатам усвоения знаний, оцениванию этих результатов. Эти требования изучались различными исследовательскими методами: приемами комплектования учителем проверочных работ из набора предложенных исследователями заданий; способом оценивания по степени сложности вариантов контрольных работ, отличающихся одним-двумя признаками; путем оценивания разными учителями одних и тех же работ, выполненных учащимися; методом наблюдения и анализа уроков; методом анкетирования педагогов и администрации образовательных учреждений.
Многие учителя не придают значения усвоению важнейших компонентов предметного содержания обучения, интеллектуальных умений. Предъявляемые требования к качеству знаний соответствуют предметно-содержательному уровню. Установлено [74], например, что задания, в которых проверялось умение устанавливать причинно-следственные явления между явлениями, применять знания в новых ситуациях, составляют по разным предметам всего лишь 14-15%, что свидетельствует об односторонности требований учителей. Та же проблема отмечается в конце 90-х годов А.Н. Майоровым [138] при массовых обследованиях качества знаний школьников Санкт-Петербурга.
Таким образом, диагностика качества знаний должна строиться на оценке результатов обучения, выраженных в сформированной учебной деятельности, а измерители конструироваться на основе операциональной структуры деятельности, подлежащей освоению с учетом уровня усвоения знаний.
Базовые системы заданий критериально-ориентированных измерителей автоматизированного диагностического комплекса по химии
Ключевое место совокупности контрольно-измерительных средств автоматизированной диагностики занимает система заданий, которая разрабатывается соответственно идеологии педагогической квалиметрии [299], основными этапами которой в общем случае являются:
- описание измеряемой эмпирической системы (описание элементов системы и отношений между ними);
- выбор числовой системы с отношениями, соответствующей эмпирической системе;
- установление связей (гомоморфизма или изоморфизма) между эмпирической системой и числовой системой с отношениями.
Контролирующие компоненты базовой системы заданий проектируются нами по типу критериально-ориентированных тестов, основа которых была изначально адаптирована к результатам обученности, установленными действующим Временным государственным образовательным стандартом. Применяемый вид тестов достаточно определенно указывает на имеющиеся у учащихся пробелы в усвоении знаний.
Измерение знаний предполагает, прежде всего, описание стандарта обученно-сти в виде операциональной системы деятельности, которой должны овладеть учащиеся в ходе изучения предмета. Функционально полная система заданий, в свою очередь, обеспечена применением всего этого комплекса операциональных действий в ходе контрольного выполнения заданий. При этом точность и надежность измерения качества знаний зависит не только от того, насколько полно типология базовой системы контрольных заданий учитывает нормы стандарта обученности, но и от того, насколько система заданий соответствует целям измерения знаний [186].
При разработке измерителей качества знаний по химии мы, проанализировав значительное количество опубликованных работ по разработке контрольных заданий по химии, взяли за основу создания тестов труды В.Л. Рысс [211], Н.П. Глориозова [52; 53], Л.С. Гузей, Р.П. Суровцевой [233], Э.Г. Злотникова, В.В. Сорокина [80; 228], Р.Г. Ивановой [83], И.Н. Черткова, В.М. Потапова [193], Р.А. Лидина, Л.Л. Андреевой [131], Н.Н. Лагутиной [121], Н.Н. Тары [48], Н.М. Городовой [57-59].
Среди основных требований к разработке заданий в системе автоматизированной диагностики качества знаний [158; 177], для наших исследований по стандартизации наиболее важны требования технологичности, рассчитанное на возможности инструментальной проверки; ориентация на нормирование конечного результата обучения, позволяющее создать валидную и объективную систему контрольно-измерительных средств.
Потребности образовательной практики предопределяют исходные формы диагностики: итоговый контроль знаний в виде экзаменов, контрольных работ, скринин-говых исследований; и типы и содержание вопросов. В процессе проектирования БСЗ использована классификация заданий, позволяющая оценить разные уровни усвоения знаний по химии [268]:
1. уровень узнавания и воспроизведения объектов изучения;
2. уровень, характеризующийся умением найти необходимый путь решения познавательной задачи;
3. уровень, диагностирующий умения решать задачу с использованием необходимых мыслительных приемов.
Соотношения между количеством заданий, ориентированных на разные уровни усвоения знаний, в базовой системе программ определяется назначением планируемой диагностики, требованиями, которые предъявляются через задания к качеству знаний тестируемых. Количественная характеристика БСЗ для разных программ представлена в таблице 5.
При этом, основным критериями структурирования заданий по программам являются требования к качеству знаний: базового (стандарт учебных достижений) уровня или повышенного уровня обучения, т.е. по двум основным уровням реализуемым в массовой практике обучения.
Например, задание из базы ПС "CHIM-8PR.", контролирующее стандарт учебных достижений соответствует первому уровню усвоения знаний:
Задание 1. В ответе укажите какому количеству вещества (моль) соответствует б, 4 грамм меди.
В базовой системе ПС "CHIM-8SL." характер вопроса аналогичного раздела соответствует второму уровню усвоения знаний, при тождественности требований:
Задание 2. Сколько метров проволоки, один метр которой весит 6,4 грамма, содержит 6*1и атомов?
Принципы отбора и конструирования содержания тестовых заданий основываются кроме целеполагания (как соответствие назначению диагностики, так и соответствие определенным целям обучения) и объективности, на требованиях валидности, технологичности обработки результатов.
Объективность содержания мы рассматриваем как однозначность понимания формулировки задания. При этом ответ на вопрос может быть множественным, но не допускает субъективность толкования задания. Например, для двух вопросов с одинаковым смыслом и дистракторами, правильные ответы будут разными:
Задание 3. При погружении в раствор какого вещества электрическая лампочка прибора для измерения электропроводности ярко загорается?
Задание 4. Выберите сильные электролиты:
1. гидроксид калия 2.хлорид серебра 3. сахар 4. серная кислота
Более точную и понятную формулировку для диагностики умения определять электролиты - требование ГОС, как показывают результаты определения качества вопросов, имеет задание №3. Задание №4 имеет низкую дискриминативность - 0,11; №3 - 0,75.
Требование содержательной валидности ограничивается временными границами выполнения теста. Объем проверяемых знаний никогда не может быть равен объему преподаваемой дисциплины.
Структура учебного курса основ химии определяется системой взаимосвязанных компонентов учебной информации, поэтому диагностировались результаты усвоения не отдельных, а структурно связанных элементов содержания. При этом этапы контроля определяются тем местом в учебном материале, где предоставляется возможность проконтролировать результаты усвоения системы компонентов содержания определенной темы [85]. Поэтому, например, понятие об окислительно-восстановительных реакциях, умение составлять электронный баланс для ОВР нами предложено контролировать как итоговый этап в девятом классе, а не в восьмом, где только формируется понятие окислителя, восстановителя.
В контрольный тест включаются только наиболее важные, ключевые элементы знаний, обеспечивающие их полноту, систематичность, действенность, мобильность. Для установления состава необходимого итогового знания, выявления основополагающих информационных компонентов в усвоении определенного раздела курса химии нами используется представление о логической структуре [265; 280] и описание через указание составляющих его частей и связей между ними. Среди наиболее известных работ по созданию таких моделей можно указать работу Стельзера и Кингсли [301]. В статье [29] предлагается более простой способ структурирования, который удобен в педагогической диагностике. На основе его строятся граф-схемы [255] и последовательно преобразованные матрицы. В качестве образца нами использовано тематическое структурирование В. Л. Рысс базовых понятий тем "Первоначальные химические понятия" [210, с.30-33] и "Периодический закон и периодическая система Д.И. Менделеева" [там же, (с.26-29)].
Выявленные основополагающие компоненты итоговых знаний составляют блоки заданий, при этом все задания одного блока ориентированы на выявление степени достижения одного компонента. Краткая характеристика базовых систем заданий дана в таблице 5.
При разработке тестовых заданий нами учитывается их предназначение для автоматизированной диагностики, в частности большие ограничения накладывает требование на форму ответа - ввод либо цифры, либо буквы. Символы химических элементов в данном программном комплексе не используются. В подобных случаях составляются тесты с выбором ответа, число которых мы стараемся уменьшать по причинам, рассмотренным в параграфе 1.2. Учитывая положительные характеристики данной формы заданий, полностью не отказываемся от включения в тест, уменьшая процент возможного угадывания введением нескольких правильных дистракторов в набор выбора. Это служит основой для дифференцированного оценивания результатов. Если все известные нам по литературе тесты предлагается оценивать по 2-бальной системе ("да" или "нет"),то мы вводим трехбалльное оценивание (0, 1, 2).
