Содержание к диссертации
Введение
Глава I. Теоретические предпосылки измерения эффективности инноваций .
1. О сущности понятия "инновация" 10
2 Метрологические подходы в дидактике 28
3. Качества знаний и их количественная оценка 36
Глава II. Теоретические основы инструментального обеспечения педагогического измерения .
1. Методологические основы тестирования 53
2. Методика стандартизации теста 8 6
Глава III. Опытно-экспериментальная проверка методов оценивания инновационной деятельности 98
Заключение
Приложения 129
Список использованной литературы 142
- О сущности понятия "инновация"
- Метрологические подходы в дидактике
- Методологические основы тестирования
- Методика стандартизации теста
Введение к работе
Под влиянием НТР во второй половине XX века происходит реструктуризация общественных производительных сил, которая поставила перед системой образования новые задачи. Развивающееся постиндустриальное общество, доминирующее развитие научной сферы выдвигают новые требования к интенсификации процесса обучения и качеству полученных знаний. Педагогическая наука и практика отозвалась на них значительным ростом инновационного движения.
Объективные предпосылки этого процесса определяют тенденции дальнейшего развития и потому требуют от педагогики разработки методики определения эффективности инноваций в образовании. Глобальный характер назревшей проблемы показывают проводимые исследования,,, как в нашей стране, так и за рубежом. Реформа образования, провозглашенная в середине 8 0-гг. XX в. и активно проводимая в нашей стране, привела к дифференциации как типов учебных заведений, так и содержания образования,, даваемого ими. Процесс аттестации педагогических работников активизировал деятельность учителей по поиску и внедрению новых методов обучения и воспитания, управления учебно-воспитательным процессом.
Развивающаяся в течение всей истории система образования как один из основных социальных институтов общества переживала периоды подъемов и спадов. Ретроспективный взгляд на историю этого развития показывает, что наиболее активный всплеск творческого поиска в этой области приходится на время смены образовательных парадигм и в целом связан с именами отдельных личностей, внесших, несомненно, бесценный вклад в развитие педагогической теории и практики. Но, с другой стороны, можно утверждать, что этот процесс носил личностный характер и не был мае совым. Поэтому, изучая эти периоды развития, как правило, говорят об отдельных педагогических технологиях, педагогических новинках, новаторстве. Такой взгляд не требовал специальных исследований по сущности инноваций, механизма генезиса, определения их эффективности. Поэтому в педагогической теории нет четкого определения педагогических категорий "передовой педагогический опыт", " новаторство", "педагогическая новинка".
Рост творческой активности педагогов-практиков - вызванный общесистемным кризисом образования на рубеже 70-х гг. [35,57,64,84] поставил перед педагогической наукой задачу выработки научно обоснованной теории инноваций в образовании. В нашей стране такие исследования проводятся с конца 8 0-х гг. и связаны с именами В.И.Загвязинского, Н.Р.Юсуфбекова, М.М.Поташника. Между тем, в настоящее время нет общепризнанного определения термина "инновация" в образовании, и поэтому появляются разногласия в отнесении конкретной творческой деятельности учителей к инновационным. Поэтому перед педагогической наукой практикой поставлена проблема объективного определения эффективности соответствующей педагогической деятельности.
Введение инноваций в образовании обязательно включает этап опытно-экспериментальной деятельности по проверке основных положений нововведений. Теоретические положения о подготовке, проведению и интерпретации результатов педагогического эксперимента нашли свое отражение в трудах В.М.Полонского, Ю.К.Бабанского, М.Н.Скаткина, Г.В.Воробьева.
Анализ публикаций показал, что имеющиеся попытки решить поставленную проблему основываются на системе экспертных оценок (субъективных по своей сути) путем сравнения средних баллов успеваемости. Несмотря на то, что в ряде исследований убедительно доказана некорректность такого подхода, тем не менее, использо вание традиционного оценивания результатов контрольных срезов в качестве опорных данных продолжает активно применяться.
Специфика многих педагогических объектов такова, что их поведение и функционирование могут быть с должной достоверностью описаны лишь на уровне вероятностных представлений, статистически выявленных тенденций с обязательной качественной интерпретацией. Только таким путем могут быть выявлены статистически устойчивые признаки, познаны причинно обусловленные, закономерные связи и отношения, позволяющие теоретически интерпретировать эмпирические данные. И хотя в основе познания педагогических законов лежит глубокое проникновение исследователя в сущность исследуемых явлений, анализ их качественных особенностей, количественная оценка эмпирических данных во многом способствует объективной содержательной характеристике выявленных закономерных связей.
Основное противоречие современного этапа развития проблемы состоит преимущественно в субъективном оценивании инновационной деятельности педагогического объекта, носящего вероятностный характер.
В то же время в практике измерения педагогических характеристик в дидактике, во всем мире используются гомогенные стандартизированные педагогические тесты - тесты школьных достижений. В отечественной педагогике это направление разработано недостаточно, ввиду слабой методологической проработки способов интерпретации результатов и отсутствия развитого теоретического обоснования построения педагогических тестов школьных достижений. В настоящее время по обоим направлениям проводятся обширные исследования (В.С.Аванесов, А.Н.Майоров). Такое отставание во многом вызвано постановлением "О педологических извращениях в системе Наркомпросов" от 4 июля 1936 г. Резкая, и в целом справедливая, критика тестологии, отраженная в этом документе, характеризовала общее состояние развития этого направления в науке и совпадала с отношением к ней за рубежом [1,34]. Одним из тормозящих факторов введения такого механизма оценивания качества знаний учащихся является высокая трудоемкость создания тестового инструментария по сравнению с существующими методами контроля.
В 50-60-х гг. педагогическая наука обогатилась кибернетическим подходом к рассматриваемым явлениям. Активно разрабатывается теория программированного обучения (С.И.Архангельский, В.П.Беспалько, Т.А.Ильина, А.Г.Молибог, Н.М.Розенберг, Н.Ф.Талызина, Н.М.Шахмаев и др.), теория учебных задач (Г.А.Балл, Е.И.Машбиц, В.И.Огорелков, Н.М.Розенберг, Л.М.Фридман) явившиеся методологическими предпосылками разработки технологии педагогического тестирования. Зарубежные исследования по этой теме проводились в: основном в США, Канаде, Англии, Австралии и Голландии и сводились к приведению известных тестовых методик (Векслера, Айзенка, Кеттела и др.) применительно к задачам педагогического измерения. Такой подход обладает механистичностью выводов и не обеспечивает дифференцированное™ в определении структуры знаниевой сферы объекта обучения.
Таким образом, актуальность темы определяется,, с одной стороны недостаточной ее теоретической и практической разработанностью, а с другой-необходимостью поиска объективного, научно обоснованного инструментария для измерения эффективности инновационного процесса.
Это определило выбор проблемы исследования, состоящей в поиске средств разрешения выявленного противоречия.
ОбФеют исследования - инновационный процесс в системе общеобразовательных учреждений.
Предмеш исследования - объективная оценка качественных характеристик инноваций в системе образования.
Цель исследования - разработка теоретических основ и практических рекомендаций содержательного и статистического .оценивания инноваций в обучении.
В основу исследования была положена следующая гипоодеза: объективно измерить степень эффективности инноваций в образовании можно, если:
а) эта инновация имеет четко определенную цель, по отношению к которой может быть проведена процедура формализации модели измерения;
б) для измеряемой характеристики учебно-воспитательного процесса существует система эталонов и методов измерения.
В соответствии с целью исследования и выдвинутой гипотезой были поставлены следующие задачи исследования::
1) Проведение анализа существующих методов решения данной проблемы, как с целью выделения внутренних противоречий, так и определения тенденций развития/
2) Обоснование теоретических положений, лежащих в основе предлагаемого исследования;
3) Разработка банка гомогенных тестовых заданий, методов оценки их выполнения, определение и научное обоснование выбора шкалы измерения;
4) Разработка критериев измерения качественных показателей инновационных процессов;
5) Опытно - экспериментальная проверка эффективности предлагаемой методики.
Для решения поставленных задач и проверки исходных положений использован комплекс методов исследования.
1) Анализ философской, педагогической, психологической, математической, программно-методической литературы по теоретическим аспектам поставленной проблемы;
2) Разработка педагогической модели - матрицы структуры теории объективного оценивания инновационной деятельности;
3) Педагогический эксперимент.
Теоретике-методологическими основами исследования являются: основные положения диалектики, общей педагогики, психологии памяти, теория программированного обучения, теория учебных задач, теория измерений, теория вероятности и математической статистики.
Исследование проводилось в IV этапа:
I этап (1995 г.). Изучение научно-методической литературы;
II этап (1995-1996 гг.). Построение банка тестовых заданий, его стандартизация;
III этап (1996-1997 гг.). Собственно научные исследования и проведение констатирующего эксперимента;
IV этап (1997-1998 гг.). Проведение формирующего эксперимента, обобщение результатов исследования, оформление диссертации.
Научная новизна и теоретическая значимость исследования состоит в следующем:
- разработаны методы количественного измерения прочности и оперативности знаний учащихся, что позволяет проводить сравнительный анализ;
- разработаны рекомендации по организационной форме проведения тестовых срезов;
- разработана методика эмпирического определения трудности заданий и определения показателя веса существенных операций.
Практическая значимость определяется тем, что методы, разработанные в данном исследовании, могут применяться в широком спектре постановки и решении педагогических задач для выявления динамики учебного процесса в целом или отдельных элементов деятельности педагога по созданию, внедрению и распространению нового в учебно-воспитательном процессе.
Работа выполнена в рамках реализации Соглашения о совместной деятельности Министерств образования республик Марий Эл, Мордовии и Чувашии по разработке и внедрению современных информационных технологий обучения, оценки качества знаний и управления учебным процессом.
На защиту выносятся следующее положения:
научное обоснование теоретических положений и научно-методических рекомендаций исследования;
методика и логика массового измерения полноты, гибкости, оперативности и прочности знаний учащихся общеобразовательных учреждений, участвующих в инновационном процессе.
- методика стандартизации и валидизации тестовых заданий.
Апробация и внедрение результатов исследования осуществлялось в педагогической деятельности автора, на курсах повышения квалификации учителей. Основные положения исследования использовались при проведении экспертизы инновационной деятельности ряда образовательных учреждений гг. Чебоксары и Новочебоксарск и были доложены на I аукционе педагогических идей, проведенном по инициативе ЧГПИ им. И.Я.Яковлева, г.Чебоксары, и опубликованы в брошюре "Методические рекомендации по оценке качества знаний учащихся" .
О сущности понятия "инновация"
Современное общество характеризуется очень быстрыми и глубокими изменениями. Об этом свидетельствуют изменения, происходящие в общественной структуре, в отношениях между отдельными странами, в отношениях личность-общество, в быстрых демографических, урбанистических, миграционных и других переменах. Образование как подсистема глобальной общественной системы, должно также учитывать все происходящие изменения в обществе, меняя соответственно, свою структуру и содержание деятельности. Тем не менее, наибольшее количество претензий к образованию предъявляют в том,, что оно отстает и не следует за тенденциями развития общества, что оно неэффективно и использует старые технологии. Образование как общественная функция должна следовать за изменениями в обществе и при этом влиять на его развитие и изменение . Однако, отношения между обществом и образованием имеют сложную структуру, отличаются высокой динамичностью. Образование не воспринимает пассивно и автоматически все влияния и изменения, происходящие в обществе, оно само активно влияет на него. "В этом смысле изменения в образовании являются не только следствием, но и особым условием дальнейшего общественного развития", - пишет К.Ангеловски [б, с.12].
Новшества являются продуктом современных общественных тенденций. Их количество, виды, характер зависят от совокупности конкретных факторов, влияющих на обновляемые объекты образовательной деятельности. Сегодня, опережающее развитие технолого-образующих наук - химии, физики, биологии, информатики- определяют вектор новшеств в соответствующей им образовательной практике. Для современного этапа характерна гуманитарная и гуманистическая окраска развития общественных отношений, вызвавшая огромный рост инноваций в этих областях педагогического труда.
Нововведения - наиболее эффективный путь обновления образования. Во всем мире стараются создавать условия для увеличения количества новшеств в этой сфере общественных отношений. Ведь повышение уровня образования способствует повышению общего уровня жизни, и, значит, необходимо искать пути, способы и средства совершенствования образования, повышения его эффективности. Введение новшеств предполагает повышение продуктивности образовательно-воспитательной сферы и более эффективного воспитания учащихся в духе творческой работы, развития новаторского духа и творческого потенциала. "Для того, чтобы привить вкус к новаторству, воспитать личность, которая будет стремиться создавать новшества, само образование должно быть проникнуто нововведениями, в нем должен преобладать дух и атмосфера творчества" [6, с.19] .
Однако, на настоящий момент не существует четкого определения педагогической категории "инновация", что отражает различные точки зрения на нововведения в структуру учебно-воспитательного процесса. Э.Д.Днепров пишет: "Общепризнанной трактовки понятия "инновация в образовании (педагогическая инновация)" пока нет - ни в педагогической литературе, ни в самой инновационной среде" [41, с.111]. Это затрудняет проведение объективного анализа эффективности инноваций в образовании.
Тем не менее, понятие "инновация" впервые появилось в исследованиях XIX века и означало введение некоторых элементов одной культуры в другую. Педагогические инновационные процессы стали вопросом специального изучения ученых, по разным оценкам, в 20-50 гг. нашего века на Западе и в последнее десятилетие—в нашей стране. В ряде зарубежных публикаций инновационными назван ряд моделей образовательной деятельности, например: движение за воспитание личности (Элен Кей), рабочая школа и активная школа (Дьюи), теория Кершештайнера, систему воспитания Марии Монтессори, план Дальтона, метод Кузина или свободный групповой план, проект-метод (Дьюи Килпатрик), Майнхаймская система, индивидуализация преподавания через работу со средствами обучения (Дотран).
Слово "инновация" происходит от латинских слов "іп"-в, "novus" - новый [129,144] и трактуется как нововведение. В специальной литературе этот термин определен следующим образом: инновация-это комплексный процесс (деятельность) создания, распространения, внедрения и использования нового практического средства, метода, концепции и т.д. - новшества, для удовлетворения человеческих потребностей [6,23,32,143].
Согласно [114,129], русское слово "нововведение" определяется как целенаправленное изменение, вносящее в среду внедрения новые стабильные элементы, вызывающие переход системы из одного состояния в другое. Что такое новое? Новый - впервые созданный, появившийся недавно, вновь открытый, недостаточно знакомый, малоизвестный [92]. Новизна любого средства относительна в историческом плане, она всегда носит конкретно-исторический характер. Рождаясь в конкретное время, прогрессивно решая задачи данного исторического этапа, новшество может быстро стать нормой, устареть или стать тормозом развития в более позднее время.
Термин "новое", "новшество", "новое средство" неадекватен понятию "инновация", так как первое - это именно средство (новый метод, методика, технология, учебная программа и т.п.), а "инновация" - это процесс освоения этого средства.
Такое определение вызывает разногласия в вопросе о том, что считать нововведением, а что нет. "Часть инновационной элиты считает "инновационной" только деятельность по "созданию" нового. Его "освоение", "использование" и "распространение" - уже нечто иное" [41, с.110]. Далее Э.Д.Днепров пишет, что можно выделить несколько позиций трактовки понятия инновация ,в образовании, приводящие к разным оценкам инновационного процесса.
Первая позиция - позиция чиновников от образования. С этой точки зрения любые, даже незначительные изменения в школе - уже инновация. Такой подход приводит к девальвации сущности инновационной деятельности в образовании. Очевидно, что с этим нельзя согласиться, хотя бы потому, что не все новшества прогрессивны и приводят к удовлетворению возникших потребностей. Прогрессивно только то, что эффективно вне зависимости от того, когда оно возникло. Эффективность нововведения определяется достижением более высоких результатов оптимальным путем, т.е. при тех же или меньших затрат физических моральных сил, материальных, финансовых средств или времени.
Метрологические подходы в дидактике
Проблемой определения эффективности новшеств в дидактике занимались многие исследователи. Можно привести следующие публикации: В.И.Огорелков "Проблемы измерения и оценки качества! знаний учащихся", Я.С.Турбовской "Изучение и обобщение педагогического опыта на основе диагностирования", П.М.Жучок "Оценка эффективности обучения методами математической статистики", П.У.Крейтсберг "Опыт исследования эффективности деятельности учителя", Т.Н.Андреева, М.Н.Шешеров "Методы оценки конкурирующих методов обучения" и др. Справедливо полагая, что результат педагогической деятельности носит вероятностный характер, они применяют методы математической статистики для проверки выдвинутых гипотез [27,28,38,39,44,62,65,99]. Но в качестве исходных данных они принимают экспертные* оценки - школьные отметки, применение которых -в данном случае абсолютно некорректно, как минимум, по двум причинам. Во-первых, контрольно-оценочный акт есть операция сугубо субъективная, зависящая, в свою очередь, от множества факторов (в числе наиболее значимых из них можно привести такие как степень подготовленности учителя, его опыт, настроение) и несущая, кроме чисто оценочной, еще и воспитательное значение (воспитывающая и мотивирующая функции школьной отметки). Такой подход был подвергнут резкой критике Л.М.Фридманом: "Оценка знаний и навыков учащихся - весьма сложный процесс, и результаты этого процесса зависят от мнбгих причин. . . Если поручить проэкзаменовать одну и ту же группу учащихся двум разным учителям, то вряд ли их результаты совпадут". [136,с.112]
Вот что пишет В.И.Огорелков: "Педагог может выставить ученику одну и ту же оценку (и причем корректно) за различный по содержанию и трудности материал. В этом смысле оценка безотносительна к содержанию изученного материала" [91,с.111]. Ш.А.Амонашвили в своей монографии "Воспитательная и образовательная функции оценки учения школьников" и Полонский В.М. в книге "Оценка знаний школьников" приводит историю дискуссии об измеряющем свойстве школьной отметки [3,100].
Они пишут, что способность школьной отметки объективно измерять уровень обученности учащихся с самого начала ее введения в школьную практику подвергалось резкой критике. Так, Ш.А.Амонашвили приводит мнение участников диспута проводимого на страницах педагогической печати в 1872-1875 гг. в России. Не умаляя положительных сторон школьной отметки, противники ее введения обосновывали свои позиции следующим образом: "Балл есть число, которым стараются измерить разные нравственные свойства учеников. Но они не могут быть выражены числами, так как не могут быть измерены. Для измерения какой-либо величины нужна, прежде всего, постоянная единица, а в данном случае такой единицы нет и быть не может. Когда учитель ставит балл, кто и что служит ему единицей, кроме личного мнения, которое может меняться не только с годами, но даже в зависимости от настроения в один и тот же день? В ученике, в его познаниях такой единицы тоже нельзя найти. Найти такого ученика, который никогда не изменялся в своих нравственных свойствах, невозможно, даже нелепо было бы желать такого ученика, который служил бы ориентиром для оценки успехов всех прочих учеников, потому что это значило бы остановить развитие этого ученика" [3, с.79].
Анализ традиционных методов проверки и оценки знаний показал, что при контроле знаний не устанавливается единых, общепринятых и одинаково понимаемых целей, которых нужно достигнуть в результате обучения. Цели обучения трактуются очень широко и допускают различные толкования со стороны учителей. Другой фактор, влияющий на обоснованность оценки - наличие различных объектов контроля. Для одних учителей объект оценки - усвоение школьниками понятийного аппарата учебного предмета, для других - возможность реализовать полученные знания на практике, для третьих - наличие творческого осмысления и перенесение методов решения на классы нетиповых для данного уровня задач.
Ш.А.Амонашвили приводит еще один довод неприменимости существующей бальной, системы отметок в качестве измерителя степени овладения знаниями: "Если, допустим, ребенок получает «2» за незнание этого параграфа учебника, в дальнейшем он исправит отметку и,' возможно,, получит даже «5» за счет знания другого параграфа" [3, с.20]. Какой содержательный смысл будет иметь в приведенном примере средний балл?
Во вторых, школьная отметка не может выступать в качестве основы для статистического анализа, т.к. является суть единицей ранговой шкалы измерения. Широко используемая практика определения эффективности деятельности педагога на основании выведения средней оценки, и это будет показано ниже, вообще противоречит здравому смыслу!
Для доказательства этого утверждения необходимо разобраться в сущности контрольно-оценочной деятельности. Согласно Л.М.Фридману [138], вся контрольно-оценочная деятельность состоит из отдельных актов контроля и оценки. В каждом таком акте всегда имеется объект контроля и оценки и эталон, с которым сравнивается объект.
Сам контроль представляет собой процесс сравнения объекта и эталона. На основе результатов процесса контроля в большинстве случаев начинается процесс оценивания. Для оценки результатов контроля, в зависимости от цели данного акта контрольно-оценочной деятельности, субъект избирает какой-то критерий и с его помощью производит оценку объекта контроля. Нетрудно заметить, что в данном описании сущности контрольно-оценочного акта речь идет о процессе измерения качества знаний объекта обучения.. Такую метрологическую концепцию сравнения степени овладения знаниями .учащимися с эталоном, в педагогике можно принять с большой осторожностью в силу ряда причин. Одной из таких причин является та, что само измерение не является пассивным контролем как в физике, а всегда происходит при активном взаимодействии с измеряемым объектом, всегда оказывая на него воздействие, изменяя его. Другая сложность заключается в том, что для оценки знаний, умений и их качеств нужны эталоны, на которые можно было бы ориентироваться. С изменением содержания контрольного задания будет меняться ее эталон. Таким образом, оценка будет проводиться на основании своего эталона и отражать степень решения строго определенного класса задач.
Методологические основы тестирования
Рассмотрев в предыдущей главе объект и обосновав выбор шкалы измерения, определим метод измерения. Применение тестов для измерения качеств личности в психологии и педагогике имеет развитое научное обоснование- и ни у кого не вызывает сомнения. Сегодня проведение тестирования учащихся, для получения объективных показателей учебного процесса прочно вошло в инструментарий педагогических исследований [8,16,17^29,40,49,50,59,60,72,73, 87-90,93,100,118,121,125]. В то же время у педагогической общественности, в целом, отсутствует четкое представление о сущности тестов, интерпретации их результатов.
Так например, в результате проведенного нами опроса учителей-слушателей курсов повышения квалификации выяснилось, что неправильное представление о педагогических тестах имеют 87.5% опрошенных (в опросе участвовало 217 учителей, преподающих различные предметы и руководителей образовательных учреждений).
Л Тест, в большинстве случаев понимается ими как набор вопросов с вариантами ответов, который стоит в одном ряду с кроссвордами, головоломками и служит в большей степени для развлечения и удовлетворения познавательных интересов. Опрошенные педагоги считают тестирование ограниченным методом получения информации об учебных достижениях учащихся, а создание тестов простейшим делом. Многие из них отождествляют с тестами контрольные срезы (инспекционные контрольные работы).
Дадим определение понятию тест. В литературе существует несколько таких определений, раскрывающих отдельные его свойства, но в сущности, описывающие один и тот же объект. Итак, по определению тест (от англ. test-проба, испытание), это:
- стандартизированное измерение, легко поддающееся количественной оценке, статистической обработке и- сравнительному анализу [73] ;
- специфический инструмент, состоящий из совокупности заданий или вопросов и проводимый в стандартных условиях, позволяющий выявить типы поведения, уровень владения какими-либо видами деятельности [125];
-стандартизированное, часто ограниченное во времени, испытание, предназначенное для установления количественных и качественных индивидуально-психологических особенностей [97];
- стандартизированные задания, по результатам выполнения которых, судят о психофизиологических и личностных характеристиках, а также знаниях, умениях и навыках испытуемого [31].
При сопоставлении приведенных определений теста можно увидеть одно из его главных свойств - то, что он является стандартизированным измерением. Наличие процедуры стандартизации и отличает любую контрольную работу (текущую или инспекционную) от теста. Именно благодаря этому качеству обеспечивается объективность теста и эталонность измерения педагогических характеристик. Другой особенностью теста является то, что он является совокупностью тестовых заданий, объединенных одной, наперед заданной целью и снабженный методикой объективного оценивания, которая сводит до минимума влияние субъективного фактора на результаты измерения. Третьим важным свойством теста является стандартность условий его проведения, предполагающая уменьшение влияния случайных воздействий на результаты тестирования. Таким образом, в отличие от контрольной работы, тест должен содержать следующие компоненты:
- совокупность стандартизированных тестовых заданий;
- сведения о процедуре стандартизации и необходимые расчетные показатели с указанием метода расчета;
- технологические матрицы оценивания ответов учащихся;
- инструментальное оснащение теста (тестовые тетради или стандартные бланки ответов, канцелярские принадлежности и т . д.) ;
- методики интерпретации результатов теста и ссылки на научное обоснование. (
Совокупность приведенных выше положений называется тестовым обеспечением или тест-комплектом.
Также необходимо провести границу между тестами, использующимися в психологии и педагогике. Являясь разновидностью метода психологического исследования, и исторически являющийся его наследником, педагогический тест заметно отличается и имеет самостоятельное развитие. Одним из принципиальных различий между психологическим и педагогическим тестированием является объект измерения. Если в психологии объектом измерения является выборка поведения субъекта в разных условиях (индивидуальный тест) или совокупности индивидов (групповой тест) для проявления отдельных или совокупных психофизиологических (личностных) качеств человека, то педагогический тест в качестве объекта измерения рассматривает объем и степень усвоения знаний, уровень овладения умениями и навыками на момент измерения. В психологической практике широко распространены методики определения психофизиологических характеристик, тесты определяющие высшие функции психической деятельности - мышление, память (тесты Симона- Бине, Кеттела, Векслера, в школьной практике - тест общего развития ШТУР и т.д.). Другим отличием педагогического теста является его узость и конкретность, определенная спецификой предметной области, для которой он создан.
Вообще, анализируя свойства объекта измерения, можно утверждать, что педагогический тест не может и не должен измерять уровень творческой деятельности. Докажем это. Любая творческая деятельность предполагает выход за рамки известных ребенку действий, но с опорой на них. Педагогическое тестирование, при оценивании результатов выполнения теста исходит из положения о конечности континуума возможных решений, что и позволяет выделить единицу измерения. Принятие тезиса о бесконечном пространстве решений эвристической задачи приведет -к отказу от единицы измерения и возврату на старые позиции в оценивании. Можно искусственно ограничить множество решений, но в этом случае придется вводить для каждого задания критерий эффективности решения. Проблема в общем случае сводится к пока нерешенной задаче искусственного интеллекта.
Ряд авторов, - А.Анастази, Р.Торндайк, Е.Хаген считают, что основы современных тестовых технологий, как метода педагогического контроля ведет свой отсчет с древнего Китая, и насчитывает около 4000 лет. С ними категорически несогласен В.С.Аване-сов, который считает, что история развития педагогических тестов - это результат многовекового процесса развития форм и методов педагогического контроля и имеет эмпирический характер. На смену донаучным формам, основанным на представлении обыденного сознания, приходили другие, научно аргументированные и технологически эффективные. Этот процесс шел в тесной взаимо- связи с развитием культуры, образования, техники и технологии. Этот период он предлагает называть предысторией тестов.
Педагогические тесты появляются и начинают внедряться в образовательную практику с середины 20-х годов XX в., ив середине 30-х гг. попадают под волну критики, как в нашей стране, так и за рубежом. Связано это было с кризисом использования интеллектуальных тестов в психологии. "В отечественной истории тестов начало 30-х годов характеризуется интенсивным и неконтролируемым использованием тестов в системе народного образования. Массовые тестовые обследования не подкреплялись серьезной проверкой качества инструментария, решения о переводе некоторых учащихся в классы для умственно-отсталых детей принимались на основе несовершенных тестов, без учета всех факторов, влияющих на результаты проверки. В виду надвигавшейся тестомании и ее очевидного вреда было принято постановление «О педологических извращениях в системе Наркомпросов», наложившее запрет на применение бессмысленных тестов и анкет" [1,с.23].
Методика стандартизации теста
Объективность измерения методом педагогического тестирования обеспечивается его стандартизацией. С точки зрения теории измерений процедура стандартизации представляет собой процесс юстировки (точной настройки) измерительного инструмента. Стандартизация теста включает в себя четыре основные процедуры: нормализацию (нормирование), валидизацию, определение эффективности тестовых заданий и определение организационной формы его проведения.
Под нормализацией понимается определение измерительных норм (эталонов измерения), характерных для данной генеральной совокупности (в психологии - популяции). Педагогические тесты не имеют заранее известных стандартов успешности в выполнении теста, индивидуальные показатели учащихся с показателями других учащихся, или по отношению к совокупности в целом. Нормализация теста должна осуществляться на значительной репрезентативной выборке. Целью этой операции является определение таких статистических показателей генеральной совокупности, как математическое ожидание и среднеквадратичное отклонение. Вид распределения полученных данных нормализации должен приближаться к нормальному виду распределения Гаусса при заданном уровне значимости. Определим минимальный объем выборки, требующийся для проведения процедуры нормализации.
Расчет по первому методу основан на рассуждении о том, что основная величина, от которой зависит величина объема выборки стандартизации - дисперсия и ее,изменение. При выборочном методе исследования дисперсия изучаемого признака слагается из двух составляющих - дисперсии генеральной совокупности и дисперсии, вызванной ее неоднородностью. С увеличением выборки, составляющая, вызванная неоднородностью генеральной совокупности, уменьшается, значение дисперсии при этом перестает изменяться дальнейшее увеличение объема выборки нецелесообразно, поскольку ошибка выборки становится пренебрежительно мала. Таким образом, этот метод предполагает увеличение объема выборки до тех пор, пока не прекратится изменение дисперсии [80].
Расчет объема выборки по таблицам достаточно больших чисел используют, если ничего нельзя сказать ни о средних показателях, ни о генеральной совокупности. Методика такого расчета хорошо освещена в работе [104] .
Определение объема выборки эмпирическим методом состоит в увеличении объема выборки до тех пор, пока среднее квадратичное отклонение, выраженное в процентах от величины средней, не станет меньше или равно 50 % [94].
Существуют и другие методы вычисления данного показателя, рассмотренные в работах [73,80,94,104], построенные на оценке генеральной совокупности по выборочной, с учетом вероятности ошибки.
Рассмотрев приведенные выше методы, А.Н.Майоров [73], провел эмпирическое определение достаточного объема выборки стандартизации, выполненное в результате эксперимента по реализации итоговой аттестации учащихся в форме тестирования, проведенного в г.Санкт-Петербурге. Все методы показали хорошее согласование друг с другом и дали значение 350-600 единиц наблюдения [88].
Проведенные расчеты убедительно показывает, что проведение процедуры стандартизации требует значительных финансовых, трудовых и временных затрат и требует государственной поддержки. В экономически развитых странах, где развитию системы образования уделяется большое внимание, стандартизация тестов в области педагогики и школьной психологии является частью государственной образовательной политики [13,16,30,42,59,72]. К числу наиболее известных можно отнести федеральную (США) Программу Тестирования Американских Колледжей (American College Testing Programm), программу College Entrance Examination Battery (CEEB). В этих странах периодически производится уточнение основных тестов, использующихся в педагогической практике. Так, уточнение четвертой стэнфордской редакции теста Симона-Бине (IQ), в 1972 приводилась на выборке более 2 00 тысяч учащихся от 3 до 11 классов в 32 штатах. В 1979 г. шкала SAT (Schoolastic Achievment Test - тест школьных достижений) уточнялась на выборке 27 5 тыс. человек [5] . В нашей стране такая работа выполняется в рамках международных образовательных проектов, финансируемых зарубежными фондами.
Учитывая важность обозначенной выше проблемы, органы управления образованием республик Марий Эл, Мордовии и Чувашии заключили в 1992 г. трехстороннее соглашение "О совместной деятельности Министерств образования республик Марий Эл, Мордовии и Чувашии по разработке и внедрению современных информационных технологий обучения, оценки качества знаний и управления учебным процессом". Согласно этому документу предметные области содержания общего среднего образования для разработки банков тестовых заданий были распределены по республикам следующим образом.
Похожие диссертации на Инновации в системе среднего общего образования, их измерение и оценка
