Содержание к диссертации
Введение
1. Теоретическое обоснование адаптивного тестирования
1.1. История развития адаптивного тестирования 24
1.2. Проблема теоретико-методологического обоснования адаптивного тестирования 31
1.3. Понятийная и классификационная база адаптивного тестирования 46
Основные выводы по первой главе 75
2. Методологические основы адаптивного тестирования
2.1. Основные цели и функции адаптивного тестирования 79
2.2. Принципы адаптивного тестирования 85
2.3. Современная методология адаптивного тестирования 87
2.4. Методологические основы адаптивного обучения и адаптивного тестового контроля 118
Основные выводы по второй главе 143
3. Технология адаптивного тестирования
3.1. Понятие технологии адаптивного тестирования и ее основные характеристики 146
3.2. Метод моделирования адаптивных тестов при двух шаговом адаптивном тестировании с использованием компьютерных технологий 147
3.3. Метод наибольшего правдоподобия 162
3.4. Метод генерации адаптивных тестов при варьирующем адаптивном тестировании с использованием компьютерных технологий 166
3.5. Технология оценки качества подготовки обучаемых 172
3.6. Метод калибровки тестовых заданий (двухпараметрические модели теории IRT) 195
3.7. Технологии личностно-ориентированного развивающего обучения и педагогического сотрудничества в контексте методов адаптивного обучения и контроля 200
Основные выводы по третьей главе 224
4. Обоснование качества адаптивного тестирования
4.1. Надежность адаптивного тестирования 227
4.2. Факторы, снижающие надежность адаптивного тестирования 236
4.3. Надежность адаптивного теста при его моделировании в двухшаговом адаптивном режиме 244
4.4. Оценка надежности моделируемого адаптивного теста с варьирующей стратегией 248
4.5. Валидность адаптивных тестов 251
Основные выводы по четвертой главе 271
Заключение 273
Литература 281
Приложения 299
- История развития адаптивного тестирования
- Основные цели и функции адаптивного тестирования
- Понятие технологии адаптивного тестирования и ее основные характеристики
- Надежность адаптивного тестирования
Введение к работе
Актуальность работы. Расширение объема содержания образования в условиях научно-технической революции конца XX века, увеличение вариативности учебных программ, разработка государственных образовательных стандартов и введение независимой аттестации выпускников учебных заведений порождают спектр проблем, условий и требований, нацеленных на модернизацию контрольно-оценочных систем в образовании. Одно из направлений модернизации связано с увеличением масштабов тестирования, развитием его модификаций в целях обучения, переходом от статических оценок уровня учебных достижений к динамическим оценкам качества подготовленности обучаемых, адаптацией контрольно-оценочных систем за счет немедленного реагирования на индивидуальные особенности подготовки испытуемых при предъявлении заданий, словом, со всеми теми изменениями, которые во многом не совместимы с ограниченными возможностями традиционных тестов.
В этой связи, на сегодняшний день в образовании складывается ситуация, под влиянием которой традиционное тестирование, осуществляемое с помощью стандартизированных тестов фиксированной длины, перерастает в современные эффективные формы адаптивного тестирования, базирующиеся на отличных от традиционных теоретико-методологических основах и иных технологиях конструирования и предъявления тестов. Таким образом, в практическом плане актуальность поставленной проблемы диссертационного исследования обусловлена необходимостью повышения эффективности традиционного тестирования, доведения ее до уровня, адекватного современным требованиям процесса модернизации контрольно-оценочных систем в образовании.
Особую важность исследованию придают задачи, поставленные в «Плане действий Правительства Российской Федерации в области
социальной политики и модернизации экономики на 2000-2001 годы». В нем предусматривается введение независимой аттестации выпускников общеобразовательных учреждений и создание эффективной системы отбора абитуриентов вузов на основе единого государственного экзамена. Решение поставленных задач сопряжено с многочисленными трудностями, обусловленными массовым характером оценочных процедур по значительному объему содержания общего среднего образования и необходимостью обеспечения объективных, сопоставимых результатов единого государственного экзамена по различным регионам России. Основываясь на опыте ряда зарубежных стран, возможность частичного преодоления отмеченных трудностей, следует искать на пути перехода от традиционных экзаменов к современному научно-обоснованному комплексу контрольно-измерительных материалов и технологий, где значимое место отводится компьютерным банкам калиброванных заданий, адаптивным технологиям и тестам.
В теоретическом плане актуальность проблемы исследования определяется ее состоянием, характеризующимся недостаточной научной разработанностью теоретико-методологических основ адаптивного тестирования и методик генерации адаптивных тестов. Сложность исследования усугубляется его междисциплинарным характером, обусловленным положением теории адаптивного тестирования на стыке различных теорий и парадигм. Крайне слабо представлены теоретические работы по проблемам адаптивного тестирования в нашей стране, где лишь в последнем десятилетии XX века появились публикации различных педагогов - практиков и исследователей, затрагивающие отдельные, фрагментарно выделенные вопросы генерации и применения адаптивных тестов. К числу упомянутых относятся публикации Г. В. Абрамяна, В. С. Аванесова, А. С. Границкой, Т. Д. Красновой, В. И. Нардюжева, В.П. Тихомирова, В. А.
Шухарадиной, Ю, В, Федюковой, А. Г. Шмелева и автора данной диссертации.
К концу 90-х годов появились и первые попытки внедрения адаптивного тестирования в практику образования (проект "Телетестинг" Центра тестирования МГУ, дистанционное обучение), нередко тесно переплетающиеся со смежными, близкими по духу идеями и технологиями личностно-ориентированного развивающего обучения, широко представленными во всем многообразии подходов в трудах М. К. Акимовой, И. П. Волкова, В. В. Давыдова, Л.В. Занкова, Е.Н. Ильиной, СВ. Кульневич, О. Б. Лошновой, Г. К. Селевко, В.В. Серикова, Э.И. Унт, В. В. Фирсова, Г. А. Цукерман, В. Д . Шадрикова, И. С. Якиманской, B.C. Якунина, О.С. Якуниной, Е. А. Ямбург.
На протяжении ряда лет вопросы адаптивного тестирования неоднократно привлекали внимание зарубежных ученых. Об этом свидетельствуют многочисленные исследования фундаментального характера и публикации таких авторов как J..A. Arter, R.K. Hambleton, J.L. Horn, CD. Jensema, G.G. Kingsbury, F.M. Lord, , J. Millman, , L. Nauels, RJ. Owen, KJ. Patience, M.D. Reckase, J. Spray, H. Swaminathan, V.W. Urry, M. Waters, D.J. Weiss, R.W. Wood, A.R. Zara и многих других. С начала 90-х годов компьютерное адаптивное тестирование получило за рубежом широкое признание в сфере практики. В значительной мере этому способствовали прикладные теоретические исследования таких ученых, как C.V. Bunderson, D.K. Inouye, G.G. Kingsbury, J.B. Olsen, H. Wainer, D.J. Weiss, работы которых были не только поддержаны педагогической общественностью, но и нашли широкое применение в практике профессионального отбора в ряде структур промышленного и военного комплексов.
Несмотря на широкий круг перечисленных имен ученых и новаторов-практиков, в отечественных и зарубежных научных работах по адаптивному
тестированию можно выделить ряд нерешенных проблем. Слабо представлены вопросы классификации видов адаптивного тестирования, а отдельные выстроенные классификационные схемы не отвечают в полной мере требованиям полноты и непротиворечивости. Не исследованными оказались принципы организации адаптивного тестирования и его функции, теоретические вопросы организации адаптивного обучения и адаптивного тестового контроля. Недостаточно изучены возможности применения адаптивного тестирования в педагогике сотрудничества. В решении ряда теоретических вопросов нередко отсутствует системность, в отдельных случаях отмечается противоречивость подходов и суждений исследователей. В опубликованных работах практически не прослеживается связь теоретико-методологических основ адаптивного тестирования с отдельными психолого-педагогическими концепциями, представленными в трудах наших отечественных ученых. В частности, идеи адаптивности, как правило, не отражают концепцию Л. С. Выготского об уровнях умственного развития ребенка, получившую последующее дополнительное обоснование в работах А.Н. Леонтьева, П.Я. Гальперина. Л.С и других ученых нашей страны.
Последний недостаток представляется наиболее серьезным, поскольку отсутствие обсуждаемой связи с концепцией Л. С. Выготского имело ряд негативных последствий и в сфере педагогической теории, и в образовательной практике. Для исследователей на протяжении многих лет оказались недоступными принципиально новые научные результаты, позволяющие развить и перевести в плоскость измерений идеи адаптивности при обучении. Для практиков на многие годы затормозилась работа по внедрению технологий личностно-ориентированного развивающего обучения в массовый учебный процесс. По сей день отдельные положения этих технологий в сочетании с многообразием различных подходов (разно уровневый, дифференцированный и индивидуальный) существуют, в основном, в статусе теоретических построений. Что касается практики, то
проводимые педагогические эксперименты по организации личностно-ориентированного развивающего обучения опираются, как правило, на интуицию и опыт педагога на фоне повышения его трудозатрат. Не задействованными остаются современные эффективные методы обучения и контроля, построенные на сочетании возможностей адаптивного тестирования и концепции Л. С. Выготского об уровнях умственного развития ребенка.
Помимо вопросов теории и методологии недостаточно исследованными оказались отдельные технологические аспекты, связанные с введением аналитических зависимостей между уровнем подготовленности обучающихся и трудностью заданий при дифференциации режимов адаптивного обучения и адаптивного контроля для каждого ученика или студента. Недостаточно разработаны вопросы оценивания личностных параметров испытуемых, имеющие большое значение для оптимизации процессов моделирования адаптивных тестов и планирования индивидуализированных траекторий обучения учеников или студентов.
Поиски путей преодоления отмеченных проблем, недостатков и недоработок послужили выбору тематики данного исследования, в котором теоретико-методологические и технологические основы адаптивного тестирования строятся с опорой на современную методологию конструирования тестов, получившую в трудах зарубежных ученых название Item Response Theory или сокращенно IRT. Основными особенностями исследования, предопределившими возможность получения принципиально новых результатов, являются такие свойства, как интегративность и междисциплинарность. Формализованные с помощью математических моделей IRT идеи адаптивного тестирования в исследовании вплетаются в контекст смежных по проблематике психолого-педагогических наработок отечественных ученых и отдельные инновации педагогов-практиков личностно-ориентированного развивающего обучения.
В основу теоретических результатов был положен анализ практического опыта по созданию адаптивных контрольно-обучающих программ начала 90-х годов, разработанных творческим коллективом преподавателей Киевского института инженеров гражданской авиации под научным руководством автора диссертационного исследования- В процессе работы над контрольно-обучающими программами по ряду разделов курса высшей математики проявились отдельные недостатки зарубежных технологий адаптивного тестирования, отсутствие должного теоретико-методологического фундамента и необходимой глубины проработки ряда проблем, что и послужило в целом побудительным моментом к определению объекта и выдвижению гипотезы данного исследования.
Объект исследования можно определить как контрольно-оценочный процесс в образовании, рассматриваемый в контексте совместной деятельности педагогов и обучающихся по достижению запланированных результатов обучения.
Предмет исследования — теоретико-методологическое и технологическое обоснование процесса адаптивного тестирования, обеспечивающее рост эффективности функционирования контрольно-оценочных систем в образовании. Контекст расшифровки предмета исследования достаточно широк, поскольку на фоне традиционного для адаптивного тестирования процесса подгонки заданий по трудности к уровню подготовленности обучающихся в диссертационном исследовании рассматриваются более общие проблемы адаптивного обучения и контроля в плане их теоретико-методологического обоснования.
Гипотеза исследования. В основе исследования лежит предположение о том, что научное обоснование процесса адаптивного тестирования будет способствовать накоплению качественных позитивных изменений при модернизации контрольно-оценочных систем в образовании, если концепция
модернизации систем контроля и оценки качества учебных достижений будет:
сочетать традиционные формы и методы контроля с современными в пропорциях, необходимых для успешной реализации функций по управлению качеством образования;
отражать общую направленность средств и методов контроля не только на традиционные методы обучения, но и на современные технологии личностно-ориентированного развивающего обучения, обеспечивающие повышение вариативности и доступности образовательных программ;
включать преимущественную ориентацию контрольно-оценочных средств на проверку продуктивного уровня усвоения, интеллектуальных умений более высокого порядка за счет использования ситуационных и контекстуализированных комплексных тестовых заданий;
декларировать необходимость достижения объективных и сопоставимых оценок при реализации контрольно-оценочных процессов в образовании;
предполагать широкое использование методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности;
нацеливать на разработку системного подхода к созданию измерителей и банков калиброванных тестовых заданий в сочетании с инструментальными средствами для проведения контроля, контрольно-обучающими программами и математико-статистическими пакетами для конструирования тестов.
Основная гипотеза распадается на спектр более мелких, проверяемых в эмпирических разделах исследования и состоящих в предположениях о том, что:
предлагаемые в исследовании стратегии и методики генерации адаптивных тестов оптимальны, с точки зрения достижения максимальной
эффективности контроля и оценки результатов учебной деятельности учеников или студентов;
полученные системы неравенств для выделения трудности учебных заданий в режиме адаптивного обучения и контроля адекватны, соответственно, зоне ближайшего развития и области актуального развития и каждого обучаемого в группе учеников или студентов;
выделенный показатель для оценки индивидуальной структуры знаний обучающихся адекватно отражает качество подготовленности учеников или студентов;
предлагаемый показатель адаптивности описывает меру согласованности характеристик тестовых заданий с качеством подготовленности испытуемого и позволяет оценить эффективность моделируемых адаптивных тестов.
Цель исследования заключается в намерении подвергнуть
развернутому анализу теорию и практику адаптивного тестирования и сформулировать на этой основе фундаментальные положения теории научной организации адаптивного тестирования в режиме обучения и контроля. Реализация цели строится путем интеграции результатов анализа с теоретическими основами ряда современных технологий обучения, смежными по проблематике работами психологов нашей страны и современной зарубежной теорией конструирования тестов. При этом интегративный подход рассматривается как необходимое условие получения принципиально новых научных результатов в процессе реализации цели и предполагает решение ряда задач. Задачи исследования:
проанализировать и обобщить опубликованные результаты научных исследований по проблемам адаптивного тестирования, выявить позитивные тенденции с позиций перспективных направлений развития контрольно-оценочных систем в образовании;
провести периодизацию исторического пути развития
адаптивного тестирования;
разработать классификационную схему видов адаптивного тестирования и основные определения понятийно-категориального аппарата;
сформулировать совокупность принципов, регламентирующих научную организацию адаптивного тестирования, определить функции адаптивного тестирования в образовании;
исследовать концептуально-методологические основы
адаптивного обучения и адаптивного тестового контроля, выявить логические и операциональные связи режимов адаптивного обучения и контроля, установить связь результатов операционализации с различными уровнями развития обучаемых;
оптимизировать и апробировать основные методы, стратегии и процедуры, входящие в технологию адаптивного тестирования;
разработать теоретические и технологические подходы к обоснованию качества адаптивных тестов.
Методологическая основа исследования. Сложная
междисциплинарная природа рассматриваемых в исследовании явлений потребовала выбора в качестве основного методологического ориентира синергетического подхода (И. Пригожий, Г. Хакен), предполагающего интеграцию и использование многих инновационных теорий и технологий. К числу задействованных теорий следует, в первую очередь, следует отнести педагогические концепции личностно-ориентированного развивающего обучения (М. К. Акимова, И. П. Волков, В. В. Давыдов, Л.В. Занков, Е.Н. Ильина, Д.Б, Эльконин, И. С. Якиманская, Е. А. Ямбург), появившиеся благодаря фундаментальным психологическим теориям Л.С. Выготского, П.Я. Гальперина, А.Н. Леонтьева, С.Л. Рубинштейна. В основе исследования лежат также отечественные психологические концепции,
связанные с диагностикой умственного развития обучаемых, и теория IRT (A. Birnbaum, R.K. Hambleton, F.M. Lord, G. Rasch, H. Swaminathan, V.W. Urry, D.J. Weiss), которую в зарубежных исследованиях принято рассматривать как методологическую базу современных методов конструирования тестов (J.P. Keeves).
Если синергетика обеспечивала объединение и интеграцию многих теорий, то их структурирование происходило в процессе логического анализа, позволившего в последствие представить аспекты исследуемого объекта в виде целостной теории. Логический анализ сопровождался историческим, по результатам которого были раскрыты тенденции, закономерности и условия эффективного функционирования адаптивного тестирования в образовании.
Методы исследования. В работе использовались общенаучные методы теоретического и эмпирического исследования и специальные методы, нацеленные на статистическое обоснование результатов исследования и педагогические измерения.
В число методов первой группы вошли классификация, сравнение, объяснение, индукция и дедукция, научное доказательство, абстрагирование и многие другие. Ко второй группе общенаучных методов эмпирического исследования можно отнести наблюдение, экспертизу, моделирование, измерение.
Математико-статистические методы включали подсчеты основных параметров распределения эмпирических результатов тестирования, байесовский метод и метод максимального правдоподобия. К группе специальных методов следует также отнести математическое моделирование в рамках теории IRT.
Достоверность и обоснованность новых научных результатов исследования обеспечивалась преимущественной опорой на современные получившие признание научной общественности источники информации в
области теории педагогических измерений, результаты психолого-педагогических исследований отечественных ученых, признанные и апробированные зарубежные технологии, современную теорию моделирования и параметризации педагогических тестов (теория IRT).
Достижению должного общенаучного уровня диссертационного исследования и обоснованности его результатов способствовало использование системного подхода, соблюдение логики общенаучного подхода с опорой на методологию педагогической науки.
Обоснованность технологических подходов, предлагаемых в диссертационном исследовании к решению ряда поставленных в нем проблем, обеспечивалась при помощи эмпирических проверок и внедрения в практику обучения инновационных разработок, выполненных на основании результатов исследования. Достоверность выводов по результатам внедренческой работы подтверждалась проверкой соответствия результатов тестовых измерений критериям надежности, валидности и эффективности.
Научная новизна работы заключается прежде всего в новизне постановки самой цели исследования и определении круга задач. Впервые в отечественной педагогике (и в мировой, по-видимому, тоже) в исследовании рассматривался весь комплекс теоретико-методологических и технологических проблем, интегрировано описывающих процессы моделирования, использования и оценивания качества адаптивных тестов.
Помимо постановки задач принципиально новым является подход к их решению, строящийся на основе интеграции теории адаптивного тестирования, ряда инновационных технологий обучения, психолого-педагогических концепций отечественных ученых и современной зарубежной теории конструирования тестов (IRT).
Применение интегративного подхода позволило получить новые теоретические результаты, которые, несмотря на явно выраженный фундаментальный характер, имеют большое прикладное значение. В
частности, удалось разработать систему неравенств, описывающих связь между уровнем подготовленности обучаемых и оптимальными оценками параметров тестовых заданий применительно к режимам адаптивного обучения и контроля каждого ученика или студента.
Интерпретация упомянутой выше связи на основе концепции Л.С. Выготского о соотношении обучения и развития внутренних сил ребенка привела к еще одной группе новых результатов, полученных путем соотнесения интервалов для оценок параметров заданий в выведенных автором исследования неравенствах и различных уровней развития обучаемого. Таким образом, автор диссертации заявляет о своем приоритете в решении ранее недоступной задачи, нацеленной на определение операциональным, а не интуитивным, как было до проведения исследования, путем границ зоны ближайшего развития. Подход, предлагаемый в диссертационном исследовании, позволяет
дифференцировать зону ближайшего развития каждого обучаемого от актуальной и перспективной областей с помощью выделения диапазонов для оценок параметров калиброванных заданий банка.
Анализ полученного решения задачи по определению оптимальных оценок параметров заданий для различных уровней развития обучаемого позволил сделать ряд новых выводов, опровергающих устоявшиеся заблуждения некоторых авторов психолого-педагогических исследований. Вопреки расхожему мнению о том, что наличие более широкой зоны ближайшего развития у конкретного ребенка всегда является надежным признаком успешности дальнейшего обучения, в исследовании получены выводы, переводящие прогноз успешности обучения в более глубокую и многоаспектную область. Для этого ширина зоны ближайшего развития в исследовании была связана не только с трудностью заданий, но и с качеством структуры знаний обучаемого, с динамикой его умственной деятельности, отражающей скорость перехода заданий из зоны ближайшего
развития на достигнутый актуальный уровень знаний и умений ученика или студента.
Помимо этого в диссертации удалось уточнить и систематизировать классификацию видов адаптивного тестирования, сформулировать ряд основных определений понятийно-категориального аппарата, выделить принципы адаптивного тестирования и обозначить его функции.
В плане технологических нововведений особый интерес представляет предлагаемый автором диссертации показатель адаптивности, позволяющий сравнить эффективность различных адаптивных тестов при их моделировании из банка калиброванных тестовых заданий.
Важна методика подсчета оценок параметра структурированности знаний, значение которого выходит за пределы технологии и носит частично методологический характер. Анализ возможного спектра оценок параметра структурированности знаний и их связи с оценками параметров тестовых заданий позволил автору диссертации ввести в научный оборот и в практику адаптивного тестирования еще один критерий, дополняющий известный критерий отбора заданий и позволяющий повысить эффективность адаптивных тестов.
По результатам исследования получено аналитическое выражение для подсчета показателя обучаемости, увязывающего характеристику
обучаемости с качеством структуры знаний ученика или студента.
Практическая значимость исследования достигается за счет значительных технологических наработок и преимущественной ориентации области результатов на установление не описательных, а измеряемых связей, зависимостей и соотношений. Большинство результатов работы имеют двоякую форму представления, позволяющую подкрепить большинство теоретических выводов внедрением в практику педагогических измерений.
Материалы диссертации, включающие помимо теоретических результатов ряд методик, могут быть использованы при разработке
адаптивных контрольно-обучающих программ, при внедрении инновационных технологий личностно-ориентированного развивающего обучения в практику образования. Особый практический интерес представляют:
методика моделирования адаптивного теста;
методика подсчета оценок параметра структурированности знаний обучающихся;
методика отбора оптимальных по трудности заданий для организации адаптивного обучения и тестового контроля;
методика оценивания апостериорных значений параметра испытуемых в адаптивном алгоритме;
методика оценивания сравнительной эффективности адаптивных тестов;
методика оценивания надежности и содержательной валидности адаптивных тестов.
Основные положения, выносимые на зашиту;
1. Анализ истории возникновения и развития адаптивного тестирования подводит к необходимости выделения трех основных периодов. Первый период развития адаптивного тестирования занимает временной интервал с начала XX века до конца 60-х годов, в течение которого идеи адаптивного тестирования поддерживались, в основном, практиками и основывались на их интуитивных попытках привнести элементы индивидуализации в традиционное тестирование. Второй период развития адаптивного тестирования можно соотнести с временным интервалом от конца 60-х до конца 70-х годов, когда главенствующая до этого периода классическая теория тестов постепенно уступала место IRT на фоне интенсивной разработки технологических основ и создания современных методов генерации адаптивных тестов. Третий период развития адаптивного тестирования начался с 80-х годов и продолжается сейчас. Он характеризуется широким внедрением современных компьютерных
технологий в образовательный процесс, что позволяет говорить о компьютерном адаптивном тестировании как о наиболее эффективном процессе генерации и предъявления адаптивных тестов.
2. Понятийный аппарат теории адаптивного тестирования строится на типологической, классификационной основе, отвечающей требованиям полноты и непротиворечивости, и включает ряд определений описательного и операционального характера. К основным определениям описательного характера относятся следующие:
Адаптивное тестирование - это совокупность процессов генерации, предъявления и оценки результатов выполнения адаптивных тестов, обеспечивающих прирост эффективности измерений по сравнению с традиционным тестированием благодаря оптимизации подбора характеристик заданий, их количества, последовательности и скорости предъявления с учетом особенностей подготовки испытуемых.
В случае детерминированной многошаговой стратегии адаптивный тест
это совокупность заданий, выделенных из общей жестко детерминированной по трудности и по расположению системы тестовых заданий, варьирующих по трудности с постоянным или равномерно убывающим шагом и обеспечивающих за счет пошаговой оптимизации трудности при продвижении испытуемого по системе заданий эффективность измерений.
В случае варьирующей многошаговой стратегии адаптивный тест - это совокупность заданий, выделенных из банка тестовых заданий, варьирующих по трудности с переменным шагом и обеспечивающих за счет пошаговой оптимизации трудности заданий применительно к апостериорным оценкам измеряемого качества испытуемого эффективность измерений.
Адаптивное обучение - это систематическое, планомерное руководство целенаправленным индивидуализированным процессом приобретения
обучающимися знаний, умений и навыков вместе с сопутствующим ему адаптивным тестовым контролем и предпринимаемыми по результатам контроля процедурами индивидуализации корректировочных воздействий со стороны педагога в целях достижения максимального развивающего эффекта.
Под адаптивным тестовым контролем предлагается понимать компьютеризованную систему научно обоснованной проверки и оценки результатов обучения, обладающую высокой эффективностью контрольно-оценочных процедур за счет оптимизации процедур генерации, предъявления и оценки результатов выполнения адаптивных тестов.
Операциональные определения, разработанные в диссертационном исследовании, многовариантные, поскольку отражаемые в них понятия увязываются со спецификой различных моделей IRT. К операциональным определениям, сформулированным на основе однопараметрических моделей IRT, относятся следующие:
Процесс обучения называется адаптивным, если процедура приобретения обучающимися знаний и умений организуется и корректируется педагогом на основе заданий, трудность которых лежит в интервале 6j + 0,5 р 0j + 0,7, где 0, - текущая апостериорная оценка уровня подготовленности і-го обучаемого и (3 - параметр трудности обучающих заданий.
Тестовый контроль знаний и умений обучающихся называется адаптивным, если он организуется для каждого обучающегося путем пошагового подбора оптимальных заданий, трудность которых лежит в интервале 9-, - 0,7 р 9 +0,5, где Qr - текущая апостериорная оценка уровня подготовленности і-го обучаемого и Р - параметр трудности контрольных заданий.
3. Совокупность принципов, предлагаемых в исследовании, обеспечивает эффективное функционирование процесса адаптивного
тестирования в образовании. Процесс адаптивного тестирования регламентируется рядом общих принципов педагогического тестового контроля и специфическими принципами, ориентирующими на эффективную организацию практики обучения и контроля на основе современных видов компьютерного адаптивного тестирования с варьирующими многошаговыми стратегиями. К числу специфических следует отнести:
принцип управляемости, предполагающий направленное, цикличное взаимодействие педагога с обучаемыми в автоматизированном режиме посредством программно-инструментальных средств и алгоритмов с полной контекстной зависимостью;
принцип дифференциации, предписывающий разделение тестируемых на входе и на выходе, при окончании работы испытуемых над адаптивными тестами. Согласно принципу дифференциация означает разделение испытуемых по трудности входных заданий, времени тестирования и количеству выполненных заданий;
принцип индивидуализации адаптивного тестирования. После начала тестирования дифференциация углубляется и переходит в
индивидуализацию, означающую построение различных индивидуальных «траекторий тестирования» — адаптивных тестов. При построении траекторий для каждого испытуемого очередное задание подбирается по специальным алгоритмам с учетом результатов выполнения предыдущего задания адаптивного теста;
принцип оптимизации, который можно трактовать по-разному, выделяя главное в зависимости от целей адаптивного тестирования. При адаптивном контроле принцип оптимизации означает выбор для каждого испытуемого наилучшего темпа предъявления заданий, их оптимального количества, трудности, дифференцирующей способности, всего того, что способствует эффективному контролю со стороны педагога и качественной оценке
результатов учебных достижений школьников или студентов. В режиме адаптивного обучения принцип оптимизации нацеливает на оптимальный подбор учебных заданий, заставляющих действовать обучаемого на пределе своих возможностей и обеспечивающих максимальный развивающий эффект;
принцип иерархической организации, который наиболее полно реализуется при использовании адаптивных алгоритмов с полной контекстной зависимостью.
4. Интеграция теории адаптивного тестирования, теоретических основ технологий личностно-ориентированного развивающего обучения и теории IRT закладывает концептуальные основы адаптивного обучения и адаптивного тестового контроля, представленные по результатам исследования на операциональном уровне в виде системы неравенств. Неравенства позволяют установить связь между уровнем подготовленности обучаемых и оптимальными оценками параметров тестовых заданий применительно к режимам адаптивного обучения и контроля каждого ученика или студента. Интерпретация системы неравенств на основе концепции Л.С. Выготского о соотношении обучения и развития внутренних сил ребенка приводит к интервалам для оценок параметров калиброванных заданий, адекватным различным уровням развития обучаемого.
5. Совокупность предложенных технологических инноваций (методика для оценивания качества структуры знаний обучаемых, критерии для оптимизации отбора заданий при адаптивном тестировании, оценка меры адаптивности тестов) способствует эффективному функционированию методов адаптивного тестирования в образовании.
6. Анализ качества адаптивного тестирования связан с комплексом мер, нацеленных на обеспечение надежности и валидности адаптивных тестов. Приоритетной задачей является повышение содержательной валидности тестов. Валидизация адаптивного тестирования предполагает
осуществление строгого контроля соответствия содержания генерируемых адаптивных тестов спецификации, отражающей гипотетические требования педагога к содержанию контролируемого материала. Научно - обоснованное планирование и экспертиза содержания являются важнейшими
предпосылками достижения высокой содержательной валидности
адаптивных тестов.
Апробация результатов исследования. Материалы и результаты исследования отражены в публикациях автора, представленных в виде
тезисов докладов на научных конференциях, статей, двух методических и двух учебных пособий по тестовой проблематике, монографии «Адаптивное тестирование в образовании». Основные результаты исследования доложены на:
Всероссийской научно-практической конференции «Новые аттестационные технологии абитуриентов». МПГУ, Москва, 1993 г.
Всероссийской школе - семинаре "Научные проблемы тестового контроля знаний". Исследовательский центр проблем качества подготовки специалистов", Москва, 1994 г.
Третьем симпозиуме "Квалиметрия человека и образования: методология и практика". Исследовательский центр проблем качества подготовки специалистов, Москва, 1994 г.
Шестом симпозиуме «Квалиметрия человека и образования: методология и практика». Исследовательский центр проблем качества подготовки специалистов, Москва, 1997 г.
Седьмом симпозиуме «Квалиметрия человека и образования: методология и практика». Исследовательский центр проблем качества подготовки специалистов, Москва, 1998 г.
Восьмом симпозиуме «Квалиметрия человека и образования: методология и практика». Исследовательский центр проблем качества подготовки специалистов, Москва, 1999 г.
Всероссийской конференции «Развитие системы тестирования в России». Центр тестирования Минобразования России, Москва, 1999 г.
Всероссийской конференции «Развитие системы тестирования в России». Центр тестирования Минобразования России, Москва, 2000 г.
Всероссийской научно-практической конференции «Оценка качества общего образования как фактор развития школы». Министерство образования РФ, Самарский институт повышения квалификации работников образования, Самара, 2000 г.
Девятом симпозиуме «Квалиметрия человека и образования: методология и практика». Исследовательский центр проблем качества подготовки специалистов, Москва, 2000 г.
Четвертой научно-практической конференции «Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России в контексте реформирования образования». Министерство образования РФ, Комитет по науке и высшей школе администрации Санкт-Петербурга, Санкт-Петербург, 2001 г.
Российско-Британском семинаре «Национальные образовательные стандарты и равенство образовательных возможностей», Москва, 2001 г.
Внедрение результатов исследования. Результаты исследования положены в основу спецкурса «Адаптивное обучение и адаптивный тестовый контроль», входящего в разработанную автором диссертации экспериментальную учебную программу «Конструирование и применение тестов в образовании». Программа используется с 1995 года по настоящий момент при обучении профессорско-преподавательского состава учебных заведений России на кафедре педагогических измерений Исследовательского центра проблем качества подготовки специалистов. На кафедре за эти годы прошли обучение с целью повышения квалификации более пяти тысяч преподавателей и сотрудников управленческих и методических структур из различных учебных заведений, расположенных по всей территории России,
Результаты диссертационного исследования используются при чтении лекций по тестовой проблематике в филиалах кафедры педагогических измерений (Новгородский государственный университет, Донской технический университет), в специализированных тестовых структурах, созданных при крупнейших вузах России (Московский государственный университет, Санкт-Петербургский государственный университет, Московский педагогический государственный университет и др.).
На основе результатов диссертационного исследования, представленных в виде методик и алгоритмов, создан и находится в стадии разработки ряд адаптивных контрольно-обучающих программ в Донском техническом университете, Московском государственном институте электроники и математики (техническом университете), Новгородском государственном университете, Московском институте повышения квалификации работников образования.
Еще одна сфера внедрения результатов диссертационного
исследования связана с утверждением Минобразованием России Временных государственных требований к минимуму содержания профессиональной образовательной программы и уровню подготовки лиц при получении дополнительной квалификации «Тестолог (специалист в области педагогических измерений)». Раздел профессиональной образовательной программы, посвященный проблематике адаптивного тестирования, разработан автором диссертационного исследования на основании полученных результатов.
Структура и объем диссертации. Текст диссертации содержит четыре главы, введение, заключение и приложения с результатами,
иллюстрирующими компьютерную реализацию совокупности предлагаемых в исследовании методик. Общий объем работы составляет 324 страницы.
История развития адаптивного тестирования
У истоков развития идей адаптивного тестирования лежало стремление исследователей к повышению эффективности тестовых измерений, которое, как правило, связывалось с уменьшением числа заданий, времени, стоимости тестирования и с повышением точности оценок, полученных испытуемыми по результатам выполнения теста. Основываясь при этом на простых соображениях, исследователи видели возможность повышения эффективности на пути адаптации тестов по трудности к диапазону подготовленности тестируемых испытуемых. Давно было замечено, что трудные задания оказываются обычно совершенно бесполезными при тестировании наиболее слабых испытуемых, вместе с тем самые легкие задания не прибавляют никакой информации об оценках тех, кто хорошо подготовлен к выполнению теста. В этой связи появилась идея адаптации заданий по трудности к подготовке тестируемых и конструирования таким путем эффективных тестов.
Первым, кто попытался реализовать адаптивные стратегии при выдаче теста для оценки умственных способностей, был Binet (Binet, Simon, 1905г.) [186]. Однако в последующий период, вплоть до конца 60-х годов, мало кто из практиков, а тем более теоретиков, обращался к адаптивному тестированию, поскольку сложившаяся обстановка в сфере тестирования в целом не благоприятствовала развитию идей адаптации в силу ограниченных возможностей господствовавшей в то время классической теории тестов.
Таким образом, первым периодом развития адаптивного тестирования можно назвать временной интервал с начала XX века до конца 60-х годов, в течение которого идеи Binet поддерживались не столько учеными - исследователями, сколько некоторыми практиками. Последние обычно шли по пути разбиения группы испытуемых на части для предъявления отдельным подгруппам различных по диапазону трудности наборов заданий либо по пути индивидуализации контроля в режиме немедленного реагирования экзаменатора на результаты выполнения испытуемым каждого задания теста [10, 22]. В целом попытки индивидуализации приводили к одностороннему повышению эффективности тестирования, когда число предъявляемых испытуемым заданий снижалось за счет резкого увеличения труда проводящих тестирование педагогов.
Отсутствие масштабных исследований в этот период было далеко не случайно, поскольку адаптивное тестирование вызывало настороженное отношение и у педагогов, и у специалистов по тестам. Вряд ли стоит говорить о том, сколь непривычной для педагогов казалась идея оценки подготовленности испытуемых отличающимися по трудности, по количеству и по содержанию наборов заданий адаптивных тестов. В результате у большинства из них складывалось вполне объяснимое представление об утрате ряда преимуществ стандартизованного тестирования, обеспечивающего сопоставимость результатов испытуемых при выполнении традиционных тестов.
Неприятие адаптивного тестирования тестологами проистекало из других причин, связанных с недостатками классической теории тестов [199, 214, 244]. Поскольку в рамках классической теории отсутствует свойство инвариантности оценок испытуемых от трудности заданий тестов, то для сопоставления результатов адаптивного тестирования приходилось задействовать многочисленные методики выравнивания, позволяющие сравнить результаты испытуемых по различным адаптивным тестам. Утяжеление процесса обработки данных тестирования сопровождалось дополнительной работой по анализу содержания различных наборов заданий, использованных при адаптивных испытаниях. Вследствие этого повышение эффективности в момент тестирования оборачивалось значительным увеличением работы тестологов по обработке и анализу результатов выполнения адаптивных тестов.
Начало второго периода развития теории адаптивного тестирования можно отнести к 70-м годам, когда главенствующая до этого момента классическая теория тестов постепенно уступила место новой, получившей в зарубежной научной литературе название Item Response Theory или сокращенно IRT [73, 75, 139, 210, 214]. Решающий вклад в становление научных и практических работ второго периода сделал F.M. Lord, начав в рамках Educational Testing Service широкомасштабную исследовательскую программу по адаптивному тестированию на основе научного аппарата IRT. Впоследствии результаты этой работы он изложил в своей монографии 1980 г. [211], сыгравшей огромную роль в развитии научных методов генерации и предъявления адаптивных тестов.
В процессе исследований F.M. Lord столкнулся с низкой эффективностью традиционных тестов фиксированной длины при оценивании уровня подготовленности наиболее слабых и сильных испытуемых группы (до 17% по краям нормального распределения), проистекающей из запланированной на момент создания ориентации на средний уровень подготовленности учеников или студентов. Используя возможности IRT, связанные с введением дифференцированной ошибки измерения и моделированием тестов с заданной информационной функцией [139, 200, 211], Lord соединил традиционные идеи адаптивного тестирования с математическими методами IRT.
Основные цели и функции адаптивного тестирования
При выделении целей адаптивного тестирования важно помнить о том, что оно не отменяет и не заменяет традиционные тестовые методы, а лишь является наиболее современной и эффективной формой существования тестирования в образовании. Поэтому на адаптивное тестирование можно распространить общие социально значимые цели тестирования в образовании. К ним относятся: 1. Содействие эффективному осуществлению единой государственной политики в области образования и подготовки кадров. 2. Защита прав граждан на получение образования по качеству не хуже установленного государством в нормативных документах. 3. Защита общества от появления некомпетентных обладателей аттестатов, дипломов и прочих документов об образовании. 4. Повышение качества образования. 5. Обеспечение преемственности требований к качеству образования в системе непрерывного общего и профессионального образования. 6. Предоставление всем субъектам и пользователям системы образования объективной информации о фактическом уровне учебных достижений; защита обучающихся от проявлений субъективизма и связанной с ним несправедливости традиционной оценочной системы. 7. Совершенствование системы конкурсного отбора при поступлении выпускников в учебные заведения системы профессионального образования. 8. Совершенствование системы аттестации выпускников образовательных учреждений и системы профессионального отбора.
Помимо перечисленных общих целей тестирования есть ряд других частных, крайне важных, наиболее актуальных для современной ситуации в образовании и достижимых только с помощью адаптивного тестирования. Основываясь на анализе инновационных процессов, определяющих основные направления модернизации российского образования в рамках
«Плана действий правительства Российской Федерации в области социальной политики и модернизации экономики на 2000-2001 годы», к актуальным целям, реализуемым на основе адаптивного тестирования, можно отнести: повышение качества обучения путем его ориентации на адаптивные методы; совершенствование объективных процедур и технологий, обеспечивающих контрольно-оценочную деятельность педагогов, за счет введения адаптивного тестирования в практику обучения; повышение эффективности аттестационных процессов методами адаптивного тестирования для реализации государственной политики в области образовательных стандартов; обеспечение оптимальных условий для самостоятельной работы учеников или студентов с помощью адаптивных контрольно - обучающих программ; повышение вариативности и доступности образовательных программ для обучающихся путем индивидуализации учебного процесса на основе адаптивного обучения; обеспечение условий для дифференциации и индивидуализации массового образовательного процесса на основе адаптивных технологий тестирования; создание необходимых условий для реализации идей педагогического сотрудничества и различных технологий развивающего обучения методами адаптивного тестирования.
При выделении основных функций адаптивного тестирования важно определить условия, в которых применяются адаптивные тесты. Хотя обучение включает сопутствующий ему педагогический контроль, но все же в зависимости от доминирующих целей учебного процесса на первый план в различные моменты выходит либо адаптивное обучение, либо адаптивный тестовый контроль и, соответственно, доминируют те или иные функции. В целом, к основным функциям адаптивного тестирования можно отнести прежде всего ряд традиционных: диагностическую, оценочную, обучающую, корректирующую, мотивирующую, развивающую и прогностическую.
Диагностическая и корректирующая функции вытекают из самой сущности текущего адаптивного контроля, нацеленного на выявление пробелов в знаниях, установление причин этих пробелов и коррекцию учебного процесса. Текущий контроль характеризуется сознательно поставленной целью следить за ходом обучения, что достигается наиболее эффективным и простым способом для педагога в тех случаях, когда есть компьютеризованный банк калиброванных тестовых заданий и специальные программно-инструментальные средства для генерации и выдачи адаптивных тестов. Новые возможности для осуществления оперативной и эффективной коррекции открывает самоконтроль в режиме самоадаптации при выборе заданий адаптивных тестов. Его систематическое проведение приводит к позитивным тенденциям в развитии личности обучающегося, способствуя закреплению установок на самообразование, самоутверждение и самоактуализацию [35, 53, 66, 69, 80, 103, 104, 136, 163]. Таким образом, целью и средством адаптивного самоконтроля в режиме самоадаптации становится доминанта самосовершенствования, характерная для саморазвивающего обучения [103], в процессе которого активизируются развивающая и обучающая функции адаптивного тестирования.
Понятие технологии адаптивного тестирования и ее основные характеристики
В теорию и практику обучения на сегодняшний день прочно вошло понятие технологии, в трактовке и употреблении которого существуют разночтения, прослеживаемые в работах В.П. Беспалько, И.П. Волкова, М.В. Кларина, Б.Т. Лихачева, В.М. Монахова, В.М. Шепель, В.В. Юдина и в ряде других работ [15, 46, 54, 61, 71, 101,161, 172].
В этой связи возникает необходимость введения понятия технологии адаптивного тестирования, которая мыслится как системная совокупность методов создания и функционирования адаптивных тестов, адаптивных стратегий, алгоритмов, специальных программно-инструментальных средств, нацеленных на оптимизацию традиционного процесса тестирования. В предлагаемом современном понимании - технология адаптивного тестирования является обобщением процессуальной части дидактической системы, рассматривающим адаптивное обучение и адаптивный тестовый контроль за усвоением знаний в их взаимодействии и единстве с обязательным достижением максимального развивающего эффекта и ростом эффективности дидактической системы на фоне снижения доли преподавательского труда.
Для создания технологии адаптивного тестирования необходимо развитие работ в трех направлениях, одно из которых нацелено на научное обеспечение технологии, второе — на разработку операционально-описательного обеспечения методов, алгоритмов и средств технологии, а третье - на функционирование технологии. В рамках первого направления необходимо создание теоретико-методологического обоснования адаптивного тестирования, которое представлено в первой и второй главе.
Второе направление предполагает разработку совокупности методов и алгоритмов, предназначенных для достижения планируемых целей адаптивного обучения и адаптивного тестового контроля.
Третье направление включает разработку стратегий адаптивного тестирования и совокупности методик, поддерживающих функционирование необходимых тестовых и программно-инструментальных средств и обеспечивающих реализацию стратегий адаптивного тестирования. Результаты автора исследования по второму и третьему направлению представлены ниже в материале данной главы.
В концептуальной части метод моделирования адаптивных тестов при двухшаговом тестировании опирается на теорию IRT, с помощью которой обеспечение планируемой точности измерений на втором шаге достигается для всех испытуемых путем моделирования адаптивных тестов, ориентированных по своим характеристикам на оценки испытуемых по результатам первого этапа. В этом современном видении, привнесенном впервые в данном исследовании, двухшаговое адаптивное тестирование предполагает двукратную выдачу тестов, один из которых традиционный, входной, а второй непосредственно адаптивный, смоделированный применительно к оценкам уровня и качества подготовки тестируемой группы учеников или студентов по результатам первого этапа.
Как правило, использование метода моделирования в отечественной и зарубежной научной литературе рассматривается в контексте традиционного тестирования [114, 166], в то время как в диссертации предлагается новый подход, связывающий моделирование с проблемами адаптивного тестирования при генерации на втором этапе из банка заданий адаптивного теста [137, 142, 146].
Разработка специального метода моделирования для генерации адаптивных тестов предполагает научно обоснованный подход к отбору заданий по оценкам их параметров. Являясь важной частью технологии адаптивного тестирования, метод моделирования не отменяет и не заменяет необходимой работы по обеспечению содержательной валидности адаптивных тестов. Она всего лишь помогает отобрать задания с оптимальными значениями параметров для организации адаптивных режимов после того, как завершена работа по обеспечению содержательной валидности и созданию банка тестовых заданий с устойчивыми оценками параметров, полученных на репрезентативной выборке испытуемых.При выделении целей адаптивного тестирования важно помнить о том, что оно не отменяет и не заменяет традиционные тестовые методы, а лишь является наиболее современной и эффективной формой существования тестирования в образовании. Поэтому на адаптивное тестирование можно распространить общие социально значимые цели тестирования в образовании. К ним относятся: 1. Содействие эффективному осуществлению единой государственной политики в области образования и подготовки кадров. 2. Защита прав граждан на получение образования по качеству не хуже установленного государством в нормативных документах. 3. Защита общества от появления некомпетентных обладателей аттестатов, дипломов и прочих документов об образовании. 4. Повышение качества образования. 5. Обеспечение преемственности требований к качеству образования в системе непрерывного общего и профессионального образования. 6. Предоставление всем субъектам и пользователям системы образования объективной информации о фактическом уровне учебных достижений; защита обучающихся от проявлений субъективизма и связанной с ним несправедливости традиционной оценочной системы. 7. Совершенствование системы конкурсного отбора при поступлении выпускников в учебные заведения системы профессионального образования. 8. Совершенствование системы аттестации выпускников образовательных учреждений и системы профессионального отбора.
Помимо перечисленных общих целей тестирования есть ряд других частных, крайне важных, наиболее актуальных для современной ситуации в образовании и достижимых только с помощью адаптивного тестирования. Основываясь на анализе инновационных процессов, определяющих основные направления модернизации российского образования в рамках
«Плана действий правительства Российской Федерации в области социальной политики и модернизации экономики на 2000-2001 годы», к актуальным целям, реализуемым на основе адаптивного тестирования, можно отнести: повышение качества обучения путем его ориентации на адаптивные методы; совершенствование объективных процедур и технологий, обеспечивающих контрольно-оценочную деятельность педагогов, за счет введения адаптивного тестирования в практику обучения; повышение эффективности аттестационных процессов методами адаптивного тестирования для реализации государственной политики в области образовательных стандартов; обеспечение оптимальных условий для самостоятельной работы учеников или студентов с помощью адаптивных контрольно - обучающих программ; повышение вариативности и доступности образовательных программ для обучающихся путем индивидуализации учебного процесса на основе адаптивного обучения; обеспечение условий для дифференциации и индивидуализации массового образовательного процесса на основе адаптивных технологий тестирования; создание необходимых условий для реализации идей педагогического сотрудничества и различных технологий развивающего обучения методами адаптивного тестирования.
Надежность адаптивного тестирования
В классической теории под надежностью понимают характеристику теста, отражающую точность тестовых измерений, а также устойчивость тестовых результатов к действию случайных факторов. Тест считается надежным, если он обеспечивает высокую точность измерений, а также дает при повторном выполнении на той же выборке близкие результаты при условии того, что подготовка испытуемых не изменилась за время до повторного выполнения теста.
На протяжении десятилетий вопросы надежности исследовались многочисленными теоретиками и практиками в области педагогических измерений. Наиболее фундаментальной по проблемам надежности представляется работа R.L. Linn [192], в которой рассматриваются не только процедуры оценки надежности, но и методологические вопросы обоснования качества тестовых измерений. Подход R.L. Linn представляется вполне оправданным, поскольку в требовании проверки теста на надежность реализуется важная идея методологического характера, связанная с необходимостью обоснования качества тестовых измерений в силу того, что они подвержены влиянию большого количества факторов и с неизбежностью вытекающих отсюда ошибок измерения.
В общих чертах дисперсию результатов тестовых измерений можно трактовать как результат влияния факторов двух видов, один из которых связан с изменчивостью самой измеряемой переменной, а другой с группой случайных погрешностей, обусловленных нестабильностью измерительной процедуры. Величина ошибок измерения, порождаемых группой случайных факторов, является предметом оценивания в процессе исследования надежности тестовых измерений.
Таким образом, в самой общей трактовке надежность тестов можно рассматривать как характеристику существующих различий между тестовыми результатами и истинными баллами испытуемых в той мере, в какой эти различия порождаются случайными ошибками измерения. В этой связи возникает необходимость введения концепции истинного балла и понятия «стандартная ошибка измерения». Что касается концепции истинного балла, то встречается несколько ее трактовок. В IRT под истинным баллом понимают латентный параметр испытуемого в предположении одномерности измерений [148], ученика, предполагая тем самым, что каждому испытуемому можно поставить в соответствие единственное на момент измерения значение латентного параметра 9.
В классической теории истинный балл трактуют как предел среднего значения наблюдаемых баллов, достигаемый при бесконечном увеличении числа выполнения испытуемым одного и того же теста. Еще одно определение рассматривает истинный балл как константу испытуемого в момент измерения, не зависящую от средств измерения, но меняющуюся в процессе обучения. В целом же можно считать, что истинный балл - это показатель испытуемого в гипотетической генеральной совокупности заданий бесконечного теста.
Понятно, что предлагаемые определения носят исключительно концептуальный характер, и поэтому возникают вполне естественные трудности как всегда при переходе от концептуальных понятий к их эмпирическим референтам. Сама идея перехода выглядит по- разному в классической в современной теории тестов. В IRT переход обеспечивается целой цепочкой алгоритмов и итерационных методов, в результате которых получаются оценки наибольшего правдоподобия, являющиеся эффективными в статистическом понимании оценками и принимаемые за истинные баллов учеников или студентов. В классической теории тестов идея перехода многим проще, она построена на уравнении линейной регрессии и приводится в учебниках по тестовой проблематике, но никогда в силу низкой эффективности не используется в современной практике применения тестов.
Второе понятие, необходимость введения которого возникает в связи с рассмотрением надежности тестов - ошибка измерения. В теории педагогических измерений ошибка трактуется как статистическая величина, отражающая степень отклонения наблюдаемого балла от истинного балла ученика или студента. Само по себе существование ошибки измерения закладывается на аксиоматическом уровне и привносится в теорию педагогических измерений основными аксиомами классической теории тестов.
К числу исходных постулатов, закладывающих логический фундамент обоснования классической теории тестов, R.L. Linn относит пять аксиом. Согласно первому постулату
Третий постулат строится на гипотетическом предположении об осуществлении бесконечного числа тестирований одного и того же испытуемого с помощью параллельных форм одного и того же теста. Согласно третьему постулату среднее значение ошибок измерения истинного балла этого испытуемого стремится к нулю при числе тестирований стремящемся к бесконечности.
Четвертый постулат основан на идее тестирования бесконечной популяции испытуемых, осуществляемого с помощью данной формы одной из множества параллельных форм теста. Согласно постулату среднее значение ошибок измерения будет стремиться к нулю.
