Содержание к диссертации
Введение
Глава 1. Сравнительный анализ методов измерения латентных переменных в образовательных системах 10
1.1. Классическая теория тестирования 11
1.2. Метод взвешивания 12
1.3. Измерения на основе модели Раша 17
1.4. Измерения на основе моделей Бирнбаума 20
1.5. Свойства измерений на основе модели Раша 25
1.6. Сравнение моделей Раша и Бирнбаума 29
1.7. Выводы 32
Глава 2. Разработка метода генерирования наборов данных для оценки точности измерения латентных переменных 34
2.1. Метод генерирования наборов данных для исследования точности 34 измерения латентных переменных на основе модели Раша
2.2. Моделирование экспериментальных ситуаций с дихотомическими независимыми индикаторными переменными 36
2.3. Моделирование экспериментальных ситуаций с дихотомическими коррелированными индикаторными переменными 38
2.4. Моделирование экспериментальных ситуаций наборов независимых индикаторных переменных с несколькими градациями 40
2.5. Программа генерирования наборов данных, позволяющая оценить точность определения латентных переменных 42
2.6. Выводы 62
Глава 3. Программно-алгоритмические средства для исследования точности измерения латентных переменных в зависимости от числа дихотомических индикаторных переменных 63
3.1. Метод анализа влияния числа дихотомических индикаторных переменных на точность измерения латентных переменны 63
3.2. Метод анализа влияния числа градаций индикаторных переменных Б точность измерения латентных переменных 72
3.3. Выводы 86
Глава 4. Анализ качества тестов для измерения уровня подготовленности учащихся 88
4.1. Структурно-функциональная организация системы управления качеством тестовых заданий 88
4.2. Точность измерения уровня подготовленности студентов по учебной дисциплине «Педагогика» 89
4.3. Точность измерения уровня подготовленности студентов по учебной дисциплине «Компьютерные сети» 104
4.4. Выводы 118
Заключение 119
Библиографический список использованной литературы 120
Приложения 134
- Измерения на основе моделей Бирнбаума
- Моделирование экспериментальных ситуаций с дихотомическими независимыми индикаторными переменными
- Метод анализа влияния числа градаций индикаторных переменных Б точность измерения латентных переменных
- Точность измерения уровня подготовленности студентов по учебной дисциплине «Педагогика»
Введение к работе
Актуальность темы. Важнейшей фазой управления в образовательных системах в интересах повышения эффективности управленческих решений является обеспечение объективного контроля уровня подготовленности учащихся на всех этапах. Большинство переменных в этих системах являются латентными, т.е. непосредственно не измеряемыми. Такие переменные определяются операционально, т.е. через набор индикаторных переменных, которые можно непосредственно оценить в «логитах» — принятой единице измерения латентных переменных. Точное измерение латентных переменных необходимо для последующего принятия эффективных управленческих решений, составления приказов, прогнозирования качества квалификации выпускаемого специалиста.
Существуют различные способы конструирования обобщенных или интегральных показателей. Самый простой - это формирование интегрального показателя на основе «взвешивания» отдельных показателей. Недостаток этого метода состоит в том, что он крайне субъективен: веса отдельным показателям присваиваются экспертом или группой экспертов. Одним из наиболее известных и распространенных сегодня методов оценивания латентных переменных является индексный метод, позволяющий интегрировать разнородные показатели. Примером является индекс развития человеческого потенциала (ИРЧП) в странах мира.
Существующие методы измерения интегральных показателей характеризуются двумя существенными недостатками, препятствующими применению данных методов для управления в социально-экономических системах:
привнесение субъективности при экспертизе;
отсутствие линейной шкалы измерения.
Поэтому актуальным является применение теории измерения латентных переменных как информационной основы для управления в образовательных системах.
Измерение латентных переменных крайне важно для практики управления, поскольку позволяет в целом оценить уровень функционирования того или иного объекта, провести сравнительный анализ и мониторинг объектов, что, в свою очередь, актуально для выработки оптимальных управленческих решений. Более того, без объективных оценок латентных переменных невозможно установление закономерностей в социально-экономических системах образовательного и иного профиля [50, 64, 75, 78].
Использование теории измерения латентных переменных является одним из перспективных направлений в создании системы контроля уровня подготовленности учащихся. На основе объективной оценки уровня подготовленности учащихся вырабатываются управляющие воздействия индивидуальной и коллективной направленности, корректируется учебный процесс, выявляются «узкие места» в изложении материала, формализуются межпредметные связи, оценивается эффективность образовательных инноваций и т.д.
Однако в настоящее время существует противоречие между применяемым на практике субъективным контролем уровня подготовленности учащихся и возможностью получения точных объективных оценок латентных переменных.
Разрешение этого противоречия возможно путем применения методов теории измерения латентных переменных в образовательных системах.
Создание системы тестирования на основе модели Раша является одним из перспективнейших направлений в создании системы оценки качества образования. Использование современных компьютерных технологий и методов математического моделирования и статистики дает возможность провести количественный анализ эффективности систем тестирования.
В настоящее время подобные системы в России практически не разработаны, а использование иностранных разработок затруднено. Поэтому
разработка такой системы оценивания является сегодня актуальным направлением исследований.
Объектом исследования является система оценки уровня подготовленности учащихся в образовательных системах.
Предметом исследования являются средства измерения латентных переменных на линейной шкале в задачах контроля уровня подготовленности учащихся в образовательных системах.
Целью работы является повышение точности измерения на линейной шкале латентных переменных в образовательных системах.
Определение цели исследования обусловило необходимость решения основной научной задачи - разработать в рамках теории латентных переменных метод и средства управления качеством подготовленности учащихся, декомпозированной на частные:
Провести анализ существующих методов оценивания латентных переменных и обосновать наиболее адекватный метод для исследования точности измерения латентных переменных.
Разработать метод генерирования наборов данных, позволяющий оценить точность определения латентных переменных.
Разработать программно-алгоритмические средства для исследования точности измерения латентных переменных в зависимости от числа дихотомических индикаторных переменных.
Разработать структурно-функциональную организацию системы управления качеством тестовых заданий и тестов на основе данной системы для типовых дисциплин.
Методы исследования. Для решения поставленных задач использовались методы системного анализа, теории управления сложными информационными системами, теории алгоритмов, имитационного моделирования, математического планирования эксперимента, прикладной математической статистики.
7 Научная новизна. В работе получены следующие результаты, характеризующиеся научной новизной и выносимые на защиту:
Метод и алгоритм генерирования значений индикаторных переменных в соответствие с моделью Раша, отличающийся тем, что на основе имитационного моделирования формируется полный класс экспериментальных ситуаций и позволяющий исследовать точность измерения латентных переменных методами имитационного моделирования.
Средства оценки точности измерений латентных переменных в зависимости от числа дихотомических индикаторных переменных, отличающиеся тем, что точность измерений оценивается на линейной шкале, что позволяет расширить область применения разработанных средств в различных ситуациях.
Структурно-функциональная организация системы управления качеством тестовых заданий, отличающаяся введением блока поиска заданий, не соответствующих модели Раша, и блока анализа качества дистракторов, позволяющая создавать тесты для контроля уровня подготовленности студентов на линейной шкале.
Практическая значимость полученных в диссертации результатов состоит в следующем:
Разработаны алгоритм и программа генерирования наборов дихотомических индикаторных переменных, которые используются для исследования точности измерения латентных переменных в различных экспериментальных ситуациях, и на их основе получены практически значимые рекомендации по выбору числа дихотомических индикаторных переменных для составления тестов.
Показано применение разработанных алгоритмических и программных средств для составления тестов, обеспечивающих требуемую точность вычислений, что создает основу для контроля уровня подготовленности учащихся в образовательных системах.
3. Определена точность измерения уровня подготовленности учащихся в зависимости от числа тестовых заданий.
Апробация работы. Основные идеи и результаты исследования были получены при выполнении следующих грантов:
- тематического плана НИР Федерального агентства по образованию
«Разработка актуальных проблем измерения латентных переменных в
образовании» (2005-2009 гг).
гранта РГНФ 06-02-38203а/Ю «Разработка методики измерения латентной переменной «уровень жизни населения» и мониторинг по этому показателю регионов Южного федерального округа» (2006-2007 гг);
гранта РФФИ 05-06-80110 «Разработка методики измерения на интервальной шкале латентных переменных в социально-экономических системах» (2005-2007 гг).
- гранта РГНФ 08-06-00694а «Разработка методики анализа качества
опросников для измерения латентных переменных» (2008-2009 гг);
- гранта РФФИ 08-06-00321 «Разработка методики измерения и
мониторинга на интервальной шкале уровня развития сферы образования в
регионах Российской Федерации» (2008-2010 гг).
Основные идеи и результаты были представлены на следующих конференциях и семинарах: VI, VII, VIII, IX, X, XI всероссийских (с международным участием) научно-практических конференциях «Теория и практика измерения латентных переменных в образовании и других социально-экономических системах» (Славянск-на-Кубани, 2004 - 2009 гг.); XV, XVI международных научно-практических конференциях «Информационные технологии в образовании» (Москва, 2005, 2006 гг.); XV международной студенческой школе-семинаре «Новые информационные технологии» (г. Судак, Украина, 2007 г.); региональной научно-практической конференции молодых учёных «Развитие социально-культурной сферы юга России» (г. Краснодар, 2008 г.); научной конференции «Психологическое здоровье нации: региональный аспект» (Краснодар, 2006 г.).
Внедрение работы. Славянский-на-Кубани государственный педагогический институт, Курский государственный технический университет, лаборатория тестирования Магнитогорского государственного университета, НИИ мониторинга качества образования г. Йошкар-Ола.
Награжден дипломом III степени за третье место конкурса «Лучшая научная и творческая работа аспирантов и соискателей Краснодарского края» в 2008 году. Награжден дипломом I степени за первое место в конкурсе докладов среди участников региональной научно-практической конференции молодых ученых «Развитие социально-культурной сферы юга России» в 2008 году.
Публикации. Результаты, полученные в диссертационной работе, опубликованы в 14 печатных работах, в том числе в изданиях по перечню ВАК РФ 3 [52, 53, 54].
Измерения на основе моделей Бирнбаума
Среди логистических функций различают: однопараметрическую модель Раша [14, 17, 40, 44, 45, 48, 49, 50, 89, 95], двухпараметрическую модель Бирнбаума, трехпараметрическую модель Бирнбаума. Из всех латентных характеристических моделей, предлагаемых для измерения уровня знаний тестируемых, модель Раша имеет наименьшее число компонентов: только параметр способности 0,- для каждого /-го испытуемого и один параметр трудности Д для каждогоу -го задания: где P(Xij) — вероятность правильного ответа испытуемого с уровнем знаний ві на задание с уровнем трудности J3j. Формулу для условной вероятности правильного выполнения jQ задания теста испытуемыми с различными значениями 6t в случае двухпараметрической модели Бирнбаума можно переписать в виде где, кроме прежних обозначений, вводится новое а/ для второго параметрау-го задания теста. При геометрической интерпретации первый параметр fy можно рассматривать как характеристику положения кривой у-го задания относительно оси в, второй параметр а/ связан с крутизной кривой задания в точке ее перегиба. А именно значение а/ прямо пропорционально тангенсу угла наклона касательной к характеристической кривой задания теста в точке в = (3 (рис. 1.1). Это означает, что более крутые кривые соответствуют большим значениям а/, соответственно для пологих кривых aj — 0. (—осг+оо \ но практически далеко не все эти задания можно помещать в тест. Анализ характеристических кривых заданий одинаковой трудности, но разной крутизны позволяет отобрать лучшие задания и определить разумные границы интервала для значений параметра а/. На рис. 1.2 приведены характеристические кривые трех заданий теста, имеющие одинаковую точку перегиба (/? = /?і =/?2 = /?з) но различающиеся по крутизне. Для сравнительной характеристики качества заданий при дифференциации знаний испытуемых группы лучше рассмотреть заметно различающиеся по крутизне кривые первого (кривая 1) и третьего (кривая 3) заданий теста. Кривая 1 очень крутая, что соответствует большому значению а.\, кривая 3 очень пологая: аз -» 0.
Для испытуемых с уровнями знаний в\ и 6 , расположенными на оси по разные стороны от точки перегиба кривых {в\ (З;9і j3), вероятности правильного выполнения первого задания теста существенно различаются: Рі{0 } РііОі)- Для заДания 3, как видно из рис. 1.2, эти вероятности примерно одинаковы: рз{@2) Р{бУ Таким образом, значения а/, близкие к нулю, соответствуют случаю, когда испытуемые с разными уровнями знаний правильно отвечают нау-е задание с приблизительно равной вероятностью, что, естественно, противоречит ожидаемым прогнозам разработчика теста [25, 35]. Эти задания оказываются бесполезными при дифференциации испытуемых группы по оцениваемому параметру, так как они не несут информации об индивидуальных различиях испытуемых. Еще более бесполезны задания с отрицательными значениями оц, на них отвечают правильно с большой вероятностью испытуемые с низким уровнем знаний, а для знающих студентов с большими значениями 0 вероятность правильного ответа стремится к нулю. Число заданий в тесте должно сокращаться в первую очередь за счет устранения таких неудачных заданий в тестовой форме. Как правило, такое сокращение приводит к повышению надежности и валидности теста [42, 70]. Проведенный анализ выявляет роль параметра а/ при дифференциации испытуемых по знаниям с помощью того или иного задания теста. Соответственно параметр а/ получил название дифференцирующей способностиу -го задания теста.
Отбор заданий с большими значениями а/ является одним из важных принципов при подготовке эффективного теста. Для сокращения теста за счет удаления части заданий равной трудности сравнительный анализ крутизны характеристических кривых с одинаковой точкой перегиба позволяет выделить одно, наиболее эффективное, задание с наибольшим значением параметра aj. На практике рекомендуется, как правило, оставлять задания со значениями aj, лежащими в интервале (0,5; 3). Значение = 1 соответствует однопараметрической модели Раша [42 - 69]. Как и модель Раша, двухпараметрическая логистическая модель Бирнбаума имеет определенные недостатки, несколько сужающие область ее применения. Описанные модели не рекомендуется использовать в том случае, если в тесте отдано предпочтение заданиям в закрытой форме. Для теста, содержащего задания с выборочными ответами, лучше обратиться к трехпараметрической модели. Для тестов с заданиями в закрытой форме [2] было отмечено существенное отклонение эмпирических данных от теоретической кривой, предсказывающей вероятность правильного выполнения задания при различных значениях переменной в. Этот эффект наиболее характерен для испытуемых с низкими значениями параметра 0 при ответах на наиболее трудные задания теста. Попытки выяснить причины такого отклонения привели Лорда, Бирнбаума и ряд других создателей современной теории тестов к выводу о влиянии эффекта угадывания правильного ответа на достоверность эмпирических данных [33, 102].
Моделирование экспериментальных ситуаций с дихотомическими независимыми индикаторными переменными
Модель Раша для измерения уровня знаний испытуемых имеет вид где pij - вероятность правильного ответа /-ого испытуемого нау -ое задание, 0; - уровень подготовленности /-ого испытуемого в логитах, Pj - трудность J-ого задания в логитах [5, 6, 7]. Здесь уровень подготовленности и трудность тестового задания являются латентными переменными. На основе матрицы результатов тестирования размера I х J (всего I х J данных) производится измерение латентных переменных (всего / + /параметров). В качестве примера в табл. 2.1 приведена матрица с 13 дихотомическими индикаторными переменными, которые варьируются на отрезке [-3, +3]. В этой таблице уровень знаний испытуемых варьируется от -4 до +4 логит в двукратной повторности. Всего используется 17 уровней познаний испытуемых, которые равномерно покрывают выбранный диапазон с шагом 0,5 логита (первый уровень - +4, второй - +3,5, третий - +3, ..., пятнадцатый —3, шестнадцатый —3,5, семнадцатый —4). Каждый из 17 уровней имеет два повторения, то есть всего в матрице имеется 34 строки. Повторения необходимы для оценки среднего квадрата ошибки, который используется для проверки значимости источников дисперсии [11, 28, 38]. Влияние коррелированности индикаторных переменных на точность измерения латентной переменной проводится на основе сравнения матрицы с коррелированными индикаторными переменными с аналогичной матрицей, в которой индикаторные переменные являются независимыми [12]. В табл. 2.2 и 2.3 представлены сгенерированные матрицы, в которых индикаторные переменные представлены в двукратной повторности.
Причем в табл. 2.2 индикаторные переменные с одним и тем же значением являются независимыми, а в табл. 2.3 индикаторные переменные с одним и тем же значением полностью коррелированны. Важным направлением исследований является анализ влияния числа градаций индикаторных переменных на точность измерения латентной переменной. Процедура генерирования значений такой матрицы состоит в следующем [10, 70, 71]. Прежде всего определяется вероятность выбора каждой градации отклика: где х - градация индикаторной переменной (в приведенном ниже примере варьируется от 0 до 9); xji - отклику-го испытуемого на /-ое задание; Pr(xji = х) — вероятность выбора j-ш испытуемым варианта х для і-ого задания; Pj— уровень знанийу -го испытуемого; ЗІ— уровень трудности /-ого задания; тхі— относительная трудность х-ои градации /-ого задания; mi - индексная переменная, которая последовательно принимает все варианты ответов на /-ое задание [71; 89; 106]. Затем на основе вычисленных вероятностей с помощью датчика случайных чисел генерируется элемент матрицы данных (одна из возможных градаций индикаторной переменной). В табл. 2.4 представлена матрица с числом градаций индикаторных переменных, равным 10 (от 0 до 9). Этот вид матриц необходим для количественного исследования влияния числа градаций индикаторных переменных на точность измерения латентной переменной. Проведенная экспериментальная апробация подтвердила корректность генерирования всех типов матриц данных. Сгенерированные с помощью этой программы матрицы данных используются для анализа точности измерения латентной переменной в зависимости от числа индикаторных переменных, степени коррелированности индикаторных переменных и числа градаций индикаторных переменных.
Социально-экономические системы характеризуются большим числом индикаторных переменных самой разнообразной структуры. Так, например, согласно Росстату, уровень развития системы образования характеризуется 24 основными индикаторными переменными, а с учетом модификации этих индикаторных переменных - 38 индикаторными переменными [74]. Поэтому для практических нужд нужны конкретные рекомендации по выбору числа индикаторных переменных, диапазона варьирования трудности индикаторных переменных, вида распределения трудности индикаторных переменных, для того чтобы получить требуемую точность измерения. Модель измерения латентных переменных является нелинейной, и аналитический анализ такой модели неэффективен [38]. Наиболее предпочтительным является использование имитационного моделирования. Для автоматизации расчетов и повышения эффективности проведения операции генерирования для решения данной задачи, была разработана программа генерирования наборов дихотомических индикаторных переменных RMD_Simulation v.2.0 (Rasch Model Data Simulation) [10, 66, 72]. Для достижения этой цели необходимо решить следующую задачу: программа должна позволять варьировать несколько параметров
Метод анализа влияния числа градаций индикаторных переменных Б точность измерения латентных переменных
Целью является исследование точности измерения латентной переменной в зависимости от числа градаций индикаторных переменных [10]. Необходимость этого исследования обусловлена следующим. Проведенные исследования показали, что при умеренном числе дихотомических индикаторных переменных (30 — 40) точность измерения латентной переменной равна 0,5 логита. Однако даже при очень большом числе (100) дихотомических индикаторных переменных точность измерения равна всего 0,3 логита [10, 48, 55, 73, 88]. Можно предположить, что с увеличением числа градаций индикаторных переменных точность измерения латентной переменной увеличится. Это и обусловило необходимость исследования точности измерения латентной переменной в зависимости от числа градаций индикаторных переменных. Исследование проводилось на основе имитационного моделирования. Для достижения поставленной цели была проведена серия имитационных экспериментов, в которых число градаций индикаторных переменных варьировалось от 2 до 10. Для генерирования матрицы имитационных экспериментов использовалась следующая схема. Латентная переменная варьировалась в логитах на отрезке [-4; +4]. Это достаточно большой диапазон для большинства практических задач [18, 57, 58, 69, 71, 84]. Для удобства анализа точности измерения всего используется 17 значений латентной переменной, которые равномерно покрывают выбранный диапазон с шагом 0,5 логита (первый уровень равен -4, второй равен -3,5, ..., шестнадцатый -+3,5, семнадцатый — +4). Каждый из 17 уровней имеет три повторения, то есть в матрице тестирования имеется 51 строка. Значения индикаторных переменных также варьировались на отрезке [-4; +4], причем использовались те же уровни, но в двукратной повторности. Таким образом, матрицы имитационных экспериментов состояли из 51 объекта и 34 индикаторных переменных.
Матрицы с дихотомическими индикаторными переменными и индикаторными переменными с несколькими градациями генерировались по разным процедурам [10, 71]. Процедура имитационного моделирования при использовании дихотомических индикаторных переменных подробно описана в главе 3. Прежде всего по формуле (3.1) вычисляется ру - вероятность генерирования значения «1» у -ой индикаторной переменной для /-ого объекта. Затем на основе вычисленных вероятностей по формуле (3.2) непосредственно генерируются результаты тестирования. , Хф Щ табл. 3.4 приведена сгенерированная матрица данных для 51 объекта и 34 дихотомических индикаторных переменных. Сгенерированная матрица данных используется для вычисления параметров модели измерения - значений латентной переменной для объектов и индикаторных переменных. Для вычисления значений латентных переменных использовалась диалоговая система RUMM 2020 [105]. На основе сгенерированной матрицы данных размера 51 х 34 (всего 51 х 34 данных) производится измерение латентных переменных (всего 51+34 параметров). Значения латентной переменной для объектов используются для вычисления абсолютной ошибки измерений (используется формула 3.3). На рис. 3.5. представлены значения абсолютной ошибки измерений в зависимости от значения латентной переменной. Точками обозначены значения латентной переменной для объектов, ромбами — их средние значения для одного и того же «истинного» значения латентной переменной, которое использовалось для генерирования данных. Напомним, что каждое значение латентной переменной повторяется трижды, т.е. по три объекта имеют одно и то же значение латентной переменной.
Точность измерения уровня подготовленности студентов по учебной дисциплине «Педагогика»
Целью исследования является разработка измерительного инструмента - набора тестовых заданий - для измерения на основе модели Раша уровня знаний по педагогике. Разработанный инструмент необходим для измерения уровня знаний по педагогике у студентов СГГГИ [3,5, 84]. В соответствии с государственным образовательным стандартом и рабочей программой по учебному предмету "Педагогика" был разработан тест (в компьютерном варианте), состоящий из 97 тестовых заданий с выбором правильного ответа (Приложение 1). Для каждого тестового задания приведены 4 возможных вариантов ответа, и только один из этих ответов является правильным. Далее с помощью компьютерной программы тестирования, разработанной в СГПИ, были протестированы 113 студентов. Фрагмент результатов тестирования приведен в табл. 8.1. Здесь символом "1" обозначен правильный ответ студента на задание, символом "О" — неправильный ответ. Здесь и далее для измерения значений латентной переменной используется как программно-алгоритмическое обеспечение, разработанное под руководством автора, так и диалоговая система RUMM2020 (Rasch Unidimensional Measurement Model), разработанная под руководством проф. Дэвида Эндрича (Мердокский университет, Австралия). Диалоговая система RUMM2020 позволяет наглядно демонстрировать результаты измерения латентной переменной [105]. Прежде всего вычисляется совместимость разработанных 97 тестовых заданий, т.е. образуют ли они измерительный инструмент для измерении уровня подготовленности по учебному предмету "Педагогика". Фактически в терминах математической статистики определяется, насколько полученные результаты тестирования соответствуют модели Раша. Соответствие оказалось крайне низким: уровень значимости меньше 0,0000005. Отметим, что минимально допустимое значение уровня значимости равно 0,05. Это обусловливает необходимость выделения и исключения тех тестовых заданий, которые несовместимы с остальными.
Совместимость тестовых заданий определялась следующим образом. Студенты по полученным оценкам своих уровней знаний (на основе модели Раша) делятся на три группы - с низким, средним и высоким уровнями знаний. Далее для каждой группы вычисляется среднее значение и на основе критерия Хи-квадрат определяется соответствие этих трех экспериментальных точек модели Раша. В соответствие с характером отклонений этих групп от модельной кривой и осуществляется типизация тестовых заданий. Выделим основные типы тестовых заданий [1, 2, 87]. Эта информация необходима для коррекции набора тестовых заданий, с тем чтобы этот набор можно было использовать в качестве измерительного инструмента. Идеальные тестовые задания [42]. Это те задания, которые идеально подходят для измерения латентной переменной на основе модели Раша. В качестве примера на рис. 4.2 приведена характеристическая кривая для тестового задания № 6. На рис. 4.2 и других аналогичных рисунках по оси абсцисс отложены значения латентной переменной "уровень знаний по педагогике". В данном случае латентная переменная варьирует от —3 логит до +3 логит. По оси ординат откладывается ожидаемый ответ индивида. Поскольку отклики на все задания в данном тесте являются дихотомическими, то ожидаемый результат (Expected Score) варьирует от 0 до 1. В верхней части рисунка расположена следующая информация: - код тестового задания (10006); - название тестового задания, здесь названия задания выбраны по умолчанию, в данном случае это (Descriptor for Item 6); - трудность тестового задания (Location = -1,590); - суммарное отклонение ответов индивидов на данное задание от ожидаемых на основе модели Раша (Residual = -0,271); - степень соответствия данных модели Раша (Chi Sq Prob = 0,977); - наклон кривой (Slope = 0,25). Здесь наибольший интерес представляет степень соответствия данных модели Раша (Chi Sq Prob), поскольку именно этот показатель позволяет определить пригодность рассматриваемого задания для измерения латентной переменной. Из рис. 4.2 видно, что все три точки, соответствующие средним значениям трех подсовокупностей, находятся на модельной кривой. Здесь важно то, что с увеличением уровня знаний повышается вероятность правильного ответа, причем повышение происходит в строгом соответствии с моделью. Степень соответствия определяется вероятностью, равной 0,977. Отметим также, что это тестовое задание достаточно легкое: уровень трудности равен -1,590. Нарушение соответствия тестового задания модели измерения может иметь различные формы. Задание не дифференцирует студентов по их уровню знания Вероятность правильного ответа на такое задание практически одна и та же и не зависит от уровня знания индивида (рис. 4.3). Очевидно, что студенты как с низким, так и со средним и с высоким уровнем знаний одинаково (более чем в 30 % случаев) ошибаются при ответе на данный вопрос, хотя само задание средней трудности и равно -0,024. Степень соответствия этого задания остальным заданиям крайне низкая (0,001), и это задание необходимо исключить, чтобы можно было использовать тест в качестве измерительного инструмента. С другой стороны, это свидетельствует о том, что при проведении занятий по курсу "Педагогика" необходимо обратить внимание на тему, которая отражена в тестовом задании. Дифференцирующая способность задания противоположна ожидаемой Вероятность правильного ответа на такое задание обратно пропорциональна уровню знаний студентов (рис. 4.4). Во-первых, это задание достаточно легкое (-0,872). Однако оказалось, что студенты со средним уровнем знаний (около 0 логит) имеют большую вероятность ответить правильно на это задание, чем студенты с высоким уровнем знания (2 логита).
