Содержание к диссертации
Введение
Глава 1. Проблемы дидактического контроля в высшей школе .
1.1. Принципы, функции и виды дидактического контроля в высшей школе 9
1.2. Методы оценки качества педагогических контрольных материалов в вузе 22
1.3. Современные теории педагогической тестологии 27
1.4. Перспективные направления развития педагогической тестологии 31
Глава 2. Теоретические и практические основы технологии сертификации тестовых измерителей .
2.1. Система дидактических показателей для контроля знаний обучаемых 35
2.2. Метрологические характеристики тестовых Измерителей 46
2.3- Система критериев для оценки объективированности педагогических контрольных материалов 57
2.4.Квалиметрическая валидизация педагогических контрольных материалов 70
2.5. Сертификация дидактических тестов (на примере курса информатики) 85
Заключение 100
Библиография 103
Приложение 1. Результаты тестирования 126
Приложение 2. Тесты по информатике 137
Приложение 3. Понятийно-терминологический словарь 147
- Принципы, функции и виды дидактического контроля в высшей школе
- Методы оценки качества педагогических контрольных материалов в вузе
- Система дидактических показателей для контроля знаний обучаемых
- Метрологические характеристики тестовых Измерителей
Введение к работе
Возрождение России и переход ее к новому качеству развития тесно связан с переходом к новому качеству образования. Одной из важнейших задач Федеральной программы "Развитие образования в России" на 1996-2000 г. является обеспечение высокого качества и конкурентоспособности профессионального образования, и в связи с этим предусмотрено формирование Национальной системы оценки качества образования в России [144]. В связи с разработкой этой системы и введением государственных образовательных стандартов возникает необходимость пересмотра всей существующей системы педагогического контроля и диагностических методик оценки знаний студентов. Проект реформы образования в Российской Федераций на срок до 2010 года предусматривает обеспечение системного реформирования содержания образования, в том числе развитие Национальной системы тестирования и на этой основе создание? условий для объективного контроля качества образования [116].
Методология педагогического контроля знаний учащихся высших и средних учебных заведений освещена в трудах Н.Ф. Талызиной(1969), СИ. Архангельского (1980), МИ; Скаткина(1980-1982), И.Я. Лернера (1981), Ю.К. Бабаиского(19В1}5 B.C. Аванесоеа (1976-1996), З.Д. Жуковской (1977-1997), В.П. Беспалько(1987-1995), Н.А.Селезневой (1990-1997), В.М. Соколова(1990-1996) и других исследователей. Наиболее эффективным и оперативным методом педагогической диагностики считается тестовый метод, основанный на классической теории тестов (труды М.С.Бернштейна, М.А. Басова ,Г.С. Костюка, С.Г. Геллерштейна, А.Бине, Т. Симона, Ч. Спирмана, Т.Л. Келли и др.) и на современной теории тестов Item Response Theory (IRT) ( M.Richardson.G.Rasch, A.Bimbaum, KBollen, F.Lord, G. Kuder, H.Gulliksen и др.). К исследованиям последних лет в этом направлении относятся труды В.САванесова, В.П. Беспалько, Л.В. Макаровой, В.И. Михеева, Б.У.Родионова, А.О. Татура, B.C.
Черепанова и др.
В целях развития системы тестирования выпускников
общеобразовательных учреждений приказом N 1064 от 14.07.95
Госкомвуза РФ, и, позднее, приказом N 537 от 26.12.96 Министерства
Общего и профессионального образования России, был создан
Координационный Совет Министерства Общего и профессионального
образования России по развитию системы тестирования выпускников
общеобразовательных учреждений. Основной задачей
Координационного Совета является определение основных
направлений деятельности Центра тестирования выпускников
общеобразовательных учреждений [111]. Центр тестирования
является структурным подразделением Московского- педагогического
государственного университета и его задачами являются:
организация и проведение тестирования выпускников по основным
предметам программы среднего образования; анализ результатов
тестирования; . совершенствование методики тестирования;
экспериментальное апробирование новых средств тестирования;
создание Федерального фонда тестирования (банка тестов и тестовых
заданий); организация региональных центров тестирования и др.
Центром тестирования проводится обработка и оформление
результатов тестирования. По результатам тестирования участнику
тестирования выдается сертификат установленного Министерством
общего и профессионального образования РФ образца [112]. Этот
документ удостоверяет участие данного выпускника в
централизованном тестировании, содержит информацию о количестве
набранных баллов из общего количества, а также индивидуальную
кривую испытуемого. Результаты тестирования, количество
региональных представительств, и другая информация по деятельности Центра нашли отражения в ежегодных Отчетах Центра тестирования [102].
. Анализ опубликованных и применяемых в вузах педагогических тестов показывает, что многие из них недостаточно научно
обоснованы и апробированы и не рекомендованы к применению
федеральными или региональными инспекциями. Пока отсутствуют
нормативные документы по тестовым методам контроля знаний
студентов, хотя в ряде вузов России уже принимаются вступительные
экзамены с использованием дидактических тестов, разработанных
Федеральным Центром тестирования выпускников
общеобразовательных учреждений РФ.
В рамках создания и развития Национальной системы оценки качества образования особую актуальность приобретает проблема разработки согласованных подсистем критериев качества педагогических тестов с учетом требований государственных стандартов. В настоящее время отсутствие единых требований к качеству педагогических контрольных материалов, в том числе и тестов, не позволяет пользователям судить о их качестве и при использовании объективно сравнивать результаты обученности студентов в отдельно взятом вузе, оценивать разные технологии обучения в разных вузах и т.п.
Возникло противоречие между возрастающей потребностью применения в вузах педагогических тестовых материалов с одной стороны, и, с другой стороны, отсутствием технологии оценки их качества.
В связи с вышеизложенным в научном плане возникает
необходимость в разработке концепции сертификации тестовых
измерителей, удовлетворяющих основным принципам
педагогического контроля, а в практическом плане - в создании технологии оценивания качества тестовых измерителей по отдельным дисциплинам.
Цель исследования - разработка технологии сертификации дидактических тестов для контроля знаний студентов вуза и методики ее применения. Под сертификацией тестовых измерителей в форме дидактического теста в настоящей работе понимается совокупность процедур, необходимых для оценивания его качества теста и
б последующего его корректирования методами параметризации и валидизации.
Объектом исследования является методология оценки качества педагогических контрольных материалов.
Предметом исследования - технология сертификации тестовых измерителей для объективирования диагностики уровней обученности.
Гипотеза исследования основана на предположении, что сертификация тестовых измерителей, предназначенных для контроля знаний обучаемых, обеспечивает более высокую объективность и эффективность дидактического контроля.
В соответствии с предметом, целью и гипотезой исследования предполагается решить следующие задачи:
Провести теоретическое исследование различных технологий оценки качества педагогических контрольных материалов.
Обосновать систему дидактических показателей для контроля знаний обучаемых на тестовой основе.
Обосновать систему . метрологических параметров тестовых измерителей. й
Разработать структуру сертификата дидактического теста.
Разработать технологию валидизации тестбвых заданий на основе квалиметрического подхода.
Создать комплект сертифицированных тестов по курсу информатики и внедрить в практику работы Ижевской сельскохозяйственной академии.
Теоретическая основа исследования определяется поставленными целями и задачами и строится на разработанной в психолого-педагогической науке методологии педагогического контроля (СИ. Архангельский, Ю.К. Бабанский, В.П. Беспалько, П.Я. Гальперин, И.Я. Лернер, Н.В. Кузьмина, Н.Ф. Талызина, В.А. Якунин,), работах в области педагогической квалиметрии (Л.В.Болотник, А. А. Мирошниченко, В.И. Михеев, В.И. Огорелков, А.И. Субетто, B.C.
Черепанов, и др.), и образовательной тестологии ( B.C. Аванесов, А. Анастази, В.В. Володин,К. Ингенкамп, Д.В. Люсин, Л.В. Макарова, Т.А. Родыгина, Б.У. Родионов, А.О. Татур и др.)
Методы исследования: общенаучные: анализ, синтез, классификация; специальные: математико - статистические, корреляционный анализ; эмпирические: анкетирование, методы педагогического тестирования, метод групповых экспертных оценок.
База исследования: экономический факультет Ижевской государственной сельскохозяйственной академии, компьютерный колледж Международного Восточно - Европейского университета (г. Ижевск).
На защиту выносятся:
Система дидактических показателей для контроля > знаний обучаемых на тестовой основе, включающая в себя: профиль тестируемого (на основе матрицы результатов тестирования), логиты обученности, тестовый балл, приращение тестового результата, процент выполнения тестового задания в выборке, средний уровень обученности в выборке, относительную обученность обучаемого.
Система метрологических параметров, характеризующих качество тестовых измерителей, включающая в себя: число тестовых заданий, логит трудности каждого тестового задания, коэффициенты валидности и надежности дидактического теста, условную вероятность выполнения каждым студентом каждого тестового задания, дифференцирующую способность каждого тестового задания, погрешность тестирования, адаптивность тестовых заданий и всего теста.
Структура сертификата дидактического теста, состоящая из пояснительной записки, метрологических параметров, используемой математической модели обработки результатов измерения, пересчетной шкалы и включающая результаты
"пилотажного" тестирования.
Технология валидизации дидактического теста на основе квалиметрического подхода, включающая в себя определение отдельных видов валидности (целеполагания, соответствия, прогноза, латентной, композиционной, технологической) с помощью коэффициента корреляции Пирсона.
Комплект сертифицированных тестовых измерителей, предназначенных для контроля знаний студентов по курсу информатики в Ижевской сельско-хозяйственной академии.
Новизна исследования заключается в разработке технологии сертификации и" валидизации тестовых измерителей на основе квалиметрического метода.
Теоретическая значимость результатов исследования состоит в том, что:
« обоснована система дидактических показателей для контроля знаний обучаемых на тестовой основе и система метрологических параметров для оценки качества дидактических тестов; разработана концепция сертификации и валидизации тестовых измерителей на основе квалиметрического подхода. Практическая значимость исследования состоит в том, что предлагаемые теоретические положения и методы их реализации б виде технологии сертификации тестовых измерителей могут использоваться для объективизации педагогического контроля знаний обучаемых в различных типах образовательных учреждений.
Принципы, функции и виды дидактического контроля в высшей школе
Формирование Национальной системы качества образования, введение государственных образовательных стандартов влечет за собой пересмотр всей системы педагогического контроля. Одной из главных составляющих педагогического контроля является дидактический контроль. Дидактическим контролем называют выявление, диагностику состояния обученное -индквидума или группы обучаемых. В исследованиях В.С.Аванесова, СИ. Архангельского, Ю.К. Бабанского, В.П. Беспалько, З.Д. Жуковской, Е.А. Михайлычева, М.Н. Скаткина, Н.Ф. Талызиной и др. [1-6, 10-12, 14,15, 20-25, 42, 96, 130,131,140,141, 142] широко освещаются проблемы педагогического и дидактического контроля, сформулированы требования к качеству знаний учащихся, выявлены преимущества и недостатки различных видов педагогического контроля. Определены основные функции педагогического контроля [ 3,4]. На основании этих исследований можно сделать заключение об основных функциях дидактического контроля в высшей школе. К ним относятся диагностическая, обучающая, организующая.
Диагностическая функция вытекает из самой сущности дидактического контроля [3,4].Диагностирование рассматривает полученные результаты в связи с путями, способами их достижения, выявляет тенденции, динамику формирования результатов обучения; включает в себя контроль, проверку, оценивание, накопление статистических данных, их анализ, выявление динамики, тенденций, прогнозирование дальнейшего развития событий. Проблемам педагогической диагностики посвящены монографии B.C. Аванесова, К.Ингенкампа, Л.Н. Ланды, В.В. Карпова ,Н.М. Катханова , Л.В. Макаровой, В.И.Михеева, Н.М. Розенберга, B.C. Черепанова [1-6, 48, 54, 68, 87,88, 97, 121, 152,153,154], а также диссертационные работы Б.В. Володина,Р.А. Гильманова, З.Д. Жуковской, Д.В. Люсина, Е.А. Михайлычева, Т.А. Родыгиной, СР. Сакаевой, А.Н.Фомичевой, Л.И. Шевчук и др.[29, 34, 42, 85, 96, 120, 124, 146,156].
Наиболее часто используемыми формами диагностики учебных достижений студентов являются устные и письменные экзамены и зачеты, устный опрос, письменные контрольные работы, рефераты, коллоквиумы, семинары, курсовые работы, проектные задания, дипломные работы и др. Анализ работ зарубежных авторов (A.Agezzi, K..lngenkamp, R.Frike и др.), а также отечественных исследователей (СИ. Архангельский, B.C. Аванесов, В.П. Беспалько. Б.У. Родионов, А.О. Татур и др. )[160, 180, 173, 10,11, 2-5, 20, 23, 24, 118] показал, что традиционные формы контроля обученности не всегда бывают объективными, и часто носят характер интуитивного оценивания.
Так, в настоящее время наиболее распространенной формой дидактического контроля в вузе является устный контроль знаний. Он осуществляется путем индивидуального и фронтального опроса (текущие опросы, зачеты, коллоквиумы, экзамены). Правильность ответов определяется и оценивается преподавателем. С точки зрения измерительной теории к устной проверке знаний предъявляются претензии из-за недостаточной объективности, валидности и надежности. Анализ результатов дает веские свидетельства их непригодности с точки зрения качества контроля [160 ]. Так на оценку, выставляемую экзаменаторами влияют такие причины, как очередность ответа, предварительная характеристика обучаемого, опыт педагогической деятельности преподавателя, темп речи экзаменуемого, его вербальные способности. Письменный контроль знаний осуществляется с помощью контрольных работ, сочинений, диктантов, письменных зачетов и т.д. Среди факторов, влияющих на объективность письменных контрольных работ K..lngenkamp [180] выделил: предварительную характеристику обучаемого, объем письменной работы, грамматические ошибки, почерк, последовательность, в которой оценивались работы, расположенность к ученику, соотносительная система оценок в зависимости от уровня успеваемости класса.
О методах проверки и оценки знаний студентов написано много работ, но, как отмечал В.П. Беспалько " ни в одной из работ до сих пор не сделаны психолого-педагогические научные обоснования критерия оценки в собственном смысле этого слова ..." [23]. в
Нужно отметить, что традиционные формы контроля в отечественной научно-педагогической литературе исследованы недостаточно: нет точных определений, нет эффективных классификаций, редки публикации по экспериментальной проверке их надежности. Эти вопросы поднимались на конференции "Современные формы и методы контроля знаний студентов на разных этапах и при аккредитации вузов" в Москве в 1995 г.[132]. Применение традиционных форм привело к повсеместному субъективизму в выставлении оценок, их несопоставимости при сравнении успеваемости студентов различных вузов, к образовательно-технологическому и организационно педагогическому отставанию российской высшей школы от общемирового образовательного процесса. Субъективность оценок, невоспроизводимость результатов контроля приводит к невозможности принятия реалистичных и действенных решений в учебном процессе и путях их совершенствования, что является основным, недостатком педагогического контроля традиционными методами. Повысить объективность, достоверность оценок можно двумя путями [132].
Методы оценки качества педагогических контрольных материалов в вузе
Федеральная программа "Развитие образования в России", утвержденная приказом Государственного комитета Российской Федерации по высшему образованию от 25 января 1996 года N 159 [145], предусматривает ряд целевых проектов по приоритетным направлениям развития системы среднего и высшего образования. Среди них создание Национальной оценки качества образования, внедрение новых технологий обучений в высшей школе, создание национальной системы баз знаний и баз данных высшей школы России. Реформа образования в Российской. Федерации [116] указывает на необходимость в перспективе до 2010 года обновления содержания и повышения качества образования, а для этого необходимо развивать национальную систему тестирования "... с отменой по мере ее становления выпускных экзаменов в основной и полной общеобразовательной школе и вступительных испытаний в учреждения профессионального образования; на этой основе создать условия для объективного контроля качества образования, а также для выравнивания доступа к профессиональному образованию, в том числе в рамках целевой подготовки специалистов для регионов России..."[116].
Проблеме создания и развития Национальной системы оценки качества образования в России были посвящены четвертый, пятый и шестой симпозиумы "Квалиметрия и образование в России" в 1995-1997 годах в Москве [56]. На них отмечалась необходимость создания типовых экзаменационных требований в соответствии с типовыми программами по всем общенаучным дисциплинам, которые должны быть весьма конкретными и содержать не только перечень, но и обобщенные формулировки вопросов и задач, предъявляемых на экзамене. Также подчеркивалась необходимость создания банка тестовых материалов для проверки достигнутого уровня обученности. Этот банк должен служить основой для работы соответствующих органов при аттестации вузов. Тестовые задания должны в конкретной форме реализовать различные варианты обобщенных экзаменационных требований.
Введение государственных образовательных стандартов также подразумевает создание банка стандартизованных педагогических контрольных материалов (ПМК). Так, Б.А. Савельев [122] в своей работе предлагает создание ПКМ на основе Государственных образовательных стандартов (ГОС). Для этого им предлагается привести ГОС к виду, адаптированному для разработки дисциплинарных или полидисциплинарных ПКМ в пределах циклов дисциплин, которые позволят оценить уровень учебных достижений в целях итоговой государственной аттестации выпускников и государственной аккредитации вузов.
Педагогическими контрольными материалами называется пакет педагогических материалов (варианты контрольных и самостоятельных работ, контрольные вопросы к семинарам, коллоквиумам, зачетам, билеты к экзаменам, дидактические тесты и др.) для определения уровня обученности студентов. ПКМ выступают в качестве инструмента измерения обученности. Для того, чтобы объективно измерять уровень обученности студентов, сам инструментарий должен быть объективен. Одним из путей повышения качества ПКМ является их сертификация. Под сертификацией ПКМ понимается комплекс процедур: целеполагание, параметризация, валидизация и паспортизация, направленных на повышение качества педагогических контрольных материалов. Сертифицированные педагогические материалы следует помещать в банк сертифицированных педагогических материалов, прилагая к ним сертификат. Сертификат ПКМ - документ, удостоверяющий качество педагогических контрольных материалов, содержащий его основные характеризующие параметры. Только проводя контроль на основе сертифицированных педагогических материалов, можно сопоставлять уровень учебных достижений студентов различных вузов и проводить аккредитацию высших учебных заведений.
Вопросы определения качества ПКМ освещены в работах B.C. Аванесова, В.П. Беспалько, СМ. Бондаренко, РА Гильманова, А.С. Казаринова, И.Я. Лернера, В.П. Мизинцева, ЯА Микка, Н.М. Розенберга, А.М. Сохора, B.C. Черепанова и др.[1-5,20-24, 27, 34, 52, 83,92,93,121,135, 152-154].
Аналогом банка сертифицированных ПКМ могут быть "Фонды комплексных квалификационных заданий по специальностям высшего образования", разработанные коллективом Исследовательского центра по проблемам управления качеством подготовки специалистов [146]. В Федеральном Центре тестирования ведется работа по созданию Федерального банка тестовых заданий. Каждое тестовое задание имеет в данном банке свой номер и ряд характеристике уровень трудности, дифференцирующая способность, характеристическая кривая, информационная кривая тестового задания). Но нет сведений об апробации данного тестового задания, в результате чего неясно определение трудности данного тестового задания, кроме того нет значения такого критерия качества тестового задания, как валидность. Создание Федерального Центра тестирования выпускников общеобразовательных учреждений с целью определения обученности учащихся в соответствии с общеобразовательными стандартами также показывает на создания банка сертифицированных тестовых заданий.
Система дидактических показателей для контроля знаний обучаемых
Одной из составляющих педагогического контроля является оценивание (как процесс) и оценка (как результат) диагностируемых знаний обучаемых. В настоящее время в учебных заведениях различного типа наиболее часто применяется система "традиционных" показателей дидактического контроля, в которую входят такие показатели результатов обученности как: педагогическая оценка, средний балл, абсолютная успеваемость и учебная успешность.
В табелях успеваемости, классных журналах, зачетных ведомостях, банках данных и т.п. оценки фиксируются в виде отметок (условных обозначений). Основой для оценивания успеваемости обучаемых являются результаты педагогического контроля. При этом учитываются как качественные, так и количественные показатели работы обучаемых. Количественные показатели отражаются в баллах или в процентах, а качественные в оценочных суждениях типа "хорошо", "удовлетворительно" и т.п. Каждому оценочному суждению приписывается определенный балл. При этом не всегда преподавателями понимается, что оценка- это не число, получаемое в результате измерений и вычислений, а приписанное оценочному суждению значение. Поэтому никакие количественные манипуляции с оценочными суждениями (баллами) недопустимы. Во многих странах мира оценки имеют буквенное обозначение, например А, В, С и т.п. , что не позволяет производить с ними различные арифметические операции [107]. Кроме того нельзя не учитывать другой недостаток действующей системы оценок - пятибалльной шкалы. В настоящее время очень редко используется оценка "1", что превращает эту шкалу в четырехбалльную. В педагогической литературе приводятся критерии выставления данных оценок [149]. Однако такая оценочная система не позволяет объективно оценить обученность студентов, так как абсолютная погрешность данной шкалы составляет один балл.
Вторым показателем в системе "традиционных" показателей обученности является средний балл обучаемых. Несмотря на то, что, как говорилось выше, нельзя производить арифметические действия с оценками, практически во всех вузах подсчитывается средний балл группы, факультета по учебным дисциплинам. При этом, зачастую его считают с точностью до сотых долей, что совершенно неприемлимо с точки зрения математической статистики.
Наиболее корректным с точки зрения математики является показатель абсолютной успеваемости студентов, который рассчитывается как отношение числа успевающих студентов, то есть студентов, имеющих положительные оценки к общему числу студентов в группе, на факультете, курсе и т.д., выраженное в процентах. Но этот показатель не позволяет сделать заключение об уровне обученности студентов, об усвоении ими разделов данной дисциплины. В монографии В.А. Якунина [159] под успеваемостью понимается показатель, отражающий степень совпадения фактического и запланированного результатов обучения. Там же дается определение такого показателя течения учебного процесса как учебная успешность. Учебная успешность - показатель, отражающий результативность способов учения, учитывающий темп, напряженность, стиль учебной работы, степень прилежания и усилий, которые прилагает обучаемый. В данном случае речь идет о психологических результатах обучения. Психологические результаты-это те психические изменения и новообразования, которые формируются в процессе управляемой учебно - познавательной деятельности. Полнота и степень приближения к заданным нормам в психологических результатах выступают показателями его результативности или продуктивности. Эффективность обучения - это соотнесение психологических результатов с произведенными затратами разного рода (временными, организационными, материальными и т.д.). Профессиональная компетентность, профессиональная направленность, учебная активность, умственная самостоятельность, академическая успеваемость и учебная успешность являются внутренними критериями эффективности обучения. Внешними критериями эффективности обучения Н.В. Кузьмина [63] называет адаптацию выпускника на производстве, его профессиональную устойчивость, темпы роста его профессионального мастерства и т.д. С точки зрения педагогической квалиметрии, необходимы показатели, которые бы позволяли качественно измерять уровень обученности знаний студентов с математической точки зрения, а не только с психологической.
В последнее время, благодаря методологическому подходу, положенному в основу проектирования новых квалификационных требований к специалистам с высшим образованием, введению Государственных образовательных стандартов (ГОС), была разработана "система частных критериев", предложенная В.П. Беспалько и Н.А. Селезневой [147]. Данная система характеризует качество усвоения выпускником вуза нормативной системы деятельности специалиста с высшим образованием определенного профиля. В "систему частных критериев" вошли : критерий полноты (системности) усвоения студентом нормативной системы деятельности специалиста с высшим образованием. Для оценки степени полноты усвоения используется соотношение фактически подтвержденного в процессе испытаний количества усвоенных студентом знаний к общему количеству элементов в системе квалификационных требований к специалисту с высшим образованием.; критерий качества (глубины) усвоения выпускником нормативной системы деятельности специалиста с высшим образованием определенного профиля. Измеряется достигнутым иерархическим уровнем усвоения деятельности. В системе, предложенной В.П. Беспалько, рассматриваются четыре уровня усвоения. Выявление уровня усвоения предложено проводить с помощью специальных процедур оценки (тестов), выявляющих сформированную на данном уровне деятельность. При таком подходе численное значение критерия качества определяется из отношения числа правильно выполненных существенных операций педагогического контрольного материала к общему числу предложенных операций. Коэффициент усвоения по каждому уровню деятельности в научной педагогической литературе соотносится с традиционной пятибалльной шкалой оценок [147]; критерий научности усвоенной нормативной деятельности - определяется через отношение ступени абстракции, на которой представлен тот или иной элемент нормативной системы деятельности специалиста (феноменологическая, аналитико-синтетическая или предсказательная, аналитическая или прогностическая, аналитическая или аксиоматическая) к ступени абстракции, на которой находится соответствующая отрасль науки.; критерий автоматизма навыков усвоения нормативной деятельности определяется через отношение времени, затраченного на выполнение педагогических контрольных материалов обучаемым, к среднему времени, затрачиваемому на выполнение этих же ПКМ репрезентативной группой заведомо квалифицированных людей (специалистов).
Метрологические характеристики тестовых Измерителей
Как уже упоминалось в главе 1, одним из методов объективизации педагогического контроля является метрологический метод. Он заключается в проведении квалиметрических процедур над педагогическими контрольными материалами с целью повышения их объективированности. Для этого необходимо выделить систему метрологических параметров ПКМ. В настоящей работе мы предлагаем систему метрологических характеристик тестовых измерителей. Под тестовым измерителем нами понимается тестовое задание, "батарея" тестовых заданий или дидактический тест, предназначенные для измерения обученности тестируемого. Основываясь на работах B.C. Аванесова, М.Б. Челышковой, Б.А. Савельева, Б.У. Родионова, А.О. Татура [ 1-5, 150, 151, 122, 118 ], а также на работах D.Andrich, A. Birnbaum, G. Rasch, J. Millman [161, 165, 191, 188] нами систематизируются метрологические характеристики тестовых измерителей.
В систему метрологических параметров вошли следующие показатели: число тестовых заданий в дидактическом тесте; логиты трудности каждого тестового задания и всего теста в целом; валидность каждого тестового задания и всего дидактического теста; надежность дидактического теста; погрешность тестирования; условная вероятность правильного выполнения і-м студентом j -го тестового задания; дифференцирующая способность каждого тестового задания; адаптивность каждого тестового задания и всего теста; сравнительная эффективность тестового измерителя.
При измерении обученности знаний обучаемых необходимо определить необходимое и достаточное число тестовых заданий для обеспечения достаточной надежности теста, его различающей способности и достаточной эффективности. Число тестовых заданий также ограничивается временем тестирования. В практике встречаются чаще тесты очень короткие, состоящие из 6-15 заданий, а иногда очень длинные, состоящие из 100 и более заданий. Исследования показывают [ 4], что если тестирование длится более полутора часов, то ухудшается мотивация и внимание у испытуемых. С другой стороны, с точки зрения тестологии, чем тест длиннее, тем он надежнее. Этот вывод подкрепляется формулой Спирмана-Брауна: где гнт- предполагаемая надежность теста, h - надежность короткого теста, п - кратность увеличения теста. Пользуясь этой формулой, можно определить во сколько раз нужно увеличить число тестовых заданий, чтобы данный измеритель обладал заданной надежностью.
Как уже отмечалось в главе 1, существуют различные формы тестовых заданий: закрытого.типа, открытого типа, на установление соответствия, на установление правильной последовательности, текстовые, тематические, цепные и ситуационные. В работах B.C. Черепанова [155] приводится таблица пригодности различных видов тестовых заданий для определения соответствующих уровней обученное. Так, например, тестовые задания открытого типа рекомендуется применять для диагностики первого, второго и третьего уровней умения и не рекомендуется применять для диагностики четвертого уровня. А цепные и ситуационные тестовые задания следует применять при диагностике четвертого уровня, но они не целесообразны при диагностике других уровней обученное. По тому, какие формы тестовых заданий применяются в дидактическом тесте можно судить о его назначении. Кроме того, в зависимости от применяемых форм тестовых заданий, вычисляется тестовый балл, так. при использовании тестовых заданий закрытой формы требуется коррекция тестового балла "на догадку" и выбирается соответствующая математическая модель обработки результатов тестирования (G. Rasch, A. Bimbaum и др.). Число форм тестовых заданий можно отнести к дополнительным метрологическим характеристикам, так как разнообразие используемых форм тестовых заданий позволяет реализовать принцип системности педагогического контроля.
Логит трудности - мера трудности каждого тестового задания, получаемая в шкале значений натуральных логарифмов. Логит трудности вычисляется по формуле (6). В том случае, если правильных ответов на данное задание больше, чем неправильных, то логит трудности меньше нуля. Положительный знак логита трудности говорит о том, что большинство испытуемых выполнили данное тестовое задание неправильно. Для того, чтобы определить трудность всего дидактического теста, состоящего из L заданий, нужно вычислить среднее значение логита трудности по формуле :
Логит трудности также необходимая характеристика для правильного построения теста, так как по определению дидактического теста, все задания в тесте должны быть выстроены по принципу возрастания трудности задания [4.,с.34].
Следующей метрологической характеристикой дидактического теста является его валидность. Валидность означает пригодность теста измерять то свойство, для измерения которого он предназначен. Нами предлагается квалиметрический подход к определению валидности тестового измерителя, который будет рассмотрен в части 2.4 настоящей работы.
