Содержание к диссертации
Введение
ГЛАВА 1. ПСИХОЛОГО-ПЕДАГОГИЧЕСКИЕ ОСНОВЫ ЭКСПЕРИМЕНТАЛЬНО-СТАТИСТИЧЕСКОЙ РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ ДЛЯ ПРОВЕДЕНИЯ ЕДИНОГО ГОСУДАРСТВЕННОГО ЭКЗАМЕНА
1.1. Метрологические особенности диагностики знаний и познавательных способностей в психолого-педагогических исследованиях 13
1.2. Обобщенная модель психолого-педагогического теста 19
1.3. Модель выявления сходств 29
1.4. Модель дихотомической классификации и латентного континуума 35
Выводы по первой главе 45
ГЛАВА 2. ПРОБЛЕМЫ КОНСТРУИРОВАНИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ С ВАРЬИРУЮЩЕЙСЯ СЛОЖНОСТЬЮ ЗАДАНИЙ ДЛЯ ДИСЦПЛИН ЕСТЕСТВЕННО-МАТЕМАТИЧЕСКОГО И ГУМАНИТАРНОГО ЦИКЛОВ
2.1. Обоснование конструкционных процедур разработки тестовых заданий единого государственного экзамена 46
2.2. Верификация разработанных процедур для тестов с варьирующейся сложностью заданий 64
2.3. Эмпирико-статистическая теория тестирования 72
Выводы по второй главе 116
ГЛАВА 3. ПЛАНИРОВАНИЕ И ЭКСПЕРИМЕНТАЛЬНАЯ АПРОБАЦИЯ ДИДАКТИЧЕСКОГО КОНТРОЛЯ КАЧЕСТВА ЗНАНИЙ СТУДЕНТОВ, ЗАЧИСЛЕННЫХ ПО РЕЗУЛЬТАТАМ ЕГЭ, С ИСПОЛЬЗОВАНИЕМ НОВЫХ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ
3.1. Особенности организации и проведения единого государственного экзамена с использованием компьютерных тестов 117
3.2. Обоснование методов учета исходной информации при выборе рациональной структуры тестовых проверок знаний обучаемых 136
3.3. Педагогическое планирование порядка применения контрольных тестов и определение оптимальных периодов программированного контроля знаний обучаемых 150
3.4. Оценка качества дидактических тестов по итогам эксперимента по введению единого государственного экзамена 165
Выводы по третьей главе 179
ЗАКЛЮЧЕНИЕ 180
ЛИТЕРАТУРА 183
ПРИЛОЖЕНИЕ 196
- Метрологические особенности диагностики знаний и познавательных способностей в психолого-педагогических исследованиях
- Обоснование конструкционных процедур разработки тестовых заданий единого государственного экзамена
- Особенности организации и проведения единого государственного экзамена с использованием компьютерных тестов
Введение к работе
Современный этап строительства и реформирования высшей школы в Российской Федерации предъявляет качественно новые требования к отбору действительно высокоинтеллектуальных, способных и знающих выпускников общеобразовательных школ для обучения в высших учебных заведениях. Методика проверки качества знаний как школьников, так и студентов должна использовать не традиционный субъективный четырехбалльный контроль, а прогностически валидные тестовые задания в форме и по материалам ЕГЭ в системе непрерывной подготовки школа - вуз с использованием педагогических измерений, базирующихся на конструировании и оценке качества дидактических тестов как методов научной организации самоконтроля и педагогического контроля знаний. Необходимость методик оценки качества дидактических тестов и корректирующего контроля знаний в учебном процессе актуализируется возникающими задачами сертификации тестовых технологий как по предметам гуманитарного, так и естественно-математического циклов.
В отечественных и зарубежных психолого-педагогических исследованиях, изложенных в трудах B.C. Аванесова, П. П. Блонского, А. П. Болтун ова, В. К. Гайда, В. Н. Дружинина, В. П. Захарова, Б. В. Кулагина, А. Н. Майорова, В. В. Спасенникова, В. Д. Шадрикова, А. Бине, Ф. Гальтона, Дж. Кеттелла, П. Клайна, Д. Кэмпбелла, К. Ингекампа, Т. Симона, Л. Терстоуна, Э. Торн-дайка и других показано, что как в дидактических тестах (Educational Test), так и в психодиагностических (Intelligence Test) итоговая оценка знаний (способностей) является решением сложной научной задачи, связанной с выполнением ряда взаимосвязанных и взаимозависимых условий, среди которых выделяют:
1. Анализ и систематизацию основных компонентов знания и подтверждение достаточности заданий для измерения каждого из них (обеспечение валидности по содержанию).
2. Проверка надежности тестовых заданий. 3. Установление стандартов качества (уровня) знания.
4. Оценка качества тестов на основе выявления их прогностической ва-лидности для успешного обучения.
Выполнение перечисленных выше условий связано с целым рядом теоретических и технических проблем, которые определяют несовершенство как психодиагностических, так и дидактических тестов, поэтому конструирование и методика оценки качества тестов контроля знаний выпускников школ в условиях эксперимента по введению единого государственного экзамена (ЕГЭ) является своевременным решением актуальной научной задачи.
Кроме психолого-педагогических причин невысокого качества оценки знаний выпускников школ, которые вытекают из принципиальной сложности измерений в психологии и педагогике, существуют искажения, вносимые социальными установками. Считается, что школьные оценки чаще всего завышены, и причиной тому пресловутая "показуха" и "процентомания", боязнь отрицательных социальных последствий второгодничества, которые "давят" на учителя и побуждают его завышать оценки; вступительные испытания в вузы связаны с такими сложившимися стереотипами и установками как наличие протекционизма, субъективизма и предвзятости, возможности подкупа экзаменационных комиссий.
В этих условиях не исключены случаи поступления в вузы абитуриентов, которые имеют низкие знания даже с точки зрения самых минимальных требований, неспособных усваивать элементарные материалы по тем или иным дисциплинам, в то время как абитуриенты с высокой мотивацией и профессиональной направленностью и хорошими твердыми знаниями, зачастую выходящими за рамки школьной программы и учебников набирают полупроходные баллы и не поступают в высшие учебные заведения. ЕГЭ призван устранить негативные социальные установки и повысить качество отбора абитуриентов в вузы, однако это может произойти только при наличии качественных дидактических тестов контроля знаний по дисциплинам естественно-математического и гуманитарного циклов, соответствующих таким критериям качества конструирования тестов как прогностическая валид 6 ность, надежность, репрезентативность, соответствие установленных тестовых норм критериям отбора с учетом конкретного конкурса в вуз по специальности.
Разработка унифицированных дидактических тестов по всем специальностям в условиях высшей школы позволит в перспективе решить важнейшую задачу для всех стран СНГ: позволяет нострифицировать (приравнивать) документы об образовании и сертифицировать учебные заведения по различным квалификационным категориям.
Цель исследования - выявить и научно обосновать совокупность взаимосвязанных и взаимозависимых условий оценки прогностической валидности дидактических тестов контроля знаний при проведении эксперимента по введению ЕГЭ.
Объект исследования — оценка качества знаний выпускников общеобразовательных школ с использованием дидактических тестов.
Предмет исследования - содержание, методы и приемы обоснования, верификации и объективизации тестовых заданий для оценки эффективности эксперимента по введению ЕГЭ.
Гипотеза исследования - требованиям прогностической валидности отвечают используемые в ЕГЭ дидактические тесты с варьирующейся сложностью заданий, качество которых можно оценить на основе успехов освоения студентами, зачисленными по результатам ЕГЭ, программы высшей школы.
В соответствии с целью и гипотезой были выделены следующие задачи исследования:
1. Рассмотреть теоретические основы обоснования успешности обучения студентов, зачисленных по результатам ЕГЭ, в соответствии с требованиями образовательных программ по дисциплинам естественно-математического цикла.
2. Осуществить сравнительный анализ различных моделей конструирования тестов, связанных с выявлением сходств, дихотомической классификацией и латентным континуумом. 3. Рассмотреть проблему обоснования и верификации процедуры разработки дидактических тестов с варьирующейся сложностью заданий.
4. Разработать эмпирико-статистические процедуры компьютерного тестирования с использованием новых информационных технологий.
5. Обосновать методы учета исходной информации при выборе рациональной структуры тестовых проверок знаний обучаемых.
6. Выявить порядок применения контрольных тестов и определить рациональные периоды контроля знаний, умений и навыков обучаемых.
7. Оценить эффективность эксперимента по введению ЕГЭ с использованием методики оценки дидактических тестов контроля знаний на основе новых информационных технологий.
Методологическую основу исследования составили:
• на общенаучном уровне: методология системного подхода (В.В. Давыдов, В.П. Кузьмин, Б.Ф. Ломов, Г.В. Суходольский, Э.Г. Юдин, М.Г. Ярошев-ский).
• на философско-психологическом уровне: принципы организации и проведения экспериментального исследования, такие как: принцип активности, принцип взаимодействия, принцип детерминизма, принцип единства внешнего и внутреннего, принцип развития, принцип субъектности, принцип единства теории и практики в структуре научного объяснения (Б.Г. Ананьев, А.В. Брушлинский, Б.С. Гершунский, В.Н. Дружинин, В.П. Зинченко, С.Л. Рубинштейн, В.Д. Симоненко, В.А. Сластенин, В.И. Слободчиков, В.Д. Шад-риков).
• на теоретико-методическом уровне: теория проектирования тестов достижений (СМ. Василейский, С.Г, Геллерштейн, Г.С. Ковалева, И.Я. Лер-нер, М.Н. Скаткин, Н. Гронлунд, Р. ван Крикен, А. Отис, Л. Термен, Л. Тер-стоун); теория соответствия тестов стандартам качества: валидности, репрезентативности, надежности (B.C. Аванесов, Л.Ф. Бурлачук, В.К. Гайда, В.Н. Дружинин, В.П. Захаров, Б.Ф. Кулагин, А. Бине, Ф. Гальтон, Т. Симон, Э. Торндайк). Методы исследования:
• теоретические (изучение и анализ философской, педагогической и психологической литературы);
• экспериментальные (изучение и обобщение опыта конструирования дидактических тестов, анкетирование, наблюдение, тестирование, факторный анализ, констатирующий и формирующий эксперимент);
• методы обработки эмпирических материалов; квалиметрия, методы математической статистики, методы теории нечетных оценок.
Базами исследования явились Обнинский государственный технический университет атомной энергетики и Калужский государственный педагогический университет им. К. Э. Циолковского. Общий объем выборки составил 479 студентов ОИАТЭ и КГПУ им. К. Э. Циолковского, которые составили 2 массива.
Массив 1-322 человека - студенты КГПУ им. К. Э. Циолковского. Массив И - 157 студентов ОИАТЭ, из них 60 — физико-энергетического факультета, 50 - социально-экономического и 47 - факультета естественных наук.
Этапы исследования:
1-й этап (1999-2001 гг.) - поисков о-теоретический: изучение философской и психолого-педагогической литературы по теме исследования, уточнение основной проблематики, разработка цели, гипотезы, задачи и программы исследования, поиск базы для проведения исследования;
2-й этап (2001-2003 гг.) - опытно экспериментальный: разработка методики оценки прогностической валидности тестовых заданий ЕГЭ, ее экспериментальной проверки; уточнение разработанной методики оценки прогностической валидности тестовых заданий ЕГЭ;
3-й этап (2003-2004 гг.) обобщающий: анализ и систематизация результатов исследования, оценка достоверности полученных результатов, уточнение теоретических и экспериментальных данных, формулировка выводов и рекомендаций, подготовка текста диссертации. Научная новизна исследования:
- теоретически обоснована и экспериментально подтверждена методика оценки прогностической валидности дидактических тестов ЕГЭ по естественно-математическим дисциплинам.
- выявлены метрологические особенности дидактических тестов контроля знаний, основанные на построении обобщенной модели психолого-педагогического теста, включающего дихотомические классификации, выявление сходств и латентный континуум;
- научно обоснованы процедуры разработки и верификации тестовых заданий в процессе конструирования дидактических тестов с варьирующейся сложностью заданий для дисциплин естественно-математического цикла;
- экспериментально подтверждено, что прогностическая валидность тестов по естественно-математическим дисциплинам определяется корреляцией результатов приема по ЕГЭ с успешностью обучения студентов в первых двух сессиях; при этом оценка эффективности эксперимента по введению ЕГЭ осуществлена на основе новых информационных технологий.
Теоретическая значимость исследования заключается в научном обосновании критериев оценки прогностической валидности дидактических тестов, основанных на взаимосвязи успешности выполнения тестовых заданий по ЕГЭ, и академической успеваемости студентов по дисциплинам естественно-математического цикла.
Практическая значимость исследования состоит в том, что:
- разработано учебное пособие для студентов и аспирантов, которое используется студентами, аспирантами и преподавателями в таких курсах как "Проектирование тестов достижений", "Психодиагностика" и "Экспериментальная психология";
-обоснована структура, математическое обеспечение, пакеты прикладных программ для программированного контроля знаний в высшей школе по дисциплинам естественно-математического цикла для организации и проведения текущего, рубежного и итогового контроля знаний студентов; -разработаны практические рекомендации по формированию готовности к организации и проведению ЕГЭ, которые могут быть использованы в практике среднего, высшего и дополнительного образования при подготовке преподавателей и экзаменационных комиссий.
Апробация и внедрение результатов исследования.
Основные положения диссертации обсуждались и получили положительную оценку на заседаниях кафедр общей и профессиональной педагогики; общей и профессиональной психологии; психологии труда и консультативной психологии Брянского государственного университета имени академика И.Г. Петровского, на международных, межрегиональных и межвузовских научно-практических конференциях. По результатам обмена опытом организации и проведения ЕГЭ изданы труды международной Интернет-конференции по вопросам нострифика-ции образовательных документов и сертификации тестовых технологий (Брянск, 2004).
Результаты исследования включены в учебно-методический комплекс по курсу "Экономическая психология" и учебное пособие для студентов и аспирантов "Конструирование дидактических тестов для контроля знаний".
Эмпирические данные диссертации включены в статистические сборники по результатам проведения Единого Государственного Экзамена в Калужской области в 2003 и в 2004 гг.
Положения, выносимые на защиту:
I. Существует два способа оценивания знаний школьников, абитуриентов и студентов; первый - традиционный, ориентированный на локальную соотносительную норму; второй - оценивание по результатам единого государственного экзамена, проводимого независимыми службами контроля за качеством образования с ориентацией на стандарты широкого уровня, при этом стандарты фиксируют различия в знаниях как критериального, так и нормативного типов. Эквивалентность и равнозначность данных способов дидактического контроля знаний позволяют нострифицировать документы о среднем образовании и сертифицировать квалификационные категории учебных заведений. 2. Традиционный способ оценивания знаний и ЕГЭ позволяют осуществлять сравнительный анализ местных стандартов образования с региональными, государственными и международными стандартами. Определение и расчет показателей качества дидактических тестов базируются на дифференциально-психометрических принципах валидности, надежности и репрезентативности, для чего отдельно создаются региональные государственные и международные нормы, связанные с критерием конкурсного отбора по дисциплинам естественно-математического цикла.
3. Методика расчета прогностической валидности тестовых заданий ЕГЭ по дисциплинам естественно-математического цикла связана с академической успеваемостью студентов, т.е. с промежуточным рубежным и итоговым дидактическим контролем знаний на основе рациональной структуры проверок по дисциплинам естественно-математического цикла.
Структура диссертационной работы определяется логикой развития теоретико-экспериментального изучения проблемы конструирования и методики оценки качества дидактических тестов в процессе психодиагностического тестирования и проведения единого государственного экзамена в системе непрерывного образования. Диссертация состоит из введения, трех глав, заключения, списка литературы и приложений.
Во введении обоснованы выбор темы исследования и ее актуальность, характеризуется научный аппарат исследования: сформулирована цель, задающая направление поиска и формулировки гипотезы исследования. В соответствии с выдвинутой целью и гипотезой определены основные задачи исследования; формулируются основные положения, выносимые на защиту; приведены данные об апробации и внедрении полученных результатов.
В первой главе "Психолого-педагогические особенности экспериментально-статистической разработки дидактических тестов для проведения единого государственного экзамена" выявлены метрологические особенности диагностики знаний и познавательных способностей в психолого-педагогических исследованиях; на основе анализа теории построения тестовых заданий показаны теоретические обоснования обобщенной модели психолого-педагогического теста. Во второй главе "Проблемы конструирования дидактических тестов с варьирующейся сложностью заданий для дисциплин естественно-математического и гуманитарного циклов" обоснованы конструкционные процедуры разработки тестовых заданий единого государственного экзамена, верифицированы разработанные процедуры для тестов с варьирующейся сложностью заданий, представлена эмпирико-статистическая теория тестирования и показаны особенности организации и проведения единого государственного экзамена с использованием компьютерных тестов.
В третьей главе "Экспериментальная апробация дидактических тестов контроля качества знаний абитуриентов с использованием новых информационных технологий" обоснованы методы учета исходной информации при выборе рациональной структуры тестовых проверок знаний обучаемых, описан процесс педагогического планирования порядка применения контрольных тестов и определения рациональных периодов программированного контроля знаний обучаемых, показана методика оценки качества дидактических тестов по итогам эксперимента по введению единого государственного экзамена.
В заключении выделены обобщенные результаты исследования, показывающие, что прогностическая валидность тестовых заданий ЕГЭ по дисциплинам естественно-математического цикла определяется академической успеваемостью студентов, зачисленных по результатам ЕГЭ, связанной с итоговым контролем знаний по результатам двух экзаменационных сессий.
Список литературы содержит 194 наименования, из них 20 на иностранных языках.
В приложении приведены информационные материалы, касающиеся организации и разработки централизованных экзаменов службами аттестации разных стран; приведены некоторые нормативные документы по организации и проведению ЕГЭ; алгоритм вычисления прогностической валидности тестовых заданий ЕГЭ по математике с использованием методики R. Amthauer
Метрологические особенности диагностики знаний и познавательных способностей в психолого-педагогических исследованиях
Тестирование является разновидностью процедуры измерения свойств объекта. В процессе конструирования дидактических и психодиагностических тестов следует, во-первых, определить понятие психическое свойство, во-вторых, соотнести это понятие с понятием "познавательная способность" [40].
Рассмотрим общеметодологическое понятие "свойство". Согласно одному из распространенных определений свойством является то, что присуще предметам, что отличает их от других предметов или делает похожим их на другие предметы (например, твердость, шероховатость, упругость, теплочувст-вительность и т.д.). Или же: "свойство - философская категория, выражающая такую сторону предмета, которая обуславливает его различия и общность с другими предметами и обнаруживается в его отношении к ним" [151, с. 54].
В логике под свойством понимается одноместный предикат вида Р (х): например, х — город, в отличие от отношения, которое является многоместным предикатом, В. Н. Дружинин отмечает, что свойство может быть многоместным предикатом, а отношение - одноместным; например, "Петр любит самого себя". Поэтому можно констатировать, что свойство ограничивает область объектов, которым приписывается свойство. В результате операция приписания свойства объектам становится меньше, чем до приписания свойства. Отношение же всегда образует новые объекты, например: Р (х, у, z), где х -мужчины, у — женщины, z - дети, если Р - генетическое отношение, то связанные этим отношением х, у у z дают новый объект - человечество [40].
Отсюда ясно, что вводя понятие "свойство", мы выделяем класс сущностей, которые этим свойством обладают.
Воспользуемся для дальнейшего анализа общелогической классификацией свойств, которую предлагают в работах [9, 26].
Они классифицируют свойства по наличию интенсивности, характеру измерения интенсивности. При этом различают 3 основные типа свойств:
а) точечные,
б) линейные,
в) многомерные.
Рассмотрим первый тип: точечные свойства. Человек может быть: либо мертвым, либо живым, или мужчиной, или женщиной, или холериком, или сангвиником. Ни одна женщина не может быть чуть-чуть беременной. Существуют свойства, которые не имеют интенсивности и могут рассматриваться как точечные или "свойствами нулевого измерения". Такие свойства обладают качественной определенностью, но не обладают количественной определенностью [40].
Второй тип свойств образует линейные свойства, по терминологии В. Н. Дружинина, или же одномерные свойства. Последний термин, с нашей точки зрения, более удачен. "Другие линейные свойства, присущие предмету, всегда имеют определенную интенсивность, причем могут изменяться лишь в направлении уменьшения или увеличения этой интенсивности. Таковы масса, упругость, вязкость, мощность, температура, физическая сила человека, его рост и т.д.. Отметим, что большинство измеряемых свойств относится традиционно к этому типу. В частности, факторная теория интеллекта (Ч. Спирмен, Дж. Гилфорд, Г. Айзенк) вводит понятия: общий интеллект, креативность, дивергентное мышление, - основываясь на том, что эти свойства являются одномерными (линейными). Однако ряд психогенетиков, следуя традиции Ф. Гальтона, в частности, полагает, что такое свойство, как талант, является точечным: он или есть, или его нет [185].
Таким образом, в психолого-педагогических исследованиях существуют разные представления о способностях: как о линейном, так и о точечном свойстве [11, 17, 26, 81 и др.].
Одномерные (линейные) свойства помимо качественной определенности обладают также количественной определенностью. Обычно вводится понятие интервала интенсивности, под которым понимается вся совокупность интенсивностей данного свойства (диапазон интенсивности). Физические свойства такого рода называются скалярами.
Двухмерные свойства могут измеряться в двух отношениях.
Примером подобных свойств являются векторные величины. Двухмерные свойства можно представить как комбинацию одномерных свойств (разложение вектора на плоскости можно представить комбинацией скалярных величин: величины угла и длины отрезка). Их обобщением являются многомерные свойства, которые можно определить как свойства, способные изменяться в «-отношениях, например, пространственные вектора в математике.
Между точечными, линейными и многомерными свойствами существует простое отношение сводимости: 1) многомерное свойство может быть представлено как совокупность линейных свойств, 2) линейное свойство может быть представлено как множество точечных свойств; как состояние линейных. Соответственно, набор точечных свойство можно представить в качестве псевдолинейного свойства и набор линейных свойств - как псевдомногомерное свойство.
С. Н. Федотов дает несколько иную классификацию свойств и делит их на "свойства-термы" и "свойства-понятия" [158].
Обоснование конструкционных процедур разработки тестовых заданий единого государственного экзамена
Тест будет эффективным средством измерения в едином государственном экзамене только в том случае, когда есть однозначность в понимании тестового задания как разработчиком теста, так и испытуемым. Чтобы ее оценить, нужны объективные критерии. Если есть возможность, для этих целей могут быть использованы критерии логические, как это делается, например, в тестах на дискурсивное мышление. Однако судить однозначно о работоспособности того или иного тестового задания только на основе таких логических критериев, на наш взгляд, было бы опрометчиво. Вызвано это тем, что подобные критерии оценивают стимульный материал лишь с формальнологической, но не психологической стороны. Перцептивные особенности построения стимульного материала и специфика его восприятия, понимания испытуемым, часто оказывается вне их поля зрения. Будет ли тестовое задание, сконструированное разработчиком, адекватно понятно испытуемым или нет -на этот вопрос, вследствие индивидуальных особенностей испытуемых, невозможно ответить абсолютно точно [80].
Допустим, предполагается сконструировать невербальный тест на обобщение. Тестовое задание в тесте строится по наиболее распространенной схеме, т.е. с несколькими вариантами ответов, из которых один - правильный, а остальные - ложные. Допустим, разработчик строит тестовое задание так, чтобы его структура подводила испытуемого к обобщению по признаку "А". Однако обобщение может вестись и по различным признакам разработчиком тестового задания, вследствие его субъективности. Может быть не учтено то обстоятельство, что объективно возможно также и обобщение "В", причем в действительности структура задания стимулирует испытуемого к обобщению именно по данному признаку. Поскольку из-за субъективизма разработчика такая возможность для него скрыта, выбранный испытуемым вариант ответа, соответствующий обобщению по признаку "В", он склонен считать неверным, а само тестовое задание - нерешенным. Однако мнение разработчика здесь, естественно, не может выполнять роль критерия, поскольку оно столь же субъективно, как и мнение испытуемого. Вполне возможно, что в данном случае имеет место как раз ошибка разработчика, а не испытуемого. "Исследования умственной одаренности испытывают с необходимостью, кроме испытуемого, еще и самого экспериментатора" - отмечает Дж. Хук [185, стр. 210].
Из сказанного видно: вследствие индивидуальных особенностей как испытуемых, так и разработчика теста, обусловленных своеобразием онтогенетического развития и актуального состояния их психики, взаимопонимание между ними относительно идеи, заложенной в тестовое задание, логики его структуры, никогда не может быть полным, оно всегда приблизительно, адекватно лишь в той или иной степени. Так как значение показателя, отображающего величину измеряемого свойства, флуктуирует по вероятностным законам, характер измеряемого свойства закономерно будет определять вид критерия, который может быть использован для оценки такого взаимопонимания — количественно оно может быть оценено только по вероятностным, статистическим законам. Таким образом, в качестве критерия здесь может быть использован только критерий статистический.
Как уже говорилось ранее, у теста "уровня" сложность тестовых заданий является величиной переменной. Она может быть оценена только экспериментально путем апробирования задания на некоторой выборке испытуемых. В качестве показателя сложности тестового задания обычно берется отношение числа испытуемых, выполнивших задания, к общему числу испытуемых в выборке, поэтому величина показателя оказывается обратно пропорциональной сложности тестового задания: чем задание сложнее, тем доля испытуемых, решивших тестовое задание, будет меньше. Под диапазоном изменения такого показателя мы будем подразумевать числовое множество, включающее в себя все возможные его значения. Очевидно, что пределы изменения показателя будут ограничены числами от 0 до 1. Чем легче задание, тем значение показателя будут ближе к единице, чем сложнее, тем ближе к нулю. Место испытуемого на шкале, как уже было сказано, определяется рангом того наиболее сложного здания, которое испытуемый смог выполнить. Рассмотрим некоторые из конструктивных особенностей тестов "уровня", обусловленных проявлением вероятностного характера тестовых измерений в условиях конечных размеров диапазона изменения сложности тестового задания.
Вследствие индивидуальных различий испытуемых и разработчика теста, понимание ими тестового задания никогда не может быть полностью идентичным, всегда остается вероятность неверного понимания задания, обусловленная либо индивидуальными особенностями испытуемого, либо несовершенством самого задания. Поэтому необходимо найти условия, которые позволили бы достаточно однозначно определить, понимают ли испытуемые спроектированное тестовое задание. Постараемся найти их.
Особенности организации и проведения единого государственного экзамена с использованием компьютерных тестов
Проблемы автоматизации тестового контроля знаний в реальных условиях проведения ЕГЭ связаны прежде всего с целым рядом негативных проявлений испытуемых к самой процедуре проведения обследования: мотива-ционными искажениями, страхом и боязнью компьютера как нового, не для всех понятного средства измерения знаний, конфиденциальностью процедуры. Опыт организации и проведения компьютерного тестирования как в нашей стране, так и за рубежом, показывает, что существуют требования, предъявляемые к техническим средствам автоматизации [27,43, 55, 147]:
1. Необходима большая пропускная способность для обеспечения группового метода тестирования. Число одновременно тестируемых выпускников определяется как санитарно-гигиеническими нормами, так и эргономическими характеристиками оснащения помещения и находится в пределах
2. Целесообразно оснащение специализированными пакетами прикладных программ для обработки статистической информации в реальном масштабе времени на линии эксперимента с целью выработки знаниевых норм по реальным выборкам (одной из методологических ошибок является попытка установления тестовых соотносительных норм по результатам предшествующих тестированию без учета реальной оценки знаний выпускников на данной выборке).
3. Должно соблюдаться условие считывания тест-материалов, обеспечивающих качественное воспроизведение информации с экранов мониторов в полном соответствии карандашно-бумажного теста его компьютерной версии.
4. Следует учитывать время реакции (ввода ответов испытуемых) с учетом функциональных группировок и неупорядоченности маршрута обслуживания элементов рабочего поля устройств ввода тестовой информации.
5. Возможно рационализировать индивидуальный темп работы выпускников с учетом поддержания их работоспособности за счет гибкого программного обеспечения компьютера, связанного с утомляемостью испытуемого (при необходимости следует делать определенные перерывы в подаче стимульного материала в зависимости от объема и уровня сложности заданий в дидактических тестах).
6. Обязательным условием организации и проведения компьютерного тестирования должна быть унификация комплекса технических средств автоматизации, включая специальное математическое обеспечение и пакеты прикладных программ для диагностики как уровня знаний, так и определения валидности и надежности дидактических тестов.
Первые варианты автоматизированных систем контроля знаний и обучающих курсов появились в начале шестидесятых годов XX века ("Наири-2", М-222, "Сетунь", "Минск-22", ЕС ЭВМ, "Урал-14" и др.) [26]. Научно-технический прогресс привел к коренному изменению практического использования вычислительной техники, которое можно объяснить следующими обстоятельствами:
1) совершенствованием элементной базы, связанной с переходом на микро-ЭВМ и возможность создания разветвленной серии пакетов прикладных программ для разработки психодиагностических и дидактических тестов;
2) подавляющее большинство абитуриентов и преподавателей (экзаменуюгцих) являются непрофессиональными пользователями, поэтому необходимо наличие операционных систем с развитыми языковыми средствами;
3) появлением систем поддержки принимаемых решений на основе экспертных систем, связанных с искусственным интеллектом, которые позволяют решать широкий диапазон научно-практических задач;
4) появлением автоматизированных рабочих мест у профессиональных пользователей как средств инструментария для организации и проведения психодиагностического и дидактического тестового контроля.
В целом ряде отечественных и зарубежных исследований [11, 39, 152, 190] в условиях резких социально-экономических изменений, когда количество безработных превышает число вакантных мест, проблема диагностики способностей и оценки знаний стала решаться в рамках задач, связанных с профессиональным психологических отбором. Анализ и обобщение целого ряда отечественных и зарубежных источников [20, 138, 187] позволил построить классификацию показателей эффективности профессионального отбора с учетом как знаниевых компонентов, так и профессионально важных качеств.
