Содержание к диссертации
Введение
Глава 1. Основные подходы в определении качества образования и возможности его измерения 16
1.1. Категория качества 16
1.2. Мера и оценка качества 41
1.3. Результаты образования и проблемы их измерения 49
1.4. Выводы 58
Глава 2. Повышение эффективности управления учебным процессом на основе оптимального взаимодействия в системе преподаватель - студент . 61
2.1. Основные понятия теории измерений в учебном процессе 61
2.2. Традиционные и инновационные формы тестовых заданий 69
2.3. Сравнение характеристик традиционного опроса и тестовых процедур 83
2.4. Фразы, пропозиции, формулировки и высказывания в образовательном процессе 89
2.5. Объяснение - понимание - ключевая проблема педагогического учебного процесса 96
2.6. Выводы 104
Глава 3. Разработка принципов формирования оптимальных композиций тестовых заданий 107
3.1. Формирование тестовых заданий различных форм на базе сложных композиций матричного типа 107
3.2. Моделирование тестовых заданий удвоенной и более высоких уровней альтернативы 110
3.3 «Семиотический» квадрат как основа тестовых заданий 127
3.4. Интегрирование тестовых заданий в соответствии с формализмом нормальных алгоритмов Маркова 132
3.5. Особенности тестовых заданий других форм 135
3.6. Выводы 136
Глава 4. Разработка композиций тестовых заданий матричного типа с произвольным числом множеств и элементами экспертных систем 138
4.1. Поиск оптимальных форм тестовых заданий 138
4.2. Тестовые задания с элементами экспертных систем 142
4.3. Анализ тестовых заданий матричного типа с большим числом множеств... 152
4.4. Формирование тестовых заданий с достаточным числом множеств для распознания образа (объекта) 164
4.5. Разработка композиций тестовых заданий, обладающих свойствами тестов в конкретной предметной области 171
4.6. Выводы 181
Глава 5. Применение различных измерительных шкал в управлении учебным процессом, их преобразование и погрешности 184
5.1. Аналогии в физических и семантических измерениях 184
5.2.Многократные наблюдения в системе измерений и схемы взаимного преобразования шкал 190
5.3. Алгоритм соотнесения аттестационных результатов, полученных на базе тестирования и традиционного экзамена 210
5.4. Оптимальные модели формы функции распределения при использовании тестовых технологий 215
5.5. Особенности применения нелинейных шкал 231
5.6. Выводы 240
Глава 6. Алгоритмы формирования различных форм тестовых заданий, параллельных и локальных тестов 244
6.1. Тестовые задания матричного типа на базе двух множеств (a,6j) при i=j=n. Случай п=2 244
6.2. Расширение возможности генерации тестовых заданий. Случай п—3 247
6.3. Генерация различных форм тестовых заданий из задания на соответствие порядка п=4 ип-5 250
6.4. Выводы 269
Глава 7. Основные принципы создания тестовых заданий, адекватно отражающих семантические составляющие информационных полей 272
7.1. Структура информационного поля 272
7.2. Построение тестовых заданий на основе табличных материалов 287
7.3. Формирование тестовых заданий на базе повествовательных текстов 300
7.4. Тестовые задания на конструирование 317
7.5. Выводы 319
Заключение 325
Библиографический список 342
- Объяснение - понимание - ключевая проблема педагогического учебного процесса
- Моделирование тестовых заданий удвоенной и более высоких уровней альтернативы
- Формирование тестовых заданий с достаточным числом множеств для распознания образа (объекта)
- Алгоритм соотнесения аттестационных результатов, полученных на базе тестирования и традиционного экзамена
Введение к работе
Проблема качества и управления качеством образования остается одной из ведущих для теоретиков и практиков системы образования различных уровней, отечественных и зарубежных.
В последние годы делаются попытки использовать в качестве методологической основы создания соответствующих систем управления качеством подготовки специалистов в вузе известные международные стандарты серии ИСО 9000, в частности, ИСО 9001 и 9004, рассматривая образовательную деятельность как процесс оказания услуг, несмотря на всю ее специфику.
Однако наиболее трудным и существенным является «постулат об «измеримости» составляющих образовательного процесса, его характеристик и параметров (семантических величин), то есть возможности формализации измерительных процедур, как это успешно сделано при измерении физических величин.
В первом приближении под качеством образования можно понимать степень достижения заданного уровня обученности (подготовленности), связанного с формированием определенных знаний, умений и навыков.
Современные зарубежные процедуры оценки качества высшего образования включают систему тестовой оценки знаний и способностей учащихся.
Значительное количество ученых и институтов, занимающихся вопросами оценки качества образования, не адекватно реальному продвижению в этой области и наличию значимых результатов. К настоящему времени не создана научно обоснованная система измерений показателей качества подготовки обучаемых.
Создание системы оценки качества подготовки лежит через разработку теории научной организации тестового контроля и использования возможности тестов.
На современном этапе приобретает особое значение работа по определению системы показателей качества, методов измерений и измерительных устройств, к которым наиболее часто относят тесты.
Разработка аттестационных тестов имеет дополнительные трудности, связанные с тем, что невозможно проверить учащихся по всему набору требований ГОС в рамках конкретной дисциплины, предмета, а тем более по всей совокупности изучаемых и изученных дисциплин.
Совершенствование требований ГОС, включая содержание и форму этих требований, должно обеспечить возможность создания стандартизированных средств в виде совокупности предметных и межпредметных тестов, форма и содержание тестовых заданий которых ориентированно и достаточно полно отражают содержание конкретных информационных источников.
Проблема исследования измерительных возможностей в образовании приковывает пристальное внимание теоретиков и практиков на протяжении длительного периода. Ее актуальность в последние годы стала проявляться и в направлениях образовательной деятельности высшего уровня, таких, как теория качества, квалиметрия, теория управления качеством, и в более «приземленных» областях, таких, как создание соответствующего измерительного инструмента, измерительных технологий, на всех этапах образования от грамотности к менталитету через образованность, профессиональную компетентность, культуру в интегрированной структуре образования как ценности, системы, процесса и результата.
Существенный вклад в достижение значительных успехов в названных направлениях внесли известные исследователи в области:
- философии образования - Х.-Г. Гадамер, Б.С. Гершунский, А.А. Вербицкий, Г.Л. Ильин, И.А. Зимняя, А.И. Субетто, Ю.Я. Клехо, Н.А. Бердяев, Н.С. Ладыжец, Е.В. Олесеюк, Ю.Г. Татур [12, 15, 18, 23, 24, 45, 49,50,51,63,72, 123-142, 145];
- квалитологии и управления качеством образования: А.И. Субетто,
М.М. Поташкин, В.В. Окрепилов, В.Ю. Огвоздин, Н.А. Селезнева, Литвак Б.Г., И.Б. Русман, В.И. Байденко, Р.Я. Касимов, Э.М. Сороко, Б.К. Коломиец, В.В. Щипанов, В.А. Качалов, А.Д. Гладун, Дзегеленюк И.И., Б.В. Гладков, А.А. Аветисов, А.Г. Дубницкий, И.Г. Галямина, И.В. Челпанов, В.М. Соколов, Б.А. Прудковский, Ю.К. Чернова, P.M. Хвастунов, А.В. Титов, Л.В. Макарова, А.А. Макаров, Д.М. Панин, Г. Саранцев, И. Сулима [19, 20, 25, 28, 31,33-36, 48, 56, 57, 59, 65, 66, 74, 79, 80, 95, 98, 99-101, НО, 114, 121, 122, 123-142, 143, 163, 164, 167, 175];
теории и практики измерений в образовании: В.В. Налимов, А.И. Субетто, Л.В. Макарова, А.А. Макаров, Г.Г. Татурова, Ю.Н. Толстова, Г.У. Матушанский, И.А. Зимняя, И.Э. Том, В.И. Красько [45, 46, 79, 84, 85, 89, 90-92, 123-142, 144, 151, 152];
теории текстов и знаковых систем: Ю. Кристева, К. Барт, К. Леви-Строс, Г.Г. Почепцов, М.М. Бахтин, В.П. Беспалько, Б.У. Родионов, А.О. Татур [13,73, 104, 108, 145];
теории и практики создания педагогических тестов и тестовых технологий: B.C. Аванесов, М.Б. Челышкова, Б.У. Родионов, А.О. Татур, В.А. Хлебников, А.Г. Шмелев, В.П. Беспалько, Л.М. Поддубная, П.Клайн, Г.У. Матушанский, СВ. Климин, А.С. Казаринов, Ю.Н. Семин, Ю.М. Нейман, А.И. Самыловский, А.В. Михеев, Н.А. Гришанова, Е.Г. Полуаршинова, В.Б. Моисеев, Л.Г. Пятирублевый, К.Р. Таранцева, В.В. Усманов, О.Ф. Шихо-ва., B.C. Черепанов, В.И. Нардюжев, И.В. Нардюжев, Н.В. Березин, Т.Г. Михалева, А.Н. Майоров и другие [2-9, 11, 13, 29, 53, 54, 62, 64, 82, 84, 93, 107, 108, 116-120, 145,168, 169].
Теория и методология измерений в профессиональном образовании на базе тестовых технологий остается актуальной в силу следующих обстоятельств.
Во-первых, попытки реализовать измерительные процедуры в системе образования без опоры на научно обоснованные теоретические подходы, без
8 использования достижений в области измерений в физическом мире привели к
накоплению ошибок, разрыву в известной цепи измерительных процедур, носящих классический характер, чрезмерному увлечению заключительной стадией названных измерительных этапов - статистической обработкой результатов оценок, измерений с поверхностным анализом погрешностей.
Возникло противоречие между достаточно высоким уровнем использования математико-статистических методов для анализа результатов измерений и заметной неопределенностью в области разработки измерительных преобразователей.
Во-вторых, одним из важнейших показателей полноты решения проблем измерений в образовании являются нечеткость и недостаточность понятийного аппарата в измерительных системах семантических величин.
Создание теории измерений настоятельно требует совершенствования понятийного аппарата, прогнозируемой интерпретации, что не достигнуто к настоящему времени и сдерживает методологические направления исследований.
В-третьих, теоретические и методологические подходы к измерениям в настоящее время являются прерогативой элитной части вузов и преподавателей. Несмотря на активную работу исследовательского центра проблем качества подготовки специалистов, центра тестирования, конференций и научных семинаров по квалиметрическим проблемам и системам тестирования, рядовой преподаватель не осознал личностно и остается не подготовленным к тому, чтобы профессионально поднять себя на новый уровень педагогических технологий, связанных с научными подходами в области измерений.
Образовательная система продолжительное время втягивала преподавателей в модульно-рейтинговую оценку продуктивности учебной деятельности, адаптировала его к ней фактически в принудительном порядке, что сдерживает признание современных измерительных процедур наряду с сохранением традиционных, разрешение противоречий между которыми должно происходить в
9 синергетическом плане от хаотического непризнания до организованного
взаимодействия.
В-четвертых, учебный процесс можно условно разделить на обучающую и контролирующую составляющие, которые протекают достаточно автономно друг от друга. Тотальный контроль учебной деятельности в течение всего учебного времени семестра, как правило, не связан с контролем уровня обученно-сти, знаний, который смещен на другой определенный учебным планом временной промежуток, что приводит к необходимости теоретического обоснования соответствия обучающей и контролирующей составляющих на базе современных измерительно-обучающих процедур.
Разрешение противоречия между обучающей и измерительной составляющими в учебном процессе осуществляется на основе тестовых технологий и их измерительного инструмента.
В-пятых, применение различных шкал в системе образования для определения рейтинга учебных заведений и учащихся, уровня обученности и знаний практически делает невозможным проводить сравнение измерений результатов образования, выполненных в различных временных и пространственных координатах. Декларированная определенность требований образовательных стандартов находится в противоречии с неопределенными возможностями их измерений.
Разрешение этого противоречия должно происходить в направлении формирования параметров и показателей, обладающих свойствами измеримости, и совершенствования измерительных средств, в том числе применения экспертных подходов, разработанных с использованием тестовых технологий.
В-шестых, наличие широкого спектра практических сборников с тестовыми заданиями различных форм не свидетельствует о создании теоретической и методологической основы их композиционного построения.
Возникли противоречия между широкой практикой по построению тестовых заданий и тестов и ограниченностью теоретико-методологических иссле-
дований в области отражений текста в тестовых заданиях, что необходимо решать на основе теории распаковывания смыслов герменевтических подходов и основ структурализма.
Объект исследования в диссертации - измерительные системы на базе тестовых технологий, обеспечивающие управление качеством учебного процесса профессионального образования.
Предмет исследования - структуры тестовых заданий, процессы и принципы их формирования, метрологические характеристики различных форм тестовых заданий, тестов.
Цель диссертационной работы. Повышение качества управления учебным процессом на основе комплексных тестовых измерительных систем
Для достижения цели в данном исследовании были поставлены задачи:
провести анализ понятия качества, выявить составляющие категории качества, основные признаки, способствующие раскрытию семантики данной категории в условиях многозначной интерпретации и конкретных подходов и применений;
определить основные возможности и направления применения тестовых технологий как измерительных процедур в системе высшего профессионального образования и выявить аналогии в измерениях физических и семантических величин;
создать основ герменевтической теории образования, включающей ось - объяснение-понимание-интерпретация через речь и тексты как формы дискурса;
разработать алгоритмы создания на основе тестовых заданий на соответствие (матричного типа) других форм тестовых заданий;
создать обобщённую модель тестовых заданий;
разработать новый понятийный аппарат в теории и практике композиционного построения тестовых заданий и тестов;
определить возможности создания тестовых заданий или их сово-
>
^
купности и тестов, обладающих признаками экспертных систем, сис-систем диагностики и распознавания;
выявить соотношения уровней обучающей и контролирующей составляющих тестовых заданий в зависимости от их форм;
создать модель трансформации шкал, применяемых в образовании;
разработать алгоритмы создания на базе компьютерного генерирования параллельных и локальных тестов гомогенного и гетерогенного характера, определить методологии подбора дистракторов для создания совершенных форм тестовых заданий;
разработать основные принципы создания тестовых заданий;
повести апробацию различных тестовых структур в учебном процессе.
Методы исследования основываются на общей теории измерений, теории управления, теории системного анализа и синтеза, квалитологии, квали-метрии и тестологии, теории множеств, прикладной информатике.
Научная новизна работы заключается в:
Создании комплексного подхода в управлении учебным процессом на основе тестовых технологий.
Раскрытии категории качества через интегральные характеристики базо-
вых направлений.
Использовании аналогий в измерениях семантических и физических величин.
Разработке обобщенной модели тестового задания.
Применении герменевтических подходов в учебном процессе.
Разработке модели соответствия различных шкал, применяемых в образовании.
Разработке системы принципов создания тестовых заданий, параллель-
ных и локальных тестов.
8. Создании модифицированной классификации тестовых заданий.
12 На защиту выносятся следующие положения:
1. Категория качества как измеряемая семантическая величина наиболее
полно раскрывается в образовании в триедином подходе через основные
направления
1.1.соответствия стандарту, применению, стоимости, скрытым потребностям;
1.2.содержательной трактовки образования как ценности, системы, процесса и результата;
1.3.динамического развития в цепи - грамотность-образованность-профессиональная компетентность-культура-менталитет на основе дискри-тивной, конструктивной и семантической квалиметрии.
Система аналогий измерений семантических и физических величин на базе первичных измерительных преобразователей в виде тестовых заданий, обладающих соответствующими метрологическими характеристиками, представляет собой основу развития измерительных процедур в образовании.
Предложенная обобщённая модель тестового задания обладает свойствами и потенциальными возможностями интегрирования и дифференцирования тестовых задании и позволяет рассматривать тестовое задание как модель текста.
Многоуровневая модель распаковывания смыслов на базе герменевтических подходов в условиях редукции текста позволяет провести оптимизацию учебного процесса в рамках знаниевого и информационного подхода.
Методы преобразования структур тестовых заданий и тестов в информационных полях позволяют создавать экспертные системы с построением семантических логистических траекторий для распознавания объекта.
Основными принципами построения тестовых заданий, параллельных и локальных тестов являются: принцип максимальной эквивалентности
13 тестового задания и текста, принцип максимального правдоподобия
элементов тестовых заданий, принцип однозначности, принцип
максимальной информативности, принцип оптимальной
сбалансированности обучающей и контролирующей функции, принцип
устойчивости тестовых заданий, принципы зависимости и независимости
столбцов тестовых заданий матричного типа.
Новая классификация тестовых заданий и тестов на основе предложенного понятийного аппарата.
Алгоритмы генерации гомогенных и гетерогенных тестовых заданий и тестов в предметной области.
Практическая полезность. Теоретическая ценность заключается в создании обобщённой модели форм тестовых заданий с прогнозируемыми метрологическими характеристиками на базе усовершенствованного понятийного аппарата с использованием аналогий измерений в физических полях, развитии теории отражения информационных полей в других знаковых системах, разработке новых принципов в тестовых технологиях, применении герменевтических подходов в образовании.
Практическая полезность работы определяется созданием методологической базы измерений семантических величин в поле знаний, алгоритмов преобразования шкал измерений, в том числе применением нелинейных шкал, генерированием и интегрированием тестовых композиций на различных информационных полях, разработкой предметных тестов гомогенного и гетерогенного характера в приложении к специальным курсам, их использованием в реальных условиях учебного процесса.
Достоверность и обоснованность полученных результатов обеспечивается выбором исходных положений и методов исследования, применением аналитических подходов к решению поставленных задач, комплексностью в разработке проблем исследования, экспериментальной апробацией теоретических результатов по созданию широкого спектра тестовых заданий и тестов в
14 предметных областях.
Апробация работы. Основные результаты работы докладывались на 8, 9 симпозиуме «Квалиметрия человека и образования: методология и практика» (г. Москва, 22 - 23 ноября 2000г., г. Москва, ноябрь 1999г.).
2 Всероссийская научно-практическая конференция «Развитие систем тестирования в России (г. Москва, 22 - 23 ноября 2000г.).
Всероссийская научно-методическая конференция «Дистанционное образование. Проблемы и перспективы развития» (г. Саратов, 6-7 февраля 1997г.).
Международная научно-методологическая конференция «Актуальность проблемы до вузовского образования» (г. Саратов, 10-11 января 2000г.)
Всероссийская научно-методическая конференция «Дистанционное образование. Состояние и перспективы развития» (г. Саратов, 18-19 ноября 1998г.)
Научно-методическая конференция «Современные методы обучения и контроля знаний студентов» (г. Саратов, 22 - 23 ноября 1995г.)
Международные научно-технические конференции «Актуальные проблемы электронного приборостроения» (г. Саратов, 20 - 22 сентября, 2000г., г. Саратов, 2002г.)
IV международная научно-методическая конференция «Педагогический менеджмент и прогрессивные технологии в образовании» (г. Саратов, 29.09 -01.10.97г.)
Межвузовская научно-методическая конференция «Информационные технологии в образовании» (г. Саратов, 25 - 26 октября 2000г.)
Межрегиональная научно-практическая конференция «Качество образования. Проблемы и перспективы развития ВУЗов Санкт - Петербурга с регионами России в контексте модификации образования» (г. Санкт-Петербург, 12 -14 марта 2002г.)
Научно-методическая конференция «Региональные особенности развития машино- и приборостроения, проблемы и опыт подготовки кадров» (г. Саратов, 22 - 25 мая, 2000г.)
^
Научно-методическая конференция «Образование для всех: пути интеграции» / Саратов, 9-10 января, 2003г.
Всероссийская научно-практическая конференция «Технологии интернет - на службу обществу» / Саратов, 14-15 апреля, 2003г.
Всероссийская научно-методическая конференция «Образование в современном мире: глобальное и локальное» / Саратов, 9-10 января 2004г.
Реализация результатов. Научные и практические результаты внедрены в учебный процесс Саратовского государственного технического университета на базе специальности «Электронные приборы и устройства» по курсам «Электронные приборы СВЧ», «Твердотельные приборы СВЧ» и др.
Созданы тесты по названным курсам, которые обеспечили совершенствование учебного процесса на базе учебных и учебно-методических пособий.
Выполнены дипломные проекты по тестовым заданий измерениям, программному обеспечению формированию тестов и тестовых заданий. По теме исследований работают 3 аспиранта.
Публикации. По материалам диссертации опубликована 1 монография, 2 учебных пособия, 59 научных и учебно-методических работ.
Структура и объём диссертации. Диссертация состоит из введения, 7 глав, заключения, библиографического списка и 6 приложений, содержит 368 страниц, 52 рисунков, 48 таблиц и библиографии из 232 наименований.
Объяснение - понимание - ключевая проблема педагогического учебного процесса
В последние годы пристальное внимание ученых и практиков уделялось проблеме квалитологии образования как составной части квалитологии - науки о качестве объектов и процессов, создаваемых и функционирующих в человеческой и общественной практике. Ведущая роль в разработке проблем квалитологии принадлежит А.И. Субетто, который сформулировал принцип организации квалитологии как проблемно-ориентированного научно-практического комплекса, в задачи которого входит обеспечение решения проблем в триединой системе составляющих квалитологии: теории качества, квалиметрии и теории управления качеством, связанных между собой понятиями, принципами и законами [124 - 142].
Автор [133] отмечает существенную роль методологического единства широкого разнообразия средств и методов оценки качества, составляющих синтетическую основу квалиметрии образования и являющихся базой таких направлений деятельности образования как аттестация, лицензирование, аккредитация, профориентация в образовательных системах различного уровня, которые способствуют созданию фундаментальной квалиметрической, оценочной культуры. А.И. Субетто [133], характеризуя логику цивилизованного развития в виде триады - вещественной, энергетической и интеллектуально-информационной, определяет роль качества как ключевой категории в последнем переходе от энергетической цивилизации к интеллектуально-информационной, через понятие синтетической революции, представляющей собой совокупность революций: системной, человеческой, интеллектуально-инновационной, квалитативной, рефлексивно-методологической и образова 17 тельной, развернувшихся во второй половине XX века.
На этапе человеческой революции А.И. Субетто отмечает проблему «универсального человека» как противоположность «частичному человеку», выращенному специализированной структурой промышленного производства до середины XX века. Автор предлагает также «новую парадигму профессионализма - профессионализма энциклопедического и проблемно Г ориентированного», реализация которой отодвигает «предел сложности».
Квалитативная революция (революция качества) породила условия, при которых система стандартов ИСО 9000 - 9003 сформировала инфраструктуру качества в форме «права качества» [133] - разветвленной системы законодательства по качеству, в форме механизмов сертификации качества товаров и систем качества у товаропроизводителей. Последнее стало возможным на фоне изменения механизма конкуренции на мировом рынке под влиянием фактора качества. В конце 50-х - начале 60-х годов сформировалась тенденция сдвига от ценового фактора к фактору качества товаров, от фактора качества товаров -к фактору качества технологии, далее - к факторам качества человека, качества образования, качества интеллекта. В начале 70-х годов ЮНЕСКО утверждает потребность в образовании как основную потребность наряду с питанием, здравоохранением и жильем.
Характеризуя мир «как универсум» Субетто А.И. определяет, что он делится на «объективный» и «рефлексивный» миры в сфере познания и в сфере деятельности человека, причем объективному миру автор приписывает при чинно-следственные связи на базе главного звена «взаимодействие», а рефлексивный мир является «отражением мира» и «самоотражением», что в свою очередь не менее существенно, чем взаимодействие в рамках объективного мира. Апеллируя к Лефевру, Субетто признает определение «рефлексивной системы как системы зеркал, многократно отражающих друг друга». Современная теория герменевтики также анализирует возможности реф 18 лексии, однако, в другой системе координат [103], поскольку само слово «герменевтика» означает последовательное осуществление интерпретации, т.е. устанавливает соотношения между понятиями истолкования и понимания. Рефлексия, в смысле понимания, также проходит многоступенчатую интерпретацию в процессе познания, через его соответствующие стадии. Анализ закономерностей в герменевтике: объяснение - понимание - интерпретация - ключевая проблема в современных подходах к качеству образования. Заключая анализ революций, Субетто А.И. [133] отмечает, что образовательная революция присутствует во всех составляющих синтетической революции, а само образование является «главным механизмом воспроизводства человека и общественного интеллекта». В [133] автором, как и в более ранних работах, сформулирован принцип единства качества и количества. Вследствие разделения количества на внешнее (экстенсивное) и внутреннее (интенсивное), а также внешневнутреннего дуализма качества Субетто А.И. устанавливает следующие принципы: - единства качества и интенсивного количества; - единства качества и экстенсивного количества. В рамках принципа единства качества и интенсивного количества интенсивное количество выражает развитость свойств объекта системы, процесса внутри общего качества объекта, системы. В то же время, он считает, что этот принцип является базисным условием измеримости качества, что представляется небесспорным. Принцип единства качества и экстенсивного количества определяет [133] экстенсивное количество как количество «дискретных, однородных качеств, формирующихся путем эквивалентирования, классифицирования качеств по элементам качества - свойствам, структуре, функциям...», т.е. осуществляет исчисление однородных качеств через отношения соизмерений. Надо отдать должное этим рассуждениям. Фактически мы не измеряем качество, а определяем отношения соизмерений. Субетто также вводит понятия интенсионала и экстенсионала, связанные с категориями интенсивного и экстенсивного количества. По его мнению, экс-тенсионал класса, как мера этого класса, определяет количество однородных качеств внутри класса, который приобретает содержание квалитаксона. К концу 80-х годов усилиями А.И.Субетто завершено формирование синтетической квалиметрии как науки об измерении и оценке качества любых объектов и процессов с расширением понимания квалиметрии на основе обобщения категорий «измерения», «оценивания», «шкалирования» с трехуровневой методологической трактовкой - трехслойной синтетической квалиметрией: общей, специальной и предметной квалиметрией [132]. В этой же работе Субетто дает еще одну классификацию квалиметрии, пронизывающую все вышеупомянутые составляющие синтетической квалиметрии (к этой классификации, к сожалению, автор в более поздних работах не возвращается): - дескриптивная квалиметрия (теория измерения качества как «измерения величины»); - конструктивная квалиметрия (теория измерения качества как «приписывания чисел»); - семантическая квалиметрия (теория измерения качества как процедуры приписывания семантических, «смысловых» единиц). Эта классификация вполне может представлять собой отдельный слой или отдельную страту, однако сложность подбора обобщенного названия этим квалиметриям не позволила расширить синтетическую квалиметрию до четвертого уровня.
Моделирование тестовых заданий удвоенной и более высоких уровней альтернативы
Инвариантные части хорошо формализуются в силу своей статичности, стабильности, и на них можно строить базы оценки в образовании, о чем говорилось еще в [108], они также могут стать основой стандартов и эталонов предметных знаний и системы образования.
Свойства системы образования определяются наличием инвариантных качеств [24], характеризующих как систему в целом, так и ее составляющие -образовательные учреждения: гибкость, динамичность, вариативность, адаптивность, стабильность, прогностичность, преемственность, целостность и др.
Проблема образования как процесса ждет [24] своего многоаспектного доказательного решения, особенно на современном этапе, в условиях внедрения и реализации информационных педагогических технологий, когда может разрушиться органическое триединство взаимодополняющих педагогических акций, связанных с достижением обучения, воспитания иразвития. Возможности решения на алгоритмическом уровне различных целевых, содержательно-процессуальных и контрольно-оценочных педагогических проблем не должны потерять главное в образовательном процессе - личность обучаемого, его индивидуальный духовный мир, достоинство и уникальность индивидуума. Усиление деятельности педагога автор [24] видит в использовании теории принятия решений на фоне интуитивного начала.
Такому направлению созвучна работа Р.Я. Касимова [57], который считает, что важнейшим психологическим явлением является интуиция преподавателя в процессе измерения качества обученности студента.
Наиболее важно, с точки зрения задач научного исследования, рассматривать основы подхода к образованию как результату, итогу, «продукции» образовательной деятельности, которую по [24] можно категорировать по возможности оценивания - как непосредственно на педагогическом уровне через призму личностных достижений в виде качественно-количественных характеристик знаний, умений, навыков, творческих, поведенческих и других качеств, так и опосредованно на уровне соответствующих характеристик общества, государства, цивилизации в целом. Причем, автор предлагает рассматривать иерархическое образовательное восхождение человека к все более высоким образовательным результатам по лестнице: грамотность, образованность, профессиональная компетентность - культура - менталитет.
В связи с отсутствием теоретической концепции грамотности, по мнению Гершунского, можно остановиться на понятии грамотности как минимально необходимом уровне знаний, умений, навыков, творческих, мировоззренческих и поведенческих качеств личности, которые требуются для включения в разнообразные виды деятельности и отношений и являются стартовой основой для последующего продвижения к другим ступеням образования: от образованности к менталитету в условиях их зародышевого наличия на стадии грамотности. Более простое определение грамотности, считает Гершунский, это такой уровень обученности, который требуется гражданам, чтобы функционировать в обществе [24].
Грамотность, как составная часть образованности, становится образованностью, если она, грамотность, достигает общественного и личностного максимума, подразделяясь на функциональные грамотности, доведенные в условиях максимализации до принятых общих видов образованности, в том числе компьютерной, информационной, экономической, правовой, политической, языковой и других, являющихся, в свою очередь, базой дальнейшего продвижения по упомянутой иерархической лестнице.
Гершунский делает ошибочное заключение, связывая образованность с общим образованием, фактически ограничивая структурные, содержательные и временные рамки образованности на уровне, в общем случае, общего среднего образования, не пытаясь его экстраполировать на более высокие ступени результативности образования. Однако далее (с. 320) Гершунский говорит об образованности на каждом уровне образования, включая, по всей видимости, и
профессиональное образование. Более логичным и обоснованным является решение поиска результативности образованности и на уровне профессиональной компетентности, тем самым создавая возможности увеличения результативности видов образованности в широком аспекте, доводя ее до уровня профессиональной компетентности, которая возможна, в силу известных условий, только в ограниченной сфере деятельности или ограниченных сферах функционирования.
Гершунский сужает и «профессиональную компетентность» до уровня «собственно профессионального образования», а образованность - до уровня «общей образованности».
Двусмысленность остается и при оценке результативности в понятии «культура» - как высшем проявлении человеческой образованности и профессиональной компетентности, существенными атрибутами которой являются: осознанное и уважительное отношение к наследию прошлого, способность к творческому восприятию, пониманию и преобразованию действительности в той или иной сфере деятельности и отношений.
Гершунский отмечает также сложность оценки одной из результирующих составляющих образования - ментальных приобретений личности и социума, особенно в условиях реального времени и побочного воздействия других факторов.
В то же время автор считает необходимой оценку социальной отдачи образования, оценки ментальных параметров, без которой невозможно рассчитывать на доказательное внесение необходимых корректив в политику и стратегию образования.
При всем разнообразии дефиниций менталитета, связанных с категориями «ума», «образа мыслей», «характера размышлений», «мыслительных способностей» или «склада ума», «мироощущения», «мировосприятия»... или сочетаний: «социальные нормы», «отношение к миру», «убеждения», «идеалы», «социальные установки», «стереотипы поведения», «национальный характер», «народный дух» и т.д. или «индивидуальное, общественное и массовое сознание», «мировоззрение», «национальный логос», «социальная память», «всеобщий интеллект», «общественное мнение» и прочее, менталитет, необходимо рассматривать в известном триединстве -на уровне знания сущности и отличительных особенностей этого явления; -на уровне познания его сущности в ее динамике и непрерывном углублении с целью получения нового знания о том или ином явлении; -на уровне формирования и преобразования соответствующих характеристик рассматриваемого явления. В условиях разграничений в понимании его трех уровней: -индивидуального менталитета.
Формирование тестовых заданий с достаточным числом множеств для распознания образа (объекта)
Оформление таких тестовых заданий требует повышенной точности как в описательной (текстовой) части самого задания, так и в определении правильности и полноты ответа. 5. Принцип сочетания - формулирование задания с двумя ответами, ос нованными на сочетании нескольких слов в каждом из ответов, как без повто рения слов в этих ответах, так и при наличии повторений, как в случае исполь зования правила цепочки, когда последнее слово первого варианта ответа ста новится первым словом во втором варианте ответа, однако это правило лучше использовать для разработки заданий с тремя и более вариантами ответов, если признать, что не бесспорно, правило цепочки эффективным. Принципы кумуляции и сочетания имеют ограниченное применение при издании тестовых заданий для педагогических тестов.
При составлении тестовых заданий наиболее существенным является подбор второго, называемого неправильным, варианта ответа, расположенного рядом с правильным. Считается, что второй вариант ответа должен быть «правдоподобным». Если перейти к другой терминологии (поскольку термин, «правдоподобный» является размытым, неопределенным), использующей понятие истина - ложь, то по аналогии можно определить «правдоподобный», как полу истинный или, что еще хуже, - полу ложный что вообще запутывает ситуацию при подборе второго варианта ответа. Определение неправильного варианта ответа как дистрактора (to distract - отвлекать) более точно характеризует его назначение. Главная черта дистрактора - его корректность относительно содержания текста, по которому формулируется тестовое задание, причем эффективность дистрактора значительно повышается, если этот вариант ответа, считающийся совершенно ложным для данного содержания тестового задания, связанного с конкретным явлением, событием, устройством и т.д., становится истинным для какого-то другого явления, события, устройства и т.д. В противном случае образовательная составляющая тестового задания практически отсутствует, сохраняя только контролирующую.
По аналогии с двумя вариантами ответов строятся задания с тремя и более вариантами ответов. Наиболее привлекательными рассматриваются тестовые задания с пятью вариантами ответов. Дальнейшее увеличение вариантов ответов считается нецелесообразным, хотя это и не имеет доказательной основы. Кроме названных выше принципов, при построении тестовых заданий с количеством вариантов ответов более двух могут использоваться и новые принципы. Например, при четырех вариантах ответов могут формулироваться задания, построенные по принципу удвоенной альтернативы [2]. Этот принцип используется тогда, когда имеется возможность сравнить, сопоставить один объект, одно явление и т.д. по двум признакам, свойствам и т.д. или два объекта по одному признаку, причем сравнение сопоставления по каждому, например, признаку происходит в «режиме» противопоставления по величине, виду зависимости, используя как варианты ответов тестовых заданий, построенных по принципу классификации, так и варианты ответов тестовых заданий, построенных по принципу противоположности или противоречия, что и заложено в названии этого принципа. Наверное, более точным было бы название «удвоенной противоположности», по аналогии с принципом противо 75 положности. Развитие этого принципа является одним из предметов исследования. При создании типовых заданий с использованием принципа удвоенной альтернативы должна изначально присутствовать противоположность (или противоречие) у сопоставляемых явлений, устройств и т.д. в том числе и тривиальные «больше - меньше», т.е. используются признаки отличия, причем они, эти отличия, должны быть существенными в принятом диапазоне рассмотрении. Задания удвоенной альтернативы могут рассматриваться как вариант заданий на соответствие. Этот вывод напрашивается в связи с тем, что фактически в этом задании присутствуют два множества. Сказанное следует интерпретировать как предложение рассматривать задания, построенные по принципу удвоенной альтернативы, как составляющие тестовых заданий на соответствие, которыми в общем плане, как будет показано позже, являются фактически все тестовые задания. Еще один принцип, который необходимо отметить особо - это принцип градуирования при составлении тестовых заданий. Этот принцип работает, когда наиболее целесообразной, а может, и единственной при формировании вариантов является порядковая шкала, т.е. шкала, которая содержит упорядоченные элементы, но без учета расстояний между ними. В этих заданиях наиболее часто используются разновидности ответов, например, для определения высоты березы: очень высокая высокая средней высоты низкая очень низкая Однако такие задания, как будет показано в исследовании, являются разновидностью заданий, построенных при совмещении принципов контрадикторное и контрарности. Разновидности ответов могут задаваться через числовой ряд возможных значений, которые может принимать измеряемая величина. В этом случае пять вариантов ответов могут быть представлены в виде: 5, 6, 8, 12, 15. Кстати, такая шкала нашла широкое применение в заданиях псевдотестовых (по терминологии Аванесова), на решение конкретных физических, химических и других задач, когда сам ход решения не проявляется как результат тестового задания, а ограниченно рассматривается факт совпадения результата решения в числовом виде с числовым вариантом ответа. Признать набор задач такого типа, даже построенных по принципу возрастающей трудности и позволяющих произвести статистическую обработку результатов контроля, педагогическим тестом в трактовке Аванесова нельзя. Это «обычный» тест как совокупность тестовых заданий, не созданных по принципу специфической формы. Тестовые задания могут использовать для своего композиционного оформления не один, а несколько принципов. В тестовых заданиях на выбор правильного ответа можно допускать несколько правильных ответов, что увеличивает возможности проверки классификационных и фактуальных знаний. Если не требуется выбрать самый правильный ответ из предлагаемого набора правильных (лучше здесь говорить о наиболее полном ответе), то такие задания оценивают сопоставительные, сравнительные знания. В этом случае выбор шкалы оценивания приобретает особый смысл, поскольку при подстановке нескольких правильных ответов четкость утверждения "размывается" среди этих вариантов. Рассмотренные задания на выбор правильного ответа относятся к тестовым заданиям закрытой формьг.
Алгоритм соотнесения аттестационных результатов, полученных на базе тестирования и традиционного экзамена
Сопоставим традиционный подход в оценке знаний студентов и тестовые процедуры в рамках ограниченного информационного поля об уровне Ферми [176]. При традиционном (обычном) подходе, чтобы определить степень по расположению уровня Ферми [176] усвоенности обучающимся изученного материала, размещенного на с. 191, необходимо сформулировать серию вопросов. В реферируемом тексте есть только одна фраза, связанная с уровнем Ферми. «Уровень Ферми в вырожденном полупроводнике n-типа находится в зоне проводимости». И вся информация. Естественно, студент, получив такую информацию, должен понять, что она неполная, поскольку в тексте речь идет только о вырожденных полупроводниках n-типа, а есть еще и невырожденные полупроводники n-типа и их противоположности р-типа. Следовательно, он должен восстановить уже полученную ранее информацию в памяти или обратиться вновь к соответствующему учебнику. При самом общем подходе вопрос может быть сформулирован в следующем виде: «Где располагается уровень Ферми в полупроводнике? » В этом случае одним из вариантов ответа может быть следующий: «В центре запрещенной зоны». Преподавателю понятно, что этот ответ правильный, но неполный, поэтому он ждет продолжения ответа. Возникает пауза, которая может сопровождаться молчанием преподавателя, не выразившего своего отношения к этому ответу, или его согласием в виде кивка головы, подтверждения «да - да» или что-то вроде «продолжайте».
В первом случае опрашиваемый может понять безразличие преподавателя как реакцию и на неправильный ответ, что заставит его попытаться протащить другой ответ, например, «в валентной зоне», что, как ни парадоксально, тоже правильно. Однако это уже дает возможность преподавателю сделать вывод о случайности формирования студентом ответа, поскольку и этот вариант ответа остается крайне неполным. В дальнейшем взаимодействие двух систем преподаватель - студент может развиваться по крайней мере по двум направлениям. Отсутствие со стороны студента ответа с более полной информацией по сути вопроса подтолкнет преподавателя к окончанию собеседования по данному вопросу и вынесению соответствующего вердикта. Другой преподаватель попытается добраться до «самой сути».
Несовершенство вопроса состоит в том, что он поставлен в самом общем виде и нуждается при описанном взаимодействии систем в конкретизации или, можно сказать, в совершенствовании, что, конечно, не одно и то же.
Общий характер приведенного выше вопроса не говорит об его недостатке, так как он предполагает получить информацию о знаниях в полном объеме. С другой стороны, общность вопроса порождает неполноту ответа, движение к полному ответу длительным путем через дополнительные, пояснительные и конкретизирующие вопросы. Процедура взаимодействия становится трудно прогнозируемой, случайной, т.к. в процесс опроса вмешиваются субъективные моменты: терпение преподавателя, его доброжелательность, стремление не только выслушать ответ, но и понять его происхождение и т.д.
Далее следует, например, дополнительный - конкретизирующий вопрос: «Где располагается уровень Ферми в примесном полупроводнике? » Возможный ответ студента: «В запрещенной зоне». Ответ неточный, но неправильным его назвать нельзя. Складывается впечатление, что студент не прореагировал на то, что в вопросе появилась конкретизация «примесном» и он должен (если знает) был ответить : «Уровень Ферми располагается в запрещенной зоне ближе к валентной зоне для полупроводника р - типа и ближе к зоне проводимости для полупроводника п - типа. »
В рамках заданного вопроса и этот ответ остается неполным, хотя если преподаватель хотел услышать именно этот ответ, он может оценить его как полный, его удовлетворяющий, с выводом соответствующей оценки. Мог прозвучать и другой вариант ответа: «Уровень Ферми располагается выше центра запрещенной зоны для полупроводников п - типа и ниже центра запрещенной зоны для полупроводниковр - типа».
Данный ответ имеет сложную интерпретацию. Приведенный вариант ответа является формально абсолютно правильным, соответствующим поставленному вопросу. Студенту нет дела до того, что, облекая содержание вопроса в не совсем удачную форму, преподаватель подразумевал нечто большее, чем он услышал в ответе. Возникает противоречие, которое непросто разрешить, если преподаватель пытается оценить ответ как неполный, который и является таковым по существу. То есть ответ на поставленный вопрос, будучи абсолютно (это надо подчеркнуть) правильным по форме, остается неполным по содержанию.
Другие варианты. Более спокойный, дотошный, терпеливый преподаватель, который работает не на живот, а на идею, «сеятель светлого, разумного, вечного», чтобы окончательно выяснить знание студента по этому великому «уровню Ферми», должен продолжить свой поиск и задать новый вопрос хотя бы в краткой форме, поскольку предметом разговора опроса остается расположение уровня Ферми: «А как будет (что будет) в вырожденном полупроводнике? »
Следует ответ: «В вырожденном полупроводнике п - типа уровень Ферми располагается в зоне проводимости, а в вырожденных полупроводниках р - типа - в валентной зоне».
Следовательно, в ответе, претендующем на полноту и правильность (истинность) и являющемся откликом на вопрос, сформулированный в самом общем виде, «Где располагается уровень Ферми в полупроводнике?» студент должен ответить:
