Содержание к диссертации
Введение
1 Тесты как элемент обратной связи системы управления учебным процессом вуза 10
1.1 Общие вопросы теории управления социально-экономическими системами 10
1.2 Управление учебным процессом в вузе 14
1.3 Разработка тестовых систем 19
1.3.1 Методика разработки тестовых систем 19
1.3.2 Проведение контрольных опросов и анализ тестовой системы 37
1.3.3 Автоматизация тестирования 41
1.3.4 Разработка тестовой системы по. дисциплине «Экономическая информатика» . 49
2 Сравнительный анализ тестовых систем 55
2.1 Содержательный анализ тестовых систем 55
2.2 Показатели качества тестовых систем 81
2.3 Применение экспертных методов для оценки качества тестовых систем 85
2.4 Сравнение тестовых систем по критерию функциональной полноты
3 Построение шкалы оценок в системах тестирования 94
3.1 Анализ существующих тенденций в оценке знаний и построении шкалы оценок 94
3.2 Статистический подход к построению шкалы оценок 102
3.3 Контроль качества построенной шкалы оценок 106
Заключение 118
Список использованных источников
- Управление учебным процессом в вузе
- Проведение контрольных опросов и анализ тестовой системы
- Применение экспертных методов для оценки качества тестовых систем
- Статистический подход к построению шкалы оценок
Введение к работе
В условиях перехода к рыночным отношениям вопросы качества подготовки специалистов любого профиля, а особенно экономистов, приобретают первостепенное значение. Ведь известно, что чем выше уровень квалификации работника, тем он быстрее адаптируется к изменениям среды, принимает более верные решения и творчески подходит к выполнению своих служебных обязанностей. Именно поэтому в указе Президента Российской Федерации от 11 июля 1991г. «О первоочередных мерах по развитию образования в РСФСР» провозглашена приоритетность сферы образования для развития интеллектуального, культурного и экономического потенциала России [60].
Развитие системы образования всегда тесным образом связано с теми социально-экономическими условиями, в которых оно происходит. Не случайно, что решающим источником экономического роста в современном мире являются знания и умение их использовать.
В соответствии с принятой концепцией информатизации общества цель внедрения компьютерных технологий в сферу образования состоит в глобальной рационализации интеллектуальной деятельности за счет использования новых средств информатики, радикальном повышении эффективности и качества подготовки специалистов, т.е. подготовки кадров с новым типом мышления, соответствующим требованиям постиндустриального общества {13].
В результате достижения этой цели в обществе должны быть обеспечены массовая компьютерная грамотность и формирование новой информационной культуры мышления путем индивидуализации образования. Действительно, рынок труда ставит специалистов в конкурентные отношения друг к другу. Поэтому только отличная профессиональная подготовка, глубокие теоретические знания и практические на-
выки позволят им хорошо ориентироваться и успешно решать свои жизненные проблемы в сложных рыночных условиях.
С целью улучшения организации и повышения эффективности работ по созданию и внедрению новых технологий обучения в высшей школе в приказе Госкомитета РФ от 4 ноября 1994г. N 1071 среди прочих были определены следующие задачи [77]:
анализ мировых тенденций и прогнозирование перспектив развития новых, в том числе информационных, технологий обучения, научное руководство фундаментальными и прикладными исследованиями в этой области,
координация работ по созданию программных, информационных и методических средств учебного назначения, в том числе на основе открытых конкурсов (по грантам);
координация работ по подготовке преподавательских кадров высшей школы в области новых технологий обучения, организация обмена опытом их внедрения в учебном процессе;
координация работ по международному сотрудничеству в области новых технологий обучения, в том числе со странами СНГ.
Качественно новые возможности самоподготовки и совершенствования профессиональных знаний предоставляют новые информационные технологии обучения на расстоянии (дистанционное образование) с использованием локальных и распределенных сетей, аудиогра-фики, видеокассет, телевизионного кабельного и спутникового видео-вещания.
Предполагается, что одним из ведущих элементов организационной инфраструктуры высшей школы должны стать центры тестирования знаний. Современное тестирование - это информационная технология для контроля уровня получаемых знаний, объединяющая новые технические и программные средства и традиционные способы методиче-
ского обеспечения учебного процесса. Преимущество такой технологии контроля уровня подготовки состоит в более объективной аттестации и сертификации знаний, уменьшении влияния субъективного фактора при контроле знаний, обеспечении единства требований к уровню знаний. С этой целью предполагается внедрение государственных информационных технологий тестирования и создание на территории России разветвленной сети центров тестирования и сертификации высшего образования, а также разработка тестов, научных основ, методов и средств для аттестации и сертификации знаний абитуриентов, студентов и специалистов [13, 46].
Контроль и оценка знаний - важные элементы процесса обучения. Они отражаются во всем методическом обеспечении учебного процесса, а также в специальных контрольно-оценочных материалах (контрольных работах, тестах, экзаменационных билетах) [88].
В научной литературе и периодике уделяется достаточно
большое внимание вопросам контроля и оценки знаний [1, 5,8,13,14,16,26,29,31,39,40,41,42,43,46,47,60,66,74, 75,77,78,81,84,86,94, 95,101,102,104,106,110,112,121,127,128,133,134 и др.]. Специалистами выделяются следующие преимущества тестового контроля знаний по сравнению с традиционными формами [50,121,128]
объективность оценки - независимо от симпатий и антипатий преподавателя,
позитивное стимулирующее воздействие на познавательную деятельность студента;
возможность существенно снизить напряженность между преподавателем и студентом, а также снять эмоциональную (стрессовую) нагрузку на преподавателя и студента;
быстрота контроля знаний студентов - одновременное тести рование всей группы;
широкий охват материала - в гест включаются вопросы по всем пройденным темам,
методическая основа для интеграции дисциплин - междисциплинарные тесты, тесты по спецпредмету;
невозможность пользоваться шпаргалкой;
необходимость для студентов запоминать не только тему в целом, но и многие детали, которые при обычной подготовке ускользают от внимания,
ориентированность на современные технические средства, на использование в среде автоматизированных обучающих и контролирующих систем;
универсальность, охват всех стадий процесса обучения - тесты применяются при аттестации (промежуточной и итоговой), для обучения, самоконтроля и самоподготовки.
Таким образом, использование и широкое применение тестовых систем обусловлено рядом причин. И прежде всего необходимостью повысить качество контроля знаний, а следовательно, и уровень обу-ченности (подготовленности) специалиста.
Однако, нам не известны исследования, посвященные сравнительному (количественному) анализу эксплуатационных характеристик различных систем тестирования. Нам также не встречались работы, связанные с построением шкалы оценок в системах тестирования и контроля качества сформированной шкалы.
Цель настоящей работы - анализ систем тестирования и разработка рекомендаций по совершенствованию процесса их создания и применения
Для достижения поставленной цели на основе исследования сложившейся практики в изучаемой предметной области необходимо бы-ло решить следующие задачи;
1) исследовать существующие подходы к созданию тестовых сис
тем,
разработать рекомендации по совершенствованию процесса создания тестов;
провести содержательный анализ эксплуатационных характеристик автоматизированных систем тестирования;
определить перечень функций, реализуемых существующими системами тестирования;
количественно оценить степень соответствия той или иной системы требованиям пользователя к функциональной полноте; проранжи-ровать тестовые системы по критерию функциональной полноты; оценить степень взаимосвязи между тестовыми системами по функциональным операциям;
рассмотреть существующие подходы к построению шкалы оценок в тестовых системах; оценить возможность применения статистического подхода к построению шкалы оценок и к контролю качества используемой шкалы.
В качестве объекта исследования выбраны системы тестирования как. инструмент управления учебным процессом в вузе.
В результате исследования получены новые прикладные и теоретические результаты На защиту выносятся.
результаты исследования процесса разработки тестовых систем, позволившие выработать рекомендации по его совершенствова нию, в частности сформулировать предложения по выбору количества вариантов ответов на задания закрытой формы,
результаты содержательного и формализованного анализа компьютерных систем тестирования, позволившие впервые выявить полный перечень функциональных операций, выполняемых наиболее распространенными автоматизированными тестовыми системами;
результаты сравнительного анализа систем тестирования по критерию функциональной полноты, впервые позволившие количественно оценить степень взаимосвязи между системами тестирования по функциональным операциям, проранжировать тестовые системы по критерию функциональной полноты,
построенная с использованием методов непараметрической статистики шкала оценок для системы тестирования и результаты количественного (математико-статистического) анализа качества построенной шкалы.
Новыми являются
а) сформированный в процессе содержательного и количествен
ного (формализованного) анализа полный перечень функций, реали
зуемых наиболее распространенными тестовыми системами, а также
предложения по составу обязательных функциональных операций;
б) результаты оценки функциональной полноты автоматизирован
ных тестовых систем, позволившие систематизировать сведения о
функциональной полноте существующих тестовых систем и количест
венно оценивать степень соответствия тестовой системы требованиям
пользователя к функциональной полноте;
в) полученные количественные оценки степени взаимосвязи меж
ду системами тестирования и рассчитанные ранги тестовых систем по
критерию функциональной полноты, использование которых позволяет
формировать группы тестовых систем, имеющих одинаковую функцио
нальную полноту, сопоставлять их цены и другие характеристики;
г) предложения по выбору количества вариантов ответов на зада
ния закрытой формы, при использовании которых заметно снижается
вероятность случайного угадывания правильного ответа;
д) разработанные алгоритмы создания тестовой системы и схемы
функционирования автоматизированной тестовой системы, система
тестов по информатике;
е) построенная с использованием методов непараметрической статистики шкала оценок для конкретной системы тестирования и результаты контроля качества построенной шкалы, также базирующиеся на применении математико-статистического инструментария.
Теоретической и методологической основой исследования явились труды российских и зарубежных ученых по рассматриваемой проблеме, материалы конференций и совещаний, статьи в сборниках научных трудов и периодической печати по проблемам, относящимся к теме исследования, большой теоретический и прикладной материал вузов, научно-исследовательских и проектных институтов, данные проведенных экспериментальных исследований. В качестве инструментария для решения поставленных задач использовались теория баз данных, теория экспертных оценок, метод формализованного анализа информационных характеристик объекта управления, алгоритм сравнения сложных систем по критерию функциональной полноты, а также современные программные средства
Внедрение тестовых систем позволяет повысить качество контрольных мероприятий, снизить долю субъективизма в процессе контроля знаний, сократить время для проведения зачетных занятий, повысить заинтересованность студентов в результатах обучения, осуществить на практике принцип единства требований к уровню знаний
Управление учебным процессом в вузе
Термин «система» используют в тех случаях, когда хотят охарактеризовать исследуемый или проектируемый объект как нечто целое, сложное, о котором невозможно сразу дать представление. Существует несколько десятков определений этого понятия. В первых определениях в той или иной форме говорилось о том, чю система - это элементы (части, компоненты) и связи (отношения) между ними. Далее для уточнения элементов и связей в определения включают свойства. Затем в определениях системы появляется понятие цель. И наконец, в определение системы начинают включать наблюдателя, т.е. лицо, представляющее объект или процесс в виде системы при их исследовании или принятии решения [9].
Понятия, входящие в определение системы, тесно связаны между собой, не могут быть определены независимо и определяются одно через другое, уточняя друг друга. Под элементом принято понимать простейшую, неделимую часть системы. Точнее элемент - это предел членения системы с точки зрения аспекта рассмотрения, решения конкретной задачи, поставленной цели. Подсистема подразумевает, что выделяется относительно независимая часть системы, обладающая свойствами системы, и в частности, имеющая подцель, на достижение которой ориентирована подсистема. Если части системы не обладают такими свойствами, а представляют собой просто совокупности однородных элементов, то такие части принято называть компонентами. Понятие связь входит в любое определение системы и обеспечивает возникновение и сохранение ее целостных свойств. Это понятие одновременно характеризует и строение, и функционирование системы. Связь определяют как ограничение степени свободы элементов. Понятие цель и связанные с ним понятия целесообразности, целенаправленности лежат в основе развития системы. Изучению этих понятий большое внимание уделяется в философии, психологии, кибернетике [9,98].
Чаще всего при исследовании объекта требуется выяснить, что в нем обеспечивает выполнение поставленной цели, получение требуемых результатов. В этих случаях систему отображают путем расчленения на подсистемы, компоненты, элементы с взаимосвязями, которые могут носить различный характер и вводят понятие структуры. Структура отражает определенные взаимосвязи, взаиморасположение составных частей системы, ее устройство (строение).
Процессы, происходящие в сложных системах, сразу не удается представить в виде математических соотношений или алгоритмов. Поэтому для того, чтобы охарактеризовать стабильную ситуацию или ее изменения, используют специальные термины Понятием состояние обычно характеризуют мгновенный «срез» системы, остановку в ее развитии Если система способна переходить из одного состояния в другое, то она обладает поведением Понятие равновесия определяют как способность системы в отсутствии внешних возмущающих воздействий сохранять свое состояние сколь угодно долго Под устойчивостью понимают способность системы возвращаться в состояние равновесия после того, как она была из этого состояния выведена под влиянием внешних (или внутренних) возмущающих воздействий Понятие развития помогает объяснить сложные термодинамические и информационные процессы в природе и обществе, Исследование процесса развития, соотношения развития и устойчивости, изучение механизмов, лежащих в их основе, - наиболее сложные задачи теории систем [9, 15] Системы подразделяют на классы по различным признакам, и в зависимости от решаемой задачи можно выбирать разные принципы классификации по виду отображаемого объекта (технические, биологические, экономические, социальные и др.), по виду научного направления, используемого для их моделирования (математические, физические, химические и др.) Системы делят на детерминированные и стохастические, открытые и закрытые, абстрактные и материальные и т д. [9, 98].
При разработке систем возникает проблема выбора методов моделирования Выделяют два больших класса [9]. методы формализованного представления систем и методы, направленные на активизацию использования интуиции и опыта специалистов. Методы формализованного представления систем в свою очередь подразделяются на: аналитические (методы классической математики, включая интегральное и дифференциальное исчисление, методы поиска экстремумов функций, вариационное исчисление и т.п., методы математического программирования; методы теории игр); стохастические (теория вероятности, математическая статистика, прикладная математика, теория массового обслуживания, методы выдвижения и проверки статистических гипотез и другие методы статистического и имитационного моделирования), логические, лингвистические, методы дискретной математики, графические. Методы, направленные на активизацию использования интуиции и опыта специалистов, делятся на: методы типа «мозговой атаки» или коллективной генерации идей, методы типа «сценариев»; методы типа «дерева целей», методы экспертных оценок, методы типа «Дельфи»; методы структуризации, морфологические методы.
Проведение контрольных опросов и анализ тестовой системы
Контроль знаний обучаемых представляет собой одно из важных и в тоже время одно из слабых (по характеру организации и уровню теоре-шческой исследовательности) звеньев учебного процесса. «Главный и общепризнанный недостаток существующих форм и методов контроля заключается в том, что в большинстве случаев они еще не обеспечивают необходимой устойчивости и инвариантности оценки качества усвоения учебной информации, а также необходимой адекватности этой оценки действительному уровню знаний Все мероприятия в области совершенствования контроля за ходом обучения должны концентрироваться вокруг узловой проблемы - повышения достоверности оценки формируемых знаний и навыков Эту проблему можно рассматривать в двух ос новных аспектах: во-первых, как увеличение степени соответствия оценки действительному уровню знаний обучаемых, во-вторых, как создание и реализация таких методических приемов контроля, которые обеспечивали бы независимость оценочных суждений от случайных факторов и субъективных установок преподавателя Второй аспект связан со стандартизацией и формализацией контрольных заданий, а также с разработкой научно-обоснованных критериев оценки знаний »[106, с 4-5]
Действительная стандартизация контрольных заданий, их массовое, единообразное использование и оценивание возможны лишь при условии систематического применения для этих целей средств автоматизации Только автоматизированная система контроля способна осуществить необходимое на определенной стадии учебно-воспитательного процесса отделение обучения от контроля, придавая последнему требуемую устойчивость и инвариантность, независимость от субъективизма преподавателя
Возможности использования автоматизированных систем обучения и контроля чрезвычайно широки и многообразны [17,22,23,58,92] полное или выборочное предъявление учебной информации, подлежащей усвоению (режим повторения, консультации); индивидуализированный текущий контроль за ходом освоения учебной деятельности (режим обучающего контроля); итоговая проверка сформированное, полноты и прочности знаний, умений, навыков (режим итогового контроля); создание для обучаемого операционной обстановки ведение расчетов, моделирование, отработка практических умений и навыков (режим тренажера).
Требование объективности результатов испытаний накладывает определенные ограничения на организацию их проведения. Наиболее часто используются следующие варианты процедуры контрольных мероприятий; частичная автоматизация тестирования, когда контроль осу ществляется на бумаге, а обработка результатов - с помощью компьютера; полная автоматизация, когда весь процесс тестирования (начиная с создания теста и кончая выдачей результатов тестирования и их анализом) проводится с использованием компьютеров.
При проведении массовых испытательных мероприятий предпола гается решение следующих основных задач [76]: формирование структуры испытательного (тестового) модуля в диалоговом режиме; подготовка необходимого количества различных вариантов испытательного педагогического модуля заданной структуры с одинаковыми характеристиками (сложность, трудоемкость, число операций); организация и проведение контрольных мероприятий, проверка работ и ввод результатов проверки; первичная обработка информации, ее представление в форме, удобной для анализа и принятия решений на различных уровнях управления учебным процессом (преподаватель, кафедра, факультет, ректорат, аттестационная служба), повышение эффективности контроля качества подготовки специалистов
Проведение автоматизированного контроля знаний сокращает время самого контроля, позволяет качественно и эффективно обрабатывать ответы и выдавать результаты в текстовом виде или графически (графики, диаграммы) по отдельным студентам и по всей группе в целом
К программным средствам и системам, предназначенным для тестирования, предъявляются следующие требования [18,19,73,84,94,134]; формирование четырех форм тестовых заданий, формирование сценария курса; регулирование времени опроса; выбор вопросов случайным методом или последовательно, установка весовых коэффициентов для вопросов; тестирование по темам и по всему курсу; удаление и восстановление вопросов в темах, тем в курсе, получение и накопление матрицы профилей ответов испытуемых для дихотомической или политомической оценки результатов выполнения заданий; корректировка и перекомпоновка тестовых заданий в зависимости от итогов статистической обработки результатов тестирования, защита результирующих матриц от несанкционированного доступа
Помимо основных к программным средствам и системам предъявляется и ряд других требований, характеризующих их качество: наличие хорошего текстового и графического редакторов, возможность включения динамики изображений, присутствие меню и диалога, наличие встроенного справочника-помощника Программные средства и системы должны быть удобны и надежны в использовании, иметь современный дизайн
Применение экспертных методов для оценки качества тестовых систем
В качестве показателя, по которому проводился сравнительный количественный анализ систем, была выбрана функциональная полнота. Выбор этого показателя обусловлен тем, что именно он был признан экспертами как наиболее важный (п. 2.3).
Сравнение тестовых систем по критерию функциональной полноты проводилось по методике [112]. Перед проведением анализа был выявлен перечень функциональных операций, выполняемых разными системами (таблицы 4-12). На основе этого были определены полный перечень функциональных операций (таблица И.1 приложения И) и предложения по составу минимально необходимых операций (таблица И.2 приложения И).
Определение функциональных операций позволило провести сравнительный анализ систем по критерию функциональной полноты. Основой реализации данного подхода послужила программа, специально разработанная для выполнения методики.
На первом этапе были заполнены справочник систем и справочник функциональных операций Справочник систем, представленный в приложении К, включает в себя перечень всех тестовых систем, исследованных в диссертационной работе Справочник функциональных операций включает полный перечень возможных функциональных операций (таблица И 1 приложения И). Далее была сформирована исходная таблица. Условимся в обозначениях: S = {$},( = 1 9) - множество тестовых систем; =(/,),0 = 1 90) - множество, составляющее словарь функциональных операций Исходная таблица - X, элементы которой определяются следующим образом Для разных граничных значений по матрице L строились графы взаимосвязи между системами (приложение П). Анализ графов позволил сделать следующий вывод. Образовались группы систем, связанных между собой по выполняемым функциям: одна из них включает системы ТЕСТ 1.0, АСККО, АИСТ 9.0; вторая - «Компьютерные тесты» («Кобби»), тест по информатике («Банк-Лицей»), систему проверки знаний (РЭА); третья тест по информатике и тест по Norton Commander («Банк-Лицей»), четвертая - систему проверки знаний (РЭА), систему сетевого тестиро вания (МЭСИ). Система «Экзамен зачет» (Одесса) не имеет связей ни с одной из систем. По рассчитанной матрице (приложение Р) ранжирование тестовых систем по критерию функциональной полноты выглядит следующим образом: на 1-м месте система АИСТ 9 0 (обладает наиболее полным набором функций), на втором - системы «Компьютерные тесты» (Кобби), АСККО, система проверки знаний (РЭА), на третьем - ТЕСТ 1.0, «Экзамен-зачет» (Одесса), тест по информатике («Банк-Лицей»), на четвертом - тест по Norton Commander, система сетевого тестирования (МЭСИ).
Следующим шагом (2-й этап) в данном исследовании стало включение в расчеты перечня обязательных функций в качестве абстрактной (условной) системы. Были выполнены все необходимые расчеты. Результаты представлены в приложении С. По ним видно, что системы ТЕСТ 1.0, АСККО и АИСТ 9.0 наиболее полно соответствуют требова нию по наличию обязательных функций (другие системы как не реали зующие нужные пользователю функции могут быть исключены из дальнейшего рассмотрения).
Эти системы дают возможность (3-й этап) сформировать новую исходную матрицу и рассчитать по ней рої »10 nil р л J рО то ро , /р0л2 г ,1 ,і %) 5- ,ь,/ r\( ) (приложение Т) рої Далее по [ была построена таблица, в которой были перечислены функции, не предусмотренные в обязательном перечне, но реализуете і о мые какой-либо из систем. По была построена аналогичная таблица, в которой были перечислены функции, предусмотренные обязано тельным набором и не реализуемые системами По матрице Ь были-построены графы, показывающие степень взаимосвязи между тестовыми системами по выполняемым функциям (приложение У) По мат VI Р л. ( / )2 рице ранжирование выделенных систем выглядит еле дующим образом на 1-м месте АИСТ 9.0 и АСККО, на 2-м - ТЕСТ 1.0. Из таблиц, приведенных в приложении У, пользователь может выбрать одну или несколько заинтересовавших его функций и дополнить ими строку с обязательными функциями, после чего процедура повторяется
Статистический подход к построению шкалы оценок
Использование рассмотренных быстрых статистических критериев не позволило установить влияние на результаты оценки абсолютного значения разности между парами наблюдений (а не только знака). Гак, и разность в три балла («отлично«-«неудовлетворительно»), и разность в один балл («отлично»-«хорошо») помечаются одинаково - знаком плюс. Уловить подобное различие, используя описанные критерии, невозможно. Поэтому для получения более достоверных выводов относительно степени согласованности результатов оценки уровня знаний для рассматриваемых нами условий в качестве критерия при сравнении рядов оценок X и У использовалась статистика Кендэла Т и скорректированный коэффициент Спирмэна rs (правда, за счет более тру доемких вычислений).
При выборе между Т и s учитывалось одно важное обстоятельство: для любой исходной совокупности, включая случай, когда имеются связанные ранги (а для рассматриваемых условий такое положение является типичным), дисперсия Г не может превышать вели чину т [г] 2(1 г )/ п для f\. при наличии связей (одинаковые ранги) такого строго обоснованного ограничения сверху нет.
Т.к. при большом п и нормальном распределении генеральной совокупности коэффициент корреляции (-п между рангами и значениями переменной равен: то для уменьшения трудоемкости расчетов (при w 30), по-видимому, возможна и такая процедура проверки качества шкалы оценок, сначала вычисляется коэффициент корреляции между исходными рядами измерений X и Г и определяется его значимость и доверительные границы с использованием стандартных статистических приемов В том случае, если результаты проверки породили определенные сомнения в значимости f\ , например, на уровне 0,01, проводится дополнительное исследование с использованием статистики Т или rs (с поправками на наличие связанных рангов) [126].
Анализируя полученные результаты, можно сказать, что разрабо тайные тесты по информатике удовлетворяют требуемым условиям применения, построенная шкала оценок выдержала проверку на качество. Гипотеза о различиях в способах оценки знаний студентов не подтвердилась.
Выводы: контроль знаний учащихся является непременной составляющей образовательного процесса, его правильная постановка способствует улучшению качества подготовки специалистов. для повышения объективности и достоверности результатов оценивания необходимы соответствующие методики и средства измерения. Рассмотрены и проанализированы различные подходы к построению шкалы оценок, к определению количественной оценки знаний, которые сложились в отечественной практике, а также зарубежный опыт в этой области в рассмотренных системах тестирования предполагается, что преподаватель заранее выбирает определенную шкалу оценок. Во всех системах оценка выставляется, исходя из процентного соотношения количества данных правильных ответов к общему числу заданных вопросов Причем, диапазон значений процентов, соответствующих каждой оценке пятибалльной системы, можно варьировать и устанавливать по своему усмотрению Это ведет к субъективизму, снижает значимость теста, который, по идее, должен был устранить подобное влияние на оценку.
описан статистический подход к построению шкалы оценок в системах тестирования; приведен опыт его практического применения на примере теста по дисциплине «Экономическая информатика»; доказана его корректность, объективность, показаны его преимущества;
выделены особенности исходной информации, используемой для проверки качества тестовых систем, предложены процедуры контроля качества используемой шкалы оценок с примерами их практического применения и полученными результатами. Гипотеза о том, что оба способа оценки знаний студентов - на экзамене и при тестировании - статистически одинаковы, подтвердилась.
