Содержание к диссертации
Введение
1. Системный анализ задач организации аттестации персонала промышленных предприятий 10
1.1. Проблемы кадрового обеспечения предприятий промышленности и транспортного комплекса 9
1.2. Педагогические принципы контроля и диагностики 14
1.2.1. Функции и методы контроля 15
1.2.2. Классификация педагогических тестов 21
1.3. Методики построения шкалы оценки уровня знаний 26
1.3.1. Принципы построения шкал в задачах тестового контроля 27
1.3.2. Формализованные модели классификации обученности 29
1.3.3. Унифицированная дидактическая классификация 37
1.4. Математическое моделирование процедур тестового контроля 40
1.4.1. Основные принципы классической теории тестового контроля 40
1.4.2. Формальные модели IRT-теории тестового контроля 42
1.4.3. Факторный, латентно-структурный и кластерный анализ в системе моделирования процедур тестового контроля 44
1.5. Информационные технологии в системе аттестации персонала 48
Выводы по главе 1 52
2. Разработка методов и моделей тестового контроля в системе аттестации 53
2.1. Логистическая модель учета процента правильности решения задания ...53
2.2. Принципы формирования теста и модели оценки эффективности 54
2.2.1. Факторная модель гетерогенного теста 55
2.2.2. Модель множественной регрессии в оценке характеристик теста 59
2.2.3. Оценка параметров регрессии теста 61
2.2.4. Разработка критериев оптимальности тестов на основе дисперсионной матрицы ошибочных классификаций 64
2.3. Оптимальное распределение сложности для оценки положения уровня знаний 65
2.4. Имитационная модель оценки эффективности теста 72
2.5. Методика параметризации гетерогенного теста 78
2.5.1. Предварительная оценка уровня знаний тестируемых 78
2.5.2: Параметрическая функция оценки гетерогенного теста 84
2.5.3. Метод оценки разрешающей способности теста 86
2.6. Построение формализованного описания фрагмента гетерогенного теста 88
2.7. Методика формирования гетерогенных тестов 93
Выводы по главе 2 97
3. Оценка эффективности адаптивного тестового контроля в системе аттестации 99
3.1. Общая схема построения адаптивных алгоритмов тестового контроля 99
3.2. Марковская цепь поведения адаптивного алгоритма с постоянным шагом приращения сложности 102
3.2.1. Описание алгоритма с постоянным шагом 102
3.2.2. Построение марковской цепи процесса адаптивного тестового контроля 104
3.2.3. Сходимость стационарных вероятностей при увеличении дискретизации шкалы уровня сложности 107
3.2.4. Плотность распределения сложности тестовых заданий ПО
3.2.5. Анализ сходимости алгоритма поисковой оптимизации 110
3.2.6. Плотность распределения для функций регрессии с постоянной дисперсией и постоянным коэффициентом вариации 117
Постоянная дисперсия оценки 117
Оценка с постоянным коэффициентом вариации 119
3.2.7. Оценка эффективности алгоритма с постоянным шагом 122
3.3. Адаптивный алгоритм тестового контроля в непрерывной шкале сложности на базе стохастической аппроксимации 127
3.3.1. Аналитические оценки скорости сходимости алгоритма оценивания 127
3.3.2. Имитационные эксперименты по оценке скорости сходимости 129
3.3.3. Использование критерия максимального правдоподобия 133
Выводы по главе 3 134
4. Программная реализация среды конструктора тестов в системе аттестации 136
4.1. Методика формирования процедур тестового контроля 136
4.2. Принципы организации хранения результатов тестового контроля 140
4.3. Пользовательский интерфейс конструктора тестов 142
4.3.1. Панель «Курсы» 143
4.3.2. Панель «Структура курса» 146
4.3.3. Панель «Алгоритмы тестирования» 146
4.3.4. Панель «Шаблоны ГТ» 147
4.3.5. Нижняя горизонтальная панель 148
4.4. Создание скрипта с алгоритмом тестирования и пополнение библиотеки алгоритмов 151
4.5. Описание механизмов предъявления тестовых заданий 160
Выводы по главе 4 162
Заключение 163
Литература 164
Приложение. Документы о внедрении результатов работы
- Проблемы кадрового обеспечения предприятий промышленности и транспортного комплекса
- Логистическая модель учета процента правильности решения задания
- Общая схема построения адаптивных алгоритмов тестового контроля
- Методика формирования процедур тестового контроля
Введение к работе
Эффективное управление персоналом, в том числе подготовка и переподготовка кадров промышленных предприятий в настоящее время невозможна без использования современных компьютерных технологий, которые интенсивно внедряются во все сферы управления. Одной из основных задач системы подготовки и переподготовки персонала является оценка соответствия кадрового состава должностным обязанностям, что требует постоянного определения уровня знаний и умений сотрудников для оценки качества выполнения работ. Система аттестации является одним из компонентов системы подготовки и переподготовки персонала, в которую также входят подсистемы определения целей, содержания, методов и средств обучения, организационно-правовых форм, а также учебно-материальная, финансово-экономическая, нормативно-правовая и маркетинговая подсистемы.
Оперативный контроль уровня знаний и умений сотрудников может быть обеспечен лишь за счет всестороннего использования процедур компьютерного тестового контроля, обеспечивающих динамическую идентификацию уровня подготовленности персонала. Повышение эффективности компьютерного тестирования достигается за счет адаптивных алгоритмов, разработке которых в последнее время уделяется большое внимание. Однако в данном направлении отсутствуют работы по созданию комплексных методик, включающих методы, алгоритмы и программные компоненты формирования тестов вместе с процедурами анализа эффективности механизмов предъявления тестовых заданий, что и определяет актуальность настоящей диссертационной работы.
Предметом исследования являются система аттестации персонала, включающая методы компьютерного тестового контроля, методы обработки результатов, а также компоненты математического, информационного и
программного обеспечения системы поддержки и принятия решений при оценке уровня квалификации персонала.
Целью работы является повышение эффективности системы аттестации персонала промышленных предприятиях на основе разработки методов, моделей, алгоритмов и программных средств автоматизации формирования компьютерных процедур проведения аттестации.
Для достижения данной цели в работе решаются следующие задачи:
системный анализ методов и моделей организации процедур компьютерного тестового контроля в системе подготовки персонала промышленных предприятий;
разработка формальных методов и моделей тестового контроля;
анализ эффективности методов адаптивного тестового контроля;
разработка программного комплекса реализации адаптивных механизмов тестового контроля.
При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем и теоретико-множественный аппарат. При формировании последовательности тестовых заданий использовались элементы факторного планирования. Обработка результатов эксперимента выполнена с использованием методов многомерного статистического анализа. При разработке моделей компонентов системы аттестации персонала в диссертации использовались методы математического программирования, теории случайных процессов, имитационное моделирование и другие формальные методы.
Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов, методик и алгоритмов.
В первой главе диссертации проводится системный анализ методов и моделей компьютерного тестового контроля в системе аттестации. Рассмотрены проблемы кадрового обеспечения промышленных предприятий и общие тенденции развития системы непрерывной подготовки. Проведен сравнительный анализ принципов конструирования тестовых заданий и
построения тестов. Показано, что при обучении контроль рассматривается как важнейшее, относительно самостоятельное и заключительное звено в системе переподготовки кадров. От правильной организации контроля во многом зависит не только эффективность управления учебным процессом и качество подготовки специалистов, но и эффективность управления персоналом в целом.
Во второй главе диссертации разработана методика автоматизации формирования тестов, основанная на формализованном представлении задания с возможностью определения алгоритмической структуры механизмов предъявления и механизмов связывания гомогенных тестов в гетерогенный.
Критерии оптимальности тестов в диссертации строятся на основе минимизации дисперсионной матрицы оценок вероятностей ответов в IRT модели на задания различной направленности. В силу неоднозначности решения задачи используются функциональные преобразования матрицы ,имеющие статистический смысл и обладающие свойствами монотонности, однородности и выпуклости. Поэтому рассматривается задача минимизации функционала, заданного на множестве дисперсионных матриц плана, т.е. задача поиска матрицы плана теста:
В третьей главе диссертации разработаны модели оценки эффективности процедур тестового контроля, основанные на ошибочных классификациях. В целях визуализации данных о вероятностях ошибочной классификации программная реализация модели оценки эффективности теста имеет как плоские, так и объемные формы представления. Оценка математического ожидания для всех планов является практически несмещенной. Это может объясняться равномерностью всех частот и формой логистической кривой.
Разработанные модели и формы визуализации результатов позволяют методисту настроить параметры теста, а именно длину и последовательность заданий каждой направленности, механизм чередования направленности и
другие параметры для достижения заданной точности оценки с точки зрения ошибочной классификации. Эти модельные компоненты являются составными частями системы конструирования тестов.
В четвертой главе диссертации рассматриваются вопросы построения программного комплекса автоматизации и моделирования процесса аттестации персонала. Разработана структура базы данных, интегрирующая тестовые задания, методические материалы и результаты выполнения каждого задания каждым аттестуемым. Система реализована в виде отдельного программного приложения. Программный комплекс разработан по открытому принципу, что позволяет наращивать его функциональные возможности, добавляя новые механизмы предъявления тестовых заданий в процессе эксплуатации системы.
В заключении представлены основные результаты работы.
В приложении приводятся акты внедрения результатов диссертационной работы.
Научную новизну работы составляют:
модель логистического преобразования лингвистической переменной уровня знаний в лингвистическую переменную вероятности ответа;
метод выбора весовых коэффициентов тестовых заданий различного уровня сложности, и разделяющей константы на базе процедуры дискриминантного анализа;
имитационная модель оценки вероятностей ошибочной классификации;
формализованное описание процесса адаптивного тестового контроля марковской цепью и аналитические выражения стационарных характеристик.
Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным статистическим анализом процессов аттестации персонала на промышленных предприятиях, согласованностью результатов аналитических и имитационных моделей процессов
компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы.
Научные результаты, полученные в диссертации, доведены до практического использования на промышленных предприятиях. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений. Внедрение результатов работы позволяет повысить качество и эффективность процессов разработки учебных программ и процедур тестового контроля. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде учебных центров «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).
Апробация работы
Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:
на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2003-2008г.г.);
на заседании кафедры АСУ МАДИ(ГТУ).
Совокупность научных положений, идей и практических результатов исследований в области автоматизации процесса аттестации составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля в системе подготовки и аттестации персонала промышленных предприятий.
По результатам выполненных исследований опубликовано 12 печатных работ.
Диссертационная работа состоит из введения, четырех глав и заключения, опубликованных на 162 странице машинописного текста, содержит 47 рисунков, 19 таблиц, список литературы из ПО наименований и приложения.
1. СИСТЕМНЫЙ АНАЛИЗ ЗАДАЧ ОРГАНИЗАЦИИ
АТТЕСТАЦИИ ПЕРСОНАЛА ПРОМЫШЛЕННЫХ
ПРЕДПРИЯТИЙ
В первой главе диссертации проводится системный анализ предметной области. Рассмотрены проблемы кадрового обеспечения транспортных предприятий и общие тенденции развития системы непрерывного образования. Рассмотрены математические модели и методы моделирования процессов компьютерного тестового контроля. Среди методов общесистемного моделирования особое внимание уделено методам принятия решений в условиях неопределенности. Проведен сравнительный анализ принципов конструирования тестовых заданий и построения тестов. Показано, что при обучении контроль рассматривается как важнейшее, относительно самостоятельное и заключительное звено в системе переподготовки кадров. От правильной организации контроля во многом зависит не только эффективность управления учебным процессом и качество подготовки специалистов, но и эффективность управления персоналом в целом.
Проблемы кадрового обеспечения предприятий промышленности и транспортного комплекса
Общеизвестно, что машиностроение и транспорт определяет перспективы развития индустрии в целом. В таких развитых странах, как США, Япония, Германия, на долю этой отрасли приходится до половины объема промышленной продукции.
Начиная с 1999 г. в Российской Федерации сохраняется тенденция устойчивого экономического роста. В 2001 году прирост реального объема валового внутреннего продукта (ВВП) составил 5,5%, увеличение производства промышленной продукции - 4,9%, продукции сельского хозяйства - 6,8%, оборота розничной торговли - 10,8% и внешнеторгового оборота - 5,4%. Согласно имеющимся прогнозам, тенденция экономического роста сохранится и в среднесрочной перспективе.
На современном этапе развития мировой экономики автомобильный транспорт для большинства развитых стран является основным видом внутреннего транспорта и ключевым элементом транспортной системы, который играет главную роль в обеспечении экономического роста и социального развития. При этом социально-экономическое развитие страны сопровождается увеличением спроса на транспортные услуги со стороны населения и экономики.
Массовое применение автотранспортных средств повлекло за собой изменения во всех секторах экономики и в социальной сфере, в ситуации на рынке труда, в градостроительной политике, в организации розничной торговли, отдыха, в других аспектах жизни общества. Процесс автомобилизации принял, по существу, глобальный характер. В настоящее время в наиболее развитых странах 75-80% всего объема пассажирских и грузовых перевозок выполняется автомобильным транспортом.
Важной задачей развития автомобильного транспорта России в период до 2010 года является дальнейшее расширение рынка автотранспортных услуг, повышение качества их выполнения при сокращении автотранспортных издержек.
В области пассажирских автотранспортных услуг приоритетное развитие согласно положениям федеральной целевой программы "Модернизация транспортной системы России" получает общественный наземный транспорт.
Развитие городского наземного транспорта в г. Москве невозможно без решения вопросов кадрового обеспечения. Решение проблемы кадрового обеспечения отрасли должно осуществляться, в том числе, по следующим основным направлениям:
повышение требований к качеству подготовки работников массовых профессий (водителей автомобилей, ремонтных рабочих и др.); обновление содержания автотранспортного образования и его учебно-методического обеспечения с учетом использования в обучении новейших информационных технологий, подготовки и издания современных учебников и учебных пособий;
создание системы и обеспечение переподготовки и повышения квалификации руководителей автотранспортных предприятий и операторов, работников транспортной экспедиции и транспортно-дорожного сервиса.
В отрасли должна быть обеспечена комплексная система непрерывного образования и переподготовки кадров на основе целевых заказов и освоения новейших достижений отечественной и зарубежной теории и практики обучения специалистов [28].
Несоответствие квалификации сотрудников потребностям организации негативно сказывается на результатах ее деятельности. Развитие персонала -это важнейшее условие успешного развития любой компании. Организация профессионального обучения является одной из основных функций управления персоналом.
Ключевым моментом в управлении профессиональным развитием является определение потребностей организации в этой области. По существу речь идет о выявлении несоответствия между профессиональными знаниями и навыками, которыми должен обладать персонал и теми знаниями и навыками, которыми он обладает в действительности [7].
Важнейшим средством профессионального развития персонала является профессиональное обучение. В компании организация профессионального обучения должна представлять комплексный непрерывный процесс, включающий в себя несколько этапов. (Рис. 1.1.)
Потребности, связанные с выполнением производственных обязанностей, могут определяться как на основе заявок руководителей подразделений и самих работников, так и путем проведения опросов руководителей и специалистов, анализа результатов работы подразделений организации [38]. Еще один источник информации о потребностях в профессиональном обучении - индивидуальные планы развития, составленные по результатам аттестации сотрудников.
На основании анализа выявленных потребностей формулируются специфические цели каждой программы обучения.
Оценка эффективности программ обучения является центральным моментом управления профессиональным обучением в организации. Затраты на профессиональное обучение можно рассматривать как капиталовложения в развитие персонала. Эти инвестиции должны принести отдачу в виде повышения эффективности деятельности организации. [51].
Аттестация сотрудников, как один из инструментов управления персоналом, позволяет вырабатывать управленческие решения и решать вопросы не только управления кадрами, но и стратегического управления, планирования и развития (рис. 1.2.)
Аттестации сотрудников предприятий представляют собой целенаправленный интерактивный, асинхронный процесс взаимодействия субъектов и объектов обучения между собой и со средствами обучения. Общепринятыми компонентами системы аттестации являются подсистемы: целей обучения, содержания обучения, методов обучения, средств обучения, организационных форм обучения, а также идентификационно-контрольная, учебно-материальная, финансово-экономическая, нормативно-правовая, маркетинговая подсистемы.
Логистическая модель учета процента правильности решения задания
Семейство графиков при различных уровнях знаний (истинный уровень) приведены на рис.2.1. Семейство кривых обладает свойством внутренней (чем сложнее задание, тем меньше вероятность правильного ответа) и внешней (если уровень выше, то для всех сложностей вероятности правильного ответа выше) монотонности.
Необходимой задачей для подготовки процедур оценивания является соотнесения приведенных гипотетических кривых к некоторой шкале уровня знаний. Здесь сложность и уровень относительные величины. С одной стороны имея модель сложности (как экспертную оценку) можно строить модель уровня знаний. С другой стороны уровень знаний может определять сложность. Логистические кривые вероятности правильных ответов о, 0,4 О, 4 5 Истиный уровень Рис. 2.1. Необходима разработка модели взаимосвязи понятий уровня знаний и сложности задания. Адаптивная модель может быть использована в качестве определения такой взаимосвязи. Предложено расширение трехпараметрической модели Бирнбаума: -4. (2.2) где с является параметром модели, характеризующим вероятность правильного ответа на задание в том случае, если этот ответ угадан, а не основан на знаниях. При этом учитывается процент решенности R задания в условных единицах, который аналогичен снижению сложности задания, 0 -уровень знаний, (3 - сложность задания. 2.2. Принципы формирования теста эффективности и модели оценки Задача составления теста из множества заданий, имеющихся в базе данных может основываться на основных положениях теории планирования эксперимента, а именно факторных планов. В задачах тестирования двумя основополагающими характеристиками являются направленность и «сложность». Обе эти величины могут выступать как в качестве факторов, так и в качестве критерия оценки. В первом случае, когда факторами являются направленности, каждая задача из всего множества сначала должна быть формально отнесена к некоторому направлению (может быть к нескольким), и каждое направление должно характеризоваться уровнем «сложности». Методы регрессионного и дисперсионного анализа предполагают наличие полученных результатов тестирования и основная задача состоит в обработке этих данных с целью получения оценки «способности» тестируемого с минимальной ошибкой. Эта минимальная ошибка уже заложена в тестовое задание при его формировании, тест не может дать больше информации, чем предполагалось получит методистами.
Задача идентификации направления решается путем введения терминологического словаря дисциплины или специальности. Ссылка на необходимость использования определенных термов в этом случае дает привязку к определенному направлению, которое содержит указанный терм. Задача определения уровня сложности может быть решена только на основании оценок экспертов (преподавателей).
При составлении тестового задания из множества задач основной проблемой является минимизация ошибки уровня знаний аттестуемого, которое выражается вероятностью решения задач, заданной сложности. Однако всегда встает вопрос ограничения числа предъявляемых задач. В результате множество задач из базы должно формироваться некоторым оптимальным образом, так как каждая комбинация задач с различной направленностью и сложностью дает конкретную погрешность оценки уровня знаний. Классическая постановка моделей факторного планирования позволяет составить в некотором смысле оптимальные планы, но из произвольной комбинации уровней факторов. В реальной ситуации не представляется возможным составить задачу, ссылающуюся на заранее сформированные направления с заданной сложностью. Это относится к методическим особенностям разработки тестов. Поэтому после формирования плана необходим выбор наиболее близких задач из базы к тем гипотетическим требованиям, которые определил выбранный метод оптимальных факторных планов.
Двухуровневая формализация тестовых задач является самой грубой. Естественное уточнение методики может быть получена за счет увеличения числа уровней фактора. Оно может интерпретироваться как мера сложности і-го направления, входящего в данную задачу. Уровень может быть как количественный так и качественный (например, «легкий», «сложный», «очень сложный» и т.д. В случае количественного уровня модели факторного анализа допускают использование регрессионных моделей. В случае количественного уровня возможны только модели дисперсионного анализа.
С целью апробации методики факторного плана на основании этих положений построим модель тестируемого. Фрагмент программной реализация модели генерации гетерогенного теста приведен на рис.2.2.
В алгоритме генерации разыгрывается случайное число между нулем и единицей. Если оно меньше вычисленного значения по предлагаемой методике, задача считается нерешенной, и если больше - то решенной. Результаты расчета этой модели экспортируются в пакеты статистического анализа, где проводится полный статистический анализ результатов.
При вырожденной матрице можно воспользоваться гребневыми оценками. Кроме того они полезны, когда матрица слабо обусловлена, а это весьма возможно при формировании эмпирических оценок сложностей каждого направления.
Таким образом, модель оценивания параметров «уровня знаний» основано на некотором преобразовании ответов тестируемого. В общем случае при разработке теста это может быть любой функционал, который определил эксперт (преподаватель), не обязательно основанный на МНК-оценке. Однако при его формализации естественными требованиями к тесту являются несмещенность оценки уровня знаний, т.е. в среднем по множеству тестируемых оценка должна совпадать с истинным «уровнем знаний».
В данном разделе рассматривается вопрос организации активного планирования гетерогенного теста, т.е. методист до проведения теста выбирает его структуру и параметры, при которых он будет проводиться. При его формировании необходимо включит текущее состояние группы тестируемых, появление новых тестовых задач и результатов переоценки сложности задач по прошлым результатам тестирования.
Общая схема построения адаптивных алгоритмов тестового контроля
Цели адаптивного тестового контроля позволяют конкретизировать этапы и средства достижения заданного результатал под которым будем понимать объективную оценку каждой личностью уровня своих достижений (самореализации) в соответствии со своими способностями и интересами. Ясно, что такая трактовка результата возможна лишь в ограниченной сфере профессиональной компетентности. Результат подготовки испытуемого, в конечном итоге, будет оцениваться по уровню знаний, умений и навыков, поддающемуся непосредственному наблюдаемому процессу оценивания с применением инструментальной среды адаптивного тестового контроля с моделью конкретного испытуемого.
Процесс классификации испытуемых по уровням способностей уместно отнести к самотестированию. Цель процедуры самотестирования состоит в нахождении решающего правила, которое позволяет отнести данного субъекта по наблюдаемым ситуациям (ответам на задания) к определенному априорно классу, без какой либо информации извне.
Самотестирование играет важную роль в тех случаях, когда нужно произвести классификацию уровня подготовки испытуемых и уже нет предшествующего опыта, который можно было бы использовать как дополнительные указания тестирующего.
Предполагается, что заранее преподавателями - экспертами разработано множество тестовых заданий различного уровня трудности, объединенных в банк тестовых заданий (БТЗ) — и это обстоятельство используется для формирования в процессе тестирования ошибки классификации ситуаций.
Структурная адаптация компенсирует отсутствие дополнительных указаний преподавателя и однозначно разбивает испытуемых на классы с учетом уровня их подготовки. В каждый момент времени адаптивная система тестового контроля случайным образом генерирует одно задание из БТЗ. Для ускорения процесса группировки система сначала генерирует наиболее трудные задания.
Необходимость в применении систем адаптивного тестового контроля связана с тем, что система тестового контроля должна работать в условиях неопределенности и имеющаяся априорная информация о способностях испытуемых настолько мала, что отсутствует возможность заранее синтезировать систему с заданными свойствами, которая обеспечивала бы достаточно хорошие результаты педагогических измерений. Алгоритмы адаптивного тестового контроля позволяют в результате обработки текущей информации (ответы каждого испытуемого) восполнить недостаток априорной информации и в конечном итоге - достигнуть рациональных показателей качества работы системы тестирования. Именно на соотнесение уровня способностей каждого тестового задания базируется организация адаптивного тестового контроля уровня подготовки конкретного испытуемого.
Поставим задачу синтеза алгоритма адаптивного тестирования на основании подобия с процедурами стохастической аппроксимации. Так в процедуре Киффера-Вольфовица ищется экстремум функции регрессии. Процедура Роббинса -Монро состоит в поиске корня уравнения.
В общем случае оценивание уровня по результатам ответов как задача теории управления, где на каждом шаге процедуры, выбирается очередное задание, обладающее определенной сложностью и направленностью формулируется следующим образом: При формировании процедуры предъявления заданий единственное, чем можно варьировать это выбором конкретного задания из базы по результатам ответов: p("+D = / 0(рО),..., Р(п)) + (П)(Р(1),..., Р(п)), (зл) где Р(п) - сложность задания на n-ом шаге процедуры; і п) - некоторое измеримое преобразование; (п)(Р(1),..., p(n)-j _ СЛуЧайная величина, моделирующая ответ на п-е задание; Задачу оценивания в результате тестирования можно рассматривать, как поиск корня функции регрессии вероятности правильного ответа на задание определенного вида сложности Рис. 3.1. 102 При этих предположениях сходимость алгоритма управления (нахождение истинного уровня знаний) задачу можно свести к теореме Дворецкого. Если преобразования F n удовлетворяют условию: \ nW\..., n)ye\ max[an,(l+bn)\ -Q\-cn] (3-2) СО СО 00 где Нт яи = 0, j&;1 со, си = оо, мР]2 со, j MV со, причем VnM[Y(n)(3(1),.--, Р(п))=0 с вероятностью 1, тогда: Р /ш(Зн = = Аналитические модели оценки скорости сходимости дают лишь грубые оценки. Кроме того, получение соотношений для более сложных процедур связано еще и с чисто математическими трудностями. В реальной ситуации выбор заданий при компьютерном тестировании располагает достаточным временем для расчета параметров модели на основе имитационной процедуры с требуемой точностью.
Пусть адаптивный алгоритм представляет самый простой вариант, когда сложность задания увеличивается на единицу в случае верного ответа, и уменьшается на единицу в случае неверного. Если предположить, что сложность может быть задана некоторым числовым значением, то в результате возможна формализация процесса тестирования в виде марковской цепи, в которой вероятности переходов по сложностям определяются на основании логистической кривой.
Реализация поискового алгоритма сводится к последовательному анализу локальной окрестности функционала Y, оценки градиента или направления роста и последующего перехода в другую область. Если при вычислении оценки градиента создаются помехи, то нельзя говорить о сходимости алгоритма в обычном смысле. В обычном смысле он сходится вообще не будет, а будет "блуждать" вокруг области экстремума.
Аналогично можно поступить в случае тестирования. Если ответ правильный, то уровень подготовки студента выше сложности предъявленной задачи, т.е. он способен решать задачи заданной сложности. Если ответ неправильный, то - неспособен. Это подобно оценки градиента некоторой гипотетической функции регрессии, в которой градиент сам является случайной величиной.
Предлагается использовать следующий алгоритм, который весьма просто можно реализовать на практике. Студент, решая задание, сталкивается с определенными трудностями. Если он решил задание, то появляется желание решить более трудное задание. Если нет - то, вернее всего, будет сделана еще одна попытка решения аналогичного по трудности задания. Если оно также не решено, то идет "откат" назад, т.е. необходимо решение задач пониженной сложности. Если сразу не решено менее сложное задание, то решается еще легче и т.д. Аналогично падению уровня сложности предъявляются задачи повышенной сложности. Если решено задание, то решается задание повышенной трудности. В результате, если исключить этап обучения при решении задач, студент выберет для себя определенный уровень сложности, вокруг которого и будет размываться сложность заданий.
Методика формирования процедур тестового контроля
Шаблон собран в Конструкторе структурных элементов и имеет сценарий, который укрупненно можно представить следующей схемой (рис. 4.1.). 1 инициализация проверка критерия останова и выбор очередного ТЗ завершить продолжить 3 подстановка файла выбранного ТЗ на место файла-заглушки 4 ТЗ-заглушка 5 локальное сохранение результата выполнения последнего ТЗ во внутреннюю таблицу 6, сохранение результата выполнения последнего ТЗ в общую БД результатов (для мониторинга) 7 деинициализация
Основные фрагменты шаблона: 1. инициализация — выполняет предварительную настройку для работы сценария. 2. проверка критерия останова и выбор очередного ТЗ — алгоритмическая основа ГТ. Фрагмент проверяет условие завершения процесса тестирования и осуществляет выбор очередного ТЗ в соответствии с алгоритмом, оформленным в виде интерпретируемого скрипта, хранящегося в отдельном файле. Скрипт представляет собой SQL-запрос для внедренного (embedded) сервера СУБД MySQL. Фрагмент может работать с любым файлом скрипта, содержащим некоторый алгоритм тестирования и оформленным в соответствии с определенными требованиями. Конкретный указанный файл скрипта подставляется в формируемый экземпляр ГТ на этапе его сборки. 3. подстановка файла выбранного ТЗ на место файла-заглушки. 4. ТЗ-заглушка — фрагмент, на место которого подставляется выбранное тестовое задание. 5. сохранение результата выполнения последнего ТЗ во внутреннюю таблицу — сохраняет результат и продолжительность выполнения последнего предъявленного ТЗ во внутреннюю таблицу результатов. 6. сохранение результата выполнения последнего ТЗ в общую БД результатов — сохраняет результат и продолжительность выполнения последнего предъявленного ТЗ в общую для всех обучаемых единую БД результатов тестирования, которая используется для организации удаленного мониторинга результатов прохождения тестового контроля одним или группой обучаемых в реальном масштабе времени. Для доступа к файлу единой БД результатов фрагмент использует путь к папке результатов обучения, заданный в настройках Проигрывателя («Меню сервиса» — «Пути» — «Путь к папке с данными результатов обучения» в Оболочке обучаемого (MMCDP) и «Меню сервиса» — «Настройки» — «Папка обмена данными» в Проигрывателе мультимедиа презентаций (ММРР)), и имя файла, совпадающее с именем sed-файла ГТ, но имеющее расширение ".gtd". Подсистема мониторинга, также входящая в интегрированную инструментальную среду методиста, должна быть настроена на этот файл. 7. деинициализация — выполняет действия по удалению временных файлов. Для упрощения, в схеме сценария не указаны фрагменты и переходы, связанные с обработкой ошибок.
Гетерогенный тест содержит тестовые задания из разных модулей (тем) одного локального курса. Если требуется создать гетерогенный тест для контроля усвоения материала по модулям из нескольких локальных курсов, то предварительно в Конструкторе курсов необходимо собрать новый курс (гетерогенный), содержащий эти модули. Методика формирования ГТ сводится к выполнению следующих шагов: 1. Загрузка файла учебного курса. 2. Выбор в структуре загруженного курса модулей или отдельных тестов, тестовые задания из которых будут включены в гетерогенный тест. 3. Выбор алгоритма тестирования из библиотеки алгоритмов. 4. Настройка значений параметров выбранного алгоритма. 5. Задание имени основного файла ГТ и выбор папки для сохранения его структуры. 6. Формирование и сохранение экземпляра гетерогенного теста с указанным именем и по указанному пути на основе шаблона, параметризованного в соответствии со сделанными установками. 1. Внутренняя таблица БД гетерогенного теста заполняется информацией о всех тестовых заданиях, входящих в выбранные на шаге 2 тесты исходного курса. 2. Скрипт выбранного на шаге 3 алгоритма тестирования подставляется в структуру формируемого экземпляра ГТ. 3. В подставленном файле скрипта выполняется замена значений по умолчанию параметров алгоритма на заданные. 4. sed-файлу ГТ (точке входа) устанавливается заданное имя.
Начальное взаимное расположение папок исходного учебного курса и сформированного экземпляра ГТ может быть любое. То есть ГТ может быть сформирован в любой папке, но в момент формирования он будет привязан к текущему расположению исходного курса, т.к. в ГТ есть относительные ссылки на файлы тестовых заданий и другие файлы курса. Поэтому, чтобы не нарушилась связь между сформированным ГТ и исходным курсом, при перемещении курса или ГТ необходимо сохранять их взаимное расположение и перемещать их синхронно. Если предполагается подключение сформированного ГТ (его sed-файла) к исходному учебному курсу, то удобно их разместить в одной общей папке, тогда эту папку можно будет свободно перемещать, не нарушая ссылочную целостность указанных компонент.
Главное окно Конструктора ГТ (рис. 4.3.) состоит из четырех вертикальных панелей, разделенных сплиттерами (разделителями), и одной горизонтальной в нижней части окна. В первой (слева направо) панели («Курсы») отображаются названия загруженных курсов. Во второй панели («Структура курса») отображается древовидная структура загруженного курса, который выбран в панели «Курсы». В третьей панели («Алгоритмы тестирования») отображается список алгоритмов тестирования, имеющихся в библиотеке, для каждого из которых можно посмотреть описание и настроить параметры.
