Содержание к диссертации
ВВЕДЕНИЕ 4
1. СИСТЕМНЫЙ АНАЛИЗ ЗАДАЧ ОРГАНИЗАЦИИ И МОДЕЛИРОВАНИЯ АТТЕСТАЦИИ ПЕРСОНАЛА ТРАНСПОРТНЫХ ПРЕДПРИЯТИЙ Ю
1.1. Проблемы кадрового обеспечения транспортных предприятий транспортного комплекса Ю
1.2, Педагогические принципы контроля и диагностики, 16
1.2.1. Функции контроля и методы контроля. 16
1.2.2, Классификация педагогических тестов 22
1.3, Методики построения шкалы оценки уровня знаний 28
1*3.1. Принципы построения шкал в задачах тестового контроля, 28
1.3.2, Формализованные модели классификации обученности 31
1.3.3. Унифицированная дидактическая классификация 38
1.4. Математическое моделирование процедур тестового контроля 41
1.4Л. Основные принципы классической теории тестового контроля 42
1.4.2. Формальные модели IRT-теории тестового контроля 43
1.4.3. Факторный, латентно-структурный и кластерный анализ в системе: моделирования процедур тестового контроля 45
L5. Информационные технологии в системе подготовки и переподготовки,49
Выводы по главе 1 * 54
2. РАЗРАБОТКА ПРИНЦИПОВ КОНСТРУИРОВАНИЯ ТЕСТОВЫХ ЗАДАНИЙ И ФОРМАЛИЗАЦИЯ КОМПОНЕТОВ СИСТЕМЫ ТЕСТОВОГО КОНТРОЛЯ 55
2.1. Построение формализованной модели тестового контроля 55
2.2. Лингвистические модели компонентов тестового контроля 62
2.2-1. Лингвистические переменные сложности тестового задания и уровня знаний^ 62
2,2.2; Аппроксимация нормального распределения логистической функцией 67
2,2.3. Анализ функции принадлежности логистического преобразования нормального распределения 72
2.3. Принципы разработки тестовых заданий и формирование требований к инструментальной среде их конструирования 76
2.3.1. Разработка методических правил проектирования тестовых заданий 76
2.3.2. Формализованное описание механизмов формирования тестового задания- 80
2.3.3. Оценка содержательности и направленности тестового задания 82
2-3. Днскриминантный анализ в задаче классификации уровня знаний с учетом влияния коррелированное™ ответов 87
Выводы по главе 2 92
3. РАЗРАБОТКА МОДЕЛЕЙ И АЛГОРИТМОВ АДАПТИВНОГО ТЕСТОВОГО КОНТРОЛЯ 93
3.1. Принципы построения адаптивных алгоритмов тестового контроля 93
3-2. Имитационная модель оценки эффективности теста 101
3.3. Формализованная марковская модель поведения адаптивного алгоритма 108
3.3Л. Построение марковской цепи процесса адаптивного тестового контроля 108
3.3.2. Сходимость стационарных вероятностей при увеличении дискретизации шкалы уровня сложности. 111
3.3.3. Плотность распределения сложности тестовых заданий 114
3.3.4. Анализ сходимости алгоритма поисковой оптимизации 115
3.3.5. Плотность распределения для функций регрессии с постоянной дисперсией и постоянным коэффициентом вариации 122
Выводы по главе 3 127
4. ПРОГРАММНО-МОДЕЛИРУЮЩИЙ КОМПЛЕКС СИСТЕМЫ* АДАПТИВНОГО ТЕСТОВОГО КОНТРОЛЯ 128
4Л. Проектирование структуры программного комплекса и интерфейса баз данных 128
4.1.1. Функции пользователей системы тестового контроля 128
4.1.2. Организация диалога в системе тестового контроля 130
4.13, Структура базы данных системы тестового контроля 134
4.2, Инструментальная среда конструирования тестовых заданий 138
4,3 Оценка эффективности разработанных алгоритмов адаптивного тестового контроля 145
Выводы по главе 4 ; 148
ЗАКЛЮЧЕНИЕ 150
ЛИТЕРАТУРА 152
ПРИЛОЖЕНИЕ. Документы о внедрении и использовании результатов работы 162
Введение к работе
Эффективное управление персоналом, в том числе подготовка и переподготовка кадров транспортных предприятий в настоящее время невозможна без использования современных компьютерных технологий, которые интенсивно внедряются в сферу образовательной деятельности. Одной из основных задач системы подготовки и переподготовки является оценка соответствия кадрового состава должностям обязанностям, что требует постоянного определения уровня знаний и умений сотрудников для оценки качества выполнения работ.
Оперативный контроль уровня знаний и умений сотрудников может быть обеспечен лишь за счет всестороннего использования процедур компьютерного тестового контроля, обеспечивающих динамическую идентификацию уровня подготовленности персонала- Повышение эффективности компьютерного тестирования достигается за счет адаптивных алгоритмов, разработке которых последнее время уделяется достаточное внимание- Однако, в данном направлении отсутствуют работы по созданию комплексных методик, включающих методы, алгоритмы и программные компоненты формирования тестов вместе с процедурами анализа эффективности механизмов предъявления тестовых заданий, чему и посвящена диссертационная работа.
Предметом исследования являются система тестового контроля и аттестации персонала, включающая методы компьютерного тестового контроля, методы обработки результатов, а также компоненты математического, информационного и программного обеспечения системы поддержки и принятия решений при классификации уровня знаний сотрудников транспортных предприятий,
Целью работы является разработка методов, моделей, алгоритмов и программных средств поддержки компьютерного тестового контроля направленных на повышение эффективности системы подготовки и переподготовки персонала.
Для достижения данной цели в работе решаются следующие задачи:
• системный анализ методов и моделей организации процедур компьютерного тестового контроля в системе подготовки персонала транспортных предприятий;
• разработка формальных методов и моделей описания процессов тестового контроля в условиях лингвистических неопределенностей
• разработка требований к программной инструментальной среде формирования тестовых заданий;
• разработка и анализ эффективности методов и моделей адаптивного тестового контроля на основе создания интерактивной среды имитационного моделирования;
• разработка программного комплекса поддержки создания тестовых заданий и реализации адаптивных механизмов формирования тестов.
При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем и классический. теоретико-множественный аппарат. Анализ эффективности методов проводился на базе сравнительного анализа характеристик аналитических и имитационных моделей. Обработка результатов эксперимента выполнена с использованием методов регрессионного, дискриминантного, факторного и других современных методов многомерного статистического анализа- Расчет вычислительных экспериментов выполнен в пакетах Statistica и MathCad. При разработке моделей функционирования компонентов системы тестового контроля и аттестации использовались. методы математического программирования, теория марковских цепей, теория случайных процессов, имитационное моделирование, нечеткие множества и др.
Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов, методик и алгоритмов.
В первой главе диссертации проводится системный анализ предметной области. Рассмотрены проблемы кадрового обеспечения транспортных предприятий и общие тенденции развития системы непрерывного образования. Рассмотрены математические модели и методы моделирования процессов компьютерного тестового контроля. Проведен сравнительный анализ принципов конструирования тестовых заданий и построения тестов. Показано, что при обучении контроль рассматривается как важнейшее, относительно самостоятельное и заключительное звено в системе переподготовки кадров. От правильной организации контроля во многом зависит не только эффективность управления учебным процессом и качество подготовки специалистов, но и эффективность управления персоналом в целом.
Во второй главе диссертации разрабатываются математические методы моделирования процедур компьютерного тестового контроля. Строится формальная модель тестируемого на основе IRT-теории с целью учета лингвистических неопределенности высказываний экспертов по оценке «сложности» и «уровня знаний», которая дает основу вероятностной интерпретации процесса обучения.
Для раскрытия неопределенностей предлагается обобщение логистической функции IRT-теории для определения нечеткого отношения между «уровнем знаний» и «сложностью», при реализации которой определяются нечеткие понятия величин вероятностей ответов,
В работе предлагается формализованное описание методики конструирования тестовых заданий с использованием разработанного с участием автора конструктора тестовых заданий, который имеет возможности графического редактора для создания графического образа тестового задания.
Следующей задачей решенной в диссертации является формирование весовых коэффициентов для заданий различной сложности при классификации тестируемых на основе метода дискриминантного анализа.
В третьей главе диссертации разработаны критерии оценки эффективности процедур тестового контроля, основанные на построении матрицы ошибочной классификации уровня знаний. Построена параметризуемая имитационная модель построения матрицы ошибочной классификации, которая позволяет варьировать: составом группы по уровню знаний с заданными априорными распределения; механизмами предъявления тестовых заданий; процедурами оценивания уровня знаний и методами классификации; структурой аналитических моделей IRT-теории; количеством повторных реализации по группе и каждому испытуемому для достижения заданной точности и др.
Предложенная формализация позволила построить модели множества алгоритмов, различающихся механизмами предъявления заданий и процедурами оценивания- Построена формализованная модель адаптивного алгоритма тестового контроля в виде марковской цепи,.в которой состояния определяют различные уровни сложности, а переходные вероятности соответствуют вероятностям ответов на задания различной сложности по IRT-модели. Проведен сравнительный анализ алгоритмов.
В четвертой главе диссертации рассматриваются вопросы построения программного комплекса автоматизации и моделирования процесса функционирования подсистемы аттестации для переподготовки кадров на предприятиях транспортного комплекса; Разработана структура базы данных, интегрирующая тестовые задания с привязкой к методическим материалам и результаты, выполнения каждого задания каждым обучаемым. Система реализована в виде программного приложения в системе переподготовки. Программный комплекс разработан по открытому принципу} что позволяет наращивать функциональные возможности, добавляя новые механизмы предъявления тестовых заданий в процессе эксплуатации системы. Профаммный комплекс имеет возможности генерация отчетов и другие сервисные и системные функции.
В заключении представлены основные результаты работы.
В приложении приводятся акты внедрения результатов диссертационной работы Научную новизну работы составляют;
• модель логистического преобразования лингвистической переменной уровня знаний в лингвистическую переменную вероятности ответа;
• метод выбора весовых коэффициентов тестовых заданий различного уровня сложности и разделяющей константы на базе процедуры дискриминантного анализа;
• имитационная модель оценки вероятностей ошибочной классификации;
• формализованное описание процесса адаптивного тестового контроля марковской цепью и аналитические выражения стационарных характеристик.
Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным статистическим анализом процессов обучения и тестового контроля ряда образовательных учреждений, согласованностью результатов аналитических и имитационных моделей процессов компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в учебных центрах предприятий транспортного комплекса.
Научные результаты, полученные в диссертации, доведены до практического использования на транспортных предприятиях. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений. Внедрение результатов работы позволяет повысить качество и эффективность процессов разработки учебных программ и процедур тестового контроля. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в учебном комбинате «Мосгортранс», ООО «РАСТРАН», 000 «НОВАЦИЯ ТД» и на кафедре АСУ МАДИ(ГТУ).
Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:
• па Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (1997-2003гг.);
• на заседании кафедры АСУ МАДИ(ТУ).
Совокупность научных положений, идей и практических результатов исследований в области автоматизации образовательного процесса составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля и аттестаций сотрудников транспортных предприятий.
По результатам выполненных исследований опубликовано 7 печатных работ.
Диссертационная работа состоит из введения, четырех глав и заключения, опубликованных на 151 странице машинописного текста, содержит 58 рисунков, 25 таблиц, список литературы из 110 наименований и приложения.
