Содержание к диссертации
Введение
1. Применение автоматизированных систем для профессиональной подготовки летного состава 18
1.1. Взаимосвязь качества профессиональной подготовки летного состава и уровня безопасности полетов 18
1.2. Особенности профессиональной деятельности и подготовки летного состава на воздушных судах нового поколения 24
1.3. Рекомендуемая практика ИКАО по подготовке летного состава 29
1.4. Особенности применения компетентностного подхода в ходе профессиональной подготовки летного состава 32
1.5. Международные стандарты систем автоматизированного обучения .39
1.6. Классификация автоматизированных систем профессиональной подготовки летного состава 1.6.1. Автоматизированные системы первоначального обучения 43
1.6.2. Автоматизированные системы для изучения новых типов самолетов 47
1.6.3. Автоматизированные системы для отработки навыков самолетовождения, изучения функциональных систем самолета и специализированные курсы 53
1.6.4. Автоматизированные системы контроля качества профессиональной подготовки 56
Выводы по первой главе 63
2. Разработка методов обеспечения структурной связности модулей профессиональной подготовки летного состава 65
2.1. Вводные замечания 65
2.2. Использование методологии ISD для разработки систем профессиональной подготовки летного состава 66
2.3. Совместное использование метода DACUM и метода экспертных оценок в рамках методологии ISD 71
2.3.1. Общая характеристика метода DACUM 71
2.3.2. Организация и проведение сессии DACUM 73
2.3.3. Использование метода Дельфи в ходе сессии DACUM 76
2.3.4. Использование метода экспертных оценок при проведении сессии DACUM 78
2.3.5. Алгоритм использования метода экспертных оценок при проведении сессии DACUM 86
2.4. Метод разработки матриц структурной связности модулей профессиональной подготовки летного состава 89
2.4.1. Требования к структуре учебного материала в автоматизированных системах подготовки летного состава 89
2.4.2. Модель содержания АОС 92
2.4.3. Метод разработки матриц структурной связности модулей профессиональной подготовки 97
2.5. Автоматизированный контроль качества профессиональной подготовки летного состава 103
2.5.1. Требования к автоматизированным системам тестового контроля летного состава 103
2.5.2. Недостатки традиционной модели тестового контроля уровня профессиональной подготовки летного состава 110
2.5.3. Анализ результатов тестового контроля уровня подготовки летного состава на основе моделей IRT 112
2.5.4. Использование двухпараметрической модели IRT для оценки профессиональной компетентности летного состава 122
2.5.5. Выбор критериального балла в системах тестирования для летного состава на основе двухпараметрической модели классификации испытуемых 127
2.5.6. Общий алгоритм разработки систем тестового контроля уровня подготовки летного состава 131
Выводы по второй главе 133
3. Апробация предложенных методов разработки автоматизированных систем обучения и тестирования летного состава 135
3.1. Вводные замечания 135
3.2. Обеспечение структурной связности модулей профессиональной подготовки в ходе разработки АОС по самолету первоначального обучения 136
3.2.1. Формирование карты компетенций и определение перечня учебных элементов АОС 136
3.2.2. Определение оптимального порядка изучения учебных элементов АОС 140
3.2.3. Построение структурной модели АОС 147
3.3. Определение уровня профессиональной компетентности летного состава с помощью автоматизированных систем тестирования 154
3.3.1. Формирование банка тестовых заданий 154
3.3.2. Оценка надежности и валидности тестовых заданий 160
3.3.3. Использование факторного анализа для оценки размерности пространства компетенций летного состава 164
3.3.4. Отработка метода определения критериального балла 168
3.3.5. Апробация двухпараметрической модели IRT для оценки уровня профессиональной компетентности летного состава 171
Выводы по третьей главе 173
Заключение 175
Список использованных источников 177
Приложение А. Свидетельство о регистрации электронного ресурса «Автоматизированная обучающая система по самолету Як-18Т (36 серия)» 196
Приложение Б. Свидетельство о регистрации электронного ресурса «Автоматизированная система текущего контроля качества обучения курсантов специализации 160503.65.01 - Летная эксплуатация гражданских ВС» 197
Приложение В. Свидетельство об отраслевой регистрации разработки «Компьютерная обучающая система по дисциплине “Аэродинамика и динамика полета”» 198
- Особенности применения компетентностного подхода в ходе профессиональной подготовки летного состава
- Использование методологии ISD для разработки систем профессиональной подготовки летного состава
- Анализ результатов тестового контроля уровня подготовки летного состава на основе моделей IRT
- Построение структурной модели АОС
Введение к работе
Актуальность работы. Высокий уровень автоматизации управления воздушными судами (ВС) нового поколения и сокращение состава летного экипажа до двух пилотов существенно меняет характер профессиональной деятельности летного состава (ЛС) гражданской авиации (ГА). В результате меняются цели и задачи профессиональной подготовки (ПП) ЛС, которая в настоящее время является одним из важнейших факторов обеспечения необходимого уровня безопасности полетов (БП).
Одним из путей решения проблемы подготовки ЛС является широкое внедрение в практику ПП автоматизированных систем (АС), возможности которых позволяют выполнить значительную часть работы по формированию требуемых профессиональных компетенций пилота и обеспечить индивидуальный характер обучения на основе подбора необходимых модулей с учетом уровня подготовки обучаемого. Модульность курса ПП, а также его направленность на практическое применение полученных знаний и навыков рекомендованы Международной организацией гражданской авиации (ИКАО) для повышения уровня компетентности ЛС с целью обеспечения БП.
При этом контроль качества ПП становится первостепенным по своей важности, так как на его основе определяются требуемые модули ПП. Поэтому необходима модернизация методов разработки и применения автоматизированных обучающих систем (АОС) и систем тестового контроля для ЛС с учетом имеющихся структурных связей между модулями ПП, что позволит формировать профессиональные компетенции, необходимые для безопасной эксплуатации ВС нового поколения.
Компетентностный подход к процессу ПП ЛС предполагает структурирование знаний и навыков, так как именно в таком виде они наиболее доступны для понимания и усвоения. С этой точки зрения структурирование профессиональных компетенций ЛС и разработку эффективных методов контроля этой структуры можно рассматривать как одно из основных направлений модернизации ПП в ГА.
Изучением проблем совершенствования процесса ПП ЛС занимаются многие научные коллективы. Среди исследований в этой области необходимо отметить работы ученых Коваленко Г. В., Козлова В. В., Крыжановского Г. А., Куклева Е. А., Микинелова А. Л., Пономаренко В. А., Рисухина В. Н., Столярова Н. А., Сухих Н. Н., Хорошавцева Ю. Е., Ципенко В. Г., Чепиги В. Е., Юши Н. Ф. Вместе с тем проблема обеспечения структурной связности элементов курса ПП ЛС до настоящего времени в комплексной постановке не ставилась и не рассматривалась.
В связи с этим представляется актуальным создание новых методов обеспечения структурной связности модулей ПП в ходе разработки АС, предназначенных для подготовки ЛС ГА, с учетом особенностей летной эксплуатации ВС нового поколения, а также совершенствование методов оценки профессиональной компетентности ЛС на основе тестового контроля.
Диссертация посвящена решению этой проблемы и базируется на работах автора, выполненных с 2006 г. по настоящее время в Ульяновском высшем авиационном училище ГА (институте) (УВАУ ГА (И)).
Объект исследования: процесс профессиональной подготовки Л С ГА.
Предмет исследования: методы реализации модульной системы в ходе профессиональной подготовки Л С с использованием АС.
Цель диссертационной работы: совершенствование процесса профессиональной подготовки ЛС к эксплуатации ВС нового поколения на основе обеспечения структурной связности модулей ПП, реализованных в АОС и АС тестового контроля.
Для достижения указанной цели поставлены и решены следующие задачи исследования:
проведен анализ методических основ разработки АОС с учетом особенностей эксплуатации ВС нового поколения и существующих моделей применения компетентностного подхода;
разработаны математические основы формирования матриц очередности и логической связности учебных элементов АОС для ЛС с учетом
уровня компетентности привлекаемых экспертов;
разработан метод формирования матриц структурной связности модулей ПП на основе экспертного опроса высококвалифицированных пилотов;
исследована проблема повышения валидности АС тестового контроля ЛС, разработан критерий профессиональной компетентности пилота;
проведен анализ существующих моделей обработки результатов тестирования ЛС, обоснована применимость одномерной двухпараметрической логистической модели семейства IRT;
исследована проблема выбора критериального балла для систем тестового контроля профессиональной компетентности ЛС;
разработан алгоритм создания систем тестового контроля, позволяющий учитывать размерность пространства формируемых компетенций.
Методы исследования основаны на применении теории матриц и графов, экспертного оценивания альтернатив, структурной теории знаний (Knowledge Space Theory, KST), теории моделирования и параметризации тестов (Item Response Theory, IRT), классической теории тестирования (Classical Test Theory, CTT), теории вероятностей, математической статистики и факторного анализа.
В работе в соответствии с рекомендациями ИКАО использовалась методология разработки учебно-тренировочных курсов (Instruction Systems Design, ISD) и метод разработки учебных планов профессиональной подготовки DACUM (Developing A CUrriculuM).
Основные научные результаты, выносимые на защиту:
1. Метод разработки матриц структурной связности модулей ПП, включающий алгоритм процедуры опроса экспертов в ходе формирования структуры обучающей системы.
2.Метод определения критериального балла для тестового контроля профессиональной компетентности ЛС с использованием двухпараметрической модели классификации испытуемых.
3. Одномерная двухпараметрическая логистическая модель обработки
результатов тестирования и соответствующий критерий профессиональной компетентности пилота.
4. Алгоритм разработки систем тестового контроля ЛС на основе мате-матико-статистической модели тестовых измерений профессиональной компетентности.
Научная новизна работы. В ходе проведения исследований получены новые научные результаты:
-
В методе разработки матриц структурной связности модулей ПП, который основан на стандартах электронного обучения и положениях структурной теории знаний, в отличие от существующих методов разработки курсов ПП ЛС учитывается уровень компетентности каждого эксперта, что позволяет увеличить эффективность процедуры экспертного опроса.
-
Предложенный метод определения критериального балла тестового контроля профессиональной компетентности ЛС отличается от существующих методов тем, что используемая двухпараметрическая модель классификации испытуемых учитывает дихотомический характер экспертной оценки, что позволяет увеличить точность сравнительного анализа мнений экспертов и результатов пробного тестирования.
-
В одномерной двухпараметрической логистической модели тестового контроля в отличие от известной модели Бирнбаума используется параметр, характеризующий меру структурированности профессиональных знаний испытуемых, что дало возможность разработать новый критерий профессиональной компетентности ЛС и увеличить валидность тестового контроля.
-
Предложенный алгоритм разработки систем тестового контроля в отличие от существующих предполагает поэтапное использование методов классической и современной теорий тестирования, что позволяет учитывать размерность и структуру пространства компетенций ЛС при формировании критериально-ориентированных тестов.
Достоверность результатов исследования подтверждается результа-
тами экспериментальных проверок предлагаемых, методов, моделей и алгоритмов в ходе разработки и апробации АОС по самолету Як-18Т (36 серия), компьютерной обучающей системы по дисциплине «Аэродинамика и динамика полета», а также тестирования курсантов УВАУ ГА (И) с помощью АС текущего контроля качества обучения.
Практическая значимость работы состоит в том, что полученные результаты позволяют повысить эффективность процесса ПП ЛС к эксплуатации ВС нового поколения с помощью:
совершенствования методов проведения анализа служебных обязанностей, выполняемых ЛС в ходе эксплуатации ВС, на основе использования математических методов обработки экспертной информации, позволяющих учитывать уровень компетентности привлеченных экспертов;
научно обоснованных рекомендаций по разработке матриц структурной связности модулей ПП, позволяющих реализовать индивидуальный процесс автоматизированного обучения и повысить качество контрольно-коррекционной функции АОС;
повышения валидности тестового контроля ЛС за счет использования усовершенствованной одномерной двухпараметрической модели IRT и предложенного критерия профессиональной компетентности пилота;
использования научно обоснованного метода определения критериального балла для систем тестового контроля, позволяющего с заданной доверительной вероятностью классифицировать ЛС в зависимости от уровня профессиональной компетентности.
Апробация работы. Основные положения работы, научные и практические результаты исследования докладывались и получили положительную оценку на международных, всероссийских, отраслевых и вузовских научных конференциях в Ульяновске, Москве, Казани, Егорьевске, Киеве (Украина), где было представлено 11 докладов. Итоговые результаты диссертационной работы были заслушаны 29 сентября 2011 г. в УВАУ ГА (И) на заседании кафедры летной эксплуатации и безопасности полетов.
Публикации. По результатам исследований опубликовано 18 печатных работ, в том числе 4 статьи в изданиях, рекомендованных ВАК Министерства образования и науки Российской Федерации для опубликования основных научных результатов диссертаций.
Результаты научных исследований по теме диссертации также изложены в 9 отчетах о НИР, выполненных по контрактам с государственными органами управления ГА России и УВАУ ГА (И), в 7 из которых автор являлся ответственным исполнителем. По итогам выполненных работ получено 3 свидетельства о государственной регистрации электронных ресурсов.
Реализация результатов работы. Результаты исследований внедрены в учебно-летный процесс в УВАУ ГА (И) и его филиалах, Московском государственном техническом университете ГА, Санкт-Петербургском государственном университете ГА, авиакомпаниях «Волга-Днепр» и «ЮТэйр», были использованы при разработке АОС по самолету Як-18Т (36 серия), АС текущего контроля качества обучения курсантов специализации 160503.65.01 -«Летная эксплуатация гражданских воздушных судов» и компьютерной обучающей системы по дисциплине «Аэродинамика и динамика полета». Имеются акты внедрения.
Структура и объем работы. Диссертация состоит из введения, трех глав, заключения, списка использованных источников, включающего 176 источников, и 3 приложений. Диссертация изложена на 195 страницах, включает 59 рисунков и 21 таблицу. Основная часть работы изложена на 157 страницах.
Особенности применения компетентностного подхода в ходе профессиональной подготовки летного состава
В настоящее время в России происходит переориентация оценки результата ПП специалиста с понятий «образованность», «подготовленность», «квалификация» на понятия «компетенция» и «компетентность». Однако многочисленные исследования по этой проблеме показывают всю сложность. многогранность и неоднозначность трактовки как самих понятий «компетенция» и «компетентность», так и основанного на них подхода к процессу и результату 1111.
Компетентностный подход основан на современной парадигме междисциплинарной науки и образования. Его основателем принято считать американского лингвиста Н. Хомского, который сформулировал понятие «компетенция» применительно к теории языка [25, 38]. Он рассматривал употребление языка как «проявление скрытой компетенции», которая связана с опытом самого человека [95]. Позднее в работе Р. Уайта категория компетенции была содержательно наполнена личностными составляющими, включая мотивацию и отношение к делу [173]. Таким образом, в 50-х годах прошлого века было заложено понимание различий между понятиями «квалификация» и «компетентность», где последнее понимается как основанная на знаниях и навыках личностно обусловленная социально-профессиональная характеристика человека. Это понятие шире понятий «знание», «умение» или «навык», оно включает их в себя.
Данный подход в настоящее время нашел отражение в документах ИКАО, где компетентность трактуется как «сочетание навыков, знаний и отношения к делу, необходимых для выполнения той или иной задачи в соответствии с установленным стандартом» [74]. Если в этом контексте представить состав компетентности, то он будет включать следующие компоненты [39]:
владение знанием содержания компетентности (когнитивный аспект);
готовность к проявлению компетентности (мотивационный аспект), где готовность рассматривается как мобилизация субъективных сил;
опыт проявления компетентности в разнообразных стандартных и нестандартных ситуациях (поведенческий аспект);
отношение к содержанию компетентности и объекту ее приложения (ценностно-смысловой аспект);
эмоционально-волевая регуляция процесса и результата проявления компетентности.
Хотя в некоторых отечественных и зарубежных работах понятия «компетенция» и «компетентность» используются как синонимы, многие исследователи считают, что необходимо разграничить эти понятия. Чаще всего «компетенция» рассматривается в виде некоторой программы, образа или сценария, а «компетентность» трактуется как реализация личностью этого когнитивного потенциала, т.е. проявление личностного качества [90].
В настоящее время компетентностный подход широко применяется в различных сферах общего и профессионального образования, в том числе в ходе ПП ЛС. Многие отечественные и зарубежные учебные заведения ГА, усилия которых направлены на переустройство системы ПП, апеллируют к компетентностям как к ведущим критериям подготовленности пилота к эксплуатации ВС нового поколения.
Рассмотрим несколько основных моделей, используемых в практике ПП и оценки персонала с учетом компетентностного подхода.
В 1996 г. В. Хутмахером была предложена одна из первых моделей компетентностного подхода, в первом приближении объясняющая возможные траектории профессионального роста специалиста в организации. В рамках этой двумерной модели компетенция отражает способность человека следовать определенным стандартам поведения и выступает в качестве «мягкого» критерия, а способность решать профессиональные задачи и получать необходимые результаты отождествляется с компетентностью, которая рассматривается в качестве «жесткого» критерия (рис. 1.6) [144].
Очевидно, что данная модель лишь в первом приближении показывает влияние различных факторов на степень профессиональной успешности человека. Прежде всего, некорректно исключать из компетенций («мягких» критериев) знания и навыки специалиста.
В соответствии с моделью компетенций, предложенной Р. Бояцисом, демонстрируемые в поведении человеком исполнительские компетенции являются результирующими и интегрируют другие кластеры компетенций -природные, приобретенные и адаптивные (рис. 1.7) [83].
Приобретенные компетенции включают знания и умения, приобретенные на работе, а также в ходе обучения и повседневной деятельности. Природные компетенции определяются базовыми качествами личности, а под адаптивными компетенциями понимается набор качеств, позволяющих индивиду достигать цели в новой рабочей среде. Источник адаптивных компетенций заключен, по-видимому, в эмоциональных способностях личности, которые частично являются врожденными, но также могут быть приобретены и развиты. Таким образом, в поведении человека проявляются одновременно теоретические знания, накопленный опыт разрешения проблем, имеющих критическое значение для индивида, а также опыт адаптации и взаимодействия человека с социальным окружением.
Две известные модели, позволяющие интерпретировать профессиональную компетентность, представлены в работах Т. Дюрана. Этот ученый выделяет уровни и измерения компетентности. В качестве таких уровней предлагается рассматривать: данные, информацию, знания и опыт [126]. Опыт рассматривался в исходной одномерной модели в качестве высщей ступени компетентности, т.к. он интегрирует знания и навыки (рис. 1.8).
Использование методологии ISD для разработки систем профессиональной подготовки летного состава
Для реализации модульной структуры курса подготовки и компетент-ностного подхода в ходе разработки АС для ЛС нормативные документы ИКАО и стандарты AICC рекомендуют использовать методологию разработки учебно-тренировочных курсов ISD (Instruction Systems Design) [74, 107], которая позволяет установить взаимосвязь между знаниями и навыками, необходимыми для данного вида профессиональной деятельности, и соответствующими модулями ПП. В основе методологии ISD лежит системный подход, предполагающий установление ключевых аспектов компетентности, определение наиболее действенного метода достижения заданного уровня ПП и разработки эффективных и надежных средств оценки его достижения.
ISD представляет собой систему методик, способов и средств их реализации, которая основана на следующих базисных принципах [142]:
- использование компетентностного подхода к ПП, в соответствии с которым подготовка фокусируется на будущей профессиональной деятельности и освоении необходимых стандартов выполнения профессиональных задач;
- технологичность процесса ПП, т.е. использование логически связанных учебных модулей и предоставление их обучаемым по мере достижения необходимого уровня компетентности;
- эффективная реализация контрольно-коррекционной функции.
В рамках методологии ISD разработано и используется несколько основных методик:
SAT (System Approach to Training - системный подход к обучению) -апробированный набор процедур, используемых с 1975 г. в вооруженных силах США для разработки программ подготовки военнослужащих [114]. Первая версия методики SAT была разработана центром образовательных технологий при Университете штата Флорида, которая затем была адаптирована различными военными ведомствами США применительно к своим условиям обучения.
ADDIE (Analysis, Design, Development, Implement, Evaluate - анализ, проектирование, разработка, реализация, оценка) - предложена Р. Уот-соном, руководителем отдела подготовки служебного персонала Форта Huachuca (штат Аризона, США), в 1981 г. [128]. В настоящее время имеется несколько модификаций методики ADDIE, которые широко используются во всем мире для разработки систем ПП в военных и гражданских организациях [ISD4].
SCID (Systematic Curriculum and Instructional Development - системный подход к разработке учебных планов) - разработана центром профессионального обучения и подготовки при Университете штата Огайо, используется во многих учебных и правительственных заведениях США и Европы [120].
В качестве примера на рис. 2.1 представлена модель, отображающая последовательность этапов методики ADDIE, предложенной Р. Уотсоном [116].
Хотя упомянутые выше методики отличаются друг от друга по составу и порядку следования некоторых этапов разработки программ ПП, каждая из них включает пять основных фаз:
1. Анализ разрабатываемой системы ПП для определения целей, которые необходимо достигнуть в процессе подготовки.
2. Проектирование системы подготовки, выбор критериев достижения поставленных целей и разработка системы тестирования, основанной на выбранных критериях.
3. Разработка необходимого учебного материала, сгруппированного по модулям, для обеспечения требуемого уровня подготовки.
4. Реализация разработанных тестовых и обучающих материалов в виде учебного курса.
5. Оценка всего учебногр курса и контрольный анализ по всем предыдущим фазам, чтобы гарантировать, что разработанные тестовые задания и учебные материалы позволяют получить необходимые результаты.
Методика разработки АОС для ЛС, рекомендованная комитетом AICC, также базируется на методологии ISD, но включает лишь четыре из описанных выше пяти этапов, т.к. не рассматривает фазу реализации разработанных тестовых и обучающих материалов в качестве отдельного этапа [107]. Следует заметить, что в соответствии с методологией ISD процесс разработки системы ПП не определяется статической моделью, а представляет собой динамичный процесс, развивающийся по спирали, что обеспечивает совершенствование программы обучения в течение всего ее жизненного цикла. При этом во главу угла поставлена оценка эффективности каждого этапа разработки учебной программы (рис. 2.2).
Рекомендованная ИКАО методика разработки учебных курсов для ЛС несколько отличается от рассмотренных ранее методик ISD и имеет три широкие категории (анализ, разработка и издание материалов, оценка), которые разбиты на девять этапов (табл. 2.1) [74].
Анализ результатов тестового контроля уровня подготовки летного состава на основе моделей IRT
В настоящее время для оценки уровня ПП специалистов различного профиля широкое применение находят модели тестирования, разработанные на основе теории моделирования и параметризации тестов (Item Response Theory, IRT) [65, 99]. Эта теория широко применяется в известных тестовых службах США (NAEP, SAT, GRE) [165]. Кроме того, мировой лидер в сфере сертификации специалистов по аппаратному и программному обеспечению компьютерной техники - компания Thomson Prometric - также использует модели IRT [158].
В основе IRT лежит идея о некоторой латентной переменной величине, которая влияет на результаты испытуемых в ходе выполнения тестовых заданий. Определяется такая переменная посредством вероятностной модели измерения, в которой вероятность правильного ответа испытуемого на задание теста рассматривается как функция от уровня подготовленности испытуемого и меры трудности задания [37].
Прежде чем говорить о достоинствах IRT, рассмотрим ее основные недостатки в сравнении с классической теорией тестирования. Следует иметь в виду, что результаты применения IRT чувствительны к нарушениям исходных предпосылок этой теории, а оценки СТТ оказываются более устойчивыми [165]. Кроме того, определение параметров для моделей IRT с достаточной точностью требует довольно большой выборки испытуемых (от 200 до 1000 человек в зависимости от применяемой модели). Однако указанные особенности IRT лишь требуют от разработчиков АС более ответственного, вдумчивого и кропотливого подхода на этапе разработки тестов и нисколько не умаляют те преимущества, которые предлагает данная теория. К наиболее значимым достоинствам IRT обычно относят [99]:
устойчивость и объективность оценок параметра, характеризующего уровень подготовки испытуемых, причиной которых является относительная инвариантность оценок параметра испытуемых от трудности заданий теста;
устойчивость и объективность оценок параметра трудности заданий, их независимость от свойств выборки испытуемых, выполняющих тест;
возможность измерения значений параметров испытуемых и заданий теста на одной и той же интервальной шкале.
Последнее преимущество крайне важно, поскольку преобразование исходных величин разного происхождения в одну стандартную шкалу позволяет соотнести уровень подготовки любого испытуемого с мерой трудности каждого задания теста, что необходимо для организации адаптивного автоматизированного контроля знаний.
С помощью моделей IRT можно предсказать вероятность правильного выполнения заданий теста любым испытуемым в выборке (если известны параметры тестовых заданий и испытуемых) [7], объективно сравнить результаты тестирования по различным УЭ АОС, выявить эффективность различных по трудности заданий, используемых для оценки уровня ГШ тестируемой группы.
Существующие модели IRT можно разбить на два больших класса: одномерные и многомерные. В одномерных моделях для оценки уровня подготовки испытуемых используется один параметр - 0. При построении многомерных моделей используется гипотеза о том, что подготовленность испытуемых характеризуется некоторым набором признаков 0 = (G1,02,...,0„).
Кроме того, выбор соответствующей модели IRT определяется количеством категорий при оценивании полученного ответа: дихотомическое задание допускает лишь две категории (верно / неверно), политомическое задание предполагает наличие более двух категорий.
Известны четыре основные дихотомические одномерные модели [П0]. В этих моделях оценивание уровня подготовленности испытуемых (потенциал г-го испытуемого - 0,-) и уровня трудностей заданий (потенциал го задания - Ру) производится на единой интервальной шкале, измерения на которой производятся в логитах. В самой простой модели указанного семейства, модели Раша, вероятность PtJ успешного выполнения /-м испытуемым у -го задания определяется разностью (0, - ру) [99]
Модель Раша является однопараметрической, поскольку в качестве единственного параметра логистической функции выступает разность потенциалов испытуемого и задания, поэтому ее часто называют однопараметрической логистической моделью (one-parameter logistic model, IPL).
На рис. 2.15 приведен график зависимости вероятности успешного выполнения тестового задания, трудность которого (3 = О, от уровня подготовленности испытуемых (характеристическая кривая тестового задания). В рамках этой модели первичные баллы являются достаточными статистиками т.е. однозначно определяют значения потенциалов для испытуемых и заданий, что позволяет значительно редуцировать данные о прохождении тестирования, хотя при этом теряется часть информации о дисперсии ответов каждого испытуемого в зависимости от трудности тестовых заданий [65].
Обобщением модели Раша является двухпараметрическая логистическая модель Бирнбаума (two-parameter logistic model, 2PL)
Преимущество модели 2PL заключается в том, что по сравнению с моделью Раша снижаются требования к тестовым заданиям. Низкоэффективные задания с небольшой избирательностью дают незначительный вклад в конечный результат, в отличие от модели 1PL, где все задания равноправны по определению. В то же время введение еще одного параметра повышает вероятность ложного решения при вычислении параметров сторон тестирования, что связано с мультимодальностью функции правдоподобия при совместном определении потенциалов испытуемых и заданий [176].
Для тестовых заданий, при выполнении которых испытуемый должен выбрать один правильный ответ из нескольких предложенных вариантов (закрытая форма), Бирнбаумом была разработана трехпараметрическая модель (three-parameter logistic model, 3PL), которая позволяет учитывать возможность угадывания при вычислении вероятности правильного выполнения у -го задания z -ым испытуемым: (2.39) где cj - третий параметр модели, характеризующий вероятность правильного ответа в том случае, если ответ угадан, а не основан на знаниях.
В отличие от моделей 1PL и 2PL трехпараметрическая модель не является в строгом смысле логистической, т.к. в данном случае характеристические функции заданий подобраны так, что их нижние горизонтальные асимптоты расположены выше оси абсцисс (на рис. 2.16 представлена характеристическая кривая тестового задания с параметрами а, = 1,4; (3,- = 0; с, = 0,2). п Р
Построение структурной модели АОС
В ходе третьего этапа сессии DACUM каждому члену экспертной группы было предложено с помощью парного сравнения установить наличие логических связей между различными модулями ПП, представленными в АОС. Результаты оценки были записаны в виде матриц логической связности УЭ Lj=(lmn) 0 = Ї8; т = Ъ56; п = Ъ56). Для уменьшения трудоемкости экспертного анализа при заполнении этих матриц были учтены свойства рефлексивности и симметричности бинарного отношения логической связности, рассмотренные во второй главе диссертационной работы, что позволило сократить общее число парных сравнений до 1540.
После проведенного предварительного анализа полученных матриц логической связности экспертная группа вновь была разбита на две равные подгруппы с примерно одинаковым исходным уровнем согласованности мнений экспертов, для оценки которого использовался коэффициент согласия при парном сравнении V, вычисляемый по формуле (2.26) (у = 0,63 в первой подгруппе и у = 0,59 - во второй). Независимый опрос в каждой подгруппе проводился по методу Дельфи до тех пор, пока значение коэффициента согласия не превысит пороговое значение, равное 0,9.
Опрос и согласование мнений в первой подгруппе производились с учетом коэффициентов компетентности экспертов при вычислении обобщенной оценки объектов экспертизы в ходе каждого тура на основе предложенного во второй главе алгоритма. Анализ мнений экспертов второй подгруппы не предполагал возможные различия уровня компетентности.
Заданный уровень согласованности мнений экспертов в первой подгруппе был достигнут уже во втором туре (у = 0,94), а экспертам второй подгруппы для достижения похожего уровня согласованности потребовалось провести три тура (у = 0,97), что свидетельствует об эффективности предложенного алгоритма опроса экспертов по сравнению с классического алгоритмом метода Дельфи (рис. 3.7). Значения коэффициентов компетентности экспертов первой полгруппы, вычисленных с точностью є 5 10 4 приведены в табл. 3.4.
Процесс построения обобщенной матрицы логической связности с учетом индивидуальных оценок экспертов и вычисленных для них коэффициентов компетентности полностью повторяет описанную выше процедуру формирования обобщенной матрицы отношений очередности УЭ. Заметим, что хеммингово расстояние между матрицами логической связности УЭ АОС, полученными для двух экспертных подгрупп, равно 10, то есть мнения экспертов разошлись лишь для 5 отношений логической связности, что составляет примерно 0,3% от общего числа парных сравнений. На рисунке 3.8 представлена итоговая матрица L = {lmn) логической связности УЭ АОС.
Применение предложенного алгоритма в отличие от обычного экспертного опроса позволило значительно сократить число туров метода Дель-фи, увеличив скорость согласования мнений экспертов в среднем в 2,5 раза.
На завершающем этапе процесса формирования структурной модели АОС была построена матрица структурной связности S = (smn), каждый элемент которой вычислялся по формуле (2.28) как произведение соответствующих элементов обобщенных матриц отношений очередности Р = (ртп) и логической связности УЭ X = {lmn) (рис. 3.9).
Полученная матрица структурной связности У и рекомендованный экспертами порядок освоения УЭ обучающей системы, приведенный в табл. 3.3, позволяют однозначно определить структуру соответствующего графа содержания АОС и представить его в виде диаграммы Хассе (рис. 3.10) [14].
Построенная структурная модель АОС, позволяющая значительно сократить число возможных состояний компетентности обучаемых, получила экспериментальное подтверждение в ходе тестирования курсантов специализации 160503.65.01 - Летная эксплуатация гражданских воздушных судов. Обработка результатов тестирования проводилась с использованием предложенных во второй главе диссертационной работы двухпараметрической модели IRT (2.45) и критерия компетентности (2.54), что позволило учесть имеющуюся структуру знаний у испытуемых по каждому УЭ АОС [17].
Для оценки адекватности предложенной структурной модели использовались два параметра, характеризующие степень соответствия выявленных в ходе тестирования состояний компетентности испытуемых (наблюдаемых в эксперименте множеств освоенных УЭ) и определяемой моделью структуры профессиональных знаний [85]:
Результаты оценки адекватности разработанных в ходе сессии DACUM структурных моделей по шести дисциплинам, входящим в состав АОС, а также по всей обучающей системе, приведены в таблице 3.5. Полученные результаты свидетельствуют о хорошем соответствии построенной структурной модели результатам эксперимента, а имеющиеся различия можно объяснить не только недостатками предложенной модели и небольшим объемом выборки испытуемых, но также несовершенством формы используемых тестовых заданий, которые дают возможность плохо подготовленным испытуемым прибегать к стратегии угадывания.
Следует заметить, что подобный подход использовался при разработке компьютерной обучающей системы (КОС) по дисциплине «Аэродинамика и динамика полета» и показал свою эффективность в ходе ПП курсантов УВАУ ГА (И) [9]. Учебный материал, представленный в КОС, состоит из 7 тем и 42 параграфов, которые можно рассматривать как УЭ обучающей системы [53]. Проверка сформированного уровня компетентности по каждому УЭ осуществляется с помощью тестовых заданий закрытого типа. В случае если испытуемый указал ошибочный вариант ответа на контрольное задание (или указаны не все верные варианты), алгоритм работы КОС предусматривает прерывание процедуры тестирования, а пользователю будет предложено перейти на страницу обучающего клипа с необходимой информацией для ответа на вопрос, который вызвал у него затруднения (рис. 3.11) [19].
Очевидно, что эффективность применения АОС для ЛС, функционирующей на основе структурной модели, в значительной мере зависит от качества тестов, применяемых для оценки уровня ПП, которое, в свою очередь, в основном определяется типом используемых тестовых заданий, выбранными критериями оценки профессиональной компетентности и применяемой процедурой статистической обработки результатов тестирования. Поэтому указанным проблемам следует уделить особое внимание как на этапе разработки, так и в ходе практического применения ТСПО для ЛС.
