Содержание к диссертации
Введение
1. Анализ задач автоматизации и управления процессами аттестации и повышения квалификации персонала предприятий 14
1.1. Открытое образование как инструмент повышения квалификации персонала 16
1.2. Повышение квалификации на основе Интернет-технологий 20
1.3. Особенности процессов повышения квалификации персонала 22
1.4. Категории лиц, заинтересованных в повышении квалификации через Интернет 24
1.5.Основные преимущества использования новых технологий в процессах повышения квалификации 26
1.6. Технологии реализации повышения квалификации персонала через Интернет 30
1.7. Выводы по главе 42
2. Автоматизация процессов представления и оценки аттестационных знаний .. 44
2.1. Классические модели представления знаний 44
2.2. Пространства знаний 45
2.3. Разработка усовершенствованного алгоритма построения базы пространства знаний 58
2.4. Экспериментальный анализ полученных результатов 63
2.5. Аттестационных материалов при автоматизации процесса аттестации персонала 68
2.6. Разработка методов классификации уровня учебных достижений на основе правдоподобных рассуждений 82
2.7. Модель адаптивного тестирования для автоматизированной системы аттестации персонала 101
2.8. Модель расчета вероятности угадывания на тестовые задания 108
2.9. Разработка модели рассекречивания аттестационных материалов 112
2.10. Выводы по главе 119
3. Автоматизация процессов экспертизы и сертификации качества аттестационных материалов 120
3.1. Научные направления в квалиметрии 120
3.2. Подходы к обработке мнений экспертов 123
3.3. Расчет характеристик аттестационных материалов 135
3.4. Экспертиза нормы трудности аттестационных материалов 147
3.5. Требования к ТЗ и ТМ 155
3.6. Модель для расчета согласованности мнений экспертов 174
3.7. Алгоритм кластерного анализа результатов экспертизы 178
3.8. Разработка методик сокращения времени экспертизы аттестационных материалов 181
3.9. Выводы по главе 186
4. Проектирование автоматизированной системы интернет-экспертизы аттестационных материалов 187
4.1. Основные этапы сертификации и экспертизы 187
4.2. Общая структура системы 194
4.3. Модуль формирования шкал 195
4.4. Модуль управления экспертами 196
4.5. Модуль регистрации аттестационных материалов 196
4.6. Модуль анализа результатов экспертизы 197
4.7. Подсистема проведения экспертизы 198
4.8. Подсистема конвертации и обработіш аттестационных материалов на основе стандарта IMS QTI 200
4.9. Расчет экономической эффективности с учетом автоматизации процессов экспертизы и сертификации 207
4.10. Выводы по главе 208
5. Проектирование автоматизированной системы повышения квалификации и обучения персонала предприятия без отрыва от производства 209
5.1. Общая структура системы 209
5.2. Подсистема обучения и подготовки учебных ресурсов 217
5.3. Сетевая подсистема адаптивной аттестации и конструирования тестов.221
5.4. Подсистема локального тестирования, создания и изменения банков аттестационных материалов 233
5.5. Подсистема аттестации на бланках и распознавания результатов 235
5.6. Подсистема статистики, подготовки ведомостей и анализа результатов аттестации 243
5.7. Подсистема интеллектуальной поддержки процесса обучения и аттестации 251
5.8. Подсистема безопасности и защиты информации 254
5.9. Подсистема поддержки учебного процесса 258
5.10. Виртуальная библиотека 260
5.11. Подсистема интерактивного взаимодействия 261
5.12. Выводы по главе 263
Заключение 264
Библиографический список 268
- Открытое образование как инструмент повышения квалификации персонала
- Разработка усовершенствованного алгоритма построения базы пространства знаний
- Расчет характеристик аттестационных материалов
- Основные этапы сертификации и экспертизы
Введение к работе
В современном обществе информационные технологии, профессиональные навыки и знания представляют собой важнейший ресурс дальнейшего развития человечества. Одним из важнейших условий, влияющих на переход мирового сообщества от индустриального этапа к информационному, является информатизация процессов в промышленности, в образовании, смена и усовершенствование концепции профессионального образования. Этим объясняется то внимание, которое уделяют в последние годы правительства, национальные и международные организации использованию новых информационных и коммуникационных технологий в промышленности и образовании.
В последние годы в области информационных и коммуникационных технологий наблюдается значительный прогресс, в результате которого поколения компьютерного оборудования и программного обеспечения быстро приходят па смену друг другу, появляются различного рода новые информационные технологии. Совершенно очевидными стали тенденции, ведущие к формированию информационного общества. Все это требует критического пересмотра состояния и перспектив развития системы подготовки и аттестации кадров для предприятий промышленности.
Повсюду в мире отмечается тенденция к увеличению потока данных. Цифровая технология произвела своего рода революцию, она позволяет объединить в цифровой форме текст, графическое и видеоизображение, речевое и музыкальное сопровождение; па основе этой технологии создаются мощные новые средства представления и передачи знаний, а также средства тренинга профессионалов, повышения уровня их обученности, аттестация их знаний. Относительно низкая стоимость современных технических устройств и их большая мощность в значительной степени способствуют их распространению. Неуклонный процесс распространения компьютеров, в сферах промышленности и транспорта, способствует росту понимания потенциала стратегий компьютеризации в качестве экономически выгодного решения целого ряда проблем, связанных с обучением и аттестацией персонала предприятий и повышением их квалификации, в идеальном случае, безотрывно от работы на производстве.
Тем более все это имеет большую важность для предприятий промышленности и транспорта на современном этапе развития общества, когда внедрение информационных технологий охватывает практически все технологические и производственные процессы в этих отраслях. К сожалению, существующая традиционная система образования уже не всегда способна удовлетворить все возникающие потребности. Поэтому очень актуальным является решение вопросов, связанных с автоматизацией процессов аттестации и обучения персонала предприятий промышленности. В настоящее время существует множество направлений, где требуются подобного рода образовательные и аттестационные услуги. Это и привычное среднее и высшее общее и профессиональное образование, и переподготовка кадров в связи с использованием на рабочих местах новейшей техники и технологий, и различные образовательные программы для персонала предприятий, и аттестационные комиссии на предприятиях. Очевидна при этом и сложность организации процессов обучения и аттестации по всем направлениям на предприятиях промышленности. Компьютеры и информационные технологии являются одновременно самым популярным средством организации процесса аттестации и обучения.
Решением многих существующих проблем на данном этапе может стать автоматизированная система аттестации и обучения персонала, которая позволит, во-первых, объединить знания и опыт лучших профессионалов в данной области, во-вторых, сделать эти знания доступными для тысяч желающих научиться, посредством Интернет-технологий. Профессионалы получат возможность более широкого распространения ценных знаний и методик, а пользователи и персонал предприятий получат возможность учиться когда, где и как им удобно. Подобная концепция организации информационно-образовательных услуг способствует повышению уровня образованности персонала па предприятиях промышленности, и, как следствие, экономическому росту и улучшению благосостояния в отрасли.
Важнейшей особенностью систем нового поколения является возможность индивидуализации процессов обучения и аттестации за счет использования различных интеллектуальных средств и методов. Поэтому разработка интеллектуальных методов и средств автоматизации процессов аттестации и обучения персонала промышленных предприятий является важнейшей и актуальной задачей на современном этапе. Именно решению таких задач посвящена данная работа. Следует заметить, что существующие методы и разработки в автоматизированных системах аттестации персонала, а также используемые программные и технические средства достигли определенной степени развития и могут рассматриваться, как стартовый уровень для реализации таких технологий. Однако, вопросы, связанные с методологией и технологией проектирования таких систем, а также задачи обеспечения качества, мониторинга обучения и аттестации остаются по-прежнему в большей степени открытыми.
Все вышесказанное подчеркивает актуальность проблем автоматизации и управления процессами аттестации персонала предприятий промышленности, решению которых и посвящена настоящая диссертационная работа.
В работе рассматриваются методики и технологии автоматизации управления процессами аттестации персонала предприятий промышленности, анализируются и исследуются существующие подходы в этом направлении, предлагаются теоретические выкладки для реализации в автоматизированных системах аттестации и обучения персонала предприятий, приводятся примеры реализации различных модулей автоматизированной среды аттестации и обучения персонала предприятий промышленности.
Цели н задачи. Целью настоящей диссертационной работы является разработка теоретических и методологических основ автоматизации и управления процессами аттестации персонала предприятий промышленности на основе моделей и алгоритмов представления и оценки знаний, методов нечеткой логики и непараметрической статистки. Для достижения указанной цели решены следующие задачи:
1. Создана методология и технология проектирования автоматизированных систем аттестации персонала предприятий промышленности.
2. Разработана типовая архитектура образовательной среды повышения квалификации и аттестации персонала предприятий, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения.
3. Разработаны усовершенствованные модели и алгоритмы представления и оценки знаний на основе пространств знаний, позволяющие оптимизировать структуры хранения знаний в образовательном процессе и минимизировать время анализа существующих знаний.
4. Разработан метод адаптивной аттестации на основе механизмов нечеткой логики, позволяющий имитировать контроль знаний на устном экзамене, что сокращает время аттестации и повышает точность оценки знаний.
5. Разработаны методы экспертной оценки характеристик аттестационных материалов на основе методов непараметрической статистики и кластерного анализа, которые сокращают время экспертизы и адаптированы на реализацию в Интернет-системах.
6. Проведена оценка эффективности предлагаемых методов и алгоритмов на основе моделирования и расчетного исследования.
Научна л новизна работы заключается в следующем: ]. Разработаны усовершенствованные методы представления и оценки знаний на основе пространств знаний, позволяющие оптимизировать структуры хранения знаний в автоматизированных системах аттестации персонала промышленного предприятия и минимизировать время построения пространств знаний.
2. Разработан новый метод адаптивной аттестации знаний на основе нечеткой логики, повышающие верность оценки знаний.
3. Для повышения качества экспертизы аттестационных материалов и верности оценки знаний, предложены математические методы и алгоритмы экспертной оценки характеристик аттестационных материалов.
4. Предложена новая методология и технология проектирования автоматизированных систем аттестации персонала промышленного предприятия, основанная на методах нечеткой логики, пространств знаний и непараметрической статистки.
5. Предложена типовая архитектура автоматизированной системы повышения квалификации и аттестации персонала промышленного предприятия, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения и аттестации.
6. Разработано новое математическое и программное обеспечение с использованием методов представления и оценки знаний для автоматизации и управления процессами аттестации и повышения квалификации персонала промышленного предприятия.
Новизна некоторых из предложенных технических решений защищена авторскими свидетельствами РФ об официальной регистрации программ для ЭВМ №№2004612524,2004612525. Практическая ценность результатов состоит в следующем:
1. Разработанные алгоритмы представления пространств знаний позволяют при определенных условиях увеличить скорость обработки пространств знаний от 10% до 30%.
2. Практическая реализация метода адаптивной аттестации позволяет сократить время проведения аттестации и получить более точные результаты аттестации.
3. Методы и модели расчета рассекречивания банков аттестационных материалов, вероятности случайного угадывания ответов па аттестационные задания и адаптивной аттестации на основе нечеткой логики позволяют устанавливать практические рекомендации но своевременному обновлению, изменению тестовых материалов.
4. Методы и алгоритмы обрабоїки экспертной оценки характеристик аттестационных материалов, на основе непараметрической статистики и кластерного анализа, позволяют повысить качество аттестационных материалов.
5. Предложенный выборочный метод позволяет сократить время экспертизы и сертификации аттестационных материалов при определенных условиях от 7% до 27,5%.
6. На основе предлагаемой методологии и технологии проектирования автоматизированных систем аттестации персонала предприятий промышленности осуществлена разработка следующих автоматизированных систем:
• система автоматизированной экспертизы качества аттестационных материалов;
• система повышения квалификации и обучения персонала предприятия без отрыва от производства.
Практическая значимость диссертационной работы подтверждается соответствующими актами о внедрении результатов исследований, авторскими свидетельствами РФ об официальной регистрации программ для ЭВМ, документами о присвоении номеров государственной регистрации программным продуктам в фонде алгоритмов и программ, почетным дипломом выставки ВВЦ, приказами об объявлении благодарности Министерства РФ работникам сферы образования № 13-60 от 18.03.2002 и №4702 от 30.12.02.
Предложенные методы легли в основу технологии проведения экспертизы и сертификации тестовых материалов Органом сертификации (аттестат аккредитации № РОСС RU.0001.11СП13 от 17.12.03) и испытательной лаборатории (аттестат аккредитации № РОСС RU.0001.21СП35 от 23.09.03).
Внедрение результатов. Результаты диссертации применяются Федеральной службой по надзору в сфере образования и науки для экспертизы тестовых материалов. Методологая и технология оценки качества аттестационных материалов внедрены в Московском государственном университете печати и в АНО "Центр образовательных коммуникаций и тестирования профессионального образования". Результаты работы также использованы при выполнении государственного контракта НИР Ns 1070 (2003-2004гг.).
Обоснованность и достоверность результатов Обоснованность результатов диссертационной работы, полученных с использованием признанных научных положений и апробированных методов исследования, подтверждается корректным применением математического аппарата и согласованностью этих новых результатов с известными теоретическими положениями.
Достоверность результатов подтверждается согласован ностыо расчетных данных, полученных с помощью математического моделирования, алгоритмов и программ моделирования и научных выводов.
На защиту выносятся следующие положения:
1. Методология и технология проектирования автоматизированных систем аттестации персонала промышленного предприятия, ориентированные на математическое и программное обеспечение, разработанное в данной диссертации.
2. Разработанные математические методы организации и обработки знаний на основе пространств знаний, позволяющие повысить эффективность структуры хранения знаний в автоматизированных системах и минимизировать время построения пространства знаний.
3. Методы и модели расчета рассекречивания банков аттестационных материалов, вероятности случайного угадывания ответов на аттестационные задания и адаптивной аттестации на основе нечеткой логики.
4. Методика классификации форм аттестационных материалов на основе функции оценки ответа.
5. Методология и технология автоматизации и управления процессов экспертизы и сертификации качества аттестационных материалов.
6. Разработанные математические методы и алгоритмы обработки экспертной оценки характеристик аттестационных материалов, на основе непараметрической статистики и кластерного анализа, повышающие качество аттестационных материалов.
7. Архитектура автоматизированной системы повышения квалификации и аттестации персонала промышленного предприятия, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения и аттестации с соответствующим математическим обеспечением.
Авторский вклад. Все выносимые на защиту результаты и положения диссертационной работы получены и разработаны лично автором, или при его непосредственном участии.
Апробация результатов работы. Основные научные результаты, полученные в ходе диссертационного исследования, докладывались и обсуждались на следующих конференциях, выставках и конгрессах: международной научно-методической конференции «Новые информационные технологии в преподавании электротехнических дисциплин» (Астраханский государственный технический университет, 1998); Первой Всероссийской научной конференции молодых ученых и аспирантов (Таганрогский государственный радиотехнический университет, 1998); Третьей Всероссийской научной конференции молодых ученых и аспирантов «Новые информационные технологии. Разработка и аспекты применения» (Таганрог, ТРТУ, 2000); V Всероссийской научной конференции студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления» (Таганрог, ТРТУ, 2000); Восьмой меищународион конференции «Открытое образование в России XXI века» (Москва, МЭСИ, 2000); конгрессе «Искусственный интеллект в XXI веке» (Москва, 2001); 2-ой Всероссийской конференции «Электронные учебники и электронные библиотеки в открытом образовании» (Москва, МЭСИ, 2001); международной научно-методической конференции Телематика (Санкт-Петербург, 2001); III Научно-методической конференции «Развитие системы тестирования в России» (Москва, Центр тестирования Министерства образования РФ, 2001); 1-я Международной научно-практической конференции «Проблемы регионального управления, экономики, права и инновационных процессов в образовании» (Таганрог, ТИУиЭ, 2001); четвертой Всероссийской научной конференции с международным участием молодых ученых и аспирантов «Новые информационные технологии. Разработка и аспекты применения» (Таганрог, ТРТУ, 2001); седьмой международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» (Москва, МЭИ, 2001); IEEE International Conference on Artificial Intelligence Systems (ICAIS 2002, Divnomorskoe); Всероссийской научно-методической конференции Телематика 2002 (Санкт-Петербург, 2002); Международных конференций «Искусственные интеллектуальные системы» (IEEE AIS 02) и «Интеллектуальные САПР» (CAD-2002) (Дивноморское, 2002); XII конференции-выставки «Информационные технологии в образовании» (Москва, МИФИ, 2002); Всероссийской конференции-выставке «Современная образовательная среда» (Москва, Всероссийский выставочный центр, 2002, 2003гг.); Всероссийской научной конференции «Управление и информационные технологии» (Санкт-Петербург, 2003); X Всероссийской научно-методической конференции «Телематика-2003» (Санкт-Петербург, 2003); 1 конференции «Развитие методов и средств компьютерного адаптивного тестирования» (Москва, МГУП, 2003); Второй и Третьей Всероссийской научно-методической конференции «Развитие методов и средств компьютерного адаптивного тестирования» (Москва, МГУП, 2004, 2005гг.); Научно-методической конференции «Инновационные методы и средства оценки качества образования» (Москва, МГУП, 2006г.); Второй международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, Спб.гос. политех нич.уп-т, 2006) и др.
По теме диссертации опубликована 71 научная работа, в том числе 3 монографии, статьи в реферируемых журналах (в том числе 10 публикаций, из перечня, утвержденного ВАК), 5 отчетов по НИР в рамках программы Министерства образования Российской Федерации «Создание системы открытого образования», а также в рамках государственного контракта НИР №1070.
Структура и объем работы. Диссертационная работа состоит из введения, пяти глав, заключения и 10 приложений, списка использованной литературы из 165 наименований. В работе содержится 28 таблиц, 41 рисунок. Объем работы без учета приложений составляет 278 страниц.
Открытое образование как инструмент повышения квалификации персонала
В стремительно развивающемся мире сложно найти такую область деятельности человека, где знания и технолопш не менялись бы с достаточно большой скоростью, «прямо на глазах». Это вызвано в первую очередь переходом от индустриального общества к информационному. Однако следует отметить, что формы образования по-прежнему остаются старыми и не всегда соответствуют потребностям общества. В настоящее время высококлассный специалист должен иметь высшее образование по определенному профилю и постоянно поддерживать свои знания в этой области в соответствии со стремительным прогрессом. К сожалению, это удается делать далеко не каждому по различным объективным и субъективным причинам, в том числе по причине отсутствия такой формы обучения, которая была бы приемлема для учащегося, обеспечивала бы высокое качество образования и постоянно соответствовала уровню развития знаний и технологий в той или иной области. Таким образом, в мире наметилась тенденция смены концепции образования по принципу «образование на всю жизнь» на концепцию «образование через всю жизнь» или «образование длиною в жизнь»[1 ].
Одним из подходов к реализации такой новой концепции образования и является концепция «открытого образования».
Главной целью открытого образования является подготовка личности к успешной деятельности в общественной и профессиональной сферах жизни общества в условиях перехода человеческой цивилизации в информационную стадию развития. Модель открытого образования можно представить в виде познавательной среды, ориентированной на человека, способного к самоорганизации, развитию его способностей на основе приобретения знаний и овладения методологией их использования в повседневной жизни и профессиональной деятельности с целью наиболее полной самореализации в условиях формирования и функционирования информационного общества.
Сформулируем основные характеристики концепции открытого образования, которые подробно изложены в книге [1 ]. 1. Открытое образование — это незамкнутая, самоорганизующаяся система, а само образование есть процесс развития свободных, самоактуализирующихся личностей. Поэтому организация образовательного процесса не создает необходимости ни в принуждении, ни в предписаниях — обучающийся сам выбирает и созидает свою природу. Свобода выбора является главным аспектом современной философии образования. То, что выбирает обучающийся для изучения, должно иметь определенный смысл в его жизни, который должен не просто получить представления об определенных знаниях, а сделать их личностными. Для этого он должен получить возможность свободного исследования в образовательной среде, где есть необходимые инструменты и материалы, есть и педагог, и ко всему этому есть открытый доступ. При этом учащийся должен осознать, что он имеет свободу выбора и за свой выбор несет ответственность. 2. Открытое образование — это возможность свободного развития личности. Важнейшей тенденцией современного цивилизационного развития социума является возрастающая социальная динамика. Быстрота и неожиданность, с которой происходят изменения во всех сферах жизнедеятельности человека в мире, приводят к тому, что общество может эффективно функционировать только в условиях максимальной индивидуальной свободы (ограниченной единственным требованием — не ограничивать свободы других), призванной реализовать принцип равенства возможностей для каждого. Таким образом, открытое образование предоставляет ученикам средство самореализации и саморазвития: содержание научного знания существует не для заучивания и последующего воспроизведения, но для того, чтобы, став осознанно выбранным, быть жизненно необходимым (в организации собственного опыта в некоторую связную систему, которая помогала бы выстроить отношения с реальностью и сделать эти отношения индивидуальными) либо, в противном случае, быть отвергнутым. 3. Открытое образование обеспечивает важнейшую разновидность индивидуальной свободы — свободу мысли. Искусственное «выравнивание» людей (в любой форме) вместо того, чтобы дать простор их многообразию, тормозит социальный прогресс. 4. Открытое образование есть продолоісение процесса формирования личности, уже имеющей определенное базовое образование и полноправно включенной в систему общественных отношений. Открытое образование дает возможность осуществлять целенаправленную систематическую деятельность по приобретению и совершенствованию знаний и умений как в любых видах общих и специальных учебных заведений, так и посредством самообразования личности. 5. Открытое образование предполагает открытость будугцему, а его дальнейшее развитие связано с преодолением закрытости и приданием процессу обучения открытого творческого характера. Открытость систем (в том числе и общественных) как исходный принцип предполагает новые подходы в обществознании, смысл которых заключается в том, чтобы за исходное начало бралась не система как целое в ее статическом состоянии, а человек с его неповторимостью как постоянный источник стихийности, неупорядоченности и в то же время - источник развития. Человек должен быть вовлечен в обширный открытый мир, чтобы иметь возможность полностью реализовать свои потенциальные возможности. 6. Открытое образование дает свободный доступ к информационным ресурсам всего мирового сообщества, снимает пространственно-временные ограничения в работе с различными источниками информации посредством информационных сетей. Сами по себе информационные сети не новы. Но объединение цифровой обработки данных компьютерами, телекоммуникаций, современных способов аудио- и видеопредставления информации, оптоволоконных /каналов передачи информации и т.п. значительно увеличивают возможности таких сетей, приводя к созданию новых информационных технологий. В них видео- и аудиосредства, компьютерные и телекоммуникационные средства комбинируются новыми неожиданными способами. При этом требования для пользователей становятся все более простыми, а сами информационные услуги - более индивидуализированными. 7. Открытое образование предоставляет широкую свободу выбора стратегии образования. Каждый человек может учиться в удобное для него время и в любом месте, по индивидуальному расписанию, имея при себе комплект специальных средств обучения и согласованную возможность контакта с преподавателем по средствам связи (телефон, факсимильная связь, электронная почта, режим on-line в среде Интернет), а также в режиме регламентированного очного контакта.
Разработка усовершенствованного алгоритма построения базы пространства знаний
Несколько слов относительно эффективности алгоритма 2. Эксперименты показывают, что время выполнения программы на Паскале, осуществляющей этот алгоритм, зависит от порядка, в котором элементы базы (или перекрывающие элементы) внесены в список. Пока что нет идеального правила относительно оптимального кодирования элементов базы. С другой стороны, усовершенствование получено па многих наборах данных, изменив Алгоритм 2 следующим образом. На каждом шаге / находится объединение V всех Я, с 0 j і и Bj a Bt. Когда рассматривается g є G, сначала проверяем U zg. Если Uctg, проверку шага (2) в алгоритме 2 можно пропустить, потому что условие заведомо не выполняется. Для оригинального алгоритма Доулипга используют множество U очень интенсивно. Этот алгоритм также чувствителен к выбранному порядку.
К множеств, покрываемых базой Sep элементами из области Q мощностью т, может расти по экспоненте р, сложность анализируется в зависимости от т, р и п. Алгоритм 2 имеет время выполнения 0{пр2т), другими словами, существуют натуральные числа т0, ро и п0 и положительное действительное число с, такие, что на области мощностью т то, с мощностью базы р р0 создание пространства мощностью п щ будет всегда требовать шагов, меньше чем спр т.
Разработка усовершенствованного алгоритма построения базы пространства знаний Поскольку практическое применение понятий пространства и структуры знаний имеет определённые особенности, в частности продвижение слева направо по графу, описывающему пространство знаний, то применение указанных выше алгоритмов в чистом виде [15] в некоторых случаях может быть малоэффективным. Например, реализация системы, основанной на пространствах знаний в сети Интернет, предполагает отсутствие такого понятия, как сессия, и сервер не имеет возможности сохранить какие-то данные между двумя последовательными запросами, соответственно, при каждом новом запросе необходимо восстанавливать информацию о пространстве знаний из базы. Уменьшения количества информации, которое необходимо восстанавливать, можно достичь путём отсечения уже пройденных состояний. Для этого можно из базы убрать те элементы, которые включаются в текущее состояние. Пусть В = {Вь Вг, ,.., Яр} - база некоторого пространства знаний К па Q, Кс - текущее состояние. Тогда элементы базы, удовлетворяющие условию Bj zKc, входят в текущее состояние и могут быть заменены наЛ"с. После этого строится пространство знаний, описывающее возможные пути развития знаний обучаемого (или опроса его знаний). Более общее применение имеет ситуация, когда субъект стремится достичь не полного знания области, а какого-то конкретного состояния знаний. В этом случае модификация алгоритма предусматривает ограничение пространства знаний «сверху», т.е. тех состояний, в которые обучаемый (или тестируемый) не стремится попасть. Пусть В = {В\, Въ ..., Вр] - база некоторого пространства знаний К на Q, Кх - целевое состояние. Тогда элементы базы, удовлетворяющие условию BjCiKc, могут быть исключены, поскольку в графе пространства знаний состояния, находящиеся слева, включаются в состояния, находящиеся справа [158]. Обозначим число элементов базы через р, число генерируемых (кроме 0 и Q) элементов в пространстве знаний через и, а размер домена - т. При этом оценка времени выполнения исходного алгоритма будет О (тпр ). Отсечение пройденных состояний требует просмотра всех элементов базы (р элементов) и определения включения для каждого из них (не более т операций), т.е. оценка времени выполнения будет 0{тр). После выполнения этого алгоритма база уменьшится дор р элементов, а значит, восстановление пространства будет занимать не более О (тпр 2) шагов. На самом деле это значение ещё меньше, поскольку число элементов в пространстве знаний и размер домена могут также уменьшиться. Ограничение пространства знаний «сверху» имеет аналогичные характеристики производительности: 0{тр) - для самого алгоритма и О (тпр 2) - для получения пространства. Эти алгоритмы можно примерять совместно, при этом для определения включения каждого из элементов базы может потребоваться вычисление двух теоретико-множественных операций, т.е. в наихудшем случае трудоёмкость усечения базы по совместному алгоритму будет не больше суммы числа операций для алгоритмов по отдельности. Для наглядного сравнения этих модификаций и исходного алгоритма рассмотрим пространство знаний, изображённое на рис.2.1. Пространство знаний К= {0, {a}, {b}, {a, b}, {a, d}, {b, с}, {а, Ь, с}, {a, b, d}, {b, с, d}, {a, b, с, d}, Q), базой для него является множество В = {{a}, {b}, {a, d}, {b, с, d}}. Параметры оценки будут равны /7 = 4, п = 9, т = А. Трудоёмкость исходного алгоритма одного порядка с числом 1296. Построим график (рис. 2.3) относительных трудоёмкости и выигрыша производительности в зависимости от (р -р1). Как видно из графика, уже при уменьшении базы на один элемент достигается значительный выигрыш в производительности (около 20%).
Расчет характеристик аттестационных материалов
Оценку качества тестовых материалов [31] невозможно рассматривать без использования методов квалиметрии, поскольку эта наука непосредственно связана с качеством. Квалиметрия зародилась как научная область, объединяющая количественные методы качества продукции. В нашем случае под продукцией будем понимать банки тестовых материалов.
Термин «квалиметрия» (от лат. «квали» - качество и греч. «метро» -измерять) [32] обозначает сравнительно новую научную дисциплину, изучающую методологию и проблематику разработки комплексных количественных оценок качества любых объектов (предметов, явлений, процессов).
Основными задачами традиционной количественной квалиметрии являются: обоснование номенклатуры показателей качества, разработка методов их определения и оптимизации, оптимизация типоразмеров и параметрических рядов изделий, разработка принципов построения обобщенных показателей качества и обоснование условий их использования в задачах стандартизации и управления качеством.
Математическая модель качества может рассматриваться как некоторая абстрактная система отдельных свойств, имеющих разную степень сложности. Эта модель качества, в силу своего абстрактного характера, в принципиальном отношении будет совершенно одинаковой для различных объектов как технических, так и социальных, психологических, политических и др. Подстановка в эту модель значений конкретных показателей свойств качества характерна для того или иного конкретного объекта позволяет перейти от общей абстрактной модели качества к определенной модели качества реально существующего объекта.
Особо нужно отметить педагогическую квалиметрию, которая рассматривает применение методов квалиметрии к оценке психолого-педагогических и дидактических объектов [33]. В педагогической квалиметрии исследуются как общие проблемы измерений в педагогике и дидактике [34,35,36], так и конкретные задачи, связанные с измерениями в педагогических исследованиях, такие, например, как разработка параметров измерения знаний учащихся [37,38,39,40,41,42], педагогическая экспертиза [43,44,45,46,47], оценка сложности учебного текста. Многие вопросы по квалиметрии рассмотрены в трудах отечественных ученых Л.Б. Ительсона [48,49], Б.П. Битинаса[50], Л.М. Фридмана [51,52], С.И.Архангельского [34,53,54], Н.М. Розенберга [36], A.M. Сохора [55,56,57], М.И. Грабаря [58,59,60,61, 62], П.Н. Воловика [63], В.И. Огорелкова [64,65,66], B.C. Черепанова [32, 43,44,45,46,47] и др. исследователей [67,68,69,70,71,72,73]. Среди зарубежных ученых, внесших вклад в становление педагогической квалиметрии следует в первую очередь отметить работы А.А. Анастази, Р. Аткипсона, Р. Буша, Дж. Гласа, Дж. Стенли [74,75,76,77] и др.
В 60-70 гг. появился ряд работ относящихся к использованию методов кибернетики педагогических исследований, прежде всего в теории информации при проверке и оценивании знаний учащихся. Тем самым были заложены основы педагогической кибернетики - новой науки, появившейся на стыке педагогики, психологии, математики и кибернетики [48,53,78, 79,80,81]. Дальнейшее развитие педагогическая кибернетика получила в 80-е годы благодаря широкому применению математических моделей в дидактике [70,82,83] и внедрению современных ЭВМ в учебный процесс. Из многочисленных работ по педагогической кибернетике можно выделить те, которые имеют отношение к педагогической квалиметрии. Это работы СИ. Архангельского [34,53,54], В.П. Беспалько [84,85], Н.В. Кузьминой [86], которые посвящены системному анализу в педагогических процессах.
Важнейшей задачей квалиметрии является преобразование количества в качество. Под количественной оценкой понимается величина, измеренная по некоторой шкале, например (метр, кг., руб., %). Показатель качества используется в случаях, когда данный предмет, объект или явление невозможно измерить некоторым числом, а возможно лишь сопоставить его с другими объектами той же природы. Таким образом, количество - это значение некоторой физической величины, найденное опытным путем с помощыо специальных измерительных средств и эталонов меры. Качество - это свойство предмета, объекта или явления, определяемое по совокупности не только их количественных признаков, но и признаков самой произвольной природы. В квалиметрии переход от количества в качество, как правило, осуществляется на основе интегративных оценок, т.е. оценок показателей качества объекта относящихся к совокупности его свойств. Дифференциальные оценки по отдельным признакам являются основным инструментом квалиметрии, и на их основе получается итоговая комплексная оценка.
Теоретической базой для педагогической квалиметрии являются в основном методы экспертных оценок. Эти методы в настоящее время достаточно разработаны и опубликованы в трудах Г.Г. Азгальдова [87,88, 89], СД Бешелева, Ф.Г. Гурвич [90], Н.Н. Китаєва [69], Б.Г. Миркина [91], Д.С. Шмерлинга [92]. Кроме того, в педагогической квалиметрии используются методы социологических исследований (анкетирование) и программно-дидактических исследований (тестирование) [93,93,95,96,97,98,99].
Экспертные методы всегда широко использовались при подготовке решений в военной, социально-политической, экономической областях как наиболее сложных и многокритериальных. Обоснованию экспертных методов посвящено значительное число работ [87,88,89,69,90]. Математические основы экспертных методов достаточно разработаны [54,87,90,100]. Экспертный метод является основным методом исследований в общей квалиметрии [87,89] и, следовательно, может быть использован в педагогической квалиметрии при проведении экспертизы. Экспертные методы используют эвристические возможности человека, позволяя на основе знания опыта, и интуиции специалистов, работающих в данной области, получить оценку исследуемых явлений. Эксперт является как бы датчиком исходной количественной информации и используется в тех случаях, когда отсутствуют другие способы ее получения. Н.Н. Китаев [69, С. 8] в своей работе писал «Экспертные методы не являются формальными в строгом смысле слова. Здесь остается широкое поле для творческой импровизации, например, при составлении анкет, где опыт и интуиция преобладают над алгоритмической ясностью. Результаты работы экспертной группы неизбежно будут содержать отпечаток субъективизма, вносимого как самими экспертами, так и организаторами экспертного опроса. Это является неизбежной платой за возможность получить количественные оценки там, где раньше ограничивались лишь качественным описанием». Проведем анализ существующих методов экспертных оценок в квалиметрии.
Основные этапы сертификации и экспертизы
Тесты, разработанные для обучения имеют следующие характеристики: время теста не фиксировано, ответ моментально анализируется и выдастся отчет о качестве вывода тестируемым. Если в ответе были допущены ошибки, то обучающийся получает квалифицированный вывод о том, где была допущена ошибка, и почему этот ответ не верен. Если суждение верно, то выдается вывод, о том что ответ верен и почему. В конце тестирования выдается ведомость с темами, которые были усвоены наиболее слабо. Тестируемый может проходить такой тест неопределенное количество раз, пока не решит, что достаточно хорошо усвоил материал.
Промежуточный (рейтинговый) контроль - предоставляются тестовые задания по нескольким темам из общего банка, для того чтобы выяснить степень усвоения пройденного материала по определенным темам за определенный промежуток времени. Для такого теста характерно фиксированное время, строгая иерархия вопросов (легкие, средней сложности, сложные), для того чтобы понять насколько глубоко усвоена тема и по окончанию тестирования выдаются рекомендации учащимся и преподавателям о том, где есть пробелы в знаниях. Можно также сделать вывод о том, что если по определенной теме разброс в баллах достаточно большой (т.е. есть отличные, хорошие удовлетворительные и неудовлетворительны оценки, приблизительно в одинаковых пропорциях), то можно оценивать, насколько высока мотивация к обучению, если же разброс баллов низок и прослеживается высокий процент правильных ответов на задания легкие и средней трудности, а на сложные - процент правильных ответов низок, то, скорее всего, нужно оценивать качество преподавания.
Общин контроль знаний - предоставляются тесты в конце семестра по всему учебному материалу по одной дисциплине. Для такого теста также характерно фиксированное время, предоставляются только те тестовые суждения, которые отражают, насколько хорошо в целом материал воспринят аудиторией. Такой контроль скорее проводится для того, чтобы оценить качество преподавания (т.е. как преподаватель смог преподнести суть курса и выделить основное для дисциплины из всего учебного материала).
Экзаменационный контроль - по результатам такого теста выставляются зачеты или экзаменационные оценки. Характерно фиксированное время, фиксированный набор вопросов. Сам тест должен быть составлен таким образом, чтобы можно было отразить суть экзаменационного билета и моделировать дополнительные вопросы, которые мог бы задать преподаватель. Для таких тестов наиболее подойдут адаптивные алгоритмы. Но, даже если в тесте не реализован адаптивный алгоритм, то можно сформировать банк таким образом, что для одного испытуемого будет выдаваться следующий набор заданий: по первому вопросу в билете создается 10 тестовых заданий, по второму (более сложному) - 20 заданий. Формируется 10 дополнительных заданий, которые могли бы быть заданы преподавателем, 8 из которых дополнительные к экзаменационным вопросам, а 2 задания - из остального материала по дисциплине. Пропорции можно менять.
Контроль остаточных знаний - проверяет степень усвоения основных положений из одной дисциплины (семестра, курса, специальности) по истечении определенного промежутка времени. Обычно считается, что остаточные знания не могут оцениваться позднее чем, через год после экзамена (зачета). Для таких тестов также характерно фиксированное время, задания для такой проверки должны отражать только самые основные положения, определения и правила из рассматриваемых предметных областей. Необходимо разработать таблицу контрольных дат по созданию банка.
На этом этапе определяется, какой банк тестовых заданий будет создаваться гомогенный или гетерогенный. Гомогенный (однородный) банк тестовых заданий - это банк, тестовые материалы которого отражают суть одной учебной дисциплины в соответствии с ГОС. Гетерогенный (неоднородный) банк тестовых заданий - это банк, тестовые материалы которого могут отражать суть нескольких учебных дисциплин, направлений, специальностей и т.д. Если это гомогенный тест, то уточняется уровень иерархии, в соответствие с которым будут разрабатываться тестовые материалы. Здесь также обязательно учитывается, для каких целей будет создаваться банк, так как от этого будет зависеть уровень трудности тестовых заданий в разрабатываемом материале. Структура БТЗ может быть многоуровневой. Для компьютерного тестирования оптимальным будет следующая структуризация данных в банке тестовых заданий: разделы, темы и понятия. Если создается гетерогенный тест, то уточняется точное количество дисциплин и тем, которые будут обозначены в банке, их структуризация и, так же как и в гомогенном тесте, учитывается, для каких целей будет создаваться банк. После того как ясен предмет тестирования, разработчики для утверждения предоставляют список литературы, который будет использоваться при составлении тестовых материалов. Для объективности при рассмотрении список используемой литературы может быть дополнен.
