Содержание к диссертации
Введение
1. Концептуальная модель системы сертификации работников отрасли образования 17
1.1. Исследование Российских и международных систем сертификации кадров 17
1.1.1. Определение основных понятий теории общих систем 17
1.1.2. Исследование основных моделей сертификации специалистов 21
1.1.3. Анализ Российской системы подготовки кадров 35
1.1.4. Анализ основных требований к уровню квалификации работников отрасли образования в системе повышения квалификации 37
1.2. Определение основных структурных составляющих системы сертификации работников отрасли образования 42
1.2.1. Определение основных компонентов системы сертификации 42
1.2.2. Определение структурных элементов блока «Квалификационные требования» 42
1.2.3. Определение структурных элементов блока «Образовательные программы повышения квалификации» 59
1.2.4. Определение структурных элементов блока «Системы оценки квалификации» 71
1.2.5. Определение структурных элементов блока «Система мониторинга квалификации» 73
1.2.6. Определение структурных элементов блока «Система оценки качества системы сертификации» 76
1.3. Организационная инфраструктура отраслевой системы сертификации 84
1.4. Технологическая инфраструктура отраслевой системы сертификации 86
Выводы (глава 1) 92
2. Инновационные учебные модули в системе повышения квалификации работников отрасли образования 95
2.1. Определение структуры образовательных модулей образовательной программы повышения квалификации работников отрасли образования 95
2.2. Инновационный учебный модуль «Педагогическое проектирование в отрасли образования» 97
2.3. Инновационный учебный модуль «Теория и практика педагогических измерений» 103
2.4. Инновационный учебный модуль «Педагогическая метрология как основа педагогических измерений» 111
2.5. Инновационный учебный модуль «Новые информационно s коммуникационные технологии в профессиональной деятельности
работников отрасли образования» 119
2.6. Методика формирования онтологии отраслевых понятий как основы содержания учебных модулей. Учебный инновационный модуль «Педагогическая метрология как основа педагогических измерений» 123
2.7. Методика формирования оценочных средств учебных модулей (учебный модуль «Педагогическая метрология как основа педагогических измерений») 128
2.8. Методика разработки учебно-методического комплекса для учебных модулей 135
Выводы (глава 2) 137
3. Теоретическая модель системы педагогических измерений как основа педагогической метрологии 138
3.1. Актуальность разработки модели системы педагогических измерений 138
3.2. Объекты исследования в педагогической метрологии 139
3.2.1. Педагогическая система 139
3.2.2. Система обучения 141
3.2.3. Процессы и явления 142
3.2.4. Учение человека как процесс и как явление 143
3.2.5. Преподавание как процесс и как явление 145
3.2.6. Учебная деятельность как процесс и как явление 147
3.3. Педагогические величины 147
3.4. Значение и размер педагогической величины. Единица педагогической величины 148
3.5. Истинное и действительное значение педагогической величины 149
3.6. Система педагогических величин и их единиц 149
3.6.1. Определение свойств объекта педагогического исследования 149
3.6.2. Формализация педагогических понятий 153
3.6.3. Измерение обученности 156
3.6.4. Измерение скорости мышления 157
3.6.5. Формирование системы педагогических величин 157
3.7. Виды педагогических измерений 160
3.8. Принцип, метод, методика педагогического измерения 161
3.9. Средства педагогических измерений 162
3.10. Характеристики результата педагогического измерения 165
3.11. Погрешность результата педагогического измерения 165
3.12. Статистическая обработка данных педагогического измерения 167
3.13. Статистический анализ элементов средства педагогического измерения (тестов) 173
3.13.1. Статистическая трудность задания 173
3.13.2. Дифференцирующая способность задания 174
3.14. Проверка статистических гипотез 174
3.15. Обобщенная теоретическая модель системы педагогических измерений. 175 Выводы (глава 3) 179
4. Методика автоматизированного измерения грамотности и компетентности работников отрасли образования (применительно к области ИКТ) 180
4.1. Определение объекта измерения 180
4.2. Определение цели и принципа и метода измерения 181
4.2.1. Формирование кодификатора 182
4.2.2. Формирование эталонов понятий 183
4.2.3. Формирование эталонов икт-грамотности 184
4.2.4. Формирование эталонов максимальной скорости мышления 186
4.2.5. Установление сертификационных норм 187
4.3. Разработка рабочего средства педагогического измерения 188
4.4. Алгоритм проведения педагогических измерений и оценка результатов.. 197
4.5. Методика автоматизации измерений в системе отраслевой сертификации...200
4.5.1. Определение структуры АСИ 200
4.5.2. Граничные условия автоматизации системы измерений 202
4.5.3. Архитектура системного уровня программно-методического комплекса АСИ 206
4.5.4. Система управления базами данных 208
4.5.5. Формирование теста из БД 218
4.5.6. Апробация тестов 219
4.5.7. Процесс измерения и обработка данных в АСИ 224
4.5.8. Отличительные особенности АСИ 227
Выводы (глава 4) 228
5. Методика экспертной оценки компетентности работников отрасли образования 231
5.1. Определение объекта экспертизы 231
5.2. Определение цели, принципа и метода экспертизы 234
5.2.1. Формирование кодификатора 234
5.2.2. Формирование эталонов компетенций 236
5.2.3. Формирование эталонов коэффициента компетентности 237
5.3. Рабочие средства экспертной оценки 238
5.4. Проведение экспертизы и оценка ее результатов 239
5.4.1. Структура экспертизы 239
5.4.2. Компьютерная обработка результатов экспертизы 241
5.4.3. Обработки данных экспертизы 243
Выводы (глава 5) 245
6. Экспериментальное исследование системы сертификации работников отрасли образования 247
6.1. Мониторинг системы отраслевой сертификации 247
6.2. Уровни экспериментального исследования (мониторинга) системы отраслевой сертификации 249
6.3. Мониторинг грамотности и компетентности работников отрасли образования на уровне локальной системы (Лицей 273 СПб) 251
6.3.1. Исследование результатов измерения грамотности и компетентности работников Лицея категории «Руководители» и «Педагогические работники» 255
6.3.2. Исследование результатов экспертизы компетентности работников Лицея категории «Руководители» и «Педагогические работники» 258
6.4. Экспериментальное исследование компьютерной грамотности в отрасли образования (первый этап эксперимента) 259
6.5. Экспериментальное исследование компьютерной грамотности и икт-компетентности в отрасли образования (второй этап эксперимента) 273
6.6. Экспериментальное исследование оптимальности эффективности АСИ..279
6.7. Практические рекомендации по использованию АСИ 285
Выводм (глава 6) 288
Заключение 290
Список использованных источниковq
- Анализ основных требований к уровню квалификации работников отрасли образования в системе повышения квалификации
- Инновационный учебный модуль «Педагогическое проектирование в отрасли образования»
- Объекты исследования в педагогической метрологии
- Формирование эталонов максимальной скорости мышления
Введение к работе
Актуальность исследования. В настоящее время Российская система профессионального образования находится в состоянии системных преобразований. Одним из приоритетных направлений модернизации системы является повышение квалификации работников отрасли образования в трех основных областях: специальная профессиональная подготовка, социальное взаимодействие, новые информационно-коммуникационные технологии (ИКТ). Основные требования к уровню квалификации работников отрасли образования определены в Едином квалификационном справочнике (ЕКС).
Современные исследования грамотности и компетентности работников отрасли образования в области ИКТ демонстрируют, что количество преподавателей общеобразовательных учреждений, свободно использующих компьютер в профессиональной деятельности, не превышает 25%, современные средства ИКТ – не более 30%, возможности сервисов сети Интернет – не более 35%. Аналогичная ситуация наблюдается и в других областях деятельности работников отрасли образования.
Противоречие, обусловленное несоответствием уровня квалификации работников отрасли образования единым квалификационным требованиям в заданных областях компетенций (профессиональной, правовой, коммуникационной, информационной), ставит задачу пересмотра целевой и содержательной части подготовки кадров, а также методов и средств контроля уровня их грамотности и компетентности.
Установление соответствия уровня грамотности и компетентности работников отрасли квалификационным требованиям, как правило, происходит на основе использования технологий тестирования и сертификации.
В России наиболее распространенной считается вендорная сертификация, которая проводится через государственные и негосударственные образовательные учреждения.
Научные основы построения автоматизированных систем тестирования (АСТ), используемых при различных видах сертификации, заложены работами таких специалистов, как Аванесова В. С., Васильева В. Н., Колесникова Ю. Л., Королева А. А., Кузнецова В. Г., Лисицыной Л. С., Лямина А. В., Майорова А. Н., Неймана Ю. М., Розенберга В. Я., Стафеева С. К., Скуратова А. К., Татура Ю. Г., Тихонова А. Н. Хлебникова В.А. и др.
Опыт показывает, что при практической реализации существующих моделей АСТ в системах сертификации специалистов возникает ряд существенных проблем:
наиболее распространенные вендорные системы ориентированы на интересы отдельных производителей и не могут способствовать решению государственных задач в области управления качеством подготовки работника;
ни одна из существующих систем не обеспечивает измерения грамотности и компетентности с заданной степенью валидности, надежности и достоверности (наиболее близкая к решению этой задачи система ECDL);
ни одна из существующих систем в должной мере не обеспечивает выполнение метрологических требований (единство измерений).
Как следствие, дальнейшее развитие АСТ и систем сертификации тесно связано развитием подходов к измерению грамотности и компетентности работника как объективного процесса. В связи с этим возникает необходимость в поиске новых методов и средств обеспечения единства педагогических измерений в системах сертификации работников, что и определяет актуальность данного исследования.
Объект диссертационного исследования – отраслевые системы автоматизированной сертификации, обеспечивающие технологический контроль уровня подготовки работников в соответствии с квалификационными требованиями, государственными и международными стандартами.
Предмет исследования – теоретические основы, средства, методики и алгоритмы в составе промышленной технологии создания АСТ для сертификации грамотности и компетентности работников в отрасли образования.
Цель исследования – разработка теоретических основ построения автоматизированной системы сертификации работников отрасли образования в рамках обеспечения принципа единства педагогических измерений.
Задачи исследования:
-
разработать формализованную модель системы объективного педагогического измерения, позволяющую автоматизировать процессы сертификации в образовании;
-
обосновать концептуальную модель автоматизированной организационно-технологической системы отраслевой сертификации грамотности и компетентности работников отрасли образования на основе единых квалификационных требований с использованием объективных педагогических измерений;
-
разработать и реализовать методики автоматизации измерения формализованных сертификационных показателей (грамотности и компетентности работников отрасли образования) в рамках модели автоматизированной организационно-технологической системы;
-
разработать методику автоматизированной экспертной оценки компетентности работника отрасли образования на основе количественного анализа сертификационных показателей;
-
провести исследование эффективности многоуровневой автоматизированной организационно-технологической системы сертификации работников отрасли образования в процессе ее опытной эксплуатации;
-
разработать образовательную программу повышения квалификации, ориентированную на развитие инновационной деятельности работников отрасли образования.
Гипотеза исследования. Автоматизированная организационно-технологическая система отраслевой сертификации, разработанная на новой теоретической основе, позволяет объективно оценить результаты подготовки работников образования в системе повышения квалификации в целях модернизации образовательных программ, тем самым обеспечивая соответствие уровня квалификации работников отраслевым квалификационным требованиям.
Методы исследования. В ходе выполнения работы были использованы методы теории сложных систем, методы математической статистики, методы инженерии знаний (включая анкетирование), методы проектирования и разработки программного обеспечения, методы психологического и педагогического тестирования, методы оптимизации и оценки эффективности систем.
Научная новизна результатов исследований заключается в том, что в работе впервые предложен научно обоснованный метрологический подход к проведению объективных педагогических измерений. Данный подход позволяет перейти от формального тестирования испытуемых к объективному педагогическому измерению количественных характеристик грамотности и компетентности, обеспечивая единообразие единиц измеряемых педагогических величин и их мер, тем самым достигается сопоставимость результатов измерений.
На основе предложенного формализма педагогических измерений разработана, обоснована и практически внедрена новая концептуальная модель автоматизированной организационно-технологической системы отраслевой сертификации, которая позволяет унифицировать кодификаторы, базы данных тестовых заданий, средства измерения, проведение измерений в режиме реального времени, обработку данных измерений, а также выдачу и каталогизацию сертификатов.
В целом новизна результатов диссертационной работы достигнута за счет совокупного использования существующих ранее моделей сертификации в рамках целостной модели автоматизированной организационно-технологической системы контроля грамотности и компетентности работников отрасли образования, адаптации методов физических измерений к задачам отрасли образования, а также формирования целостного комплекса технического, организационного, правового и программного обеспечения.
Практическая значимость. На основе обоснованных в диссертации теоретических положений разработан и внедрен в опытную эксплуатацию программно-аппаратный комплекс автоматизированной организационно-технологической системы сертификации работников отрасли образования.
Опытная эксплуатация комплекса проведена в семнадцати регионах РФ (Санкт-Петербург, Ленинградская область, Пермь, Калининград, Новокузнецк, Владимир, Воронеж, Калуга, Краснодар, Новосибирск, Псков, Омск, Самара, Ставрополь, Тамбов, Чувашия, Пермь).
Результаты мониторинга грамотности и компетентности работников на основе применения нового комплекса позволяют вырабатывать управленческие решения в области оценки эффективности системы повышения квалификации и тем самым обеспечить отрасль образования квалифицированными специалистами.
В ходе практической реализации и внедрения результатов работы разработана образовательная программа (инновационная составляющая) повышения квалификации работников отрасли образования, построенная на основе единых квалификационных требований и включающая в себя четыре основных модуля: «Педагогическое проектирование в отрасли образования», «Теория и практика педагогических измерений», «Педагогическая метрология как основа педагогических измерений», «Новые информационно-коммуникационные технологии в профессиональной деятельности работников отрасли образования».
На защиту выносятся:
-
Теоретическая модель педагогических измерений как основа процессов автоматизации сертификации, определяющая способы формализации педагогических понятий, систему педагогических величин и их единиц, методы, процедуры, средства выполнения, анализа и контроля результатов.
-
Концептуальная модель автоматизированной организационно-технологической системы сертификации работников отрасли образования, систематизирующая кодификаторы квалификационных требований, систему оценки квалификации, систему мониторинга сертификационных показателей, систему оценки качества самой сертификации, а также соответствующую технологическую и организационную инфраструктуру.
-
Способы, процедуры и алгоритмы автоматизации процессов педагогического измерения и экспертизы грамотности и компетентности работников отрасли образования, отражающие порядок структуризации автоматизированной системы измерения (АСИ), ограничения к ее применению, архитектуру системного уровня (включая базы данных), правила проведения измерений в режиме удаленного доступа, принципы обработки данных измерений и анализа полученных результатов.
-
Набор методик и инструментальных средств, используемых в автоматизированной организационно-технологической системе сертификации, а также средств разработки образовательных программ повышения квалификации работников отрасли образования на основе единых квалификационных требований.
-
Результаты оценки количественных показателей эффективности функционирования автоматизированной организационно-технологической системы сертификации работников отрасли образования в сопоставлении с ранее существующими системами сертификации в области ИКТ на основе экспертных технологий.
Достоверность результатов работы обеспечивается:
корректностью совокупного использования теоретических положений теории общих систем, метрологии, информатики, педагогики, психологии;
адекватностью информационно-логических моделей реальным процессам, подтвержденной результатами статистической обработки результатов экспериментальных исследований;
положительным результатом опытной эксплуатации программно-аппаратного комплекса в процессе оценки качества подготовки специалистов на всех ступенях непрерывного образования;
апробацией основных положений докторской диссертации на научно-практических конференциях различного уровня и в печатных изданиях.
Внедрение результатов работы. Результаты теоретических исследований использованы при выполнении 2 НИОКР в рамках Федеральной целевой программы развития образования по заказу Министерства образования и науки РФ и четырех НИОКР по заказу Комитета по образованию Санкт-Петербурга. Программно-аппаратный комплекс автоматизированной организационно-технологической системы сертификации работников отрасли образования внедрен в Лицее №273 Колпинского района Санкт-Петербурга, в ФГУ ГНИИ «Информика», а также в образовательный процесс СПбГУ ИТМО.
Апробация работы. Материалы диссертационного исследования обсуждались на 6 международных, 8 всероссийских, 5 межрегиональных и 4 межвузовских конференциях, в том числе «Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России» (СПб., Смольный, 2000-2004 гг.); «Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов» (СПб, ВМИРЭ, 2001-2005 гг.); «Телематика» (СПб., ГРОЦ, 2003-2009 гг.); «Новые технологии в образовании» (Воронеж, ВГПУ, 2003, 2004 гг.); «Развитие тестовых технологий в России» (М., Центр тестирования, 2005-2007 гг.); Международный оптический конгресс «Оптика XXI век» (СПб., СПбГУ ИТМО, 2008 г.); «Уткинские чтения» (СПб., Военмех., 2008, 2009 гг.) «Измерения в современном мире» (СПб, Политехнический университет, 2009 г.) и др., а также на совещании в Департаменте государственной политики в образовании (2008 г); на рабочем совещании в Российской Академии образования (2009 г); на научно-практических семинарах по опытно-экспериментальной работе в Колпинском районе СПб (Лицей №273, 2005-2009 гг.); на предметно-методических и научно-практических конференциях, организованных в рамках УМО «Приборостроение» (СПбГУ ИТМО 2006-2009 гг.).
Публикации. По теме диссертации опубликовано 44 печатных работы, из них - 9 статей в изданиях, рекомендованных ВАК Министерства образования и науки РФ, 1 монография.
Личный вклад автора в работах, выполненных в соавторстве, заключается в постановке задач педагогических измерений, разработке и обосновании концептуальной модели системы сертификации, разработке соответствующего математического аппарата, интерпретации результатов и в формулировке общих закономерностей.
Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка литературы, и восьми приложений. Основная часть работы изложена на 370 страницах машинописного текста. Работа содержит 52 рисунка и 83 таблицы.
Анализ основных требований к уровню квалификации работников отрасли образования в системе повышения квалификации
Определим исходные основные обобщенные понятия и соответствующие им термины, которые будем использовать при исследовании российских и международных систем сертификации кадров и системы подготовки работников отрасли образования [38,80, 93,108].
Система - совокупность объектов (подсистем и элементов), взаимодействие которых обуславливает наличие новых интегративных качеств, не свойственных образующим ее компонентам.
Структура - относительно устойчивый порядок внутренних пространственно-временных связей между компонентами системы, обуславливающих реализацию системных свойств, определяющих функциональное назначение системы и ее взаимодействие с внешней средой.
Компонент - любая часть системы, вступающая в определенные отношения с другими ее частями (подсистемами или элементами).
Подсистема - часть системы, выделенная по определенному классификационному признаку. Это система в системе более высокого порядка. Подсистема выполняет самостоятельную частную задачу или группу задач.
Элемент — такая часть системы, которая в рамках данного исследования является неделимой.
Системное (интегративное) свойство (качество) - это наличие у системного объекта таких свойств и качеств, которые не присущи ни одному из ее компонентов и которые образуются только при объединении компонентов в целостную систему.
Целенаправленность - это ориентация системы на достижение определенной цели, выполнение определенной функции, решение конкретной задачи. Цель выступает основным системообразующим параметром. Целостность заключается в том, что все части сложной системы служат общей цели. Их взаимодействие и взаимопроникновение являются объективной необходимостью, исключающей разрыв этих частей. Взаимосвязан!юстъ состоит в том, что изменение одного элемента системы приводит к изменениям остальных. Функциональность - это выполнение функций достижения цели, решение задач системой на основе системной организации выполнения функций отдельных ее компонентов. Изменчивость - ни одна система не абсолютна и не вечна, а относительна, изменчива и исторична, имеет свое начало и свой конец.
Управляемость - наличие в системе управленческих функций, обеспечивающих ее сохранение в случае возникновения внутренних и внешних воздействий. Класс - совокупность объектов, обладающих одним или несколькими классификационными признаками. Классификационный признак - характеристика свойства, позволяющая полностью или частично идентифицировать объект. Системы классифицируют: 1) по степени участия человека: автоматические, автоматизированные. 2) по степени сложности: простые, сложные; 3) по изменчивости свойств: динамические и статические (динамическая система имеет множество возможных состояний, которые могут меняться как непрерывно, так и в дискретные моменты времени; статическая система система, в которой существенные свойства не меняются); 4) по виду структуры - централизованные, децентрализованные; 5) по характеру реакции на воздействие - самоорганизующиеся и не самоорганизующиеся (самоорганизация - способность системы на основании оценки воздействия внешней среды менять свои свойства и таким образом приходить к такому устойчивому состоянию, когда эффективность решения задач не будет меньше заданной); 6) по причинно-следственным связям между элементами системы: детерминированные и вероятностные; 7) по способу представления системы при проведении исследований: реальные и абстрактные; Большое значение для практических целей имеет классификация систем по сложности. Простая система предназначена для решения одной (конкретной) задачи и имеет постоянную структуру.
Под сложной системой в общем случае понимается замкнутая система из взаимосвязанных и взаимодействующих органов и объектов управления.
Структура, функциональное взаимодействие элементов и характер задач в сложной системе могут изменяться в широких пределах в зависимости от условий функционирования.
Модель — мысленно представляемая или материализованная система, которая замещает некоторый объект (оригинал) в смысле определенного сходства, служит средством фиксации известной и получения новой информации об оригинале.
Теоретическая модель системы должна удовлетворять критериям: связанности (целостности), которая предполагает ограничение исследования выделением существенных взаимозависимостей между элементами; константности (стабильности), основными признаками которой являются: воспроизводимость (моделируемый комплекс может быть обнаружен в разнообразных условиях, ситуациях и оказывается инвариантным при изменении ряда элементов) и технологичности (модель должна проверяться в реальном эксперименте или наблюдении и потому в нее могут быть включены «скрытые» элементы); наблюдаемости, или необходимости связи ключевых элементов теоретической модели с реальными эффектами, которые можно фиксировать в изучаемой области; обозримости (конечности), или необходимости включения в модель минимального числа элементов.
Для исследования сложных систем широкое распространение получило многоуровневое (стратифицированное) описание. Общепринятыми являются следующие уровни: абстрактное представление всей системы в целом, из которого видна логика ее работы и основные цели функционирования (логический уровень); система представляется в виде совокупности источников и получателей информации, мест ее обработки и хранения, а также путей прохождения информации, (информационный уровень); описывается совокупность функций, реализуемых системой, их детализация до задач отдельных исполнителей (функциональный уровень); функционирование системы описывается совокупностью математических выражений - операторов преобразования входных воздействий в выходные (математический уровень); представление системы осуществляется описанием протекающих в ней процессов (физический уровень).
Инновационный учебный модуль «Педагогическое проектирование в отрасли образования»
Практическая составляющая. Формирование структурной матрицы понятий, подлежащих обязательному усвоению по теме «Тестирование как метод педагогического измерения». Проведение педагогического исследования с применением метода тестирования испытуемых по учебной дисциплине. Разработка пакета нормативно-методических документов, сопровождающих процесс тестирования испытуемых по учебной дисциплине. Тема 5. Анкетирование как метод педагогического измерения (7 часов)
Теоретическая составляющая. Анкетирование как метод педагогического измерения. Основные принципы и способы анкетирования респондентов. Определение объекта, принципов и способа анкетирования. Методика проведения процедуры анкетирования и основные требования к ее качеству. Методика статистической разработки анкет. Статистические методы анализа результатов анкетирования респондентов.
Практическая составляющая. Формирование структурной матрицы понятий, подлежащих обязательному усвоению по теме «Анкетирование как метод педагогического измерения». Проведение педагогического исследования с применением метода анкетирования респондентов. Разработка пакета нормативно-методических документов, сопровождающих процесс анкетирования респондентов.
Тема 6. Балльно-рейтинговая система оценки учебных достижений учащихся (студентов) как метод педагогического измерения (11 часов)
Теоретическая составляющая. Учебный план как основа разработки баль-но-рейтинговой системы. Методика разработки модели бально-рейтинговой системы на основе учебного плана и программ учебных дисциплин. Применение бально-рейтинговой системы в управлении процессом образования учащихся (студентов).
Практическая составляющая. Формирование структурной матрицы понятий, подлежащих обязательному усвоению по теме «Балльно-рейтинговая система оценки учебных достижений учащихся (студентов) как метод педагогиче 109 ского измерения». Разработка бально-рейтинговой системы для применения в
учреждении образования. Разработка пакета нормативно-методических документов, сопровождающих балльно-рейтинговое оценивание результатов процесса образования в учреждении образования. Тема 7. Психологические измерения в педагогических системах (8 часов)
Теоретическая составляющая. Виды психологических исследований, проводимых в образовательных системах локального уровня. Психологические измерения. Психолого-педагогическое тестирование как метод оценки интеллектуального развития испытуемого. Методика разработки системы психолого-педагогического тестирования.
Практическая составляющая. Формирование структурной матрицы понятий, подлежащих обязательному усвоению по теме «Психологические измерения в педагогических системах». Разработка системы психолого-педагогического тестирования для применения в учреждении образования. Разработка пакета нормативно-методических документов, сопровождающих психолого-педагогическое тестирование испытуемых в учреждении образования (локальный уровень системы образования).
Теоретическая составляющая. Анализ основных программных комплексов (ПК), используемых при проведении педагогических исследований. Методика применения ПК при тестировании испытуемых и анкетировании респондентов. Программные пакеты Excel, STATISTIKA, специальные авторские программы. Работа с системой управления базами данных СУБД ACCESS.
Практическая составляющая. Формирование структурной матрицы понятий, подлежащих обязательному усвоению по теме «Автоматизация систем психологических и педагогических измерений». Разработка системы компьютерного сопровождения педагогических исследований в учреждении образования. Разработка пакета нормативно-методических документов, обеспечивающих информационную безопасность автоматизированной системы измерений. Тема 9. Разработка систем мониторинга и сертификации результатов образования в педагогических системах (4 часа)
Теоретическая составляющая. Определение понятий оптимальности и эффективности педагогических систем и процессов образования. Методика разработки системы мониторинга в учреждении образования. Роль мониторинга в повышении качества результатов образования и эффективности педагогического воздействия на данный процесс. Методы оптимизации и оценки эффективности системы.
Практическая составляющая. Формирование структурной матрицы понятий, подлежащих обязательному усвоению по теме «Разработка систем мониторинга и сертификации результатов образования в педагогических системах». Разработка системы мониторинга в учреждении образования. Разработка пакета нормативно-методических документов, обеспечивающих функционирование системы мониторинга в учреждении образования.
Объекты исследования в педагогической метрологии
Взаимодействие компонентов программного комплекса с единой базой данных осуществляется при помощи интерфейса программирования приложений (API) языка С# на платформе .NET и библиотеки Connector/Net 5.1. 4.5.5. Формирование теста из БД
Формирование теста происходит автоматически из базы тестовых заданий. В основу автоматизации процесса составления теста положен метод типического отбора.
Согласно принятому кодификатору тестовые задания распределены в БД по соответствующим ячейкам, из которых случайным бесповоротным отбором выбираются структурные единицы теста пропорционально объему выборки (заданной длине теста и его отдельных блоков). Далее задания ранжируются в порядке возрастания индекса трудности и коэффициента дискриминации (рис. 4.7).
Важной составляющей в АСИ является система апробации тестов, определение метрологических характеристик средств педагогического измерения.
Апробация теста - предварительное тестирование выборки испытуемых для определения соответствия теста его целям и априорным характеристикам.
Апробация является необходимым этапом для создаваемого теста перед его широким использованием. Проведение апробации теста, как правило, происходит на экспериментальных нормативных или репрезентативных контрольных выборках испытуемых. Выборочный метод позволяет судить о генеральной совокупности по отобранной (выборочной совокупности) [30,48].
Наиболее важным принципом в применении выборочного метода является обеспечение равной возможности всем единицам, входящим в состав генеральной совокупности, быть избранными.
При таком подборе единиц ни одна единица не обладает преимуществом попасть в отбираемую совокупность по сравнению с другими единицами. Характеристики выборочной совокупности при увеличении объема выборки стремятся к характеристикам генеральной совокупности.
Согласно теореме Чебышева, с вероятностью, сколь угодно близкой к единице (достоверность), можно утверждать, что при достаточно большом объеме выборки и ограниченной дисперсии генеральной совокупности разность между выборочной средней (X) и генеральной средней (X) будет сколь угодно мала: где X - средняя по совокупности выбранных единиц; Х- средняя по генеральной совокупности; а- среднее квадратическое отклонение в генеральной совокупности. При практическом использовании теоремы Чебышева генеральную дис персию а2 заменяют выборочной дисперсией а2.
Для суждения о том, являются ли достоверными характеристики, полученные с помощью выборочных наблюдений, следует применить доверительную вероятность, т. е. такую вероятность, которую исследователь признает достаточной при установлении границ случайного колебания изучаемого явления.
В качестве доверительной вероятности принимают P(t)= 0,95 или P(t)= 0,99. Последняя наиболее достаточна.
Процесс формирования выборок для апробации теста можно автоматизировать с помощью специальной компьютерной программы.
Программа позволяет подсчитать ряд характеристик, исходя из таблицы начальных данных, таких как численность группы и выборочная средняя для данной группы, а также количества отбираемых единиц (рис. 4.8).
Проведение измерений в АСИ сопряжено с непрерывным исследованием качества средств измерения как целостных систем и их отдельных элементов -тестовых заданий. Исследование проводится по тестовым матрицам [1,2, 76]. Пример матрицы, полученной на экспериментальной выборке испытуемых в процессе сертификационного тестирования, приведен в приложении 8. Матрицей называется компактная форма записи множества элементов, связанных некоторой общностью содержания.
Рассмотрим пример матрицы, в которой приведены результаты проверки 16-ти испытуемых, по 17-ти заданиям теста. Размер тестовой матрицы записывается как: (Х16х]7). Первая колонка таблицы представляет номера испытуемых. 222 Первая строка представляет номера заданий. Таким образом, в матрице проводятся два упорядочения. Одно касается испытуемых. В первой строке представляются баллы самого успешного испытуемого, во второй менее успешного, и т. д., по нисходящей сумме баллов, посчитанной для каждого. Последнюю строку матрицы занимает самый слабый испытуемый.
Другое упорядочение проводится для заданий. На первом месте ставится самое легкое задание (по нему имеется наибольшее число правильных ответов), на втором - менее легкое, и т. д.
Сложение элементов матрицы по строке дает исходный тестовый балл каждого испытуемого: Y,, сложение по столбцам указывает на количество правильных ответов в каждом задании: R} . Для получения сопоставительных характеристик R} следует разделить на число испытуемых в каждой группе: где Pj - доля правильных ответов на задание j. Во второй строке под матрицей указывается число неправильных ответов Wj испытуемых в каждом задании. Деление W} на число испытуемых N определит долю неправильных ответов на задание j.
Формирование эталонов максимальной скорости мышления
Содержание СОК должно соответствовать требованиям ГОС ВПО конкретного направления или специальности", квалификационным требованиям к работникам отрасли.
Выбор методов оценки должен основывается на необходимости обеспечения действенности сертификатов за счет гибкости, динамичности и рациональности процедуры, основанной как на качественных, так и на количественных методах оценки грамотности и компетентности специалиста.
Процедура оценки уровня квалификации работников должна строиться с учетом опыта европейской систем, в частности с ECTS, принятой в Болонском процессе для определения рейтинга специалиста
При сертификации работника должны учитываться: образование, стаж работы по специальности, результаты педагогических измерений грамотности и компетентности. Службы по надзору в сфере образования всех уровней должны учитывать наличие сертификата при аттестации работника. Документы о сертификации должны учитываться работодателями при приеме на работу, определении должности, тарификации работника.
Эффективность системы оценки уровня квалификации работников определяется уровнем обеспечения реального содействия их трудоустройству и быстротой реагирования системы повышения квалификации и переподготовіш кадров на изменение образовательных условий и социального заказа на образование.
Необходимым условием создания, внедрения и дальнейшего развития мониторинга качества подготовки специалистов в системе повышения квалификации через процедуру сертификации работников является наличие высокотехнологичной и надежной многоуровневой АСИ. Разработка такой системы требует дальнейшего решения комплекса научно-практических и управленческих задач, связанных с определением и принятием стандартов в системе профессионального образования по всем возможным уровням подготовки, составлением измерителей (тестов), созданием пакета программного обеспечения процесса педагогического измерения и обработки полученных данных.
Применение АСИ требует высокой квалификации специалистов в области тестирования, обеспечивающих процесс проведения измерений.
В соответствии с этим необходимо проведение обучения персонала тестовых центров на предмет изучения особенностей АСИ в целом и особенностей данной системы в частности. В ходе обучения особенное внимание следует уделить процедурным вопросам, программному обеспечению, изучению содержания тестовых материалов.
Организаторы тестирования должны быть предварительно подготовлены к установке ПО и эксплуатации компьютерных сетей.
Организатор педагогических измерений (организатор тестирования)- это специалист, имеющий педагогическое образование, прошедший специальный инструктаж и имеющий опыт организации тестирования.
Организатор педагогического измерения в соответствии с установленной методикой должен:
Соблюдать корректность по отношению к испытуемым. Ориентировать испытуемых на выполнение максимального количества заданий и Обеспечить соблюдение конфиденциальности по отношению к ходу обследования и его предварительным результатам. В процессе обследования исключить любое обсуждение содержания вопросов и даваемых испытуемым и ответов. Описанная выше инструкция ориентирована на обеспечение надежности и достоверности педагогических измерений в АСИ.
В данной главе диссертационного исследования приведены результаты работы по опытной эксплуатации АСИ.
Проведенная эксплуатация опытной АСИ на фокус-группах показала, что система позволяет обеспечить высокую точность и надежность измерения грамотности и компетентности испытуемых, и как следствие, эффективное управление процессом подготовки и повышения квалификации работников отрасли образования. Результатом данного этапа явилось: создание структурно-функциональной модели отраслевой системы сертификации; 289 разработка методических рекомендаций и типовых инструкций для центров сертификации по использованию и эксплуатации АСИ; апробация тестов с целью исследования данного вида средств педагогических измерений на метрологическую пригодность; апробация методики измерения грамотности и компетентности на отдельных выборках испытуемых. В дальнейшем, полученные в процессе мониторинга результаты исследования грамотности и компетентности позволят разработать типовые образовательные программы и соответствующие этим программам учебно-методические комплексы для систем повышения квалификации и переподготовки работников отрасли образования. А также: реализовать отраслевой проект в области информатизации и создания единого информационного пространства в части повышения уровня квалификации специалистов, реализующих данный проект на всех уровнях системы образования; оптимизировать и повысить эффективность системы профессионального дополнительного образования работников отрасли образования за счет улучшения качества контроля их подготовки.
