Содержание к диссертации
Введение
Глава 1 Теоретические основы интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы
1.1 Современное состояние проблемы мониторинга качества освоения обучающимися образовательной программы
1.2 Интерактивный мониторинг качества освоения обучающимися образовательной программы
1.3 Инновационные формы контроля для проведения интерактивного мониторинга
Выводы по первой главе
Глава 2 Технология компьютерного адаптивного тестового контроля для проведения интерактивного мониторинга
2.1 Развитие систем компьютерного тестового контроля для проведения интерактивного мониторинга
2.2. Разработка интерактивных тестовых заданий
2.3. Опытно-экспериментальная работа по проверке эффективности интерактивного мониторинга качества подготовки студентов колледжа (на примере специальности Страховое дело)
Выводы по второй главе
Заключение
Список литературы
- Интерактивный мониторинг качества освоения обучающимися образовательной программы
- Инновационные формы контроля для проведения интерактивного мониторинга
- Разработка интерактивных тестовых заданий
- Опытно-экспериментальная работа по проверке эффективности интерактивного мониторинга качества подготовки студентов колледжа (на примере специальности Страховое дело)
Интерактивный мониторинг качества освоения обучающимися образовательной программы
В отечественных педагогических исследованиях проблемы мониторинга качества обучения рассматриваются в контексте модернизации системы образования и поиска новых подходов к формированию адекватных механизмов оценки качества образования. Действительно, качество образования чрезвычайно важная категория в образовании в целом и в педагогических исследованиях в частности. Однако, анализ литературы показывает, что среди ученых и педагогов-практиков пока еще нет единых подходов, не сложились однозначные трактовки данного понятия, не сформировались показатели и критерии качества образования, а также не разработаны соответствующие методы его диагностики и мониторинга.
В контексте настоящего исследования необходимо разобраться в современной трактовке понятий «качество профессионального образования», «качество профессиональной подготовки», поскольку в дальнейшем речь пойдет о критериях и инструментах диагностики и мониторинга качества образования, педагогических измерениях, технологиях тестирования. Естественно, необходимо обобщить существующие на сегодня определения, подходы и точки зрения ученых –педагогов по этому вопросу.
Болотов В.А., Н.Ф. Ефремова [19], Н.А.Селезнева [139] и др. на основе системы менеджмента качества сформулировали основные направления деятельности образовательных учреждений по обеспечению качества: - планирование качества, т.е. определение потребителей образовательных услуг, выявление их потребностей, разработка характеристик, требований, стандартов; - диагностика и контроль качества, в смысле обеспечения измерения показателей качества, анализ и сравнение достигнутых показателей качества с заданными образовательными стандартами, корректировка процесса обучения в соответствии с результатами диагностики; - улучшение качества, т.е. создание системы непрерывного усовершенствования процесса обучения, выявление и устранение недостатков в образовательном процессе.
Отметим, что ключевой проблемой внедрения вышеперечисленных принципов в сфере образования является обеспечение постоянной диагностики и объективного мониторинга показателей качества, где все большую роль играет технология педагогического тестирования, в том числе и его автоматизированная модификация – компьютерное адаптивное тестирование. По мнению М.Б. Челышковой [158], В.И. Звонникова [51, 52], Н.Ф. Ефремовой [46], показатели качества образования можно разделить на три группы: - экономические показатели, характеризующие вложения в образование, информацию о финансировании образования, его материально-техническом, кадровом, информационном и другом обеспечении; - показатели качества учебного процесса, обуславливающие качество программ обучения, и вообще деятельность образовательного учреждения; - показатели, характеризующие уровень подготовки, результаты учебных достижений и ценностной ориентации студентов, а также информацию о дальнейшей профессиональной карьере выпускников.
В условиях мировой тенденции перехода к массовым педагогическим измерениям появляется возможность стандартизировать параметры качества подготовки обучающихся, обеспечив мониторинг, то есть сбор и анализ сопоставимых результатов измерений на разных уровнях и ступенях образования. Очевидно, что для этого необходимо выявить измеряемые показатели и критерии качества образования, что само по себе является довольно сложной научной задачей, решение которой возможно, в том числе, и в рамках методологии интерактивного компьютерного педагогического тестирования.
Несмотря на то, что качество профессионального образования является более комплексным, более многогранным понятием, чем качество подготовки специалистов, но именно оценка качества подготовки обучаемых чаще всего рассматривается как результат учебного процесса. Поэтому, по глубокому убеждению автора настоящего исследования, вся остальная информация - о размерах финансовых затрат на образование, кадровом обеспечении, методических системах и программах обучения, и многое другое является только фоном или условиями для выявления факторов, влияющих на результаты обучения – качество профессиональной подготовки, качества освоения обучающимися профессиональной образовательной программы. В Российской Федерации за последние несколько лет вышел целый ряд основополагающих нормативных документов, касающихся мониторинга качества образования и независимой оценки качества образовательных услуг. Все эти документы отвечают современным тенденциям модернизации образования в нашей стране, направленным на развитие государственно-общественного контроля над качеством и эффективностью работы образовательных организаций и системы образования в целом.
На наш взгляд, эта тенденция четко обозначилась в Указе Президента РФ от 7 мая 2012 г. N 597 "О мероприятиях по реализации государственной социальной политики" [149], в котором планируется «…обеспечить формирование независимой системы оценки качества работы организаций, оказывающих социальные услуги, включая определение критериев эффективности работы таких организаций и введение публичных рейтингов их деятельности».
Инновационные формы контроля для проведения интерактивного мониторинга
Еще одной перспективной формой контроля для внедрения исследуемой технологии являются интерактивные практические заданий по формированию профессиональной компетенции. Данные интерактивные практические задания, как пример реализации методов проблемного обучения, позволяют сформировать отдельные признаки, черты профессиональной компетенции, состоят из условия, в которой поставлена практическая профессиональная проблема, и эвристического алгоритма ее поэтапного решения. В ходе данного исследования нами был наработан педагогический опыт по разработке и применению интерактивных практических заданий для мониторинга освоения образовательной программы. Общие рекомендации для преподавателей по разработке и использованию интерактивных практических заданий заключаются в следующем: - не задавать вопросы и не ставить проблемы, на которые можно ответить однозначно: «да» или «нет»; - по возможности, в условии задания избегать вопросы, подразумевающие только один правильный ответ; - формулировать проблемы (вопросы в условиях) так, чтобы они заставляли студентов делиться своими мыслями и мнениями, чувствами, а не давать заученных ответов из учебника; - для усиления интерактивности, при проведении практического занятия пользоваться вопросами в режиме «эстафеты», то есть направлять вопросы и комментарии от одного студента к другому; - для повышения альтернативности мышления студентов использовать вопросы типа: «А кто из вас думает иначе?»; - уважать достоинство студентов, признавая их право на ошибочное суждение, при этом избегать однозначные оценочные реакции даже на неверный ответ студента, всегда поблагодарите его за участие в обсуждении; - в ходе практического занятия ориентировать студентов на общение друг с другом, на поиск алгоритма самостоятельного решения поставленной проблемы, а не на ожидание вашей подсказки преподавателя.
Для каждой рассматриваемой на практическом занятии проблемной ситуации преподаватель должен предварительно подготовить конкретные вопросы для обсуждения, предусмотреть варианты реакции студентов, заранее продумать свои комментарии и корректировку хода обсуждения. В процессе диалога предпочтительными должны быть вопросы, побуждающие студента к рефлексивной деятельности. Например, такого типа: «Как вы об этом догадались? Как у вас получилось? Как вы рассуждали, когда решали эту задачу?». В качестве формы представления профессиональных ситуаций может быть использована такая компетентностно-ориентированная образовательная технология, как метод проектов, реализуемый в виде виртуальных учебных фирм (ВУФ). Таким образом, можно объединить на практическом занятии обсуждение результатов работы студентов в виртуальной фирме с разбором решения интерактивного практического задания. Так как под проектом подразумевается специально организованный преподавателем и самостоятельно выполняемый студентами комплекс действий, завершающихся созданием некоего результата, то метод проектов также является технологией, позволяющей формировать педагогические ситуации на основе различных профессиональных проблем. При этом заметим, что компетенции, в свою очередь, как проявляются, так и формируются в ситуации [88]. Таким образом, можно объединить на практическом занятии обсуждение результатов работы студентов в виртуальной фирме с разбором решения интерактивного практического задания. При этом возникает возможность проведение мониторинга формирования профессиональных компетенций, определенных в ФГОС СПО. В данном аспекте - форм контроля за результатами обучения – различие традиционной оценки и интерактивного мониторинга качества освоения ОПОП проявляется наиболее отчетливо.
Таким образом, теоретический анализ проблемы позволил сформулировать концепцию интерактивного мониторинга качества освоения студентами основной профессиональной образовательной программы. Результат обучения является целевым элементом данной концепции. Результат обучения - это реальный итог многолетнего образовательного процесса, образовательной деятельности студентов колледжа. Взаимосвязанными этапами такой деятельности в данном концептуальном подходе являются: диагностирование полученных результатов, их сопоставление с прогнозируемыми результатами (то есть с требованиями ФГОС СПО), коррекция отдельных учебных действий, условий их протекания и др. Все это в современных образовательных системах называет мониторингом, а мы уточняем и называем данную систем интерактивным мониторингом качества освоения образовательной программы.
Концепция интерактивного мониторинга качества освоения образовательной программы позволяет выявить его следующие принципы: 1) непрерывности, те постоянного и систематического сбора данных; 2) диагностичности, подразумевающей наличие целевой модели или критериев, с которыми можно соотнести (сопоставить) реальное состояние отслеживаемого объекта, системы или процесса; 3) информативности (включение в состав критериев для отслеживания наиболее важных, проблемных показателей и критериев, на основании которых можно делать выводы динамики изменений в отслеживаемых процессах); 4) научности, подтверждающей обоснованность применяемых моделей и отслеживаемых параметров; 5) обратной связи, позволяющей на основе полученных результатов вносить коррективы в ход отслеживаемого процесса.
Если традиционные способы оценивания не могут зафиксировать наличие узкоспециальных знаний, то еще в меньшей степени они способны улавливать формирование навыков, практического опыта, мотивов, способов мышления и видов деятельности, профессиональных компетенций, способных составить в будущем арсенал компетентного специалиста. Сегодня главными факторами интерактивного мониторинга в системе СПО по существу должны стать: диагностика динамики профессионального развития студентов, внесение соответствующих коррективов в процесс профессионального образования, а также отслеживание характеристик процесса становления личности, что в комплексе обладает большей информативностью по сравнению с традиционными сведениями о результатах обучения. В процессе интерактивного мониторинга, в современных формах контроля основной упор необходимо делать на применение полученных знаний, на выявление использованных методов, на оценку способа действий, на самооценку студентом своих действий, т.е. на приобретение профессиональных и общих компетенций.
Разработка интерактивных тестовых заданий
Таким образом, инновационные формы заданий для компьютерного тестирования значительно улучшают качество педагогического измерения и педагогической диагностики либо посредством улучшение качества существующих, традиционных форм заданий и их модификаций, либо созданием совершенно новых форм компьютерных заданий, нацеленных на расширение возможностей самого педагогического измерения в новые, недоступные ранее сферы. Другими словами, инновационные формы компьютерных заданий дают возможность измерять учебные достижения обучающихся лучше, точнее, шире и многограннее. В проведенном авторами методологическом анализе показывается, что большинство инновационных форм заданий обеспечивает совершенствование компьютерного педагогического измерения и диагностики учебных достижений по целому ряду направлений. Особенно следует отметить, что все вышеперечисленные формы компьютерных заданий имеют потенциал использоваться в интерактивном режиме, то есть во время контроля обучающийся имеет возможность увидеть верный ответ или ознакомиться с ходом решения поставленной задачи.
Более того, инновационные формы компьютерных тестовых заданий могут улучшить качество педагогического измерения путем сокращения влияние эффекта случайного угадывания.
Инновационные типы компьютерных заданий, которые включают нетекстовые, визуальные носители информации, также могут обеспечить более прямое и эффективное педагогическое измерение. Вместо того, чтобы описывать в виде текста некоторый визуальный, звуковой или динамический элемент, педагоги могут включить непосредственно в задание изображения, звуки, мультипликацию или видео.
Важное направление, при котором инновационные типы компьютерных заданий обеспечивают повышение эффективности контроля, состоит в том, что они расширяют возможности педагогической диагностики на более высокие уровни познавательных процессов. Например, такие инновационные типы заданий, описанные выше, могут поставить задачу перед экзаменующимся по созданию на экране компьютера схемы некоторого объекта, или написания формулы, или компоновке таблицы и т.д. Фактически, данные типы заданий уже выходят на проверку сформированности компетенций обучающихся. Результаты выполнения данного типа заданий могут обеспечить контроль и диагностику профессиональных компетенций, практического (производственного) опыта и даже творческих умений.
Новые формы заданий повышают уровень интерактивности. Большинство применяемых в процессе тестовой диагностики компьютеризированных форм заданий являются неинтерактивными, то есть экзаменующийся предпринимает какое-то действие (например, делает выбор варианта ответа), и на этом процесс выполнения задания закончен. В случае интерактивного тестового задания компьютер тем или иным образом реагирует на действия экзаменуемого. В научной литературе [40, 86, 118 и др.] различают несколько типов или уровней интерактивности. Достаточно редко на практике применяют задания, в которых используют ограниченный уровень интерактивности, и еще реже, когда применяют высокий уровень интерактивности. Рассмотрим тип заданий, в котором используется ограниченная обратная связь, лишь немного увеличивая взаимодействие системы «задание-испытуемый». В этих заданиях после действия экзаменующегося компьютер некоторым образом реагирует. Например, в задании, где экзаменующиеся редактируют текст, новое предложение может быть отображено в первоначальном отрывке, позволяя экзаменующимся перечитать весь отрывок с проведенной им заменой. В заданиях на установление правильной последовательности, как только испытуемый выбрал некоторый порядок элементов, компьютер переставляет элементы в этом же порядке. Так как в таких заданиях испытуемый не получает сигнала обратной связи о правильности (или неправильности) своего ответа, то данный ограниченный уровень интерактивности используется только для того, чтобы помочь отвечающему удостовериться в правильности ответа, т.е. еще раз просмотреть задание и ответ в контексте поставленной проблемы. В этом случае интерактивности задания компьютер обеспечивают целый набор инструментов для испытуемых в пределах ответа. Эти инструменты, заложенные в компьютерную программу, рассматриваются как «пассивная форма» взаимодействия, т.е. компьютер отвечает на действия человека путем визуализации результата (подсказки, или справочного материала) на экране монитора. Следующий тип или уровень интерактивности – когда в задание включается двукратное (или многократное) разветвляющая функция. В этом типе заданий – c двухступенчатым (или многоступенчатым) разветвляющимся интерактивным переходом - составляется разветвляющаяся структура по вариантам выбора. В зависимости от ответа испытуемого на задание алгоритм последует по тому или иному пути. В еще одном уровне интерактивная прикладная ситуация может сопровождаться обширным набором вариантов или выборов, доступных экзаменующемуся. В этом случае экзаменующийся выбирает множественные варианты или действия в любое данное время. Компьютер будет тогда реагировать на эти выборы, модифицируя и пересматривая экранную проблему. Число шагов до завершения этого типа инновационного задания может быть переменным, в зависимости от действий, которые осуществляет испытуемый и реакций компьютера на них. Ограниченное применение интерактивности при компьютерном тестировании связано с трудностями, свойственными разработке интерактивных оценок и методов подсчета баллов за выполнение таких заданий. Даже когда задание состоит из двух стадий взаимодействия, т.е. ограниченный уровень результатов интерактивности, существуют множество траекторий для мониторинга освоения образовательной программы. Особое значение при внедрении инновационных форм тестовых оценка их качества с точки зрения тестовой теории. Задание, которое педагог сформулировал, еще не является полноценным тестовым заданием. В.С. Аванесов и М.Б. Челышкова называют такие задания «претестовыми» заданиями, т.к. остается еще одна важная задача - определение их качества [2, 3, 158]. Если в ходе экспертизы или пробного тестирования будет установлено, что задание имеет тот или иной дефект, то оно должно быть откорректировано или отвергнуто. При анализе качества заданий разработчики педагогических тестов должны использовать научную методологию экспертизы, направленную на обнаружение и сокращение ошибок в педагогическом измерении, которые могут иметь систематический или случайный характер.
Существуют два основных подхода: проведение субъективной экспертизы качества тестовых заданий и оценка статистических показателей после проведения пробного тестирования [158].
Следует признать, что некоторая ошибка принципиально свойственна измерению образовательных достижений. Задача создателей теста - знать методы для того, чтобы обнаружить ее присутствие и сократить источники ее возникновения. Этими нежелательными источниками может быть запутанная формулировка задания, слабое соответствие между заданием и целью измерения и т.д. В то время как ошибка педагогического измерения не может быть устранена полностью, зная источники ее возникновения в процессе создания заданий можно улучшить и их качество, и качество всего теста.
Опытно-экспериментальная работа по проверке эффективности интерактивного мониторинга качества подготовки студентов колледжа (на примере специальности Страховое дело)
Результаты анкетирования студентов при традиционной форме обучения и с применением интерактивного мониторинга. Самооценка сформированности профессиональных и общих компетенций. Диаграмма: Процент студентов, ответивших на вопрос: «На каком уровне, по Вашему мнению, сформированы ваши профессиональные и общие компетенции» - Пока не сформированы.
Анализ ответов студентов на вопрос: «На каком уровне, по Вашему мнению, сформированы ваши профессиональные и общие компетенции» показал стойкую тенденцию большей самооценки тех студентов, которые обучались с применением интерактивного мониторинга. Например, по мнению респондентов, обучавшихся с применением интерактивного мониторинга, полностью сформированы профессиональные компетенции у 32 % , что на 8 % больше в сравнении с группой студентов, обучающихся по традиционной форме обучения (Рис. 2.19.). А общие компетенции полностью сформированы у 36% респондентов, обучавшихся с применением интерактивного мониторинга, что на 12 % больше самооценки студентов, обучавшихся по традиционной форме обучения (Рис. 2.20.).
Аналогичную тенденцию подтверждают данные на Рис. 2.6. и Рис. 2.7. С другой стороны низкую самооценку (на вопрос: «На каком уровне, по Вашему мнению, сформированы ваши профессиональные и общие компетенции» - дан ответ «профессиональные компетенции пока не сформированы») дали только 4% респондентов, обучавшихся с применением интерактивного мониторинга, и 16% студентов, обучавшихся по традиционной форме обучения (Рис. 2.21.).
Проведенный педагогический эксперимент показал, что использование интерактивного мониторинга в образовательном процессе привело к значительному повышению продуктивности усвоении учебных знаний и, как следствие, к лучшему освоению ОПОП по специальности «Страховое. В целом по мере внедрения технологии интерактивного мониторинга произошло повышение удовлетворенности студентов качеством образования в экспериментальных группах, по сравнению со студентами контрольных групп с традиционными методами обучения. Можно утверждать, что проведенный педагогический эксперимент подтвердил положения гипотезы данного исследования. Было установлено, что внедрение технологии интерактивного мониторинга привело к повышение качества обучения студентов в колледже. В ходе всей работы мы постоянно следили за тем, чтобы цели, задачи и модели интерактивного мониторинга формировались в соответствии с требованиями ФГОС СПО, чтобы интерактивный мониторинг был основан на принципах взаимодействия, активности обучаемых, опоре на групповой опыт, на взаимной оценке, самоконтроле и эффективной обратной связи.
Эксперимент убедительно подтвердил эффективность реализации технологии интерактивного мониторинга в комплексе современных способов и форм контроля: 1) компьютерных адаптивных тестов, 2) технологии виртуальных учебных фирм; 3) решения интерактивных практических заданий; 4) постоянного и систематического наблюдения за динамикой изменения в профессиональном и личностном развитии студентов колледжа.
В результате исследования мы пришли к выводу, что интерактивные компьютерные тесты, разработанные на научно-обоснованных методиках, обладают высокой надежностью и валидностью, и в этом они существенно отличаются в лучшую сторону от традиционных форм и методов педагогического контроля. При этом, именно адаптивные тесты полностью отвечают требования интерактивного мониторинга качества освоения ОПОП. В ходе работы был проведен научно-педагогический анализ понятий «педагогический тест» и «тестовое задание», проанализировано современное состояние типологии и классификация тестов в образовании и их применения для целей мониторинга. Отмечено, что особое значение сейчас приобретают компьютерные адаптивные тесты, обладающие необходимыми для мониторинга характеристиками. Компьютерная тестовая диагностика имеет целый ряд неоспоримых преимуществ перед традиционным бланковым тестированием: результаты автоматически обрабатываются компьютером; большая эффективность, надежность и точность педагогического измерения; возможность дистанционного контроля; применения инновационных интерактивных форм тестовых заданий и др.
Анализ отечественной и зарубежной практики компьютерного тестирования показывает, что инновации при разработке заданий для компьютерного тестирования включают в себя следующие взаимозависимые и взаимодополняющие направления: 1) форма заданий (с учетом компьютерного интерфейса); 2) действие обучающегося при ответе; 3) включение в структуру заданий элементов мультимедиа (графики, аудио, видео); 4) повышения уровня интерактивности, степени взаимодействия компьютера и обучающегося; 5) методы подсчета баллов за выполнения заданий и всего теста.
