Содержание к диссертации
Введение
1 Теоретические основы мониторинговых исследований в образовании 12
1.1 Научные основы мониторинга в сфере образования 13
1.2 Система показателей мониторинга качества обученности в региональной системе общего образования 32
1.3 Роль педагогических тестов в оценке качества обученности 48
1.4 Выводы по первой главе 61
2 Мониторинг качества обученности учащихся: технология, апробация, модель 64
2.1 Технология мониторинга качества обученности учащихся 64
2.1.1 Технология получения выборочной совокупности 66
2.1.1.1 Метод случайной выборки 66
2.1.1.2 Кластерный анализ формирования однородных групп в системе образования 68
2.1.2 Технология педагогической интерпретации результатов мониторинговых исследований 77
2.1.2.1 Основные характеристики анализируемой совокупности данных 78
2.1.2.2 Методы для оценки и анализа качества обученности 82
2.1.2.3 Стадии технологии педагогической интерпретации результатов мониторинговых исследований 84
2.2 Апробация основных методов, входящих в технологию педагогической интерпретации результатов мониторинга 85
2.2.1. Формирование основной совокупности данных по результатам централизованного тестирования 86
2.2.2. Определение центральной тенденции совокупности экспериментальных данных 88
2.2.3. Первичное исследование групп данных 95
2.2.4. Углубленное исследование групп данных 105
2.2.5. Содержательный анализ результатов выполнения тестов 106
2.3 Примерные рекомендации мониторинговой службы 111
2.4 Модель системы мониторинга качества обученности в региональной системе общего образования 117
2.5 Выводы по второй главе 131
Заключение 133
Список использованных источников 136
Приложение А. Распределение школ по кластерам 154
Приложение Б. Анкета для разработки системы показателей мониторинга качества обученности 164
- Научные основы мониторинга в сфере образования
- Система показателей мониторинга качества обученности в региональной системе общего образования
- Кластерный анализ формирования однородных групп в системе образования
- Определение центральной тенденции совокупности экспериментальных данных
Введение к работе
Актуальность исследования. Концепция модернизации российского образования на период до 2010 года и решения правительства Российской Федерации, утвержденные 21 декабря 2005 года по вопросам образования, предусматривают ряд приоритетных мер по обеспечению качества образования. Качество образования напрямую зависит от качества государственных образовательных стандартов, при разработке которых требуется рассмотрение множества аспектов. К ним относятся определение критериев и показателей качества образовательных систем различного уровня, процедуры получения достоверной и объективной информации результатов обучения, организация мониторинга качества обучения как инструмента управления региональной системой образования и др. Из вышеизложенного следует, что для современной педагогической науки и практики задача педагогического мониторинга, обеспечивающего непрерывное системное отслеживание состояния образовательного процесса, является одной из актуальнейших задач.
Во второй половине девяностых годов в российском образовании стала использоваться система оценки знаний учащихся с помощью стандартизированных педагогических измерителей. Технология оценивания знаний учащихся была разработана Центром тестирования выпускников общеобразовательных учреждений (в настоящее время Федеральный центр тестирования). С созданием этого центра произошли качественные сдвиги в теории педагогического тестирования, разработаны, апробированы и в настоящее время используются тесты различного целевого назначения с известными параметрами качества, надежности и валидности. Естественно, что результаты тестирования можно использовать для принятия обоснованных управленческих решений органами управления образованием. Мониторинг качества образования обеспечивает сопоставимость результатов обучения на различных уровнях: общероссийском, региональном, муниципальном. На региональном уровне органы управления образованием могут анализировать
состояние качества образования в каждом конкретном общеобразовательном учреждении, сравнивать результаты образовательной деятельности различных типов общеобразовательных учреждений, муниципальных систем образования.
Исследования в области управления качеством образования и образовательного мониторинга появились в отечественной педагогике в 90-х годах (В.П. Беспалько, А.Н. Майоров, В.А. Кальней, СЕ. Шишов, Д.Ш. Матрос, Д.М. Полев и др.). Они базируются на анализе содержания, принципов и функций управленческой деятельности, которые представляют собой теоретическую базу управления образованием. Различные аспекты этой проблемы были рассмотрены В.П. Симоновым, Т.И. Шамовой, П.И. Третьяковым, A.M. Моисеевым и др. В их трудах обсуждаются принципы и функции управления, содержание управленческой деятельности.
В последние десять лет объектом нового направления исследований стали проблемы управления качеством образования с использованием новых информационных технологий и образовательного мониторинга (В.П.Панасюк, М.М.Поташник, Е.А.Ямбург, Д.Ш.Матрос и др.). Проблемы управления качеством образования наиболее полно раскрыты в монографии «Управление качеством образования», изданной в 2000 г. под редакцией М.М.Поташника. Авторы книги судят о качестве образования в основном по качеству результатов образовательного процесса. Так, В.П. Панасюк предложил методику проведения самообследования качества образования, обеспечиваемого школой. Качество образования им рассматривается как многокомпонентная категория, которая зависит от качества основных видов деятельности школы, ресурсов и результатов обучения. При этом его методические рекомендации в основном касаются содержания и структуры аналитического отчета о деятельности общеобразовательного учреждения. Следует также отметить, что в последние годы появляется все больше рекомендаций о необходимости применения математико-статистических методов в исследованиях по проблемам педагогики (А.Я.Найн и другие).
Анализ научной литературы показывает, что качество образования
оценивается преимущественно по результату обучения, который является показателем деятельности общеобразовательного учреждения. При оценке деятельности общеобразовательных учреждений в основном используются количественные показатели, характерные для отчетного периода и не отражающие динамики процессов. Поэтому имеющаяся информация не обладает прогностической силой, и на ее основе сложно выполнить системный анализ деятельности общеобразовательного учреждения. Также в педагогическую практику недостаточно широко введено понятие регионального мониторинга, построенного на использовании единой информационной базы контингента учащихся. Элементы такой системы присутствуют в рамках централизованного тестирования, которое позволяет осуществлять итоговую аттестацию выпускников различных ступеней образовательной вертикали в системе общего образования - начальной, основной и полной средней.
Оценка деятельности общеобразовательных учреждений региона базируется на традиционной статистической отчетности школ. Информация, собранная в рамках статистической отчетности, оказывается недостаточной для объективного анализа и оценки качества образования, осуществления сравнительного анализа деятельности общеобразовательных учреждений.
В настоящее время Бурятским региональным представительством Федерального центра тестирования при Восточно-Сибирском государственном технологическом университете (ВСГТУ) накоплена достаточно обширная база статистических данных, начиная с 1998 года, об уровне учебных достижений учащихся, которая является основой регионального педагогического мониторинга. Использование статистических методов обработки результатов тестирования и их педагогическая интерпретация дают возможность органам управления образованием осуществлять сравнительный анализ результатов деятельности региональной системы общего образования, эффективно управлять качеством образования.
В результате анализа научной литературы и состояния системы общего
образования региона установлено, что в регионе имеют место следующие противоречия:
между необходимостью непрерывного отслеживания качества обученности и недостаточной разработанностью методов и средств оценки качества обучения;
между сложностью объекта исследования и низким уровнем владения исследователями в области педагогики и психологии современными математическими и статистическими методами анализа эксперимента;
между необходимостью эффективного управления качеством обученности и ограниченным спросом на результаты системы оценки учебных достижений учащихся со стороны органов управления образования в региональной системе общего образования;
между необходимостью адекватного анализа качества обученности и низким уровнем применения математико-статистических методов для анализа результатов тестирования.
Анализ научной литературы, недостаточный уровень разработанности проблемы, выявленные противоречия в системе общего образования позволили сформулировать проблему теоретического обоснования мониторинговых исследований в сфере образования, разработки средств и методов проведения мониторинга качества обученности, обеспечивающих эффективное управление качеством обучения. Возможные подходы к решению этой проблемы даны в диссертационном исследовании «Мониторинг качества обученности учащихся в региональной системе общего образования».
Цель исследования: разработка технологии мониторинга качества обученности учащихся общеобразовательных учреждений и ее обоснование на основе анализа экспериментальных данных, полученных в регионе в ходе централизованного тестирования
Объект исследования: мониторинг качества обученности учащихся.
Предмет исследования: модели, технологии и средства проведения мониторинга качества обученности учащихся.
Гипотеза: мониторинг учебных достижений учащихся предоставит органам управления образованием объективную информацию о состоянии качества результатов учебной деятельности общеобразовательного учреждения, если:
1) обеспечить систематическое отслеживание качества обученности
учащихся с использованием тестов, отвечающих требованиям образовательных
стандартов;
разработать технологию педагогической интерпретации результатов мониторинга качества обученности с применением математико-статистических методов;
представить результаты мониторинговых исследований для принятии управленческих решений.
В соответствии с целью и гипотезой были сформулированы следующие задачи:
исследовать и определить теоретические основы проведения мониторинговых исследований в педагогике;
разработать и исследовать показатели оценки качества обученности учащихся общеобразовательных учреждений;
обосновать использование педагогических тестов для диагностики учебных достижений учащихся как одного из основных средств проведения мониторинга;
разработать технологию получения выборочной совокупности;
разработать и апробировать технологию педагогической интерпретации результатов мониторинговых исследований качества обученности в общеобразовательных учреждениях региона, обеспечивающую возможность формирования практических рекомендаций мониторинговой службы для органов управления образованием.
Теоретико-методологической основой исследования являются концепция управления качеством образования; программные и нормативно-правовые документы системы образования; методология и методы
педагогического исследования и педагогической квалиметрии (И.Я.Лернер, М.Н.Скаткин, В.П.Беспалько, Н.А.Селезнева, А.И.Субетто, В.П.Симонов); теория системно-структурного анализа и проектирования систем управления качеством образования (М.М.Поташник, В.П.Панасюк, А.О.Татур); методология структурного анализа и проектирования систем; организация и осуществление педагогического мониторинга (С.Е.Шишов, В.А.Кальней, А.Н.Майоров, Д.Ш.Матрос).
Методы исследования. Для решения поставленных задач использованы следующие методы: теоретические (анализ понятийно-терминологического аппарата); общенаучные (анализ и синтез, абстрагирование и конкретизация, классификация); эмпирические (тестирование, анкетирование, экспертные оценки); методы математической и статистической обработки экспериментальных данных.
Основные этапы исследования
На первом этапе (2000 г.) проводилось теоретическое осмысление проблемы и темы исследования, изучались опыт централизованного тестирования и возможности его использования в региональной системе мониторинга качества образования.
На втором этапе (2001-2003 гг.) были уточнены цели исследования, сформулированы гипотеза и задачи исследования, изучена система показателей деятельности общеобразовательных учреждений региона, выбраны математические методы исследования.
На третьем этапе (2003-2004 гг.) обобщались результаты исследования качества обученности выпускников общеобразовательных учреждений Республики Бурятия, были выбраны методы педагогической интерпретации результатов исследования.
На четвертом этапе (2005-2006 гг.) проведены завершающий анализ и обобщение данных, полученных в ходе исследования, разработаны рекомендации для органов управления образованием и методических объединений учителей-предметников общеобразовательных учреждений
региона.
Опытно-экспериментальной базой исследования стали
общеобразовательные учреждения Республики Бурятия, выпускники которых принимали участие в итоговой аттестации в рамках государственного централизованного тестирования в период с 1998 по 2005 годы. Общеобразовательные учреждения, выпускники которых были протестированы, различаются по типу, контингенту учащихся, месту расположения, технологиям обучения и другим показателям. Количество выпускников, принявших участие в централизованном тестировании в период с 1998 года по 2005 годы, составило свыше 30000 человек, которые приняли участие в различных видах испытаний: в компьютерном абитуриентском тестировании, абитуриентском тестировании на бланках, итоговой аттестации выпускников младшей школы, 9-х и 11 -х классов. Количество выпускников 9-х и 11-х классов, принявших участие в итоговой аттестации за этот же период, составило около 10000 человек.
Научная новизна исследования:
Разработан на основе кластерного анализа способ классификации исследуемой совокупности, который обеспечивает выделение однородных групп для оценки качества обученности учащихся. Это позволит органам управления образованием применять единые управляющие воздействия для выделенных кластеров.
Разработана система показателей оценки качества обученности и выявлено влияние показателей на результаты мониторинговых исследований.
Разработана и апробирована технология педагогической интерпретации результатов мониторинга качества обученности учащихся с использованием математико-статистических методов, позволяющая органам управления образованием анализировать, оценивать, контролировать и корректировать ход образовательного процесса и прогнозировать его дальнейшее развитие.
Теоретическая значимость исследования:
Функциональная модель системы мониторинга качества обученности учащихся, разработанная с использованием CASE-технологий, в которой структурированы все информационные ресурсы, управляющие воздействия, исполнительные механизмы и педагогические процессы в их взаимодействии.
Система показателей с исследованием влияния каждого показателя и групп показателей на качество обученности учащихся методами многофакторного анализа.
Технология педагогической интерпретации результатов мониторинговых исследований качества обученности, базирующаяся на математико-статистических методах обработки экспериментальных данных.
Практическая значимость исследования заключается в использовании результатов мониторинга качества обученности при принятии управленческих решений на уровне органов управления образованием, администраций общеобразовательных учреждений, методических объединений учителей-предметников, при разработке практических рекомендаций по коррекции учебного процесса в общеобразовательных учреждениях.
Достоверность результатов исследования обусловлена теоретическим обоснованием исследуемой проблемы, адекватностью используемых методов поставленной цели исследования, задачам исследования и экспериментальным подтверждением выдвинутой гипотезы.
На защиту выносятся следующие основные положения:
Система показателей и способы ее формирования, отражающие степень влияния показателей на качество обученности.
Способы формирования выборочной совокупности, основанные на применении кластерного анализа и метода случайной выборки, отвечающие требованию репрезентативности исследуемых педагогических объектов, что позволяет выделять однородные группы и принимать для них одинаковые управленческие решения.
Технология педагогической интерпретации экспериментальных данных, для каждого этапа которой определены показатели и математико-
статистические методы, обеспечивающие эффективный содержательный анализ результатов педагогической деятельности.
4. Функциональная модель системы мониторинга качества обученности учащихся, отражающая бизнес-процессы образовательного мониторинга и обладающая необходимой полнотой описания, что является основой для разработки информационной среды для проведения мониторинга.
Апробация результатов исследования. Основные положения исследования докладывались и обсуждались на научно-методической конференции «Методологические проблемы контроля качества учебного процесса при переходе к инновационному образованию» (г.Улан-Удэ, 2001), второй Всероссийской научно-практической конференции «Российская школа и Интернет» (г.Санкт-Петербург, 2002), региональной научно-практической конференции «Наука и преподавание дисциплин естественного цикла в образовательных учреждениях» (г.Улан-Удэ, 2002), Всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (г.Улан-Удэ, 2005, 2006), Международной научно-методической конференции «Роль инфокоммуникационных технологий в совершенствовании системы управления качеством образования» (г.Санкт-Петербург, 2005), второй Международной конференции «Образование и глобализация» (г.Улан-Удэ, 2006). Материалы исследования использовались при разработке учебных курсов «Компьютерные технологии обучения», «Обработка экспериментальных данных на ЭВМ», «Вычислительная математика» для студентов Восточно-Сибирского государственного технологического университета. Были разработаны методические указания по основам вычислительной математики по теме «Методы обработки экспериментальных данных». Результаты диссертационной работы использовались в работе Кяхтинского РУО Республики Бурятия, что подтверждено актами об использовании результатов диссертации.
Структура диссертации: диссертация состоит из введения, двух глав, заключения, библиографии и приложений.
Научные основы мониторинга в сфере образования
Для системы образования особое значение приобретает создание инструментария управления качеством образования. Под качеством образования понимается обобщенная характеристика результатов образования, свойств образовательного процесса, условий, обеспечивающих возможность достижения социальных целей и образовательных потребностей личности.
Очевидно, что понятие «качество образования» включает результат образования, образовательный процесс и условия, обеспечивающие достижение качества.
Современное состояние проблемы качества образования, с одной стороны, отражает существующее противоречие между возрастающими требованиями общества к нравственности и интеллекту человека, его способности к проектированию, прогнозированию и, с другой стороны, фактическим уровнем образования и развития выпускников общеобразовательных учреждений. Принципиальное значение приобретает поиск новых подходов к повышению эффективности организации и управления образовательными системами. В этих условиях становится особенно актуальным мониторинг качества образовательного процесса и его результатов.
Термин «мониторинг» стал использоваться в педагогике в восьмидесятые годы и в последнее время получил достаточно широкое распространение. Это связано с происходящими изменениями в системе образования, внедрением различных инновационных программ в учебный процесс, которые должны проектироваться, отслеживаться и анализироваться. Проблемы мониторинга в образовании исследуются в работах В.А. Кальней, Ю.А. Конаржевского, А.Н. Майорова, А.И. Макарова, А.Б. Сахарчука, Т.А. Стефановской, А.И. Субетто, С.Ч. Шишова, И.Е. Шкабара и др. [142,169,170,89]. В исследованиях В.А. Кальней, С.Ч. Шишова [169] приводится классификация видов образовательного мониторинга; А.С. Белкиным дается характеристика принципов мониторинга и определяются основные методологические подходы к образовательному мониторингу; В.Г. Горб описывает технологию мониторинга образовательного процесса в высших учебных заведениях системы МВД России; в трудах В.Д. Жаворонкова, Е.В. Коротаевой исследуются вопросы мониторинга образовательного процесса в педагогическом вузе; В.В. Репкин раскрывает особенности психолого-педагогического мониторинга в построении учебной деятельности. Необходимость мониторингового подхода к отслеживанию процесса обученности учащихся обосновывается в трудах Н.Ф. Ефремовой, А.О. Татур, М.Б. Челышковой, В.И. Звонникова, М.Ф. Королева, СМ. Королева, Н.В. Романьковой [7, 62, 103]. Региональная система образования как объект мониторинга рассматривается в работах Л.А. Сучковой [144], B.C. Черепанова [103], Т.Г. Михалевой, М.Б. Гузаирова [48].
Мониторинг (в широком смысле) представляет собой специально организованные, систематические наблюдения за состоянием объектов, явлений, процессов с целью их оценки, контроля и прогноза [40]. Мониторинг в том или ином виде существовал всегда. В настоящее время на практике достаточно широкое применение нашли различные виды мониторинга как способа научного исследования: экологический, социологический, медицинский, педагогический, экономический и др. В перечисленных видах мониторинга общим является непрерывность и получение качественной информации об объекте мониторинга в динамике. Каждому виду мониторинга свойственны свои технологии, свои объекты исследования, свои критерии оценивания и т.д.
А.Н.Майоров, сопоставив эмпирические исследования, эксперимент и измерения с мониторингом, выделил следующие характерные особенности мониторинга как метода научного познания [89]:
1) исходной причиной мониторинга является недостаточное качество имеющейся информации;
2) мониторинг позволяет современной науке исследовать соотношения и взаимодействия разнообразных многоуровневых объектов, в любом своем проявлении содержит процесс измерения, что обеспечивает количественную и качественную оценку методами, адекватными объекту;
3) мониторинг не влияет на естественное состояние объекта до тех пор, пока динамика развития объекта не станет угрожающей;
4) мониторинг позволяет получать не только оперативную информацию, но и накапливать ее в процессе слежения за объектом;
5) результаты мониторинга в обязательном порядке должны быть подвергнуты статистической обработке.
Рассмотрим существующие определения, принципы, виды и технологии мониторинга, его задачи, субъекты и объекты, что позволит конкретизировать понятие мониторинга качества обученности учащихся.
В «Психолого-педагогическом словаре» В.А.Мижерикова, изданном в 1998 году, было дано следующее определение мониторинга: «Мониторинг -контроль с периодическим слежением за объектом мониторинга и обязательной обратной связью» [177]. Данное определение соответствует понятию мониторинга в широком смысле, так как в нем не отражена предметная область мониторинга, и оно может быть отнесено к любому из видов мониторинга.
В педагогическом словаре Г.М.Коджаспировой и А.Ю.Коджаспирова приводится определение мониторинга в образовании: «Мониторинг в образовании - постоянное наблюдение за каким-либо процессом в образовании с целью выявления его соответствия желаемому результату или первоначальным предположениям» [77]. В этом определении указывается предметная область, но в нем недостаточно полно отражена сущность вводимого понятия «мониторинг в образовании», позволяющий осуществлять сбор, обработку, анализ и обратную связь.
Наиболее известное определение мониторинга в образовании сформулировано А.Н. Майоровым: «Мониторинг в образовании - это система сбора, обработки, хранения и распространения информации об образовательной системе или отдельных ее элементах, ориентированная на информационное обеспечение управления, которая позволяет судить о состоянии объекта в любой момент времени и может обеспечить прогноз его развития» [89].
Согласно М.Е. Бершадскому мониторинг технологии учебного процесса - это система сбора, обработки, хранения и использования информации об учебном процессе, предназначенная для информационного обеспечения управления его ходом, позволяющая описывать состояние учащихся в любой момент времени множеством определенных свойств, необходимых и достаточных для выбора адекватной модели обучения и прогнозирования дальнейшего изменения состояния учащихся [19]. В данном определении в отличие от предыдущих подчеркивается целевая ориентация мониторинга.
Принципы, применимые к мониторинговым исследованиям качества образования, учитывают полноту получения информации и отражают принципы теории качества образования [32]: - принцип отражения качества процессов в качество результатов; - принцип целостности; он предполагает, что изучение педагогических явлений и процессов осуществляется как изучение системы с определенной структурой, в которой каждый элемент выполняет свою функцию и подчиняется системе в целом. Принцип целостности ориентирует на выделение в педагогической системе системообразующих связей и отношений, определение вклада отдельных элементов-процессов в развитие личности как системного целого;
- принцип адекватности; предполагает изучение системы с учетом изменяющихся внешних условий и влияния внешних факторов, соответствие этим условиям;
- принцип организации; подразумевает необходимость проведения наблюдений за всей совокупностью объектов при соблюдении индивидуальности каждого наблюдаемого объекта. Для того чтобы мониторинг стал реальным фактором управления, он, представляя собой определенную систему деятельности, должен быть организован;
- принцип научности, согласно которому необходимо использовать в мониторинге научные знания и научно-обоснованные методики организации мониторинговых исследований;
- принцип диагностико-прогностической направленности предполагает получение данных, позволяющих диагностировать и прогнозировать развитие системы, возможные изменения в путях достижения поставленных целей.
Система показателей мониторинга качества обученности в региональной системе общего образования
Понятие «качество» в теории социального управления принято рассматривать в узком и широком смысле. Качество в узком смысле- это качество результатов. Качество в широком смысле - это не только качество продукции, но и качество производственного процесса и условий, в которых он осуществляется: качество подготовки кадров, качество технологий, качество финансовых и материальных условий, качество управления и т.д. Для каждого образовательного учреждения показатели качества образования в узком смысле всегда специфичны, они соответствуют той модели выпускника, которую определяют цели, задачи, содержание образования в данном учреждении, его кадровый потенциал, научно-методическое обеспечение и условия образования. Показатели качества образования в узком смысле, которые определяют качество результатов на уровне государственных стандартов и государственных заказов [65], могут быть общими для всех образовательных учреждений. Такими показателями являются обученность учащихся, уровень сформированности умений и навыков, уровень владения творческой деятельностью, уровень воспитанности, уровень развития личности в психическом, социальном, биологическом аспектах, уровень жизненной защищенности и социальной адаптации [154].
Отсутствие единого подхода к вопросу качества подготовки учащихся затрудняет решение вопроса о выборе показателей качества образования. Разработка единой научно-обоснованной системы показателей качества подготовки учащихся является сложной задачей, зависящей от свойств системы образования и региональных особенностей системы общего образования.
Многие исследователи сходятся в том, что необходимо ввести показатели, характеризующие качественные различия в учебной деятельности школьников, которые заключаются в уровнях усвоения знаний [24,110,147].
Некоторые ученые, занимающиеся вопросами разработки показателей качества подготовки, выделяют и обосновывают следующие характеристики сформированности действий обучаемых: разумность, осознанность, абстрактность, прочность и др. [79, 88]. Например, в работе СВ. Хохловой для определения критериев и показателей оценки качества школьного образования рассмотрены два подхода.
Первый подход базируется на оценке образования по одному критерию, чаще всего по образовательным результатам и его показателям. В этом случае качество образования предстает лишь в одной своей характеристике - качестве результатов.
Второй подход связан с попыткой подойти к оценке качества образования в его широком понимании. Его сторонники включают в систему критериев помимо критериев оценки образовательных результатов оценки качества образовательного процесса и качества условий его реализации. Этот подход более оправдан, но в отличие от первого в нем значительно слабее представлены показатели. Чаще всего они количественные, малоинформативные, не отражающие всей сути образовательного процесса. При использовании этого подхода кроме результатов образования авторы берут во внимание отдельные показатели качества образовательного процесса, при этом прослеживаются две тенденции: для одной из них характерно отождествление показателей образовательного процесса с показателями образовательной среды, для другой - разграничение показателей условий и показателей функционирования образовательного процесса [156].
В данной работе использована первая тенденция второго подхода, так как образовательная среда рассматривается как целостная система. Однако в связи с тем, что в этом подходе показатели представлены слабо, необходимо разработать четкую систему показателей. Прежде, чем построить систему показателей, рассмотрим модель образовательной среды, которая позволит выявить основную совокупность показателей.
Образовательные учреждения осуществляют образовательный процесс, реализующий одну или несколько образовательных программ. Образовательный процесс является основным блоком в модели или основной деятельностью образовательных учреждений. На входе образовательной деятельности сосредоточены ресурсы, на выходе - результаты учебно-воспитательной деятельности. Осуществляют образовательный процесс общеобразовательные учреждения. Образовательная деятельность выполняется в соответствии с потоком управляющих воздействий (управление). Кроме этого, необходимо отметить, что на образовательный процесс существенное влияние оказывают условия внешней среды. С этих позиций разработана обобщенная структурная модель образовательной среды, представленная на рисунке 1.1.
К наиболее важным условиям внешней среды относятся педагогические условия и нормативно-правовая документация.
«Образовательная деятельность». На ее вход поступают ресурсы, включающие в себя финансовое, методическое, кадровое, информационное, научное, материальное обеспечение, которые составляют реальные возможности образовательной системы. Процесс преобразования имеющихся ресурсов в результаты образовательной деятельности происходит под воздействием управляющих потоков, которые представлены нормативно-правовыми документами, государственными образовательными стандартами, решениями органов управления образованием. Исполнителями образовательного процесса являются коллективы общеобразовательных учреждений, непосредственно занимающиеся учебным процессом и его сопровождением. Результатами образовательного процесса являются качество обучения и удовлетворенность всех участников образовательного процесса его результатами.
Если все элементы модели (ресурсы, результаты, управление, условия, образовательная деятельность) соответствуют требованиям качества, то модель гарантирует качество всей образовательной среды. Поэтому все составляющие модели в идеальном варианте должны быть компонентами системы мониторинга качества образования.
Качество ресурсного обеспечения определяется качеством образовательных программ, качеством потенциала педагогического коллектива, используемых педагогических технологий, учебной и методической литературы, помещений, лабораторного оборудования, эффективной системы контроля знаний и контрольно-измерительных материалов. Качество образовательных программ является одним из важных элементов ресурсного обеспечения. Сами образовательные программы относятся к нормативным документам, в соответствии с которыми организуется образовательный процесс.
Результаты образовательной деятельности включают в качестве основного компонента уровень учебных достижений учащихся, который определяется успешным усвоением образовательной программы, сформированными умениями самостоятельно работать с информацией и приобретать новые знания, дающие возможность успешно функционировать в информационном обществе. Эти умения должны формироваться в рамках практически всех учебных предметов программы. Для достижения высоких результатов деятельности общеобразовательные учреждения должны активно работать в направлении поиска новых образовательных парадигм, использования новых педагогических и информационных технологий, интерактивных учебников, способствующих достижению высоких показателей качества образования и перехода к компетентностно-ориентированному образованию.
Образовательный процесс нацелен на формирование гражданских, личностных, бытовых и других компетенций. Поэтому качество образования определяется совокупностью показателей, включающих содержание образования, формы и методы обучения, материально-техническую базу, учебно-информационное обеспечение, кадровый состав и т.п., которые обеспечивают развитие компетенций обучающихся. Под компетенцией понимается интегративная характеристика, или способность, основанная на знаниях, опыте, склонностях, которые приобретены в процессе обучения. Многие специалисты в области качества образования сходятся во мнении, что понятие компетенции относится к области умений. По определению С.Е.Шишова и В.А.Кальней, умение - это проявление компетентности или способности, более общей подготовленности к действию или возможность совершать действие в специфической ситуации [169]. Компетенции - это характеристики, которые можно извлечь из наблюдений за действиями, умениями. Таким образом, умение, поддающееся и наблюдению, и измерению, представляется как компетенция в действии.
Кластерный анализ формирования однородных групп в системе образования
Основными участниками образовательного процесса являются учащиеся, учителя, работники органов управления образованием. В Республике Бурятия по данным 2004 года генеральная совокупность имеет следующий объем: 625 образовательных учреждений, 19635 учителей, включая педагогов системы дополнительного образования, 224867 учащихся, 648 руководителей образовательных учреждений и органов управления образованием [171]. Структура генеральной совокупности представлена на рисунке 2.1.
Объем первой группы объектов относительно небольшой, поэтому необходимые для исследования свойства образовательных учреждений могут быть изучены полностью. Вторая группа объектов генеральной совокупности характеризуется большим объемом, поэтому для анализа качества обученности, как правило, рассматривают некоторую часть, определенную органами управления образованием.
Статистические данные, касающиеся количественного состава руководителей органов управления образованием, общеобразовательных учреждений, педагогического состава и контингента учащихся, имеются в каждом региональном органе управления образованием.
Покажем, как определить репрезентативные объемы выборки по каждой группе объектов исследования.
При определении объема выборки по первой группе объектов исследования «Образовательные учреждения» будем ориентироваться на структуру базовых признаков объектов. Генеральная совокупность имеет иерархическую структуру, состоящую из двух ступеней (рис.2.2). К таким совокупностям обычно применяют многоступенчатый отбор, т.е. отбор осуществляется последовательно, на каждой ступени. В соответствии с признаками данной ступени определяется объем выборки общеобразовательных учреждений
На первой ступени по признаку «Уровень образования» производится классификация учебных учреждений на три группы: общеобразовательные учреждения (полные средние школы), основные (неполные) средние школы, начальные школы. Так, на конец 2005 года в Республике Бурятия насчитывалось средних общеобразовательных школ - 404, неполных школ - 25.
Для обеспечения репрезентативности данных следует определить объем выборки в 10%, т.е. средних общеобразовательных школ - 40. Все дальнейшие вычисления будем проводить для этого объема выборочной совокупности. Выбор школ удобно выполнять с помощью многоступенчатого комбинированного случайного отбора. В результате анализа объекта исследования на первой ступени следует использовать принцип стратификации, в основу которого закладывается признак, который, во-первых, влияет на изучаемое исследование, и, во-вторых, по данному признаку объекты исследования различаются. Согласно одному из критериев стратификации общеобразовательные учреждения подразделяются на городские и сельские. На второй ступени определяются объемы выборки городских и сельских образовательных учреждений: городских школ - 10, сельских - 30, что составляет 10% соответствующего количества.
На следующем шаге необходимо использовать типический отбор сельских и городских учебных учреждений на основе кластерного анализа. Принцип кластеризации предполагает, что генеральная совокупность разбивается на однотипные группы, внутри которых содержатся разнородные единицы наблюдения. Внутри каждой типической группы (кластера), однородной в качественном отношении, отбирались наиболее представительные учебные учреждения, имеющие усредненные значения признаков. В качестве критерия кластерного анализа для элементов генеральной совокупности было использовано количество учащихся.
Для формирования типических групп (кластеров) однородных в количественном отношении для нашего региона вполне достаточно выделить 6 кластеров. Так как задано предварительное количество кластеров, то для их формирования можно использовать метод «К средних». В кластеризации методом «К средних» программа перемещает объекты (т.е. единицы наблюдения) из одних групп (кластеров) в другие для того, чтобы получить наиболее значимый результат при проведении дисперсионного анализа. Далее необходимо определить количество отобранных школ в каждом кластере. Для включения конкретных школ в объем выборки можно выбрать школы, имеющие минимальное отклонение от среднего значения.
Иерархическая структура базовых признаков группы объектов «Учащиеся» имеет такую же структуру, как и группа объектов «Образовательные учреждения». Это означает, что в этом случае при определении объема выборки группы объектов «Учащиеся» можно использовать результаты, полученные при выборке общеобразовательных учреждений.
Выборочный метод позволяет переносить результаты выборочной обработки данных на всю генеральную совокупность. При этом имеет место некоторая ошибка; эффективность выборочного метода заключается в том, что он позволяет оценить эту ошибку. Ошибки, возникающие при использовании выборочных данных, показывают, насколько хорошо характеристики выборки представляют соответствующие характеристики генеральной совокупности, и поэтому называются ошибками представительности (репрезентативности).
Величина ошибки выборки представляет собой разность между генеральной и выборочной средними. Ошибки выборки различны для каждой конкретной выборки и могут быть обобщенно охарактеризованы с помощью средней из всех таких отдельных ошибок. В математической статистике получены формулы, которые позволяют приближенно вычислить среднюю ошибку выборки, основываясь на данных только той выборки, которая имеется. Вычисление средней ошибки выборки зависит от способа отбора элементов из совокупности в выборку.
Определение центральной тенденции совокупности экспериментальных данных
Тестирование выпускников начальной школы с использованием тестов Федерального центра тестирования по двум предметам (по математике и русскому языку) показало, что уровень учебных достижений выпускников начальной школы достаточно высок. Так, средний балл по математике по школам г. Улан-Удэ составил 4.16, а по сельским районам 3.83. Наивысший балл по математике среди сельских школ показали выпускники Мухоршибирской средней школы №1 (4.29), по школам г. Улан-Удэ - школа №49 (4.65). Результаты тестирования по русскому языку ниже от соответствующих показателей по математике на 0.3-ь0.5 балла. Следует отметить, что результаты тестирования начальной школы в рамках централизованного тестирования свидетельствуют, что показатели качества обученности младшей школы в республике находятся на уровне средних показателей по России.
Остальные экспериментальные данные обработаны по четырем основным предметам: русский язык, математика, физика и химия. значительно снизились по сравнению с предыдущими годами. Снижение результатов по русскому языку наблюдалось во многих регионах. Это связано с изменениями в структуре тестов.
Анализ результатов итогового тестирования среди выпускников средних школ показывает, что положительная динамика наблюдается только по химии, по алгебре результаты относительно стабильны, а по физике и русскому языку наблюдается отрицательная динамика (рис.2.4). Снижение результатов по этим предметам объясняется, по мнению специалистов, изменением содержания и структуры тестов в сторону усложнения.
Сравнительный анализ результатов абитуриентского тестирования за 2005 год выпускников республики с аналогичными данными по России показывает, что региональные показатели несколько ниже общероссийских: русский язык - на 0,4 балла, математика - на 0,9 балла, физика - на 2,1 балла, химия - на 6,6 балла (рис.2.6). Если принять средний по России показатель за «стандарт», то полученные результаты показывают, что более низкие баллы выпускников региона обусловлены за счет выполнения заданий повышенной сложности незначительной долей испытуемых. Анализ структуры знаний испытуемых региона по физике показывает, что около 1/3 участников не справляется с заданиями базового уровня. Это требует принятия управленческих пешений лпз повышения УПОТШЯ учебных постижений. Рисунок 2.6 - Сравнительные данные абитуриентского тестирования по Бурятии и России за 2004 г. Сравнение результатов централизованного тестирования с данными генеральной совокупности позволит показать адекватность оценок, полученных в централизованном тестировании. Наличие информации о среднем тестовом балле по предметам дает возможность проводить сравнительный анализ успешности среди школ, а в сравнении с итоговой отметкой можно судить об уровне преподавания.
В рейтинге школ по математике на основе среднего балла выделены средние школы №№ 9, 49, 33, 17, 19, а в рейтинге школ по физике первые места занимают школы № 49, 9, 19. Это именно те школы, в которых имеются лицейские классы или классы с углубленным изучением предметов физико-математического цикла. Они же являются базовыми школами Восточно-Сибирского государственного технологического университета и Бурятского государственного университета. Как показал анализ, уровень квалификации учителей по основным предметам в этих школах выше. Учащиеся этих школ целенаправленно готовятся к поступлению в вуз. По русскому языку в рейтинге школ 1-е место занимает Российская гимназия №59, на 2-м месте - школа-гимназия №14, а на 3-м - средняя школа №25. В Российской гимназии обучение дисциплин ведется по углубленным программам, в школе-гимназии №14 имеются классы с углубленным изучением предметов гуманитарного цикла. Необходимо отметить высокий уровень средней школы №25, в которой обучение ведется по разным образовательным программам. Сопоставительный анализ результатов тестирования со средним значением по республике выявляет группы школ, средний балл которых ниже этого уровня или выше, то есть средний балл по региону является своеобразным эталоном, к которому надо стремиться тем школам, у которых средний балл ниже среднего значения по региону. Анализ результатов тестирования является для учителя оценкой качества его труда и обуславливает коррекцию его педагогической деятельности.
