Содержание к диссертации
Введение
Глава 1. Контроль как средство повышения эффективности обучения в ВУЗе 14
1.1. Эффективность обучения в ВУЗе как педагогическая проблема 14
1.2. Дидактические аспекты контроля 22
1.3. Связь традиционного контроля и компьютерного тестирования 37
Выводы по первой главе 51
Глава 2. Разработка модели и методики интеграции традиционного контроля и компьютерного тестирования 53
2.1. Моделирование интеграции традиционного контроля и компьютерного тестирования 53
2.2. Конструирование методической системы интегрированного контроля 60
Выводы по второй главе 76
Глава 3. Оценка эффективности интеграции традиционного контроля и компьютерного тестирования 78
3.1. Об этапах проведённого исследования 78
3.2. Педагогический эксперимент по сравнению эффективности различных форм контроля 94
3.3. Оценка полученных результатов и предложения по практическому применению результатов исследования 99
Выводы по третьей главе 110
Заключение 113
Список литературы 118
Приложения 125
Приложение А. Технологическая матрица набора тестовых заданий по дисциплинам 125
Приложение Б: Пример 1 варианта первого промежуточного теста по дисциплине «Дискретная математика» 129
Приложение В: Пример 1 варианта второго промежуточного теста по дисциплине «Дискретная математика» 132
Приложение Г: Пример 1 варианта итогового теста по дисциплине «Математические основы построения баз данных» 134
Приложение Д: Пример 1 варианта первого промежуточного теста по дисциплине «Теория алгоритмов» 140
Приложение Е: Пример 1 варианта второго промежуточного теста по дисциплине «Теория алгоритмов» 143
Приложение Ж: Пример 1 варианта первого промежуточного теста по дисциплине «Теория вероятностей» 146
Приложение 3: Пример 1 варианта второго промежуточного теста по дисциплине «Теория вероятностей» 149
Приложение И: Пример итоговой контрольной работы по дисциплине «Дискретная математика» 154
Приложение К: Пример итоговой контрольной работы по дисциплине «Математические основы построения баз данных» 155
Приложение Л: Пример итоговой контрольной работы по дисциплине «Теория алгоритмов» 156
Приложение М: Пример итоговой контрольной работы по дисциплине «Теория вероятностей» 157
Приложение Н: Результаты эксперимента по дисциплине «Дискретная математика» 158
Приложение О: Результаты эксперимента по дисциплине «Математические основы построения баз данных» 160
Приложение П: Результаты эксперимента по дисциплине «Теория алгоритмов» 162
Приложение Р: Результаты эксперимента по дисциплине «Теория вероятностей» 164
- Эффективность обучения в ВУЗе как педагогическая проблема
- Моделирование интеграции традиционного контроля и компьютерного тестирования
- Об этапах проведённого исследования
Введение к работе
В настоящее время одним из путей совершенствования профессионального образования считается повышение качества образовательных услуг. Это объясняется объективным повышением требований, предъявляемых к профессиональным навыкам специалистов, их образованности.
В современных педагогических исследованиях большое внимание уделяется средствам и методам повышения качества образования в целом и качества высшего профессионального образования в частности. С точки зрения повышения качества образования пересматриваются все основные компоненты педагогического процесса, анализируется их потенциал, создаются новые технологии обучения, основным принципом проектирования которых является соответствие критериям качества. Категория качества становится символом цивилизационного развития и будущей выживаемости цивилизации [54].
В качестве меры качества образования используется его эффективность.
Эффективность в сфере высшего образования оценивается по результатам успешности учения студентов, а также по их воспитанности и развитости. Поэтому средством получения информации об эффективности высшего образования является педагогический контроль. Отдельные исследователи проблем педагогики отмечают прямую зависимость эффективности образования от организации и качества педагогического контроля [137, 58, 87,131].
Педагогический контроль является неотъемлемой компонентой образовательного процесса, имеет значимость в любой технологии обучения, преследует различные цели и выполняет различные функции, определяющие формы контроля.
В профессиональном образовании Великобритании, Германии, США, Франции, Японии в течение последних 30 лет в качестве формы педагогического контроля широко используется тестирование, а в последнее десятилетие - компьютерное тестирование. В этих странах накоплен большой опыт использования тестирования в профессиональном образовании, там же существует немало критиков повального тестирования, которые отмечают такие недостатки этой формы педагогического контроля, как невозможность проверить культуру мышления обучающегося, его исследовательские качества, умение рассуждать, общаться с коллегами и оппонентами, отстаивать свою точку зрения [119, 59].
Развитие компьютерной техники расширило возможности тестирования, а следовательно, и круг его применения. Компьютерный тест может использовать
адаптивные технологии, включать в себя элементы деловой игры, сложную по сценарию систему подсказок и справочную систему, отслеживать пошаговое выполнение обучающимся каких-либо действий, фактически реализовывая функции индивидуального репетитора [77]. Эти возможности практически обеспечивают каждому студенту индивидуальную программу обучения, которая подстраивается под его личностные особенности восприятия информации, тем самым, реализуя организующую, обучающую, мотивирующую функции педагогического контроля.
Тестирование, как форма контроля достижений обучающихся всё шире используется и в практике высшего профессионального образования. Отношение к тестированию, как педагогов, так и обучающихся различно.
В работах B.C. Аванесова, ЖА Байрамовой, Н.Ф. Ефремовой, К.Г. Кречетни-кова, А.Н. Майорова, Ю.М. Неймана, А.В. Смирнова, ВА Хлебникова, М.Б. Челыш-ковой, А.Г. Шмелёва широко обсуждаются вопросы организации тестирования, методические аспекты, влияющие на результаты тестирования, принципы составления тестовых заданий, различные методики разработки тестов. В них отмечается, что тестирование - одна из наиболее технологичных и объективных форм педагогического контроля.
Методологические и педагогические основы создания и использования программных комплексов, предназначенных для организации компьютерного тестирования, описаны в работах таких исследователей как А. Борк [30], Р. Вильяме [29], К. Маклин, Е.И. Машбиц [96], С. Пейперт [113, 114]. Особый акцент делается на то, что компьютерные программные оболочки для тестового контроля должны обеспечивать возможность использования различных форм тестовых заданий, адаптации к возможностям пользователя, генерации заданной последовательности заданий из общего банка, а интерфейс компьютерных программных оболочек должен быть интуитивно понятным и обеспечивать комфорт обучающемуся.
Обсуждая проблемы применения тестов в профессиональном образовании, большинство авторов не подвергают сомнению эффективность применения тестирования для организации текущего и рубежного контроля (Е.А. Михайличев, ДА Таевский, Л.В. Шкерина). Такое применение тестов позволяет преподавателю с минимальными затратами времени и усилий получать информацию о качестве усвоения студентами изучаемой дисциплины, одновременно систематизируя и корректируя их знания, развивая познавательный интерес к дисциплине.
Достаточно хорошо изучено влияние регулярного применения текущего тестового контроля на качество обучения (В.Н. Ефимов, Н.В. Изотова, М.Р. Кудаев).
Тем не менее, вопрос о применении тестирования для итогового или вступительного контроля, имеет как сторонников, так и противников. При этом сторонники тестирования указывают на тот факт, что, достаточно давно и успешно компьютерное тестирование применяется в контроле знаний по математике, физике, иностранному языку. Противники тестирования чаще всего указывают на недопустимость его применения при проверке знаний по истории, литературе, философии.
Однако, и сторонники, и противники тестирования как формы педагогического контроля, рассматривая достоинства и недостатки тестов, не анализируют возможности интеграции традиционного контроля и тестирования. В современной педагогической литературе не освещаются вопросы об эффективности использования тестирования в сравнении с традиционными методами педагогического контроля, области оптимального применения тестирования в рамках различных дисциплин и этапов контроля достижений.
Таким образом, целесообразно говорить о сложившихся противоречиях в теории и практике педагогической науки:
между необходимостью повышения эффективности обучения в вузе за счёт использования компьютерных тестов и слабой изученностью взаимосвязи и взаимозависимости результатов различных форм педагогического контроля;
между внедрением в практику массового тестирования в ВУЗах и невозможностью с помощью тестов проверить культуру мышления, развитие исследовательских качеств, умение рассуждать, обосновывать свою точку зрения;
между наличием достоинств, присущих компьютерному тестированию: возможность адаптации к особенностям обучающегося, обеспечение выбора индивидуального банка заданий для каждого обучающегося, возможность организации обучающего контроля и др. и опасностью нивелирования данных достоинств неправильной организацией разработки и применения компьютерных тестов.
Необходимость разрешения указанных противоречий и определила проблему данного исследования: «Возможно ли повышение эффективности обучения в ВУЗе за счёт интеграции компьютерного тестирования и традиционного контроля?»
Цель исследования: выявить и обосновать возможность интеграции традиционного контроля и компьютерного тестирования для повышения эффективности обучения в ВУЗе на примере естественнонаучных и технологических дисциплин.
Объект исследования: процесс контроля в обучении естественнонаучным и технологическим дисциплинам в высшем учебном заведении.
Предмет исследования: повышение эффективности обучения в ВУЗе за счёт интеграции традиционного контроля и компьютерного тестирования на примере естественнонаучных и технологических дисциплин.
Гипотеза исследования. Интеграция традиционного контроля и компьютерного тестирования обеспечит повышение эффективности обучения в ВУЗе если:
в качестве одного из методов текущего и рубежного педагогического контроля в преподавании дисциплин естественнонаучного и технологического циклов будет использоваться компьютерное тестирование, включающее в себя элементы тренинга, позволяющие адаптировать контроль к индивидуальным особенностям студентов и довести их знания и умения до запланированного уровня;
компьютерное тестирование в итоговом контроле знаний по дисциплинам естественнонаучного цикла будет применяться в качестве первой ступени контроля, обеспечивающей допуск к традиционному экзамену;
использовать компьютерное тестирование в итоговом контроле знаний по технологическим дисциплинам в качестве элемента итогового экзамена, сочетая его с выполнением итоговых контрольных работ для проверки усвоенных навыков.
В соответствии с выделенными объектом, предметом, целью и гипотезой исследования решались следующие задачи:
показать дидактические аспекты контроля как средства повышения эффективности обучения в ВУЗе;
проанализировать взаимодействие традиционного контроля и компьютерного тестирования в существующей системе высшего профессионального образования;
разработать модель интеграции традиционного контроля и компьютерного тестирования в ВУЗе;
обосновать особенности организации методической системы интегрированного контроля на примере дисциплин естественнонаучного и технологического цикла;
экспериментальным путём оценить сравнительную эффективность компьютерного тестирования, контрольной работы и обычного экзамена при обучении естественнонаучным и технологическим дисциплинам.
Теоретико-методологическую основу исследования составляют педагогические труды, раскрывающие вопросы оптимизации образовательного процесса, как целенаправленного выбора наилучшего варианта построения этого процесса, который обеспечивает за отведённое время максимально возможную эффективность решения задач образования (СИ. Архангельский, Ю.К. Бабанский, В.П. Беспалько, В.И. Гинецинский).
Особую методологическую значимость для нашего исследования имеют педагогические работы, обосновывающие необходимость системного подхода к педагогическим процессам, учёта взаимосвязи и взаимодействия элементов педагогической системы, выделения ключевых связей, обеспечивающих эффективность обучения (А.А. Вербицкий, Г.С. Гершунский, В.И. Загвязинский, В.В. Краевский, Н.В. Кузьмина, Д.Ш. Матрос, В.И. Смирнов).
Большое значение для нашей работы имеют также психолого-педагогические исследования, раскрывающие необходимость целенаправленного управления учебно-познавательной деятельностью обучающихся и качеством образования (Б.Г. Ананьев, Л.С. Выготский, П.Я. Гальперин, А.Н. Леонтьев, Е.И. Машбиц, Н.Ф. Талызина, А.И. Субетто).
Вопросы моделирования элементов образовательного процесса, обеспечивающего возможности изучения сложных педагогических систем, проверки или демонстрации новых педагогических идей, предсказания последствий новых решений, обеспечения основ для педагогического проектирования отражена в работах Е.С. Заир-Бек, Н.А. Клещевой, К.Г. Кречетникова, М.Н. Невзорова, Н.Д. Никандрова, В.Е. Радионова, В.В. Серикова, А.П. Тряпициной, Д.В. Чернилевского, В.А. Ясвина.
Важными для нашего исследования являются требования и принципы реализации педагогического контроля и диагностики результатов обучения, как части образовательного процесса, обеспечивающей взаимодействие преподавателя и обучающегося, обратную связь и оценку результатов учебной деятельности, определение степени достижения образовательных целей (B.C. Аванесов, Ж.А. Байрамова, А.Е. Евстигнеев, Л.Н. Ланда, И.Я. Лернер, А.Н. Майоров, Е.А. Михайлычев, Ю.М. Нейман, В.А. Хлебников, М.Б. Челышкова, А.Г. Шмелёв, В.А. Якунин).
Методы исследования: для решения поставленных задач и подтверждения выдвинутой гипотезы нами был использован комплекс методов исследования, который включил в себя:
общенаучные методы: изучение психолого-педагогической литературы; обобщение передового отечественного и зарубежного опыта в области эффективности образования и контроля знаний; анализ и синтез; обобщение и конкретизация; моделирование;
эмпирические методы: наблюдение, диагностико-констатирующий эксперимент, экспертная оценка (технологических матриц тестов, сценариев предполагаемых аттестаций, тестовых заданий);
статистические методы: статистические методы обработки результатов
эксперимента, графическая интерпретация.
Базу исследования составили студенты 1-2 курсов института автоматики и информационных технологий Морского государственного университета им. Адм. Г.И. Невельского где проводился педагогический эксперимент (179 человек).
Организация исследования: исследование проводилось в три этапа:
первый этап (1999 - 2000 гг.) - постановка проблемы исследования, анализ литературы по проблеме, формулировка гипотезы, определение цели и задач исследования;
второй этап (2001 - 2005 гг.) - разработка программного обеспечения, схемы и материалов для проведения диагностико-констатирующего эксперимента;
третий этап (2006 - 2007 гг.) - анализ и обобщение полученных результатов; оформление материалов подготовка рекомендаций и выводов.
Достоверность полученных результатов и выводов обеспечена комплексным подходом к предмету исследования, выбором методов исследования, адекватных его цели, задачам и объекту, методологической аргументацией теоретических положений педагогики, репрезентативным объёмом экспериментальной выборки, использованием методов математической статистики при обработке результатов диагностико-констатирующего эксперимента.
Научная новизна исследования состоит в том, что в диссертации обоснованы необходимость и возможность интеграции традиционных форм контроля и компьютерного тестирования с целью повышения эффективности обучения в ВУЗе:
разработана модель интеграции традиционного контроля и компьютерного тестирования в ВУЗе, позволяющая учесть достоинства и недостатки различных форм контроля и обеспечивающая возможности для проверки не только знаний обучающегося, но и его исследовательских качеств, культуры мышления, умения рассуждать и выделять главное, обосновывать и аргументировать свою точку зрения, ориентироваться в сложных профессиональных ситуациях;
разработаны рекомендации по использованию компьютерного тестирования в рубежном контроле, в сочетании с традиционными методами педагогического контроля, позволяющие комплексно решить проблемы полноты и объективности оценки знаний и умений обучающихся;
обосновано применение компьютерного тестирования в итоговом педагогическом контроле по дисциплинам естественнонаучного цикла, как первой ступени контроля знаний, определяющей допуск к сдаче традиционного экзамена;
определены особенности использования компьютерного тестирования в ито-
говом педагогическом контроле по дисциплинам технологического характера, как альтернативы традиционному экзамену для проверки знаний; проверку усвоенных навыков рекомендовано осуществлять с помощью контрольных работ.
Теоретическая значимость результатов исследования, заключается в том, что:
разработана и обоснована модель интеграции традиционного контроля и компьютерного тестирования в высшем профессиональном образовании, обеспечивающая учёт достоинств и недостатков различных форм контроля;
обоснованы особенности организации методической системы интегрированного контроля на примере естественнонаучных и технологических дисциплин;
экспериментальным путём оценена сравнительная эффективность компьютерного тестирования, контрольной работы и обычного экзамена при обучении естественнонаучным и технологическим дисциплинам.
Практическая значимость результатов исследования обеспечивается успешной апробацией и внедрением в учебный процесс ВУЗа разработанной методической системы интегрированного контроля в преподавании естественнонаучных и технологических дисциплин, включающей особенности организации и проведения компьютерного тестирования, методику подготовки заданий для компьютерного тестирования, рекомендации по интеграции таких форм контроля, как экзамен, контрольная работа и компьютерное тестирование; разработанная методическая система интегрированного контроля может быть использована при изучении различных дисциплин в практике высшего профессионального образования.
Кроме этого, в процессе проведенного исследования разработаны:
1) научно-практические и методические материалы по организации различных
форм контроля по следующим дисциплинам:
дискретная математика;
математические основы построения баз данных;
теория алгоритмов;
теория вероятностей.
электронные контрольные работы по дисциплине «Математические основы построения баз данных»;
наборы тестовых заданий по перечисленным дисциплинам и сценарии проведения различных форм аттестаций по этим дисциплинам;
4) методика подготовки заданий для проведения компьютерного тестирования и созданный для реализации этой методики программный комплекс «Издательство «Квалификация».
Основные положения, выносимые на защиту:
1. Эффективным является процесс обучения, отвечающий одновременно сле
дующим критериям:
содержание, структура и логика функционирования учебного процесса обеспечивают качественное решение задач образования в соответствии с требованиями государственных учебных стандартов;
достижение поставленных целей обеспечивается без превышения расходов сил и времени как обучающихся, так и преподавателей.
Таким образом, одним из аспектов повышения эффективности учебного процесса является внедрение компьютерного тестового контроля, способствующего не только улучшению практики решения образовательных задач, за счёт обучающего потенциала компьютерных тестов, но и уменьшению перегрузки преподавателей.
Модель интеграции традиционных форм педагогического контроля и компьютерного тестирования включает в себя уровни усвоения материала обучающимся и виды знаний, которые зависят от особенностей преподаваемой дисциплины. Эффективность педагогического контроля зависит от уровня усвоения материала и формы контроля. Компьютерное тестирование в силу своей объективности и технологичности является эффективным для проверки первых трёх уровней усвоения знаний: узнавания, воспроизведения и понимания. Педагогический контроль на уровне применения знаний (умений) эффективен в таких формах, как зачёты, экзамены, коллоквиумы, контрольные и расчётно-графические работы.
Компьютерное тестирование является более технологичным по сравнению с бланковым: оно позволяет свести к минимуму затраты преподавателя на организацию контроля за счёт сокращения времени на проверку работ и статистической оценки результатов; компьютерное тестирование обеспечивает более объективные результаты, за счёт уменьшения возможностей для недобросовестного выполнения заданий путём случайной перестановки заданий теста и отвлекающих вариантов ответа в задании; помогает избежать ошибок, допущенных при проверке тестовых бланков, обеспечивает повышение проверочной ёмкости заданий за счёт использования мультимедийных компонентов, возможности применения адаптивных технологий контроля и организации пошагового контроля.
4. При проведении итогового контроля знаний по дисциплинам естественнонаучного цикла эффективно использовать компьютерное тестирование для предварительной проверки знаний обучающихся, рассматривая его результаты как допуск к традиционному экзамену, и учитывая его результаты при выставлении итоговой отметки. В этом случае компьютерное тестирование проверяет знание и понимание основных положений дисциплины, а традиционный экзамен - математическую культуру, умение формулировать и доказывать математические утверждения. При проведении итогового контроля по дисциплинам технологического цикла компьютерное тестирование может заменить традиционный экзамен, предназначенный для выяснения знания испытуемым теоретических аспектов изученной дисциплины сочетая его с контрольной работой, проверяющей усвоенные навыки. Личный вклад автора заключается в следующем:
на основе анализа достоинств и недостатков различных форм контроля разработана модель интеграции традиционного контроля и компьютерного тестирования в высшем профессиональном образовании;
обоснованы особенности организации методической системы интегрированного контроля (на примере дисциплин естественнонаучного и технологического циклов), включающей особенности организации и проведения компьютерного тестирования, методику подготовки заданий для компьютерного тестирования, рекомендации по интеграции таких форм контроля, как экзамен, контрольная работа и компьютерное тестирование;
организован и проведён педагогический эксперимент по оценке сравнительной эффективности компьютерного тестирования, контрольной работы и обычного экзамена при обучении естественнонаучным и технологическим дисциплинам; результаты эксперимента статистически обработаны с помощью метода анализа соответствий, для сравнения результатов, полученных с помощью различных форм педагогического контроля, посчитан коэффициент корреляции Спирмена.
Апробация результатов исследования произведена в ходе обсуждения на следующих научных семинарах и конференциях:
X Юбилейная Международная научно-практическая конференция студентов, аспирантов и молодых ученых «Современные техника и технологии СТТ'2004» (Томск, 2004);
Международном симпозиуме «Надёжность и качество - 2004», (Пенза, 2004);
«Золотовские чтения» - школа - семинар (Владивосток, 2004);
52-й региональной молодёжной научно-технической конференции «Знания -
творчество - профессионализм» (Владивосток, 2004);
VII Международной научно-практической конференции студентов, аспирантов и молодых исследователей «Интеллектуальный потенциал вузов - на развитие Дальневосточного региона России и стран АТР», (Владивосток, 2004);
53-й региональной молодёжной научно-технической конференции «Знания -творчество - профессионализм» (Владивосток, 2005);
школа - семинаре «Золотовские чтения» (Владивосток, 2005);
VIII Международной научно-практической конференции студентов, аспирантов и молодых исследователей «Интеллектуальный потенциал вузов - на развитие Дальневосточного региона России и стран АТР» (Владивосток, 2006);
54-й региональной молодёжной научно-технической конференции «Молодёжь - наука - инновации» (Владивосток, 2006);
49 всероссийской научно-технической конференции (Владивосток, 2006). Результаты проведённого исследования докладывались на заседаниях кафедры «Автоматизированных и информационных систем» Института автоматики и информационных технологий Морского государственного университета им. адмирала Г.И. Невельского, где получили положительную оценку.
Внедрение результатов исследования произведено в практику профессиональной подготовки специалистов:
в Морском государственном университете им. адмирала Г.И. Невельского;
в Информационно-справочном центре ЗАО «Мобиком-Хабаровск»;
в Морской квалификационной комиссии государственной администрации Ха-санского морского коммерческого порта.
Структура диссертационной работы. Диссертация состоит из введения, трёх глав и заключения Объём основного текста - 124 страницы, 30 таблиц, 18 рисунков, 16 приложений, общий объём - 165 страниц. Список использованных источников включает 167 наименований.
В первой главе проанализированы и систематизированы существующие психологические и педагогические концепции, теоретические и практические подходы к рассмотрению контроля, как средства повышения эффективности обучения в вузе.
Во второй главе разработаны модель и методика интеграции традиционного контроля и компьютерного тестирования.
В третьей главе произведена экспериментальная проверка разработанных модели и методики интеграции традиционного контроля и компьютерного тестирования, а также осуществлено сравнение эффективности различных форм контроля.
Эффективность обучения в ВУЗе как педагогическая проблема
Под педагогической эффективностью понимается степень реализации учебных целей по сравнению с заданными или возможными (например, переход ученика от необученности к обученности) при условии нейтрализации остальных факторов, воздействующих, помимо преподавателя, на достижение поставленной цели, решение поставленных задач [64].
Педагогические задачи очень сложны; возможных действий - множество; обстановка часто складывается случайно и противодействие объекта субъекту имеет место постоянно. Поэтому выделение критериев эффективности в них представляет немалые трудности.
Педагогические системы по характеру взаимодействия являются целеустремленными и самоорганизующимися. Результат их функционирования зависит от множества взаимосвязанных факторов, которые не всегда можно учесть (материальная оснащенность, традиции, ритм и режим, способы комплектования учебных групп и педагогов, в них работающих, и др.) [84].
Критерии, по которым судят об эффективности педагогической системы, зависят от целей. Так, В.А. Якунин считает, что если в качестве цели обучения принять, профессиональную подготовку специалиста определенного профиля, то признаками эффективности обучения будут служить его умение:
самостоятельно определять цели и задачи профессиональной деятельности;
обеспечивать её информационную основу;
прогнозировать возможные результаты собственной деятельности при известных условиях;
принимать оптимальные решения и воплощать их в жизнь;
мобилизовать на выполнение принятых решении других людей и устанавливать при этом с ними целесообразные деловые и личные взаимоотношения;
адекватно оценивать достигнутые результаты;
корригировать и перестраивать собственную деятельность и поведение, а также поведение и деятельность других [160].
Н.В. Кузьмина считает, что об эффективности работы учебных заведений в целом судят по проценту успеваемости и другим показателям.
Критериями оценки эффективности процесса обучения являются:
затраченное время;
количество и характер ошибок;
пропуски в знаниях;
полнота и правильность воспроизводимых понятий в сравнении с сообщавшимися;
число приступивших к работе после окончания учебного заведения [84].
Критерии оценки деятельности педагогических систем можно разделить на
внутренние и внешние.
Внутренними статистическими показателями уровня эффективности педагогических систем являются:
показатель конкурса;
уровень успеваемости;
сохранность контингента учащихся на протяжении всех лет обучения по сопоставлению количества выпускников и поступивших.
Однако этих показателей явно недостаточно.
В реальной жизни педагогические системы взаимосвязаны, и их следует рассматривать как таковые. По существу на протяжении жизни человек переходит из одной педагогической системы в другую. Вследствие этого важнейшими показателями эффективности предшествующей педагогической системы должны стать внешние показатели, связанные с деятельностью выпускника за её пределами.
Наиболее существенны следующие внешние показатели:
какие новые педагогические системы выбирают обучающиеся;
как они там адаптируются (каким по времени и качеству является процесс вхождения в новую систему);
какое число выпускников и в какой срок достигает высокого уровня деятельности в новой системе;
какой процент выпускников и в какой мере занят самообразованием;
в какой мере выпускник и его новые руководители удовлетворены ранее полученной подготовкой [84, с. 22].
Моделирование интеграции традиционного контроля и компьютерного тестирования
Любое педагогическое исследование непосредственно или опосредованно в конечном счёте является вкладом в научное обоснование практической педагогической деятельности. Переход от отображения педагогической действительности к её преобразованию в структуре научного обоснования можно представить как процесс формирования ряда теоретических и нормативных моделей педагогической действительности в их взаимосвязи.
Научное исследование соответствует своему назначению, если носит опережающий характер по отношению к педагогической практике. Опережение становится возможным при условии использования накопленного человечеством опыта во всех сферах познания. Это относится и к построению теоретических и нормативных моделей в отдельно взятом педагогическом исследовании. Поскольку наиболее компактно логика исследования может быть представлена именно в терминах моделирования, необходимо подробнее остановиться на этом понятии. Моделирование — это воспроизведение характеристик некоторого объекта на другом объекте, специально созданном для их изучения. Второй из объектов называют моделью первого. В наиболее общем виде модель определяют как систему элементов, воспроизводящую некоторые стороны, связи, функции объекта исследования [100].
Теоретическая модель (модельное представление), как и материальная, подобна действительности лишь в определенном отношении. Она не может быть пассивным, «прикрепленным» к своему объекту зеркальным отпечатком. Теоретическое представление становится моделью именно вследствие того, что отношение адекватности заменяется отношением подобия: благодаря относительной самостоятельности представления человек может соотносить его с предметами, чьим непосредственным образом она не является.
Можно утверждать, что моделирование, как процедура научного познания является для педагогики особенно трудной и в то же время насущно необходимой. Течение педагогического процесса определяется сложными, множественными и разнонаправленными факторами, что затрудняет обнаружение в нем закономерных связей. Практическая невозможность создания условий, в которых обучающийся, педагог, коллектив или образовательное учреждение в целом не испытывали бы влияния множества неучтенных факторов, свидетельствует о необходимости построения теоретических моделей, дающих мысленное, идеальное представление об изучаемых объектах. Особенно это важно в экспериментальном исследовании.
Следует признать необходимость построения в педагогике теоретических моделей-представлений, предполагающих наличие модельного отношения. Оно выступает как специфическое отношение между объектом и концептуальной схемой, т. е. системой некоторых научных представлений. Главным признаком модели сущего - теоретической модели - является то, что она представляет некоторую чёткую фиксированную связь элементов, предполагает определённую структуру, отражающую внутренние, существенные отношения реальности.
Общее представление о том, как изменить педагогическую действительность, чтобы она оказалась максимально приближенной к теоретически обоснованному, а значит, к мысленно-конкретному представлению о ней, содержится в модели должного - нормативной модели. Такая модель, как и модель теоретическая, является идеализированной и обобщённой. Она не составляет непосредственного проекта, «сценария» педагогической деятельности, а выступает как прообраз таких проектов, дает ответ на вопрос: что должно быть сделано для достижения лучших результатов?
Наконец, это общее представление находит свою конкретизацию в проекте педагогической деятельности. Как уже говорилось, проект содержит конкретные нормы такой деятельности, адресованные практике [8].
Создание теоретической модели интеграции традиционных видов контроля и компьютерного тестирования требует формального определения термина. Интеграция (от лат. integer - целый) - согласованность, упорядоченность и стабильность системы; оптимизация взаимоотношений и взаимодействия; единство, общие ценности; необходимая предпосылка стабильного функционирования [20].
Следовательно цель интеграции различных форм контроля - повышение эффективности обучения.
По сути дела обучение - это процесс усвоения знаний, умений, навыков на требуемом уровне за определенный период.
Об этапах проведённого исследования
В настоящее время специалисты не подвергают сомнению положительные аспекты компьютерного тестирования, как метода педагогического контроля.
Можно отметить, что текущее и промежуточное тестирование несёт обучающую и воспитывающую функции контроля [56]. Регулярное применение этих видов тестирования в особенности при организации дистанционного образования вызывает повышения мотивации к учёбе [71]. Немаловажную роль играет также вступительное тестирование [31].
Однако, говоря о тестировании, как способе контроля знаний, редко говорится о его взаимосвязи с другими методами контроля. Есть дисциплины, в которых тестирование применяется сравнительно давно: математика, физика, иностранный язык. Нередко называются дисциплины, в которых тестирование, как способ проверки знаний неприемлем: литература, история, философия, поскольку овладение этим предметом означает не овладение понятийным аппаратом дисциплины, а умением строить ассоциативные связи. Однако, говоря о применимости компьютерного тестирования в различных дисциплинах, чаще всего имеют ввиду среднее образование. Применение тестирования в высшем профессиональном образовании более важно, т.к. преподаватель ВУЗа, в отличие от школьного учителя, имеет значительно меньше механизмов текущей проверки знаний.
Базовой организацией для экспериментальной проверки гипотезы настоящего исследования выступил Морской Государственный Университет имени адмирала Г.И. Невельского. Эксперимент проводился в пять этапов:
в ходе первого этапа (2001 - 2002 гг.) изучались основные положения тесто-логии, достоинства и недостатки существующих компьютерных средств тестового контроля знаний;
в ходе второго этапа (2002 г.) в соответствии с требованиями был разработан программный комплекс «Издательство Квалификация» и проведена его апробация и опытная эксплуатация;
в ходе третьего этапа (2002 - 2003 гг.) оценивались результаты пробного испытания тестов, проводились исследования по оценке валидности и надёжности тестов;
в ходе четвёртого этапа (2003 г.), проводилась экспертная оценка тестовых заданий и разработка фасетных заданий;
в ходе пятого этапа (2004 -2005 гг.) проводился сбор статистической информации для оценки достоверности гипотезы педагогического эксперимента.
Первый этап эксперимента (2001 - 2002 гг.) был посвящен изучению основных положений тестологии, достоинств и недостатков существующих компьютерных средств тестового контроля знаний, проблем связанных с организацией и проведением массового тестирования. Этот этап проводился на базе Морской квалификационной комиссии при Дальневосточном Высшем Инженерно Морском Училище.
Содержание данного этапа:
выработка требований к создаваемому программному комплексу, с учётом достижений педагогики и тестологии;
разработка общей архитектуры программного комплекса;
определение функциональной структуры программного комплекса;
создание технологии хранения информации и обмена ею между модулями системы.
В результате были сформулированы основные требования к создаваемому программному комплексу:
возможность автономной работы любого количества составителей вопросов;
легкость использования, установки и настройки программ;
минимальные требования к квалификации пользователей;
компактность хранения и передачи созданных вопросов;
защита тестовых упражнений от его несанкционированного изменения или просмотра;
лёгкость внесения изменений в тестовые упражнения преподавателем (например, при обнаружении ошибки в тестовом задании);
возможность проведения различных типов аттестации;
возможность многоразового использования разработанного сценария проведения аттестации;
сохранение результатов тестирования;
формирование необходимой отчётности;
возможность автоматического формирования методической литературы для подготовки к аттестации;
механизмы автоматизации процесса поддержания базы данных накопленных тестовых упражнений в соответствии с требованиями актуальности;
возможность локального и сетевого использования программного обеспечения;
реализация всех основных типов тестовых упражнений (см. п. 1.3);
возможность сопровождать вопросы графическими компонентами;
реализация контроля соответствия оформления тестового упражнения требованиям тестологии (см. п. 1.3);
сопровождение тестовых заданий необходимым справочным материалом, ссылками на нормативно-правовую и учебную литературу, подсказками.
