Содержание к диссертации
Введение
Глава 1 Обзор литературы : 20
1.1 Значимость медицинского образования в системе обеспечения населения качественной медицинской помощью 20
1.2 Организационные и социально-психологические методы обеспечения качества обучения 30
1.3 Эволюция способов контроля знаний студентов высших медицинских учебных заведений на примере учебных дисциплин морфологического профиля 36
1.4 Функциональное значение организации учебного процесса и контроля знаний в системе формирования научно-практического мышления и расширения профессиональной эрудиции студентов
младших курсов высших медицинских учебных заведений 41
Резюме 47
Глава 2 Методы исследования 49
Общая характеристика проведенных исследований 49
Основные источники информации: 51
Методические и методологические подходы к организации контроля уровня знаний студентов в виде устного экзамена 53
Методические и методологические подходы к организации формализованного контроля уровня знаний студентов (тестирования).54
Методические и методологические подходы к оцениванию результатов формализованного контроля уровня знаний студентов 58
Общая характеристика исследуемой выборки и ее распределение на подгруппы 59
Характеристика использованных в исследовании программных комплексов и технических средств 60
Общая характеристика условий проведения исследований и алгоритмов анализа первичных данных Резюме 66
Глава 3 Исследование влияния индивидуальных психофизиологических особенностей на успешность результатов формализованного контроля знаний и возможность ее прогнозирования 67
3.1 Исследование влияния особенностей вербального и невербального способов представления информации на успешность обучения по результатам формализованного контроля знаний 67
Резюме 73
3.2 Исследование влияния тина тестового задания на успешность результатов формализованного контроля знаний 73
Резюме 76
3.3 Исследование влияния индивидуальных психофизиологических характеристик обучающихся на успешность результатов формализованного контроля знаний 77
Резюме 100
3.4 Исследование возможности оценки индивидуальных психофизиологических характеристик обучающихся по результатам формализованного контроля знаний в многосредовой оболочке 101
Резюме 108
Глава 4 Значение уровня довузовской подготовки для прогнозирования успешности обучения студентов высшего медицинского учебного заведения на различных этапах обучения 109
4.1 Исследование зависимости результатов вступительных экзаменов от уровня довузовской подготовки 109
Резюме 113
4.2 Влияние уровня довузовской подготовки на результаты обучения по блокам гуманитарных и социально-экономических (ГСЭ), а также математических, естественно-научных и медико-биологических дисциплин (ЕН) 114
4.3 Исследование зависимости результатов обучения по блокам профессиональных дисциплин (ОПД) и дисциплин специальности (ДС)
от уровня довузовской подготовки 121
Резюме 129
Глава 5 Обоснование возможности прогноза качества подготовки специалиста в системе высшего медицинского образования 130
5.1 Исследование возможности прогнозирования успешности обучения по результатам формализованного контроля знаний 130
Резюме 136
5.2 Прогнозирование качества обучения студентов лечебного факультета в условиях неопределенности 137
Резюме 146
Глава 6 Концептуальные основы организации управления качеством отбора и обучения в учебных подразделениях медицинского вуза с учетом социальных и индивидуальных психологических качеств обучаемых 147
6.1 Управление качеством подготовки специалистов на основе системы тотального управления качеством в системе высшего медицинского образования 147
Резюме 153
6.2 Диагностическая функция контроля знаний в управлении учебным процессом и возможности его оптимизации 154
Резюме 158
6.3 Основные направления оптимизации учебного процесса на кафедре высшего медицинского учебного заведения 160
6.4 Системное управление учебным процессом на основе мультимедийной тестовой технологии 166
Резюме 171
Заключение 174
Выводы 179 Практические рекомендации 182
Список использованной литературы 185
- Эволюция способов контроля знаний студентов высших медицинских учебных заведений на примере учебных дисциплин морфологического профиля
- Методические и методологические подходы к организации контроля уровня знаний студентов в виде устного экзамена
- Исследование влияния тина тестового задания на успешность результатов формализованного контроля знаний
- Прогнозирование качества обучения студентов лечебного факультета в условиях неопределенности
Введение к работе
Актуальность темы. Отбор, подготовка и воспитание будущего врача является сложнейшим образовательным и воспитательным процессом учреждений средней, высшей школы и учреждений, осуществляющих профессиональную подготовку.
Интеллект и навыки играют важную роль в профессии врача, равно как и многие другие психологические качества личности, и поэтому разработка методик, позволяющих осуществлять отбор как для обучения в высшем медицинском учебном заведении, так и в дальнейшем для подготовки в определенной сфере профессиональной деятельности является важнейшей государственной задачей.
Успешность будущей профессиональной деятельности студента-медика определяется не только комплексом приобретаемых и закрепляемых на протяжении обучения в высшем учебном заведении знаний, умений и навыков, но и системностью знаний, которые приобрел студент. Кроме того, будущему врачу важно обладать такими психологическими качествами, как способность быстро воспринимать большие объемы информации, анализировать и разделять усваиваемую информацию, систематизировать ее в соответствии со значимостью, формируя тем самым системные знания в целях возможного ее использования, обеспечивая тем самым развитие клинического мышления в целях достижения диагностического и лечебного результата Вместе с тем не всегда удается достигнуть желаемой результативности обучения, опираясь на развивающие функции курса многих учебных предметов из курса подготовки будущего врача (Давыдов В.В., 1986; Давыдов В.В., 1996; Кагерманьянц B.C. и соавт., 1997; Рубинштейн С.Л.,1981). Попытки повышения эффективности системы образования или ее модернизации, основаны на использовании различных методик и технологий обучения. При этом особое внимание уделяется содержательной и методической адаптации уже существующих педагогических технологий к контингенту учащихся, обеспечивая выполнение требований государственного образовательного стандарта (ГОСа) по учебной дисциплине. Кроме того, в подготовке врача необходима оценка профессиональных качеств личности, обеспечивающая уровень успешности подготовки и правильную ориентацию на выбор будущей специальности. Отсюда практическая реализация реорганизации (модернизации) системы образования должна осуществляться на любом уровне управления подготовкой специалиста. Тем не менее в любом случае каждый отдельный студент должен определяться организаторами учебного процесса, как субъект учебной деятельности (Выготский Л.С., 1991; Дьяченко М.И., Кандыбович Л.А., 1993; Кагерманьянц B.C. и соавт., 1997).
Однако перед любым высшим медицинским учебным заведением, как перед всей системой высшего профессионального образования в целом, стоит задача подготовить квалифицированного специалиста за определенный срок. Требования к уровню подготовки специалиста, оценочные критерии и иные параметры учебного процесса могут меняться на протяжении цикла обучения. В этих условиях задача такого рода может быть выполнена за счет использования информационных и иных ресурсов системы.
Важнейшим оценочным информационным элементов в высшем учебном заведении является контроль знаний учащихся, осуществляемый разными методами, создание которых являлось одной из задач настоящей работы. В этих целях оценка качества знаний является измерительным инструментом качества подготовки медицинских специалистов с высшим медицинским образованием и индикатором способности высшего медицинского учебного заведения выполнять задачи, поставленные Министерством здравоохранения и социального развития на заданном заказчиком уровне
качества. Исходя из этого, высшее медицинское учебное заведение должно располагать возможностью прогнозировать вероятность успешности обучения и последующей профессиональной деятельности принятого контингента абитуриентов, что обеспечит эффективное использование государственных средств и профессиональную пригодность обучаемого.
Одним из способов прогнозирования качественной деятельности специалистов в ЛПУ является распределение ответственности между Министерством здравоохранения и социального развития — заказчиком и высшим медицинским учебным заведением на основе формирования критериев оценки подготовленных специалистов и создания стандартизированных методов функционирования элементов подсистемы «преподаватель - студент».
Это определяет актуальность работ, которые обусловлены системной организацией подготовки медицинских специалистов, совершенствованием методических основ профессиональной деятельности преподавательского состава, созданием и развитием стандартизированных методов отбора абитуриентов в высшее медицинское учебное заведение, необходимостью оценки качества их знаний на различных этапах обучения и успешностью прогнозирования этапов обучения на основе анализа успешности обучения. Таким образом разработка новой системы управления учебным процессом на кафедре высшего медицинского учебного заведения, включающей в себя современные методы обучения и инструментального контроля, управления элементами обучения профессии, является важным условием развития и соответствия основных принципов организации здравоохранения и формирования медицинских кадровых ресурсов.
Работа выполнена в соответствии с программой совершенствования системы регионального образования и здравоохранения в рамках тематики «Инновационные технологии в образовании», «Совершенствование подготовки медицинских кадров», «Обеспечение качественной медицинской помощи населению РФ».
Объектом исследования является комплекс организационных мероприятий по исследованию уровня качества обучения студентов медвуза, планированию и управлению учебным процессом, организации и проведению процедур формализованного и неформализованного контроля знаний.
Предметом исследования является оценка зависимости качества полученных студентами медвуза знаний от группы индивидуальных, социальных, психологических и физиологических характеристик обучаемых, в целях прогнозирования успешности додипломной подготовки врачей.
Целью диссертационной работы является обоснование теоретических и практических основ модели прогнозирования успешности обучения студентов на кафедре высшего медицинского учебного заведения, формирование алгоритмов рационального управления и организации учебного процесса с использованием информационных технологий обучения.
Границы исследования включали изучение влияния индивидуальных психофизиологических особенностей и группы социальных факторов, влияющих на успешность обучения студентов на различных этапах учебного процесса в медвузе, и возможность прогнозирования успешности обучения по результатам промежуточного контроля знаний с целью оптимизации управления подготовкой высококвалифицированных медицинских специалистов на основе внедрения информационных технологий.
Методы исследования основаны на теории вероятностей, теории алгоритмов, теории управления и системного анализа, моделировании социальных, медицинских и биотехнических систем, объектно-ориентированной парадигме, теории психологического типирования и математической статистике.
Задачи исследования:
-
Изучить системную организацию учебного процесса и осуществить анализ алгоритмов принятия решений в системе управления учебным процессом кафедры высшего медицинского учебного заведения.
-
Определить степень влияния социально-экономических факторов на уровень эффективности и качества системной организации учебного процесса на кафедре высшего медицинского учебного заведения.
-
Разработать и обосновать алгоритм оценки уровня обученности студентов на основе социологического портрета обучаемого.
-
Разработать концептуальную модель оптимальной системы управления учебным процессом на основе информационных технологий в целях прогнозирования успешности профессиональной деятельности в критических условиях принятия решения.
-
Обосновать механизм подготовки врача на основе управления учебным процессом, гарантирующим развитие у специалиста оптимальных форм суждения и гарантирующим предупреждение ошибочных действий врача в практической деятельности.
Научная новизна исследования. В работе впервые разработаны и получены следующие результаты, характеризующиеся научной новизной:
Схема интеграции информационных технологий и, в том числе, мультимедийной тестовой технологии в процесс обучения студентов на кафедре медвуза, обоснование этапов ее внедрения и алгоритм прогнозирования успешности обучения.
Методика оценки индивидуальных психологических качеств, медицинских знаний с использованием информационных технологий и программных средств, учитывающих индивидуальные психологические качества обучающегося и обеспечивающие успешность усвоения специализированных знаний.
Банк тестовых заданий, созданный для контроля знаний с использованием информационных технологий и требований государственного образовательного стандарта по дисциплинам «анатомия человека» и «гистология, цитология и эмбриология».
Алгоритм тестового контроля знаний и программа, учитывающие индивидуальные предпочтения обучаемого в коммуникативной сфере, содержательную меру трудности тестового задания в зависимости от формы представления задания испытуемому.
Оценочный комплекс индивидуальных психофизиологических характеристик студентов, влияющих на успешность обучения.
Расчетный показатель «скорость достижения результата», позволяющий оценивать у студента степень сформированное навыков решения проблемных ситуаций по известному алгоритму учебной тематики.
Квалиметрический мониторинг результатов компьютерного контроля знаний, позволяющий оценивать эффективность работы преподавателя на кафедрах медвуза
Типы информационного метаболизма учащихся, позволяющие формировать академические группы на основе психологического тестирования и осуществлять
подбор преподавателя в зависимости от уровня подготовленности студентов и их индивидуальных психологических характеристик.
Методические рекомендации по оптимизации учебного процесса в медвузе на основе использования информационных технологий, внедрения мультимедийной тестовой технологии образования, основанных на синхронизации временных показателей и содержательной части смежных учебных дисциплин.
Методика прогнозирования успешности обучения и прогнозирования вероятности успешности последующей профессиональной деятельности специалиста медика.
Научно-практическая значимость исследования. В результате проведенных исследований осуществлено фундаментальное развитие основ определения успешности обучения студентов медвузов.
Разработан программный комплекс для создания, редактирования, использования в локальных сетях компьютерных тестов в многосредовом окружении и последующего анализа результатов тестирования и квалиметрического мониторинга индивидуальных учебных достижений студентов медвузов.
Разработанное алгоритмическое обеспечение задач оптимальным образом обеспечивает управление процессом принятия решения о допуске студента к последующему этапу обучения и выборе методов обучения на различных кафедрах медвузов и в системе учебно-методического обеспечения вуза в целом.
Результаты диссертационного исследования и разработанное программное и методическое обеспечение апробированы, получили положительную оценку и применяются в целях обеспечения учебного процесса на медико-биологических и клинических кафедрах Адыгейского государственного университета, Белгородского государственного университета, Ивановской государственной медицинской академии, Кубанского государственного медицинского университета, Курского государственного медицинского университета, Московской медицинской академии им. И.М. Сеченова, Нижегородской государственной медицинской академии и Российского государственного медицинского университета.
Основные положения, выносимые на защиту.
-
Аналитическое исследование психологического отбора в медвуз по данным литературных источников и значимость изучения профессиональных данных в овладении специальностью врача.
-
Внедрение многосредовых методик на различных этапах обучения, включая лекционный курс, практические занятия, тематический, рубежный и итоговый контроль знаний, оценка самостоятельной работы студентов как принцип реализации преемственности информативного обучения в течение учебного курса кафедр анатомии человека и гистологии, и оптимизации обучения студентов на основе использования кафедрального банка иллюстративных материалов.
-
Содержательная структура тестов по учебным дисциплинам «анатомия человека» и «гистология, цитология и эмбриология», направленная на выполнение требований государственного образовательного стандарта по специальности 040100 - «Лечебное дело».
-
Применение информационных, методических и педагогических технологий на основе мультимедийной тестовой технологии обучения на кафедре морфологического профиля медвуза для обеспечения системности излагаемого учебного материала.
-
Оценочные показатели временных затрат студентов с различным уровнем подготовки для достижения положительного результата при формировании профессиональных навыков.
-
Применение информационных технологий для совершенствования этапного усвоения знаний и развития профессионального врачебного мышления у студентов медвуза в целях исключения диагностических и лечебных ошибок на этапе постдипломной профессиональной карьеры.
-
Применение алгоритмов нейросетевого прогнозирования, кластерного анализа, алгоритмов поиска ассоциативных правил для анализа рисков успешности или неуспешности обучения в медвузе.
Авторский вклад. Все выносимые на защиту результаты и положения диссертационной работы получены лично автором. Разработана система интеграции мультимедийной тестовой технологии в существующую систему додипломнои подготовки врачей-специалистов в вузах Минздравсоцразвития РФ, обеспечивающая оптимизацию управления учебным процессом, создание комфортного информационного окружения для всех участников учебного процесса и Создание необходимых условий для прогнозирования успешности обучения на каждом последующем этапе обучения. Предложенный комплекс организационных и технологических мероприятий предполагает формирование стратегии управления учебным процессом, предусматривающей отбор студентов для последующей специализации в соответствии с их индивидуальными психофизиологическими характеристиками с целью снижения риска ошибочных действий в последипломной практической работе. Все положения работы, выносимые на защиту, апробированы, получили положительную оценку и применяются в ряде ведущих медвузов РФ.
Апробация работы. Результаты диссертационного исследования докладывались на итоговой 63-й научной конференции молодых ученых и студентов Курского госмедуниверситета (Курск, 1998), IV Международном конгрессе анатомов и гистологов (Н. Новгород, 1998), заседании координационного методического совета по морфологическим дисциплинам Министерства здравоохранения РФ (Н. Новгород, 1998), учебно-методической конференции «Оптимизация учебно-воспитательного процесса в медицинском университете в современных условиях» (Курск, 1998), Международном симпозиуме «Новые информационные и компьютерные технологии в медицине» (Москва, 2000), Международной конференции «Интернет. Общество. Личность.» (Санкт-Петербург, 2000), заседании центральной Проблемной учебно-методической комиссии по дерматовенерологии Минздрава РФ (Тверь, 2001), учебно-методической конференции «Современные информационные технологии образования» (Курск, 2001), III Всероссийской научно-методической конференции «Развитие системы тестирования в России» (Москва, 2001), заседании центральной Проблемной учебно-методической комиссии по дерматовенерологии Минздрава РФ (Курск, 2002), II Всероссийской конференции «Медицинские компьютерные технологии» (Москва, 2004), Юбилейной учебно-методической конференции, посвященной 70-летию Курского госмедуниверситета (Курск, 2005), всероссийском научном форуме «Медицинские компьютерные технологии Медкомтех 2005» (Москва, 2005), учебно-методической конференции «Ценностно-мотивационные ориентации студентов и преподавателей в обеспечении качества образовательного процесса» (Курск, 2006), заседании координационного учебно-методического совета по морфологическим дисциплинам Минздравсоцразвития РФ (Москва, 2006), конференции «Современные аспекты гистогенеза и вопросы преподавания гистологии в вузе», посвященной 100-
летию со дня рождения Л.И. Фалина (Москва, 2007), Всероссийской научно-практической конференции «Инновации в непрерывном профессиональном образовании конкурентоспособных кадров» (Курск, 2007), научно-методической конференции «Повышение качества образовательного процесса в университете» (Курск, 2008), региональной научно-практической конференции «Окружающая среда и здоровье населения» (Курск, 2008), Всероссийском совещании «Методология мультимедиа сопровождения учебного процесса на кафедрах медико-биологического профиля» (Санкт-Петербург, 2008), Всероссийской научно-практической конференции с международным участием «Управление инновационными процессами обеспечения качества обучения и воспитания в условиях медицинского вуза» (Курск, 2008).
По результатам исследования опубликовано 90 печатных работ, в том числе 3 монографии, 11 статей в изданиях, рекомендованных ВАК РФ и в рецензируемых журналах, а также 18 работ в сборниках материалов международных и всероссийских конференций. Получено 1 свидетельство об официальной регистрации программы для ЭВМ и 11 свидетельств на регистрацию электронных ресурсов.
Эволюция способов контроля знаний студентов высших медицинских учебных заведений на примере учебных дисциплин морфологического профиля
Система высшего медицинского образования предназначена для подготовки уникальных специалистов, обеспечивающих предупредительные меры и сохранение здоровья различных слоев населения страны.
В период перехода от индустриального к постиндустриальному обществу, произошли существенные изменения во всех сферах человеческого бытия. Мировая общественность отмечает развивающийся на фоне глобальных социально-экономических преобразований системный кризис высшего образования. Кризис послужил основой происходящих в последние 10 лет 20-го столетия изменений, оказывающих существенное качественное влияние на высшее образование во всех странах. При этом значительный вклад сложившейся системы высшего образования оказывают процессы глобализации в различных областях (экономика, политика, социология и т.д.) (Медоуз Д.Х., Рандерс Й., 1985; Высшее образование в XXI в.: подходы и практические меры (ЮНЕСКО, Париж, 5-9 октября 1998); Кара-Мурза С.2001 ;Переслегин СБ. и соавт., 2002; Laslo Е.,1975) . Развитие системы подготовки медицинских кадров находится в системной зависимости от развития социальной, экономический, финансовой и других систем государства. При этом улучшение качества медицинского обслуживания населения находится в прямой зависимости от многих факторов и, в первую очередь, от качества подготовки врачебных кадров в высших медицинских учебных заведениях, умения выпускников совершенствоваться, практического опыта и готовности врачей работать по принципам доказательной медицины (Решетников А. В., 2005; Решетников А. В., Решетников А. Б., 2006).
В этих целях правительство предпринимает значительные усилия по обеспечению совершенствования системы здравоохранения, отвечающей уровню современных требований, технологий и качеству подготовки медицинских кадров. Целью реформирования системы оказания медицинской помощи в XXI веке является не только ее качественное техническое и технологическое усовершенствование, но повышение уровня безопасности за счет снижения количества ошибок медицинских специалистов. Таким образом, перед деятелями в области высшего медицинского образования стоит сложная системная задача - обучать не только с целью повышения профессиональной компетенции, но и прогнозировать динамику качества обучения на протяжении всего периода формирования будущего врача. Преподаватели высших медицинских учебных заведений должны создавать такие условия, которые позволяют сформировать определенный уровень профессиональных навыков и моральных качеств, необходимый выпускникам в успешной деятельности будущих специалистов системы здравоохранения.
Исходя из этого, система высшего медицинского образования осуществляет поиск критериев, обеспечивающих прием граждан в высшее учебное заведение медицинского профиля с такими индивидуальными психологическими качествами, интеллектом, желанием учиться и способностями, которые бы обеспечили на основе использования разнообразных форм и методов обучения формирование знающего, самосовершенствующегося и умного врача
В конце 90-х годов 20-го столетия в Европе усилиями специалистов был создан консорциум из 260 участников в целях реформирования системы образования на основе стандартизированных образовательных технологий. В него вошли ведущие университеты и крупнейшие компьютерные и телекоммуникационные компании, а также национальные комитеты по стандартизации. Силами ведущих специалистов подкомитетов по стандартизации по основным направлениям обра зовательных технологий (профессиональные компетенции, тесты, проектирование образовательных курсов, структурирование учебного курса и т.д.) были разработаны соответствующие рекомендации и создается единое «образовательное пространство» (Birchard К., 2001; Plomin J., 2002). При этом телекоммуникации и образовательные технологии на основе стадартизированных принципов стали одной из основ быстрой подготовки и усовершенствования специалистов (Бондаренко Е.А., Жу-рин А.А., 2002; Тихомиров В., 2002). Так, в 2001 году в Германии на конференции посвященной дистанционному образованию было сообщено, что в колледжах, работающих по технологии «e-learning» в системе проекта единой образовательной сети, студенты программу бакалавриата осваивают в 2 раза быстрее и на выпускных экзаменах показывают лучшие результаты.
В США политика в области «е-1еагпіп»-технологии и стандартизации в образовании поддерживается правительством. В результате обучающие программы стандартизированы на уровне интерфейса пользователя, протокола обмена информацией и частот каналов связи. В описательной части проекта правительства США «Власть. Интернет. Образование» говорится о том, что образовательная система США должна выпускать технологически подготовленных студентов. Выпускники должны уметь находить, анализировать и пользоваться информацией. Обучающийся должен владеть методами использования полученной в процессе подготовки информацией для создания качественно новых знаний, для решения учебных и научных проблем, принятия решений, создания продукции и взаимодействия. Таким образом, образовательные технологии нацелены на совершенствование различных типов обучения. Применение таких схем обучения в США привело к качественным изменениям образования и позволило снизить стоимость обучения на 30-60%, при снижении продолжительности учебного процесса на 20-40% (Milheim W., 2001).
Методические и методологические подходы к организации контроля уровня знаний студентов в виде устного экзамена
При планировании формализованного (тестового) контроля знаний в структуре учебного процесса мы руководствовались следующей последовательностью этапов: -определение цели тестирования в соответствии с учебным планом, целью и задачами нашего исследования; -создание банка тестовых заданий. При этом количество заданий должно существенно превышать реально необходимое для тестирования, т.к. часть из них может оказаться непригодной для тестирования после экспертной оценки теста (Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе, 1995); -экспертиза теста и «контрольное» тестирования (апробирование теста); -анализ результата экспертизы и контрольного тестирования; -после применения теста на генеральной выборке учащихся - аттестация заданий и построение шкалу оценок (Кромер В.В., 2001; Пана-ринВ.М., 2001).
При планировании процедуры контроля знаний, определении времени и объема проверки уровня знаний учащихся и подготовки тестового контроля (формулировке заданий) мы использовали рекомендации ряда авторов (Свиридов А.П., 1981; Поддубная Л.М., Татур А.О., Челышкова М.Б., 1995; Борисов И., 1998), которые предлагают учитывать следующее: включать вопросы, предусматривающие воспроизведение учащимся фактов, понятий и правил в целях проверки объема и полноты усвоения знаний; оценивать логичность ответа и правильное соотношение фактов, понятий и правил и определять уровень систематизации знаний учащегося; определять точность воспроизведения обучающимся основных положений учебного материала при параллельном тестировании или же при повторном тестировании, что позволяет через определенные интервалы времени уточнять прочность усвоения учебного материала; изучать степень сформированное навыков, которая определяется с помощью оценки успешности применения учащимся известных ему алгоритмов нахождения правильного ответа для решения изученных типов задач.
При композиции тестовых заданий и подготовке вариантов тестов мы учитывали следующие требования (Аванесов B.C., 1991, 1996, 2001; Селезнева Н.А. Субетто А. И., Прудковский Б.А., 1993; Поддубная Л.М. Татур А.О., Челышкова М.Б., 1995; Челышкова М.Б., 1995):
Типы тестовых заданий и формы представления материала в них соответствовали методическим указаниям к композиции тестовых заданий B.C. Аванесова (1991, 1996, 2001), а также рекомендациям Мирош-никовой М.М. (1988), Назаренко Н.В. и Валюк Т.В. (1999) и др.:
Закрытая форма - для каждого задания предлагаются несколько вариантов ответов и необходимо выбрать среди них или один правильный, или один неправильный. Открытая форма - здесь нужно сформулировать ответ самостоя. тельно; В тестах на соответствие требуется установить соответствие между элементами двух множеств. Тесты на определение правильной последовательности требуют . указания порядка выполнения действий, процессов.
Закрытая форма подразумевает выбор одного из нескольких предоставленных испытуемому вариантов ответов. При этом в соответствии с формулировкой вопросительной части задания, возможен выбор правильного или же неправильного варианта (например: «укажите пра-., вильный ответ», «укажите ошибочное утверждение»). При составлении заданий этого типа строго соблюдались требования к заданиям этого типа, изложенные во всех руководствах по IRT (Item Response Theory) (приведено по Поддубная Л.М. Татур А.О., Челышкова М.Б., 1995):
В тексте задания недопустимы двусмысленные или неясные формулировки. Основная часть задания формулируется предельно кратко (не более одного предложения из 7-8 слов). Все ответы к одному заданию должны быть приблизительно одинаковой длины. Основная часть и варианты ответов должны быть согласованны по грамматической форме. Из текста задания исключаются все словесные ассоциации, способствующие выбору правильного ответа с помощью догадки. Частота выбора одного и того же номера места для правильного ответа в различных заданиях теста должна быть примерно одинаковой (номер места для правильного ответа должен выбираться в случайном порядке). Из ответов обязательно исключаются все повторяющиеся слова путем ввода их в основной текст задания. В ответах не рекомендуется использовать следующие слова: «все», «ни одного», «никогда», «всегда» и так далее. Из числа неправильных исключаются ответы, вытекающие один из другого. Из числа тестовых заданий исключатся те, которые выясняют мнение студента по какому-либо вопросу и цепные задания. Задание не должно содержать двойного отрицания. Все варианты ответов должны быть равно привлекательными. При определении количества вариантов ответов в тестовых заданиях учитывали, что оптимальным количеством вариантов ответов на вопрос следует считать 5±2 так как вероятность случайного нахождения правильного ответа в этом случае колеблется от 0.33 до 0.16 (рис. 2.1). Из графика, приведенного на рисунке 1 следует, что дальнейшее увеличение количества вариантов ответов в задании (более 10) нецелесообразно, так как оцениваться будет не знание предмета, а индивидуальные особенности восприятия больших массивов информации
Исследование влияния тина тестового задания на успешность результатов формализованного контроля знаний
В исследованной выборке показателей исследования студентов лечебного факультета обладатели типов информационного метаболизма представлены неодинаково и отмечается их неравномерное распределение в подгруппах по половому признаку.
После определения типа информационного метаболизма все студенты исследуемой выборки прошли дисциплинарное допускное тестирование перед экзаменом по анатомии человека. Тест представлен десятью заданиями «на множественный выбор», 12 заданиями «на иллюстрированный выбор» и 8 заданиями «на соответствие». Содержательная часть тестовых заданий включала все разделы курса анатомии. Выборка осуществлялась по подгруппам по уровню довузовской подготовки («А», «В», «С») и половому признаку.
После распределения всей совокупности испытуемых данной группы на подгруппы по успеваемости и расчета коэффициента корреляции Пирсона между процентом правильных ответов по типу задания и тестовым баллом было обнаружено, что закономерности изменения значений коэффициента Пирсона в основном, соответствуют показателям предыдущих групп 3 и 4, что представлено на рисунке 9.
Серия исследования №5. Значение тестовых баллов по типам заданий и коэффициент корреляции с обшуїм тестовым баллом
Анализ графиков и гистограмм на рисунке 9 свидетельствует о том, что имеющиеся отличия исследуемых показателей процентов правильных ответов и изменение значений коэффициента корреляции Пирсона по сравнению с группами исследования 3 и 4 объясняются изменением конфигурации теста за счет увеличения количества заданий типа «графический выбор» до 12 за счет уменьшения количество заданий «на соответствие» до 8.
Изучение показателей обследованных студентов группы «А», которая была распределена на условные подгруппы по успеваемости демонстрирует резкое увеличение значения коэффициента Пирсона при выполнении заданий категории «на множественный выбор», что показано на рисунке 10. Рис.10. Оценка тестовых показателей в зависимости от типа заданий и коэффициента корреляции с общим тестовым баллом в группе исследования №5 (подгруппа «А»)
Из гистограмм на рисунке 10 следует, что для попадания в условные подгруппы по успеваемости студентов имеют значение задания «на соответствие» и «иллюстрированный выбор». Это наиболее видно в подгруппах отлично и удовлетворительно успевающих студентов. Сила связи между показателями правильных ответов и общим баллом в подгруппе «В» во всех условных подгруппах по успеваемости соответствует ее значениям для выборки в целом, что представлено на рис. 11. На гистограммах и графиках, приведенных на рис.11 видно, что только задания «на соответствие» оказались одинаково трудными для подгрупп неуспевающих и удовлетворительно успевающих студентов и, следовательно, не оказали влияния на итоговый тестовый балл студентов в указанных подгруппах. Значение тестовых баллов по типам заданий и коэффициент корреляции с общим тестовым баллом для группы "В".
Оценка тестовых показателей в зависимости от типа заданий и коэффициента корреляции с общим тестовым баллом в группе исследования №5 (подгруппа «В»)
Из таблицы 7 следует, что средний балл на экзамене составил в подгруппе «А» 4,10 + 0,87, в подгруппе «В» 3,57 ± 0,86 и в подгруппе «С» 3,11 + 1,00. Полученные данные подтверждают тот факт, что наилучшие результаты на экзамене показали студенты, имеющие наилучшую довузовскую подготовку. Вместе с тем, показатель успеваемости в процентном отношении удовлетворительных оценок во всех трех подгруппах примерно одинаков, а процентный показатель неудовлетворительных оценок увеличился в три раза в подгруппе студентов, обучающихся на платной основе (подгруппа «С») по сравнению с бюджетными студентами (подгруппа «В»). Несмотря на то, что студенты подгруппы «А» показали наилучший результат, из-за малой численности этой группы обнаруженное отличие не следует считать убедительным. Таблица 7
Показатели результатов устного экзамена и предэкзаменаци онного тестирования в серии исследования №5 Группы довузовской подготовки «А» «В» «С»
Анализ данных, приведенных в таблице 7 показывает, что в пятой группе исследования подгруппа «С» состояла из наиболее плохо подготовленных студентов, что подтверждается результатами тестирования и оценками, полученными на экзамене по анатомии. Распределение результатов тестирования характеризует уровень знаний испытуемых по предмету и создает определенное представление об уровне их довузов ской подготовки. Из графиков, представленных на рис. 12 следует, что результаты, показанные студентами подгрупп «А» и «С» радиально симметричны. То есть максимальные значения показателя в одной группе соответствуют минимальным значениям показателей в другой группе.
Тем не менее, выборка, состоящая из студентов подгруппы «С» также была распределена по успеваемости на четыре подгруппы, после чего были определены значения коэффициента корреляции Пирсона между значениями процента правильных ответов по заданиям разных типов и тестовым баллом в целом, что демонстрирует рисунок 13.
Значение тестовых баллов по типам заданий и коэффициент корреляции с общим тестовым баллом для группы "С".
Оценка тестовых показателей в зависимости от типа заданий и коэффициента корреляции с общим тестовым баллом в группе исследования №5 (подгруппа «С»)
Установлено, что сила связи процентных показателей правильных ответов по заданиям «на соответствие» и общим тестовым баллом для худших и лучших студентов подгруппы «С» одинакова, а процентные по казатели правильных ответов по этому типу заданий имеют соответствующие максимальное и минимальное значения. Следовательно, в подгруппе «С» задания указанного типа оказали наибольше влияние на показатели итогового тестового балла, что показано на рисунке 13. То есть от успешности ответа на задания этого типа зависело «попадание» студентов подгруппы «С» в ту или иную подгруппу по успеваемости.
С целью исследования влияния тендерных особенностей высшей нервной деятельности испытуемых на результаты контроля уровня знаний, вся совокупность исследуемых в группе №5 была распределена на две подгруппы.
Анализ данных, приведенных в табл.8 с учетом тендерных различий позволил разделить показатели в зависимости от результата устного экзамена. Экзаменаторы оценили знаний студентов одной подгруппы на «отлично» и «хорошо», а второй подгруппы - на «удовлетворительно» и «неудовлетворительно». Установлено, что представители мужского пола получили относительно меньше отличных оценок по сравнению с представительницами женского пола, что иллюстрируют табл. 8 и рис. 3.3.7.
Сравнение результатов тестирования на основе метода ленточных исследований двух вышеуказанных групп студентов после распределе ния их на соответствующие четыре подгруппы по успеваемости показало, что отлично успевающие девушки показали равномерно высокий процент правильных ответов по всем типам заданий. В исследовании наиболее значимыми для тестового балла оказались задания с графическими иллюстрациями, что представлено на рисунке 15.
Сравнительный анализ графических показателей, представленных на рисунке 16 показал, что в подгруппе отлично успевающих лиц мужского пола отмечается некоторое снижение процента правильных ответов по заданиям «на соответствие». Обнаружено зеркальное по сравнению с лицами женского пола (рис. 15) распределение значений коэффициента корреляции процента правильных ответов по типам заданий к проценту правильных ответов по тесту в целом.
Прогнозирование качества обучения студентов лечебного факультета в условиях неопределенности
Анализ данных, приведенных в табл. 12 свидетельствует об установлении значимых корреляционных связей между сравниваемыми показателями и признаками типов информационного метаболизма в подгруппе студентов с наивысшим уровнем довузовской подготовки. Студенты с высоким уровнем довузовской подготовки (подгруппа «А») отличаются от выборки в целом явным преобладанием числа экстравертов над интровертами, и большая часть из них являются иррационалами с динамическим типом мышления, что характерно для лиц с креативным интеллектом. Замечено, что выпускники лицея имеют более сильную внешнюю мотивацию к изучению медицинских дисциплин, так как они не только выдержали конкурсный отбор при зачислении в лицей, но на протяжении трех лет обучения мотивировались к изучению предметов самой системой переводных экзаменов и угрозой отчисления за неуспеваемость.
В подгруппе студентов, обучающихся на бюджетной основе («В»), практически не отличающейся по спектру представительства типов информационного метаболизма и процентному соотношению пар признаков типов информационного метаболизма в тендерных группах от значений в среднем по выборке, сила корреляционных связей параметров с парами признаков типа информационного метаболизма существенно ослабевает. При этом не только снижается сила связей до значений коэффициента корреляции Пирсона 0.3 - 0.49, но и уменьшается количество коррелирующих параметров. Обращает на себя внимание, что эти изменения в большей степени касаются подгруппы представителей женского пола, где со средней силой коррелируют друг с другом показатели оценки на устном экзамене и рационализм как признак типа информационного метаболизма.
В подгруппе студентов, обучающихся на платной основе («С»), в обеих тендерных подгруппах выявляются лишь слабые корреляционные связи между временем, затраченным на ответ на задания разных типов и рационализмом, как признаком типа информационного метаболизма. Этот феномен иллюстрирует попытку слабо подготовленных студентов «размышлять» над решением трудной задачи при незнании алгоритма решения подобных заданий.
Установлено, что успешность обучения, оцениваемая при проведении рубежного или дисциплинарного контроля знаний зависит от ряда параметров, непосредственным образом не связанных с условиями организации учебного процесса: уровень довузовской подготовки и комплекс индивидуальных психофизиологических характеристик. Среди последних, наиболее сильное влияние на эффективность обучения оказывают такие признаки типа информационного метаболизма, как динамика и иррационализм мышления. Обнаружено, что учащиеся с выраженным динамизмом и иррациональностью мышления способны показывать наивысшие результаты при контроле знаний при условии проведения его в компьютерной форме и в многосредовой оболочке. Предложенный нами новый оценочный показатель (скорость достижения результата) характеризует степень сформированное у испытуемых навыков решения задач по известному алгоритму действия. Использование этого критерия, а также данных о типе информационного метаболизма личности в практике обучения студентов в высших медицинских учебных заведениях может служить основой для научно обоснованного отбора кандидатов для последующего обучения по медицинским специальностям, требующим быстрого и безошибочного принятия решения в критической ситуации (реаниматология, специальности хирургического профиля, медицина катастроф и т.п.) или же по специальностям, где от врача не требуется оперативного принятия решения.
Профессиональный отбор, осуществляемый на основе анализа признаков типа информационного метаболизма и скорости достижения результата, определенной по нескольким учебным дисциплинам позволит в будущем избежать ряда врачебных ошибок, совершаемых специалистами из-за несоответствия условий принятия решения их индивидуальным психофизиологическим характеристикам.
Исследование возможности оценки индивидуальных психофизиологических характеристик обучающихся по результатам формализованного контроля знаний в многосредовой оболочке
С целью подтверждении гипотезы о зависимости успешности результата мультимедийного формализованного контроля знаний студен 101 тов от их индивидуальных психофизиологических характеристик, нами был проведен квалиметрический анализ результатов экзаменационного теста по анатомии, проведенного в январе 2001 года (табл. 3, группа №5). Каждый вариант теста состоял из 25 заданий закрытого типа: 11 из них- с иллюстрациями в виде графических файлов, одно задание содержало в качестве иллюстрации небольшой видеофрагмент рентгеноскопического исследования. Остальные 13 заданий были распределены следующим образом: 10 заданий типа «множественный выбор» и 3 -«на соответствие». Распределение процента правильных ответов на задания теста (процент по заданиям и процент по существенным операциям или «жесткий» и «мягкий рейтинг» соответственно) представлено в приложении 6.
Анализ графика, иллюстрирующего в целом по выборке зависимость суммарного процента правильных ответов от процента правильных ответов по каждому типу тестовых заданий в виде проекции конечных точек векторов, построенных по трем осям (рис. 23) показал:
Большая часть векторов находится в секторе М-Г, причем отметки находящиеся ближе к центру в любом секторе соответствуют наихудшим ответам, а находящиеся на периферии любого из секторов — наилучшим.
Соответственно, попадание вектора студента в один из секторов и степень приближения к границам сектора зависит от соотношения процента правильных ответов по всем типам заданий что, в свою очередь, определяется индивидуальными предпочтениями учащихся в коммуникативной сфере (способами получения и обработки информации), что в свою очередь, зависит от типа информационного метаболизма студента.
Похожие диссертации на Управление учебным процессом в высшем медицинском учебном заведении на основе мультимедийной тестовой технологии
