Содержание к диссертации
Введение
ГЛАВА 1. Научно-теоретический анализ системы контроля в военно-учебном заведении ВВС РФ 13
1.1. Специфика системы контроля как средства объективизации знаний в военно-учебном заведении 13
1.2. Пути и условия объективизации системы контроля знаний.. 24
Выводы 36
ГЛАВА 2. Разработка и проектирование системы контроля знаний обучающихся 38
2.1. Дидактические и технологические аспекты организации системы контроля 38
2.2. Описание структурных компонентов и принципов построения дидактической модели58
Выводы 70
ГЛАВА 3. Дидактические основы проектирования и применения инвариантных компонентов системы контроля обучающихся 71
3.1. Разработка и технология применения системы средств контроля знаний обучающихся 71
3.2. Анализ опытно-экспериментальной проверки проектируемой системы контроля знаний обучающихся 100
Выводы 121
ЗАКЛЮЧЕНИЕ 123
СПИСОК ЛИТЕРАТУРЫ 125
ПРИЛОЖЕНИЯ 137
- Специфика системы контроля как средства объективизации знаний в военно-учебном заведении
- Дидактические и технологические аспекты организации системы контроля
- Разработка и технология применения системы средств контроля знаний обучающихся
Введение к работе
Актуальность темы исследования. Преобразования, осуществляемые на современном этапе развития общества, затрагивают и систему высшего военного образования. Повышаются требования к научному уровню и творческому потенциалу военных инженеров, содержанию и технологиям обучения, позициям преподавателей и курсантов в образовательном процессе.
Успешность функционирования учебно-воспитательного процесса в военно-учебном заведении во многом определяется эффективностью организации контроля за усвоением знаний и формированием умений и навыков курсантов. Именно поэтому важнейшее значение приобретают проблемы совершенствования методов, форм и средств контрольно-оценочных процедур.
В совокупность средств, обеспечивающих функционирование системы управления обучением, важная роль принадлежит научно-обоснованному, тщательно спланированному и рационально организованному контролю за процессом и результатами учебно-познавательной деятельности курсантов. Это обусловливается тем, что контроль должен обеспечивать не только фиксацию и оценку результатов завершенных этапов обучения, но и способствовать регуляции и корректированию учебного процесса, целенаправленному формированию у курсантов военно-профессиональных умений и навыков.
Анализ литературы по теме исследования показывает, что в работах отечественных ученых выявлены:
? возможности управления учением через контроль знаний (Александров Г.Н., Архангельский СИ., Белкин Е.Л., Белый Ю.А., Беспалько Р.П., Дорошкевич A.M., Матюшкин A.M., Талызина Н.Ф.);
обоснованы требования к • дидактических принципов в учебно-воспитательном процессе (Атаев Д.А., Белкин ЕЛ, Беспалько В.П., Огородников И.Т., Перовский Е.И., Щукина Г.И.);
? определены характеристики отдельных этапов контроля, его составные элементы, их цели, функции, методы и средства реализации (Ананьев Б.Г., Гурьянов Е.В., Дайри Н.Г., Данилов Н.А., Ефимов В.Н., Кривоша-пова Р.Ф., Кудаев М.Р. Силютина О.Ф.);
? разработаны методы оценки результатов учебно-воспитательного процесса на основе вероятностно-статистических и информационных закономерностей обучения (Александров Г.А., Белкин Е.Л., Битинас Б.П., Воробьев Г.В., Грабарь М.И., Михеев В.И.).
Однако анализ психолого-педагогических работ и практики в .ин-ского обучения показал, что, несмотря на выявленные основные качества, присущие контролю, выделенные его цели и функции, виды и организа ционные формы, разработанные требования к различным средствам контроля и периодичности проведения контрольных процедур, эффективность контроля знаний, в том числе будущих военных специалистов СА-ТОП (средств аэродромно-технического обеспечения полетов) остается достаточно низкой. Разный уровень профессиональной компетентности педагогов, их индивидуально-личностные особенности, различия ситут.-ционных условий проверки, неоднозначность выделяемых критериев оценок, влияние межличностных взаимоотношений — вот лишь некоторые причины субъективизма, не позволяющие получать достаточно точные и полные сведения об учебных достижениях курсантов.
В связи с этим закономерно возникает вопрос об использовании в учебном процессе наряду с традиционными видами учебного контроля •» объективных средств дидактической диагностики - тестов, предусматри вающих не только оценивание, а измерение, независимое от личностных и профессиональных качеств педагогов, качественное исчисление иссле- Щ дуемых признаков, производимое в одинаковых условиях и основанное на единых критериях. Изучением вопросов тестового контроля в соответствии с целями и задачами обучения на различных ступенях образовательного процесса посвящены исследования: B.C. Аванесова, В.П. Беспалько, Д.С. Горбатова, А.Н. Майорова, П.И. Пидкасистого, И.П. Подласова, В.И.
Тесленко и др. Применение тестов в учебном процессе в своих исследо- ваниях рассматривали СИ. Архангельский, В.П. Беспалько, Б.И. Битинас, К. Ингенкамп, Л.Б. Ительсон, П. Клайн, Т.Е. Климова, В.И. Михеев, В.П.
Симонов, И.М Фейгенберг и др.
Одним из перспективных путей обеспечения гармоничного сочетания отмеченных форм контроля может быть разработка контролирующих компьютеризированных форм обучения. Результаты таких исследований в сочетании с теоретическими началами конструирования компьютерных технологий, заложены в работах М.Б. Гузаирова, Я.Е. Львовича, В.Н. Фролова, создают эффективную теоретико-методологическую и методическую базу для новых перспективных разработок в области современного профессионального образования.
В то же время анализ психолого-педагогических работ в сфере высшего военного образования показал, что системе контроля в воєнно- 1/ учебных заведениях, в частности, при подготовке специалистов САТОП,
уделяется недостаточное внимание. Сложившееся положение объясняется следующими причинами:
• слабой теоретической разработанностью проблемы системы контроля будущих военных специалистов;
• отсутствием научно обоснованных методических рекомендаций по J разработке и применению контроля как средства объективизации знаний;
• неподготовленностью педагогов к использованию современных форм контроля в процессе обучения курсантов. Ряд аспектов использования контроля в военно-учебном заведении заслуживает специального изучения и научного анализа. Среди них выделяются следующие:
• условия разработки дидактических тестов, объективизирующих контроль знаний будущих военных специалистов;
• особенности проектирования и применения контролирующих и обучающих компьютерных программ;
• организация системы контроля, который являлся бы ограниченной частью целостного учебно-воспитательного процесса способного решать задачи обучения и развития личности уже в ходе самой контрольной процедуры.
Таким образом, изучение и анализ литературы, исследований с целью определения степени разработанности проблемы позволили выявить противоречия, определившие направление исследования:
между социальным заказом общества на подготовку компетентного военного специалиста, имеющего определенный уровень готовности к будущей профессиональной деятельности и реально функционирующей системой контроля в военно-учебном заведении, имеющей недостаточные объективные методы и формы контроля;
между существующей организацией контроля знаний будущих военных специалистов и отсутствием научно-обоснованной системы контроля, повышающей объективность оценки результатов обучения. Следствием вышеизложенного является необходимость разработки психолого-педагогического обоснования системы контроля, что актуально Ш на современном этапе профессионального образования.
Работа выполнена в рамках госбюджетной НИР ГБ 2000.05
№01970000497 «Разработка инновационных технологий профессионального образования».
Цель исследования - теоретическое обоснование, разработка и проверка эффективности внедрения системы контроля, способствующей объективизации знаний курсантов в военно-учебном заведении.
Объект исследования — учебный процесс профессиональной подготовки специалистов САТОП в военно-учебном заведении ВВС РФ.
Предмет исследования - система контроля как средство объективизации знаний специалистов САТОП.
Гипотеза исследования - система контроля обученности будет являться эффективным средством объективизации знаний будущих специалистов САТОП в учебно-воспитательном процессе военно-учебного заведения, если система контроля:
• четко увязывается с целями и содержанием обучения, разработанными на основе структурирования этого содержания и выявления основных учебных элементов изучаемого материала;
• содержит целевые, содержательные и процессуальные компоненты, повышающие объективизацию контроля знаний;
• применяется систематически в комплексе с традиционными средствами контроля.
В соответствии с целью и гипотезой были поставлены следующие задачи исследования:
1) провести теоретический анализ по проблемам проведения объективного контроля знаний будущих специалистов САТОП в военно-учебном заведении;
2) разработать дидактическую модель учебных дисциплин с использованием системы контроля;
3) спроектировать педагогическую технологию системы контроля;
4) провести опытно-экспериментальную проверку эффективности разработанной системы контроля.
Теоретическими и методологическими основами исследования являются: закономерности учебно-познавательной деятельности человека, сформулированные в работах отечественных педагогов и психологов (СИ Архангельский, Ю.К. Бабанский, Л.С. Выготский, И.Я. Гальперин, И.А. Зимняя, Н.Ф. Талызина); управления учением через контроль знаний (СИ. Архангельский, Е.Л. Белкин, A.M. Дорошкевич, A.M. Матюшкин, Н.Ф. Талызина); требования к роли контроля с позиций реализации дидактических принципов в учебно-воспитательном процессе (Д.А. Атаев, И.Т. Огородников, Е.И. Перовский, Г.И. Щукина); теоретические начала конструирования компьютерных технологий обучения (В.П. Беспалько, М.Б Гузаиров, Я.Е. Львович, В.Н. Фролов).
Методы исследования: для решения поставленных задач и подтверждения исходной гипотезы использована комплексная методика, включающая теоретическое изучение и анализ философской, психолого-педагогической литературы; эмпирические методы: анкетирование, фронтальная, групповая и индивидуальная беседы, наблюдение, ретроспективный анализ педагогического опыта; констатирующий и формирующий эксперимент; статистические методы обработки экспериментальных данных.
Опытно-экспериментальной базой исследования возможностей повышения эффективности контроля знаний с помощью системы контроля в учебно-воспитательном процессе вуза являлся факультет «Средств аэродромно-технического обеспечения полетов» Воронежского военного авиационного инженерного института.
Организация исследования. Исследование проводилось в течении 1999-2002 гг. и в своем развитии прошло 3 этапа.
На первом этапе (1999-2000 гг.) был проведен анализ литературы по теме исследования, выявлены основные теоретико-методологические понятия, сформирована гипотеза, определены задачи и программа исследования.
На втором этапе (2000 г) осуществлялась разработка основ модели контроля по учебной дисциплине «Машины и агрегаты для содержания аэродромов и обслуживания воздушных судов».
На третьем этапе (2000-2002 гг.) завершена теоретическая и экспериментальная разработка психолого-педагогических основ дидактической модели, проведено опытное обучение, подведены итоги теоретических и экспериментальных исследований.
Достоверность и обоснованность полученных результатов и выводов определяется отбором методов исследования, адекватных его зада /ам, репрезентативным объемом экспериментальной выборки, использованием статистических методов при обработке результатов опытно-экспериментальной работы, сочетание качественного и количественного анализа.
Научная новизна исследования заключается в том, что:
1. Разработана дидактическая модель системы контроля, обеспечивающая, с одной стороны, объективность оценки результатов обучения, а, с другой, позволяющая в процессе закрепления и обобщения усвоенных яня-ний решать задачи образовательного и воспитательного характера в процессе подготовки специалистов САТОП.
2. Определено содержание понятия «тест успешности обученности» и ДЯ-j на его психолого-педагогическая характеристика как стандартизированного средства объективности оценочных процедур, способствующая проведению констатирующего и корректирующего контроля знаний обучаемых.
io ические условия продуктивной реализации разрабо зволяющие целенаправленно актуализировать у обу э к учебной деятельности. і гедагогическая технология, отличающаяся использо эедств контроля и обеспечивающая развитие соответ сионально-методических умений будупдих военных »олирующая компьютерная программа, обеспечиваю-z, контроля усвоенных знаний.
і значимость исследования обусловлена тем, что да-:ихолого-дидактические методики построения и реа- нтроля знаний, в которых в ходе разработки кон-лредусматривается не только объективизация резуль-эешении его специфических задач, но и усиление воз по решению задач обучения (образовательных, вос-ающих) при подготовке специалистов САТОП.
значимость диссертационной работы состоит в том, нкретная дидактическая модель системы контроля, ективность и достоверность контрольных процедур в і будущих специалистов САТОП. Самостоятельное Ете имеет система контроля, включающая: 1) комплекс успешности обученности, позволяющих не только ерно оценивать знания, но и мотивировать курсантов ю деятельность; 2) оценочную четырехбалльную шка- чного балла от коэффициента усвоения знаний курсан- Машины и агрегаты для содержания аэродромов и об-ых судов»; 3) контролирующую компьютерную про-анную с помощью специально разработанного ал і горитма; 4) методические рекомендации преподавателям по составлению ж тестов успешности обученности на основе построения дидактического графа и выделения учебных элементов по учебной дисциплине «Машины и агрегаты для содержания аэродромов и обслуживания воздушных судов».
Внедрение результатов исследования. Результаты исследования внедрены в практику профессиональной подготовки специалистов САТОП в Воронежском военном авиационном инженерном институте, в Воронеж ском институте МВД России, в Воронежском государственном архитектурно-строительном университете, Воронежском государственном техническом университете, что подтверждено соответствующими актами внедрения.
Апробация работы Основные положения и результаты исследовала ния докладывались на научных семинарах, конференциях, посвященных проблемам совершенствования учебно-воспитательного процесса в военно-учебных заведениях.
Этапные результаты диссертационной работы докладывались и обсуждались в период 1999-2001 годов на научных семинарах кафедры автомобильной подготовки, методических сборах факультета САТОП и , ежегодных научных конференциях Воронежского ВАИИ.
Результаты исследования докладывались на Всероссийской научной конференции по совершенствованию наземного обеспечения авиации (Воронеж, 1999 г.), межвузовской научно-методической конференции "Проблемы совершенствования учебно-воспитательного процесса в высших военно-учебных заведениях" (Воронеж, 2000 г.), межвузовской научно-методической конференции "Совершенствования наземного обеспече- Ш ния полетов" (Воронеж, 2000 г.), областной научно-практической конфе ренции «300 лет военному образованию» (Воронеж, 2001г.), межвузов ском методическом семинаре «Применение средств вычислительной техники в учебном процессе» (Воронеж, 2002г.).
Публикации. Основные результаты диссертационной работы опубликованы ВІЗ печатных работах, из них 2 работы без соавторов. В работах [1, 2, 3, 5], опубликованных в соавторстве, лично соискателем дан анализ состояния системы контроля знаний в военно-учебном заведении ВВС, в работах [10, 11] разработана дидактическая модель системы контроля по дисциплине, в работах [4, 6, 7, 8, 9] спроектирована педагогическая технология применения системы контроля, в работах [12, 13] предложен вариант использования компьютерных технологий для контроля знаний курсантов
Структура и объем работы. Работа состоит из введения, трех глав, заключения, списка литературы, приложения. Содержание работы изложено на 124 страницах машинописного текста и включает 10 таблиц, 2 диаграммы, 10 рисунков. Список литературы включает 123 наименования на русском и иностранном языках.
Специфика системы контроля как средства объективизации знаний в военно-учебном заведении
Известно, что оценка качества образовательного процесса в военном учебном заведении производится как государственными органами, так и силами самого вуза.
В соответствии с руководством по организации работы высшего военно-учебного заведения Министерства обороны Российской Федерации контроль за качеством высшего военного профессионального образования направлен на обеспечение единой государственной политики в области образования, повышения качества подготовки офицеров. Он подразделяется на государственный контроль и контроль за деятельностью высшего военно-учебного заведения со стороны Министерства обороны РФ [84].
Контроль качества образовательного процесса внутри вуза производится постоянно и имеет целью проверку степени усвоения курсантами знаний и уровня сформированности у них умений и навыков.
В настоящее время под контролем успеваемости в военно учебном заведении понимается совокупность организационных и ме тодических приемов получения и анализа данных, характеризующих состояние усвоения знаний курсантами, привития им умений и навы ков на всех этапах их подготовки в военном вузе. Ъ В работах военных педагогов [14], [16], [47], [52], [53], [62], [75] отмечается, что основными целями контроля знаний курсантов являются: - определение степени достижения поставленных целей обуче ния; выявление отношения курсантов к учебному труду; - стимулирование самостоятельной работы курсантов; - получение информации, необходимой для управления процес сом обучения, для совершенствования методики преподавания и Ф самостоятельной работы курсантов. Необходимо отметить, что в психолого-педагогических исследованиях, работ по исследованию системы контроля знаний в военно-учебном заведении в настоящее время выполнено мало. Причем, в проанализированных научно-педагогических трудах система контроля рассматривается фрагментарно, второстепенно, а это естественно составная часть педагогической системы воепно учебного заведения [84].
Наиболее полно система контроля в военном вузе рассмотрена у М.А. Вознюка [74]. Им выявлены следующие основные функции системы контроля успеваемости:
1. Обучающая, которая проявляется в том, что в ходе контро ля успеваемости рассматриваются, углубляются „ совершенствуются знания, навыки и умения, поднимается уровень образованности, раз вивается и совершенствуется культура умственного труда, стимулируется самостоятельность курсантов, развиваются их познавательные интересы.
2. Управляющая. Контроль успеваемости представляет собой непрерывно осуществляемую обратную связь, показывающую обучающимся и преподавателям уровень успехов в обучении, ориентирующую их на улучшение успеваемости в дальнейшем.
3. Контролирующая, которая позволяет следить за ходом и результатами учебной деятельности обучающихся. В этой функции система контроля включает в себя контроль преподавателя, взаимный контроль обучающихся и самоконтроль.
4. Развивающая, проявляющаяся в том, что под воздействием контроля совершенствуются такие психологические процессы и свойства личности, как внимание, память, мышление, стимулируется познавательная активность. Эта функция может быть реализована только в том случае, если контрольные вопросы, предлагаемые обучающемуся, требуют от него объяснений, доказательств, обоснований, а не только одного пересказа прочитанного.
5. Ориентирующая. Систематически проводимый контроль организует работу обучающегося, способствует выработке рацио ф нального режима самостоятельной работы.
6. Воспитательная. Оценка, сопровождающая контроль успе ваемости, оказывает на обучающегося большое моральное воздействие, способствует воспитанию ответственности, осознанию своего служебного долга, развивает волю, дисциплинированность, принципиальность.
В то же время анализ учебно-воспитательного процесса в вузе показал, что эти требования в большинстве своем не выполняются. При этом, очевидно, что и руководство вузом и профессорско преподавательский состав прилагает большие усилия по организации контроля знаний курсантов как системы. Эта система включает раз личные формы, методы средства контроля. И в тоже время контроль знаний в вузе недостаточно объективен и достоверен. Ш В рамках исследования рассмотрим проблему объективизации контроля знаний в вузе. При этом отметим, что система контроля в военно-учебных заведениях организована по аналогии с другими ву зами высшего профессионального образования, поэтому в нашей ра боте проанализированы научно-педагогические труды не только военных педагогов. Основным недостатком отметок, выставляемых преподавателями за устные ответы и письменные работы обучаемых в педагогической литературе, считается их субъективизм (В.В. Аванесов [1], СИ. Ар хангельский [8], Г.М. Афонина [11], В.П. Беспалько [20], Д.Н. Богоявленский [26], Л.В. Болотник и др. [27], Г.В. Воробьев [30], М.М. Ерецкий, З.С. Пороцкий [42], Н.Б. Кофман [54], К.А. Краснянская [55], Р.Г/Лемберг [61], В.И. Огорелков [71, 72], В. Оконь [73], В.М Полонский [79], В.Л. Рысс, Н.Я. Лядунова [85], И.В. Селезнев [88], В.Н. Симонов [99], Н.А. Сорокин [100], Н.Ф Талызина [105]). Под этим понятием подразумевается определенное несоответствие между действительным уровнем знаний, умений и навыков обучаемых, и итогами Их оценки педагогом, возникающее вследствие воздействия разного рода факторов, искажающих достоверность суждений. Свидетельствами субъективизма чаще всего выступают различные отметки (здесь и далее будем различать «оценку» как процесс оценивания и «отметку» как результат этого процесса Б.И Перовский [78] и Ж.А Амонашвили [5, 6]).Анализ научной литературы позволяет объединить все множество разноплановых искажающих факторов в две группы, различающиеся по признаку атрибутативности (неатрибутативности) их проявления при подобном оценивании.
Факторы первой группы могут с определенной степенью услов ности быть охарактеризованы как признаки, присущие неизменно и постоянно дидактическому оцениванию практически вне зависимости от того, кем, где и с какой целью оно производится. В первую очередь речь идет об изначальной противоположности некоторых функций отметок из числа тех, что они выполняют в ходе обучения. Так, с одной стороны, известно, что отметке преподавателя свойственна функция контролирующая (Г.Н. Александров [4], СИ. Архангельский [9], Р.А. Кривошапова, О.Ф. Силютина [57], М.Р. Кудаев [58, 59], И.Н. Лукина [63], В.И. Михеев [69], В.М. Полонский [79], Н.В. Тельтевская [107]), иначе называемая иногда индуцирующей (В.П. Беспалько [23], ориентирующей Б.Г. Ананьев [7], Е.И. Перовский [78]), оценивающей (Г.М. Дюдина [41]), образовательной (М.И. Бабанский [12]), «обеспечения обратной связи» ( A.M. Дорошкевич [40], Н.Б. Кофман [54], С.Ф. Сухорский [102]). В силу этого отметка в той или иной мере определяет успешность дидактического процесса посредством выявления степени обученности, указания на имеющиеся пробелы. По выражению Е.Н. Перовского, «это зеркало достижений и недочетов ученика в деле усвоения им знаний, зеркало, показывающее, что ученик усвоил хорошо и что недостаточно» [78, 62-63]. И, как зеркало, отметка должна быть точной и объективной.
Но, с другой стороны, отметка преподавателя выполняет и функции: воспитательную (Ю.К. Бабанский [12], В.П. Битинас, Л.И. Катаева [24], Р.Ф. Кривошапова, О.Ф. Силютина [57], М.И. Куровец [60], Б.П. Есипов [76]), мотивационную (В.П. Беспалько [22], Л.Б. Ительсон [45]), стимулирующую (Ш.А. Амонашвили [6], Б.Г. Ананьев [7], К.В. Бардин [15], X. Бек [17], М.А. Туулик [ПО]). Это требует принятия во внимание при оценивании психологических особенностей конкретных обучаемых, проявленного ими старания, динамики результатов.
Приходится констатировать двойственный характер дидактического оценивания: которое должно одновременно реально отражать усвоение курсантами учебного материала и быть проявлением индивидуального подхода к ним; четко выявлять все пробелы и недостатки; не допускать провоцирования у курсантов ощущений неуверенности и апатии, связанных с наличием отставания; избегать либерализма в суждениях или манипулирования отметкой и стимулировать когнитивную деятельность обучаемых; являться по своей сути достоверной и признаваться самими курсантами справедливой.
Сказанное выше представляет собой сложную задачу. Большую роль приобретают при этом педагогический такт и опыт, личностные качества и преподавательское мастерство.
В научной литературе назван еще один источник субъективности оценивания, который можно также отнести к изначально присуцим данному процессу факторам нарушения достоверности результатов. Имеется в виду тот факт, что опора преподавателя при оценивании на некую шкалу успешности вовсе не предполагает «измерения» им знаний, умений и навыков обучаемых.
По справедливому замечанию Н.Ф. Талызиной, «не всякое употребление чисел есть количественное измерение. В данном случае числа имеют вовсе не качественное, а порядковое значение: употребляются... в качестве ярлыков» [106, 101-103].
Иными словами, в ходе оценивания преподавателю необходимо произвести лишь сравнение устных ответов (письменных работ) по некоторым сформулированным параметрам и, ограничившись сопоставлениями общего плана между выявленными и предполагаемыми сведениями, распределить все ответы (работы) по пятибалльной шкале, используя выработанные соотношения типа «лучше - хуже», «сильнее — слабее», «больше - меньше» и т.п. И это ведет к «неравноинтервальности» (М.И. Огорелков [72]) приращений знаний, умений и навыков между баллами используемой шкалы успешности обученности у данного педагога и, одновременно, несопоставимости шкал оценивания одного и того же материала у нескольких преподавателей. Именно поэтому экспертная оценка обученности имеет, приблизительный и неоднозначный характер индивидуальных учебных достижений.
Специфика системы контроля как средства объективизации знаний в военно-учебном заведении
Из анализа системы контроля знаний видно, чтобы контроль был действительно объективным и достоверным, необходимо разработать и реализовать в учебно-познавательном процессе военно-учебного заведения дидактическую модель объективного контроля знаний.
В данной дидактической модели должно быть учтено следующее:
цели обучения по учебной дисциплине определяются в соответствии с квалификационными требованиями, предъявляемыми к будущему военному специалисту;
содержание обучения отбирается с учетом научности и полноты выполнения квалификационных требований. При этом определяются учебные элементы (УЭ) дисциплины и частно-дидактические цели каждого УЭ;
уровни усвоения определяются экспертным путем в соответствии с тем или иным учебным элементом;
структурно-логическая схема изучения учебной дисциплины разрабатывается с использованием методики графов;
дидактические тесты проектируются соответственно определенному уровню усвоения. При этом тесты могут быть «бланковые» и «компьютерные»;
опытно-экспериментальная работа проводится для определения валид-ности, надежности, дискриминативности разработанных тестов;
шкала оценивания результатов контроля разрабатывается дифференцированно для каждой учебной дисциплины;
контроль знаний проводится на основе разработанных тестов; результаты контроля анализируются. При этом возможно корректирование в отборе содержания обучения;
данные результатов контроля поступают в базу данных качества обученное курсанта по дисциплине и по специальности.
В ряде исследований показано, что объективизация процедуры контроля знаний подразумевает в первую очередь, необходимость од-нозначного выделения того, какие знания обучаемых следует оценивать в ходе констатирующего контроля [18], [20], [37], [43], [87], [113]. Для решения этой задачи учебная дисциплина, поделенная на связанные между собой разделы, темы и элементы тем, структурно представляется в виде сквозного графа [21].
Необходимо отметить, что, несмотря на наличие в литературе работ по структурированию учебных курсов и отдельных тем в целях построения
Щ контролирующих программ, построение графа каждой конкретной дисцип #
лины является самостоятельной и сложной задачей.
Данная методика состоит в следующем: Основное содержание представляется в виде списка учебных элементов Правильность списка учебных элементов (их необходимость и достаточность) проверяется с помощью построения графа логики научного начала содержания темы (ее графовой модели рис.1).
В соответствии с правилами построения этой модели: выделяется из представленного списка учебный элемент в качестве исходного; определяются аспекты изучения этого исходного учебного элемента, усвоение которого необходимо для курсантов данной специальности. В качестве таких аспектов выбраны:
понятия о системе машин для содержания аэродромов; /щР летнее, зимнее содержание аэродромов;
конструкция машин по содержанию аэродромов; ? электрооборудование базовых шасси машин для содержания аэродромов;
базовые шасси машин для содержания аэродромов;
теория движения базовых шасси машин для содержания аэродромов.
Реализуя методику построения графа (рис. 1), принимаются выделенные аспекты за его основания. В соответствии с дедуктивным принципом построения графа присваиваются этим основаниям номера I, II, III, IV, V, VI. Действительно, название основания I включает в себя в неявном виде информацию о содержании всех остальных оснований. Название основания II - несет информацию о содержании всех нижележащих оснований.
Исходный элемент располагается на 1-ом основании графа. На П-ом основании графа располагаются все учебные элементы, являющиеся его частными характеристиками названия этого основания. Это учебные элементы с номерами 2 и 3. На Ш-м основании, исходя из этих же соображений, располагаются учебные элементы с номерами 4, 5, 6, 7, 8, 9, 10; на IV-ом основании - учебные элементы с номерами 11, 12, 1.3, 14, 15, 16; на V-м основании - учебные элементы с номерами 17, 18, 19; на VI-M учебные элементы с номерами 20, 21, 22, 23, 24, 25.
На графе обозначаются прямые связи, существующие между учебными элементами различных оснований. Выделенные связи свидетельствуют, с одной стороны, о сложности содержания учебной темы (аспекты изучения исходного учебного элемента относятся к различным научным дисциплинам данной области знаний), с другой стороны, о достаточной полноте составленного списка учебных элементов темы.
Разработка и технология применения системы средств контроля знаний обучающихся
В ходе диссертационного исследования первоначально разрабатывались и апробировались тесты в бланковой ("бумажной") форме (Приложение 1), Процесс формирования тестовых заданий для бланковых тестов и формирование из них тестов включал проверку: дискриминативности, надежности и валидности.
Для обеспечения должного уровня указанных качеств тестовых заданий, вначале бланковое тестирование производилось на уровне текущего и рубежного контроля. Этот период рассматривался как предварительный, он давал часть объективной статистической информации о свойствах тестов. Заключительная фаза бланкового тестирования производилась в форме итогового контроля в конце семестра. Она была совмещена с обычным устным экзаменом. Совокуп Ф ность данных предварительного, основного бланковых тестов и уст ного экзамена позволили собрать весь объем статистической информации необходимый для оценки дискриминативности, надежности и валидности тестов.
Дискриминативность проверялась в два этапа:
1) в отношении отдельных тестовых заданий;
2) в отношении теста в целом.
При проверке дискриминативности тестовых заданий ставилась задача выявления и отсеивания таких заданий, которые не в состоянии дать информацию для позиционирования достижений одного курсанта относительно достижений других. Очевидно, таким свойством обладают слишком сложные и слишком легкие задания. По существу, устранение подобного рода заданий происходит автоматически, т.к. опытный преподаватель, хорошо знакомый со своими курсантами, может сразу определить те задания, которые заведомо выполнят все курсанты и те задания, которые не по силам выполнить даже наиболее подготовленным и сообразительным. Однако принципиальная ориентация на достижении максимальной объективности контроля знаний обязывает воспользоваться экспериментально определяемым критерием дискриминативности тестовых заданий.
Эксперимент заключался в том, что на предварительных стадиях подготовки заданий их включали в различного рода контрольные вопросы, тестовые задания, тесты и т.п. и для каждого задания велась статистика успешности его выполнения. На основании этой статистики для каждого задания по формуле определялся индивидуальный коэффициент сложности:
Непригодными по дискриминативности считались задания с коэффициентами сложности менее 0,02 (как слишком простые) и более 0,98 (как слишком сложные).
Первый этап проверки дискриминативности позволил отсеять явно непригодные для тестирования вопросы, но он не гарантировал того, что отдельные задания, собранные в тест, обеспечат тонкую градацию знаний курсантов. Такая градация достигается в том случае, когда в тесте равными долями представлены задания с разными коэффициентами сложности. Поэтому уже на стадии сбора тестовых заданий в один тест включались задания всех уровней сложности, причем в равных пропорциях. Сложность заданий оценивалась по ранее найденным коэффициентам сложности Кс.
Величина этого критерия зависит от числа совпадений результатов испытаний курсантов в выборке. Если результаты тестирования курсантов с различной степенью подготовки мало различаются между собой, то критерий доказывается близким к нулю. В пределе, когда все участники тестирования получают одинаковую оценку критерий 8 -Фергюсона обратится в ноль, что свидетельствует о нулевой дискри-минативности теста. При этом достижения курсантов в учебе никак не позиционируются относительно друг друга. По мере роста дискрими-нативности 8 - растет. Тест считается приемлемым по дискриминатив-ности при 8 0,5 [75].
В рамках исследования проверка дискриминативности по Фергюсо-ну осуществлялась дважды: во-первых, в процессе предварительной апробации бланковых тестов; во-вторых, этот критерий вычислялся по итогам основного бланкового тестирования. Тесты с 8 0,57 не были выявлены ни при предварительной их оценке, ни по результатам обработки итогов основного тестирования.
С позиций надежности тесты проверялись по критерию ретестовой надежности и по внутренней согласованности тестовых заданий включенных в один тест.
По определению ретестовая надежность проверяется путем срав нения результатов повторного выполнения одного и того же теста одним и тем же курсантом. Если результаты повторного тестирования хорошо коррелируют друг с другом, то говорят о хорошей ретестовой надежности. Эта проверка полностью адекватно характеризует надежность теста только в том случае, когда на момент повторного выполнения теста уровень подготовки курсанта будет точно тем же, что и при первом его выполнении. Тогда плохая корреляция результатов тести рования при неизменности степени подготовки курсантов будет указывать на слабую надежность теста (за одни и те же знания курсант получает разные оценки). Если же курсант учтет ошибки, допущенные при первом тестировании, то хорошей корреляции результатов тестирования не будет, независимо от качества подготовки тестового материала. Интересно отметить, что для получения наиболее достоверных резуль татов по ретестовой надежности наиболее подходящей является категория наименее добросовестных обучаемых, не делающих должных выводов из своих ошибок и неудач. Возможно, на этот счет имеет смысл провести специальные исследования с целью разработки максимально обоснованной методики определения ретестовой надежности.
Наиболее достоверный результат достигается в том случае, когда на момент повторного тестирования впечатления от предыдущей проверки этим тестом будут стерты в памяти курсантов настолько, на сколько это вообще возможно (полное устранение впечатлений от предыдущих этапов учебного процесса напрямую противоречит фундаментальным задачам обучения). Безусловно, некорректным было бы многократно проверять надежность одних и тех же тестов на одном и том же контингенте. Поэтому в условиях данного исследования рете-стовая надежность определялась по корреляции результатов предварительного и основного бланкового тестирования, на момент начала основного бланкового тестирования показатели ретестовой надежности отсутствовали. Они были определены после совместной статистической обработки результатов предварительного и основного бланковых тестов
