Содержание к диссертации
Введение
Глава 1. Параметры и методы оценки качества учебного материала .10
1.1 Качество средств обучения 10
1.2 Сложность учебного текста и его понимание 15
1.3 Анализ моделей количественной оценки параметров удобочитаемости текста .20
1.3.1 Понятие читабельности 20
1.3.2 Формулы читабельности для английского языка 23
1.3.3 Построение формулы читабельности на материале русского языка 31
1.3.4 Применение методов оценки восприятия текста на других языках 32
1.3.5 Автоматизация анализа удобочитаемости текстов в Интернет 34
1.3.6 Статистика удобочитаемости в текстовом редакторе WORD 35
1.4 Информационные технологии анализа текста 37
1.4.1 Частотный анализ 37
1.4.2 Автоматическая классификация стиля текстов 39
1.4.3 Контент-анализ текста 40
1.4.4 Анализ текстов на основе дескрипторов 43
1.4.5 Использование иерархических структур в разработке электронных средств обучения 45
Глава 2. Разработка математической модели и средств автоматизации оценки сложности учебных текстов 47
2.1 Математическая модель оценки сложности учебных текстов 47
2.1.1 Корректировка формулы Флеша на основе исследования словарей русского и английского языка 47
2.1.2 Корректировка формулы Флеша на основе исследования идентичных текстов на русском и английском языках 52
2.1.3 Корректировка формул Флеша-Кинсайда и Фога для текстов на русском языке 58
2.2 Технология анализа сложности учебно-методических материалов 63
2.2.1 Программа оценки качества восприятия текста LightReader 63
2.2.2 Технические характеристики 63
2.2.3 Функциональные возможности программы LightReader и используемые алгоритмы 64
2.2.4 Интерфейс программы LightReader 73
2.3 Методика использования технологии автоматизированного анализа сложности учебных текстов 79
2.3.1 Целевая аудитория системы анализа текстов 79
2.3.2 Методические рекомендации при проведении экспертизы учебных изданий 80
2.3.3 Методические рекомендации по разработке учебных текстов с заданными параметрами восприятия 86
2.4 Экспериментальные доказательства эффективности методики оценки сложности учебных текстов 94
2.4.1 Потребность в системе автоматизированного анализа текстов 94
2.4.2 Доступность освоения программы LightReader 98
2.4.3 Производительность программы оценки качества учебных текстов 100
2.4.4 Обработка текстов художественных произведений из курса литературы средней школы 102
2.4.5 Исследование текстов заданий по проверке техники чтения 104
2.4.6 Оценка сложности текстов заданий при исследовании грамотности чтения по международной программе PISA 106
2.4.7 Оценка параметров удобочитаемости текстов сочинений учащихся различных возрастных групп ПО
2.4.8 Экспертная оценка учебных текстов 113
2.4.9 Восприятие текстов учащимися 115
2.4.10 Анализ сложности текстов учебников 123
Заключение 131
- Качество средств обучения
- Математическая модель оценки сложности учебных текстов
- Технология анализа сложности учебно-методических материалов
Введение к работе
Актуальность исследования
Качество школьного учебника во многом зависит от доступности восприятия его текста учащимися, так как и содержание предмета и методический аппарат представлены в учебнике в виде текста. Текст - это главное средство, которое создает учебник, и его качество, в первую очередь, определяет качество учебника.
Усвоение учебного материала зависит от сложности текста, а понимание текста зависит от его компонентов: длины предложений и длины слов.
В настоящее время имеется ряд исследований, в которых предложены математические модели оценки сложности текста вообще и учебных текстов с учетом возрастных особенностей учащихся, в частности. Однако, эти модели получены преимущественно для английских текстов, и не подкреплены соответствующими системами автоматизированного анализа с практичным и удобным интерфейсом. Между тем, потребность в такого рода системах и соответствующих методиках анализа текстов существует не только у экспертов-методистов, но и у создателей учебников, учителей, разрабатывающих различные методические материалы. Данная потребность усиливается в связи с развитием системы экспертизы и сертификации учебной и методической продукции, поскольку эти системы нуждаются в объективных и быстро реализуемых оценках ряда параметров сложности учебных текстов. Обозначенное усиливающееся противоречие между потребностью школы в технологии автоматизированной оценки сложности учебных текстов с соответствующей методикой и ее отсутствием обусловливает актуальность настоящего исследования.
Проблема исследования
Проблема качества учебных изданий занимает одно из центральных мест в современной педагогической науке и привлекает к себе внимание широкого круга исследователей. Различные подходы к решению данной проблемы раскрыты в работах Бейлинсона В.Г., Бе-шенкова С.А., Захаровой Т.Б., Зуева Д.Д., Кузнецова А.А., Логвинова И.И., Огородникова Е.В., Полат Е.С., Роберт И.В., Рыжакова М.В., Сохора A.M. и других.
Опубликованы работы, в которых предлагаются различные количественные и качественные подходы к оценке качества учебников вообще и учебных текстов, в частности (Мацковский М.С., Микк Я.А.). Кроме того, имеются отдельные работы (Flesh R., Gunning R., Kincaid J., Spache G., Fry E.) связанные с построением математических моделей оценки и анализа англоязычных текстов по различным параметрам. Ряд работ посвящен использованию частотного и других видов анализа для обоснования структуры учебного содержания и для других целей (Григорьев С.Г., Гринщкун В.В.,. Ермаков А.Е., Хмелёв Д.В.,) Зачастую эти работы не обеспечены специальными средствами информационных технологий, автоматизирующими процесс оценки качества текстов. Специального же исследования, нацеленного на автоматизацию оценки сложности учебных, текстов не предпринималось. Соответственно, не сформулированы основные подходы к разработке методики её использования. Противоречие между необходимостью обоснования способов автоматизации оценки сложности учебных текстов для образовательных целей и отсутствием специального исследования, позволяющего автоматизировать оценку и построить соответствующую методику, обусловливает проблему настоящего исследования.
Цель исследования определяется как разработка информационной технологии автоматизации оценки сложности учебных текстов
и методики использования этой технологии в педагогической практике.
Объектом исследования являются математические модели и информационные технологии анализа и оценки свойств учебных текстов.
Предметом исследования является анализ возможностей автоматизации оценки сложности учебных текстов на основе статистических параметров с помощью информационных технологий.
Основная гипотеза исследования заключается в том, что информационная технология оценки сложности учебных текстов будет способствовать улучшению их объективных характеристик, влияющих на эффективность усвоения, если она будет:
• базироваться на скорректированных формулах оценки сложности текстов, адекватных особенностям русскоязычных текстов;
• встроена в массовые технологии работы с текстом;
• снабжена обоснованной методикой её использования.
Задачи исследования:
• Обоснование и разработка математической модели оценки сложности учебных текстов, ее проверка и корректировка применительно к особенностям русского языка;
• Создание автоматизированной технологии анализа сложности учебных текстов и оценка ее продуктивности;
• Разработка методики использования информационной технологии анализа и корректировки сложности учебных текстов в педагогической практике и ее экспериментальная проверка;
• Оценка ряда школьных учебников и пособий на базе разработанной методики.
Методы исследования
При решении указанных выше задач были использованы следующие методы исследования:
1. Теоретический анализ, который проводился с целью всестороннего изучения состояния рассматриваемой проблемы, выявления степени разработанности вопроса и определения круга проблем для их решения.
2. Статистические методы обработки, использующиеся для первичного и последующего анализа полученных данных, для выявления эффективности проведенного эксперимента и для математически обоснованной обработки результатов.
3. Экспериментальные работы, организуемые для проверки корректности разработанных принципов и параметров, эффективности технологии.
База исследования. Эксперимент проводился на базе ГОУ гимназии №1507 Юго-Западного окружного управления образования г. Москвы. Теоретико-экспериментальное исследование проводилось в три этапа.
На первом этапе (2001 - 2002 гг.) изучалось состояние разработанности проблемы оценки качества учебных текстов. Осуществлялась формулировка цели, задач, гипотезы исследования, разработка плана исследования, определение экспериментальной базы. В соответствии с поставленной целью исследования внимание было сосредоточено на установлении методов количественной оценки сложности текстов и определении способов её автоматизации с использованием информационных технологий.
На втором этапе (2003 - 2004 гг.) Разрабатывалась автоматизированная технология оценки сложности учебных текстов. Проводилась статистическая обработка больших массивов текстовой информации на английском и русском языках, осуществлялось создание ма тематической модели оценки сложности учебных русскоязычных текстов. Экспериментально проверялась достоверность предложенной модели на различных учебно-методических материалах. Разрабатывалась методика анализа и корректировки сложности учебных текстов на основе математической модели. Проводились экспериментальные работы по исследованию эффективности соответствующей методики.
На третьем этапе (2005 - 2006 г.) осуществлялась проверка выводов и результатов экспериментальных исследований, проводилось обобщение и описание опытно-экспериментальной работы, выполнялось оформление и публикация результатов исследований.
Научная новизна исследования состоит в обосновании математической модели оценки сложности русскоязычных учебных текстов, главные параметры которой базируются на сравнительном анализе основного словарного состава русского и английского языков и сопоставлении большого числа оригиналов и переводов текстов.
Новизна состоит также в экспериментальном доказательстве эффективности соответствующей методики, базирующейся на информационных технологиях.
Практическая значимость исследования заключается в том, что разработанная автоматизированная технология оценки сложности учебных текстов, а также соответствующие программные средства и методические материалы могут быть использованы различными категориями научно-педагогических работников: авторами учебников и пособий, методистами и учителями, разработчиками и редакторами образовательных сайтов, руководителями образовательных учреждений.
Основные положения, выносимые на защиту:
1. Математическая модель оценки сложности русскоязычных учебных текстов для различных возрастных категорий школьников на базе статистических параметров, основными из которых является
средняя длина предложений, среднее число слогов в слове и константы, зависящие от языка. Для русскоязычных текстов эти константы и были определены на основе обработки словарей и большого количества текстов.
2. Автоматизированная технология оценки сложности русскоязычных учебных текстов, встроенная в виде программного модуля в наиболее распространённый текстовый редактор и позволяющая получить значения ряда статистических параметров текста, а также рекомендации по его доработке.
3. Методика создания, анализа и корректировки сложности русскоязычных учебных текстов для различных категорий пользователей (эксперты, методисты, авторы учебников, учителя) с использованием информационных технологий, включающая в себя методы, средства и анализ результатов оценки сложности текстов, а также блок рекомендаций желаемых значений сложности текстов для разных возрастных категорий.
4. Результаты анализа учебников и пособий на основе разработанной методики, показывающие, что учебные тексты в основном соответствуют по сложности возрасту учащихся, кроме среднего звена, где сложность слишком высока для данного возраста.
Апробация исследования Процесс апробации диссертационного исследования осуществлялся посредством выступлений и публикаций тезисов на различных научно-практических конференциях и семинарах: XV Международная конференция «Информационные технологии в образовании» «ИТО-2005» (лучший доклад), «Ломоносовские чтения МГУ», Секция проблем педагогического образования (2002 г), VI Международной конференции «ИТО-97». (Первая премия и Диплом первой степени), семинары Окружного Методического Центра ЮЗОУО г. Москвы (2001, 2004), статьи в различных сборниках и журналах.
Качество средств обучения
Качество образования во многом зависит от качества учебников, методических пособий и других средств обучения, используемых в образовательном процессе. Основное содержание образования представлено в учебнике, который является помощником в формировании умений и навыков учащихся.
Требования к построению и содержанию учебников изложены Д. Д. Зуевым в работах [29, 30], в которых рассматриваются основные характеристики школьного учебника: его структура, содержание, аппарат организации усвоения учебного материала, восприятие текста, иллюстраций и аппарат ориентировки. Из анализа работ [3 - 7, 65, 76, 79] можно сформулировать основные критерии, влияющие на качество учебно-методических изданий:
минимум содержания образования, определяющий обязательный для усвоения объем информации;
логика изложения учебного материала, и концептуальная целостность учебника;
структурная и содержательная завершенность учебно-методических комплексов;
научность, доступность и убедительность учебных текстов для данной возрастной категории учащихся, использование яркого, эмоционально-выразительного языка;
соответствие возрастным особенностям и уровню подготовки учащихся конкретного возраста;
реализация многоуровневой модели обучения (обязательный минимум знаний, и материал, предназначенный для углублённого изучения);
наличие аппарата ориентировки, позволяющего быстро и безошибочно ориентироваться в структуре учебника, успешно самостоятельно работать с материалом (оглавление, рубрикация, словари, предметные и именные указатели, библиография и т.п.).
Проблема качества содержания учебных программ и учебных изданий занимает одно из центральных мест в современной педагогической науке и привлекает к себе внимание широкого круга исследователей. В работах Логвинова И.И. рассматриваются вопросы оптимизации структур учебных программ на основе имитационного моделирования [44, 42], решение задач определения оптимального порядка изучения учебного материала [45, 43], конструирование критериев отбора содержания учебного материала. Кузнецов А.А. формулирует параметры оценки качества подготовки выпускников основной школы по информатике [39], требования к знаниям и умениям учащихся [38]. В работах Роберт И.В. предлагается комплекс требований, предъявляемый к учебным программным средствам, и экспертно-аналитическая оценка их качества [71], а также состав и структура учебно-материальной базы обеспечения процесса информатизации образования [70]. Бешенков С.А. рассматривает развитие содержания обучения информатике в школе на основе понятий и методов формализации [8]. В работе Захаровой Т.Б. [28] анализируются основные аспекты профильной дифференциации обучения информатике.
Рыжаков М.В. рассматривает теоретические и практические вопросы разработки образовательных стандартов основного общего образования [72, 73]. В настоящее время большое распространение получили электронные учебные издания, к которым предъявляются дополнительные критерии оценки их качества. В работе [18] рассматривается методика создания электронных средств обучения.
Появление в последние годы множества самых различных компьютерных средств обучения делает актуальной проблему выбора, оценки качества электронных средств обучения. По одному и тому же предмету, по одной и той же теме порой предлагается множество различных электронных пособий. Огородников Е. В. излагает основные характеристики электронных учебников [57, 58] и определяет их главное дидактическое качество тем, насколько хорошо учебник организует деятельность учащихся по освоению его содержания и активизации ученика. Автор формулирует требования к электронным средствам обучения для активизации обучения: высокая степень структурированности информационных объектов, динамичность объектов, возможность взаимного воздействия объектов, наличие собственной динамичной стратегии. Изложены общие компоненты и приёмы обучающей среды, которые конкретизируются и адаптируется к особенностям образовательных областей и учебных предметов, к возрастным особенностям учащихся, к группам методов обучения. Приводится анализ компьютерных методов и приемов обучения и примеры их адаптации к различным целям обучения: изучение нового, формирование знаний, систематизация знаний, итоговый учет и контроль знаний.
Математическая модель оценки сложности учебных текстов
Программа LightReader реализована для операционной системы Windows ХР, 2000 и написана в виде макроса в приложении Microsoft Office Word на языке VBA - Visual Basic for Application для объектов Word.Application. Выбор языка программирования и среды связан с тем, что текстовый редактор Word является наиболее распространённым программным продуктом для создания текстов. Различным категориям пользователей будет удобно работать с программой для анализа текстов в привычной среде.
Программа анализа текстов LightReader требует компьютер Pentium и работает в операционной системе Windows ХР, 2000, 98. Макрос содержится в файле MicroSoft Word LightReader.doc . Для работы с текстом необходимо скопировать исследуемый текст в файл LightReader.doc или вставить файл с сохранённым ранее текстом (Вставка - Файл - Указать путь к файлу).
Входные данные программы LightReader - текст на русском или английском языках, либо русский текст, содержащий фрагменты английского текста. Выходные данные представляют собой таблицу значений статистических характеристик текста и оценку уровня трудности восприятия текста в соответствии с формулой Флеша. Результаты могут быть записаны в конец документа в виде таблицы или строки и сохраняются в отдельном текстовом файле stat_text.txt.
Программа может анализировать как текст в целом, так и отдельные выделенные фрагменты текста.
2.2.3 Функциональные возможности программы LightReader и используемые алгоритмы
Оценка качества восприятия учебных текстов с помощью программы LightReader преследует следующие основные цели:
Определение количественных характеристик текста, влияющих на его удобочитаемость;
Запись статистических данных текста в отдельный файл с возможностью накапливания результатов по различным исследуемым текстам;
автоматизированный анализ сложности текста в соответствии с заданными возрастными особенностями учащихся;
выделение в тексте фрагментов, превосходящих по количественным показателям заданный возраст ученика для возможной последующей корректировки текста автором.
Программа LightReader может использоваться в режиме исследования учебных текстов, например, с целью экспертизы учебных материалов. В этом режиме статистика количественных показателей текстов накапливается в текстовом файле и может быть в дальнейшем перенесена в электронные таблицы, например MS Excel, для сравнительного анализа характеристик текстов (Таблица 4).
Приведём краткую характеристику функций и модулей программы LightReader, которые соответствуют описанным выше возможностям работы программы.
Модуль STATISTIC выполняет вычисление количественных характеристик текста, влияющих на уровень трудности его восприятия, и содержит следующие функции:
Function glasnyj_symbol(symbol) определение гласных звуков, по которым вычисляется число слогов в слове, в соответствии с правилами русского языка.
Function diftongjsymbol (symboll, symbol2) определение дифтонгов, сочетаний некоторых гласных звуков, которые образуют один слог по правилам английского языка.
Function znaki_prepinan_symbol (symbol, znak) выявление конца предложения и различных знаков препинания.
Технология анализа сложности учебно-методических материалов
Каждому учителю в своей работе приходится сталкиваться с необходимостью разработки учебно-методических материалов, таких, как тексты контрольных работ, задания для самостоятельной или внеклассной работы учащихся, описание хода проектной деятельности, создание мультимедийных проектов, составление текстов диктантов и др. Естественно, учитель заинтересован в создании текста понятного, ученикам, соответствующего их возрастным особенностям. Для оценки качества восприятия текста учащимися, можно предложить методику определения уровня удобочитаемости текста и его анализ на соответствие количественных показателей лёгкости чтения возрасту ребёнка, а, следовательно, и его способности хорошо воспринимать текст. В результате анализа текста «трудные места» подчёркиваются, и автор может доработать текст для улучшения его качества.
При работе с текстом учитель может использовать привычную ему среду текстового редактора Word, в которой большинство педагогов достаточно хорошо ориентируются, и поэтому им будет несложно овладеть предлагаемой методикой. Для использования технологии автоматического анализа текста LightReader необходимо выполнить следующие действия.
1. Скопировать файл LightReader.doc в свою рабочую папку.
2. Загрузить файл LightReader.doc не отключая макросов. При открытии текстового редактора Word на панели инструментов «Форматирование» в правом верхнем углу будет расположена кнопка для вызова программы (Рисунок 6).
3. Вставить исследуемый файл учебного текста, выполнив последовательность команд (Меню), [Вставка] - [Файл] - выбрать имя файла, в котором необходимо определить параметры удобочитаемости - [Вставить]. В рабочем поле документа загрузится текст для проведения анализа качества восприятия. Первый абзац документа должен содержать заголовок, состоящий из названия учебника (текста) и автора. Можно просто скопировать рабочий текст в документ LightReader.
4. Если в рабочем материале содержится много иллюстративного материала, его можно удалить. Каждая картинка добавляет слово к общему числу слов текста. Если число рисунков не велико, то оно существенно не повлияет на параметры удобочитаемости исследуемого текста. Более подробно об удалении объектов указано выше (пункты 7-8 стр. 82).
5. Далее необходимо вызвать макрос LightReader с помощью кнопки на панели инструментов. Если обрабатывается не весь текст, а только фрагмент, следует предварительно его выделить.
6. В открывшемся окне программы первоначально доступна только кнопка «Статистика». С неё и начинаем работу. Вычисляются количественные характеристики восприятия текста, которые выводятся в список.
7. Выбираются параметры, соответствующие возрасту учащихся, т. е. для учеников какого класса данный текст предназначен. Этим данным соответствуют ограничения по количеству слов в предложении и показатели удобочитаемости текста. Рекомендуемые значения удобочитаемости выводятся в числовом виде и виде диаграммы. Также отображается рассчитанный по формуле Флеша показатель качества восприятия текста. Вид выходных данных представлен на Рисунке 10.
8. Полученные результаты можно сохранить в отдельном
файле или записать в конец документа для копирования в отчёт. Более подробно о способах накапливания статистических данных при обработке нескольких текстов указано выше (пункты 15-17).
9. Если коэффициент лёгкости чтения существенно превосхо дит рекомендуемые значения, и учитель желает улучшить его каче ство, можно приступить к анализу текста на наличие длинных предложений и многосложных слов. Для проведения такой обра ботки предназначена кнопка «Анализ», доступ к которой открыва ется после вычисления статистических характеристик качества вос приятия текста.
