Введение к работе
Актуальность исследования. Одним из приоритетных направлений преодоления кризиса в образовании является повсеместный переход образовательных учреждений высшего профессионального образования (ВІЮ) на работу по государственным образовательным стандартам нового поколения, предусматривающим существенное увеличение объема самостоятельной работы студентов и существенную диверсификацию форм и методов образовательной деятельности.
Исходя из необходимости организации массового контроля знаний студентов вузов, наиболее перспективным и целесообразным, по мнению таких авторов, как B.C. Аванесов, А. Анастази, Дж. Гласе, Н. Грунлунд, К. Ингекамп, П. Клайн, Е.А. Михайлычев, И.Д. Рудинский, С.А. Сафонцев, А.Г. Шмелев, представляется метод педагогического тестирования, позволяющий параллельно оценивать знания большого количества студентов с применением стандартизованных контрольно-измерительных материалов.
Формы и методы входного контроля жестко регламентированы нормативными актами Министерства образования и науки РФ. Итоговый (квалифшеационный) контроль качества подготовки выпускников образовательных учреждений ВПО также регламентирован и осуществляется государственными атгестационными комиссиями. В то же время, выбор форм и способов проведения текущего контроля учебных достижений обучаемых находится в ведении самого вуза (статья 46 Постановления Правительства Российской Федерации от 14 февраля 2008 г. №71 «Об утверждении Типового положения об образовательном учреждении высшего профессионального образования (высшем учебном заведении)»), что позволяет руководству вузов управлять качеством подготовки студентов путем разработки и внедрения в образовательный процесс новых методов и моделей оценивания. Однако, несмотря на широкое и повсеместное использование педагогического тестирования в современных автоматизированных системах контроля знаний (АСКЗ), оно в большей степени выступает как средство «внешнего» контроля (аттестация ВУЗа, аккредитация), а не текущего, рубежного или промежуточного. Таким образом, можно говорить о неразработанности системы применения технологий педагогического тестирования в образовательном процессе, и в первую очередь - автоматизированного тестирования знаний, основанного на применении современных средств информационных и коммуникационных технологий (ИКТ) и позволяющего обеспечить массовость, регулярность и объективность педагогического контроля, а также создающего содержательную основу для автоматизации управления образовательным процессом. Отсутствие организационно-методического обеспечения педагогического тестирования знаний сдерживает интеграцию этого метода педагогического контроля в образовательный процесс и, соответственно, тормозит проводимую реформу высшего профессионального образования.
Изучение научных и методических основ функционирования современных автоматизированных систем контроля знаний свидетельствует, что в большинстве из них реализуются простейшие модели вывода оценок, основанные на бинарной шкале определения истинности ответов на тестовые задания в категориях «правильно -неправильно» и на подсчете количества правильно выполненных заданий. Подоб-
иый подход не позволяет в полной мере реализовать в образовательном процессе потенциал современной тестологии, основанный на применении более сложных вычислительных моделей оценивания знаний и алгоритмов обработки первичной информации об ответах студентов (B.C. Аванесов, М.И. Грабарь, В.И. Михеев, Ю.М. Нейман, И.Д. Рудинский, В.А. Хлебников, М.Б. Чешшкова и др.). В связи с этим приобретает особую важность разработка таких средств автоматизированного тестирования знаний, которые сочетают в себе реализацию алгоритмов углубленного анализа латентной информации, содержащейся в выбираемых студентом вариантах ответов на тестовые задания, в частности, так называемую статистическую модель оценивания знаний (И.Д. Рудинский, СВ. Грушецкий), и эвристические алгоритмы анализа информации и выработки решений, основанные на экспертных знаниях и гораздо менее чувствительные к формальным ограничениям (Дж. Пирл, Л. Рутковский, Д.Д. Ульман, Д.Э. Хопкрофт), с широкими возможностями современных средств ИКТ.
С повышением эффективности автоматизированного педагогического тестирования знаний тесно связана важная проблема оценивания и обеспечения достоверности результатов педагогического контроля с точки зрения соответствия выставленной оценки фактическим знаниям испытуемого (B.C. Аванесов, И.Д. Рудинский, ВЛ. Сердюков). Организатор автоматизированного тестирования знаний не имеет возможности неограниченно увеличивать объем теста, поскольку действующие санитарные правила и нормы ограничивают длительность непрерывной работы за компьютером для конкретных категорий обучаемых. Встает задача расчета такого объема репрезентативного теста, при котором множество включаемых в тест тестовых заданий достаточно полно представляют базу тестовых заданий по конкретной дисциплине.
В широко распространенных и рассчитанных на массовое применение системах тестирования (ФЭПО, ЕГЭ и т.п.) задача обеспечения репрезентативности тестов не ставится. Субъективность этого подхода предопределена отсутствием: строгих (нормативных, методических и т.п.) основ для обеспечения репрезентативносги педагогического теста.
Отсутствие корректного обоснования репрезентативности применяемых тестовых КИМ и, соответственно, невозможность обеспечить достоверность результатов тестирования знаний существенно снижает ценность и значимость этого вида педагогического контроля (И.Д. Рудинский, В.И. Сердюков, А.Г. Шмелев).
Как правило, автоматизированные системы контроля знаний используются в вузах автономно, т.е. без переноса результатов педагогического тестирования в базу данных автоматизированной системы управления образовательным процессом (АСУ ОП). Необходимость проведения автоматизированного тестирования чаще всего определяется конкретным преподавателем, а условия его проведения не регламентируются внутривузовскими нормативными или методическими документами и не обеспечиваются организационной поддержкой со стороны административно-управленческого персонала.
Степень разработанности научного направления в области проектирования организационно-методического обеспечения педагогического тестирования знаний студентов в вузе. Методические вопросы композиции и содержательного структу-
ріирования тестовых заданий и тестов учебных достижений успешно разрабатываются в работах B.C. Аванесова, В.М. Кадневского, В А. Красильниковой, А.Н. Майорова. Методология дидактического тестирования исследуется и совершенствуется Е.А. Михайлычевым, Н.А. Сафонцевой, С.А. Сафонцевым, Э.Г. Скибицким. Организационные аспекты применения тестирования в системе профессионального образования раскрываются в работах B.C. Аванесова, Л.Ю. Александровой, Н.Д. Асеевой, Л.В. Колясниковой, ГА. Мальцевой, О.К. Морозова, В.П. Овчаренко, АА. Рогова, Т.Ю. Сокуровой, О.С. Третьяковой, МА. Чекулаева, А.Г. Шмелева. Квалиметрическим основам тестирования знаний и статистической обработки результатов педагогического контроля посвящены исследования ВА. Андриеш, HJB. Акинфиевой, Т.М. Бенькович, М.И. Грабаря, JLA. Громаковой, СВ. Грушецкого, С А. Грязнова, Е.Ю. Игнатьевой, Т.И. Корчинской, Н.Т. Минко, В.Б. Моисеева, Л.Г. Пятирублевого, И.Д. Рудинского, А.И. Субетто. Однако в упомянутых и других научных работах не уделяется достаточного внимания вопросам организации регулярного педагогического тестирования знаний студентов вуза как компонента образовательного процесса и систематическому взаимодействию преподавателей, методистов, управленцев и других участников этого процесса.
Важное значение имеют исследования, ориентированные на учет результатов тестирования знаний и их использование для управления образовательным процессом. Этому вопросу посвящены работы ЖА. Байрамовой, Е.И. Горюшкина, НА Гулюкиной, И.В. Еськовой, Н.Ф. Ефремовой, БЛ. Лихтциндера, ВЛ. Михеева, Ю.В. Павлова, Н.С. Фоминовой, В.Н. Царькова. Отличительная черта современного подхода к повышению эффективности педагогического контроля - автоматизация педагогического тестирования знаний; этот аспект рассматривается в работах И.Н. Андреевой, О.И. Белякова, О.В. Воробейчиковой, BJB. Давыдкова, В.И. Нардюжева, И.В. Нардюжева, Ю.М. Неймана, О.И. Перескоковой, АЛ. Фридланда, ВА. Хлебникова, И.Н. Щеглова. Тем не менее, указанные авторы уделяют основное внимание построению конкретных вычислительных процедур либо программно-аппаратной реализации автоматизированных систем контроля знаний, а не организации использования результатов педагогического тестирования в деятельности органов управления образовательным учреждением.
Еще один важный аспект исследований в области организации и методологии тестирования знаний - обеспечение достоверности и объективности педагогического контроля. Указанные вопросы поднимаются и исследуются в работах Т.С. Весел-ковой, ФА. Джумабаевой, Л. А. Зайцевой, В.Б. Карпинского, АА. Кукушкина, В.В. Михайлова, ЛА. Сучковой, В А. Шухардиной. Следует отметить, что ни в одной из упомянутой работ не ставятся и не решаются вопросы определения объема автоматизированного педагогического теста, при котором длительность его выполнения не превышает предельно допустимые величины, регламентируемые действующими саншарными нормами и правилами в области применения здоровьесберегающих технологий для конкретных возрастных категорий обучаемых.
В целом, в работах упомянутых авторов ставится и решается широкий спектр проблем педагогического контроля знаний методом тестирования, оценивания качества тестовых контрольно-измерительных материалов и получаемых результатов, автоматизации тестирования знаний. Однако в этих работах не уделяется должное
внимание созданию организационно-методического обеспечения автоматизированного тестирования знаний студентов в вузе, что препятствует повышению эффективности педагогического тестирования как компонента образовательного процесса.
Сказанное выше позволило выявить следующие противоречия между:
потребностью современного общества повысить эффективность системы образования путем перехода на новые государственные образовательные стандарты высшего профессионального образования в условиях диверсификации форм и методов образовательной деятельности, и отсутствием научных основ регулярного, массового и всеобъемлющего педагогического тестирования знаний студентов как компонента образовательного процесса;
сложившейся практикой автоматизированного контроля знаний и неразработанностью подходов к использованию в этой деятельности научных достижений современной теории педагогического тестирования.
Выявленные противоречия обозначили проблему исследования: при каких педагогических условиях образовательного процесса возможно повышение эффективности автоматизированного педагогического тестирования знаний студентов в вузе?
Актуальность проблемы определила тему исследования: «Проектирование организационно-методического обеспечения педагогического тестирования знаний студентов в вузе».
Объект исследования: образовательный процесс в вузе.
Предмет исследования: организационно-методическое обеспечение автоматизированного педагогического тестирования знаний студентов в вузе.
Цель исследования: спроектировать организационно-методическое обеспечение автоматизированного педагогического тестирования знаний студентов в вузе, которое позволит повысить эффективность педагогического контроля за счет совместного применения статистических и эвристических методов обработки результатов автоматизированного контроля знаний и обеспечения репрезентативности теста относительно используемой базы тестовых заданий при соблюдении действующих санитарных и организационных правил и норм, регламентирующих длительность такого контроля.
Основная идея исследования: эффективность педагогического контроля в вузе может быть повышена путем создания системы массового регулярного автоматизированного тестирования знаний студентов, основанного на реализации алгоритмов углубленного анализа латентной информации, содержащейся в выбираемых студентом вариантах ответов на тестовые задания, при обязательном расчете объема теста, обеспечивающего его репрезентативность относительно используемой базы тестовых заданий и удовлетворяющего ограничениям длительности непрерывной работы с компьютером, установленным действующими санитарными нормами и правилами в области применения здоровьесберегающих технологий для конкретных возрастных категорий обучаемых. Для достижения поставленной цели должно быть спроектировано организационно-методическое обеспечение педагогического тестирования знаний, определяющее деятельность преподавателей, учебно-методического и
административно-управленческого персонала на всех этапах функционирования автоматизированной системы управления образовательным процессом.
Гипотеза исследования: эффективность педагогического контроля знаний студентов в вузе будет повышена, если:
автоматизированное тестирование знаний студентов будет рассматриваться как компонент образовательного процесса в вузе;
оценивание результатов автоматизированного тестирования знаний студентов будет осуществляться на основе алгоритмов углубленного анализа латентной информации, содержащейся в выбираемых студентом вариантах ответов на тестовые задания;
объем теста будет рассчитываться таким образом, чтобы он был репрезентативным относительно используемой базы тестовых заданий по дисциплине при соблюдении действующих санитарных и организационных правил и норм, регламентирующих длительность непрерывной работы за компьютером;
координация и поддержка автоматизированного тестирования знаний студентов в вузе будет осуществляться специализированным административным подразделением, а деятельность всех участников процесса автоматизированного тестирования будет определяться специализированным методическим обеспечением.
В соответствии с целью, предметом и гипотезой определены основные задачи исследования:
-
построить и реализовать эвристико-статистическую модель автоматизированного оценивания результатов тестового контроля и алгоритм вывода итоговой оценки на основе этой модели;
-
построить и реализовать алгоритм автоматизированного определения объема теста, репрезентативного относительно используемой базы тестовых заданий по дисциплине при соблюдении действующих санитарных и организационных правил и норм, регламентирующих длительность непрерывной работы за компьютером;
-
разработать методическое обеспечение деятельности всех участников автоматизированного тестирования знаний на всех этапах этого процесса с применением эвристико-статистической модели оценивания результатов тестового контроля знаний студентов и алгоритма определения объема теста средствами АСУ ОП;
-
спроектировать модель организационной структуры, обеспечивающей регулярное автоматизированное педагогическое тестирование знаний студентов в вузе как компонента образовательного процесса.
Методологическую и теоретическую базу исследования составили: целостный, системный и личностно-деятельностный подходы к изучению и проектированию педагогических явлений (Ю.К. Бабанский, В.П. Беспалько, Е.В. Бондаревская, B.C. Гершунский, B.C. Ильин, Ю.А. Конаржевский, А.А. Остапенко, A.M. Саранов, Н.К. Сергеев); дифференциально-интегральный подход к исследованию педагогических процессов и явлений (ГА. Бокарева, М.Ю. Бокарев); тестология (B.C. Ава-несов, А. Анастази, Н. Грунлунд, К. Ингекамп, А.Н. Майоров, Е.А. Михайлычев, И.Д. Рудинский, В.А. Хлебников, М.Б. Челышкова, А.Г. Шмелев); педагогическая диагностика (Ш.А. Амонашвили, А.И. Берг, О.С. Гребенюк, Е.А. Михайлычев, С А. Сафонцев, Н.Ф. Талызина, В.Д. Шадриков); экспертные методы в педагогических исследованиях (АЛ. Орлов, И.В. Роберт, Ю.В. Сидельников, B.C. Черепанов); сие-
темный анализ (В.М, Глушков, А.К. Дмитриев, ПА. Мальцев, Г.П. Мельников, Б. Рассел, В.А. Штофф); теория информации, инженерии знаний и искусственного интеллекта (Т.А. Гаврилова, А.В. Колесников, С. Осовский, Д.А. Поспелов, Ф.Е. Темников, В.Ф. Хорошевский); теория принятия решений и нечеткая алгебра (А.Н. Борисов, Л.Заде, А. Коффман); теория вероятностей и математическая статистка (Е.С. Вентцель, А.М. Длин, В.В. Оболонкин, В.А. Фигурин).
Исследование проводилось с использованием научных методов: теоретических (системного анализа педагогических явлений и процессов, педагогической диагностики, моделирования, конкретизации и обобщения результатов исследования, инженерии знаний и искусственного интеллекта, теории принятия решений и нечеткой алгебры, теории вероятностей и математической статистики, теории графов, теории автоматов) и эмпирических (сравнительного анализа учебной и педагогической деятельности, квалиметрии, педагогического эксперимента, методов экспертных оценок).
Основные этапы а организация исследования
На первом, аналитическом, этапе (2004-2005 гг.) осуществлялся анализ источников и работ по теме исследования, выявлялись и изучались Интернет-ресурск: и литературные источники по проблематике педагогического контроля учебных достижений, оценивания знаний методом педагогического тестирования и принятию решений о выставлении оценки за тест, проводилась систематизация требований к моделям оценивания знаний, уточнялся понятийный и научный аппарат исследования.
На втором, конструктивном, этапе (2006-2008 г.г.) анализировались и формулировались педагогические и организационные условия систематического проведения автоматизированного тестирования знаний студентов в вузе, проектировалась модель организационной структуры, обеспечивающей регулярное автоматизированное педагогическое тестирование знаний студентов в вузе как компонента образовательного процесса, была синтезирована и программно реализована эвристико-статистическая модель оценивания результатов тестового контроля знаний, разработаны и программно реализованы алгоритмы расчета объема теста, обеспечивающего репрезентативность применяемых контрольно-измерительных материалов.
На третьем, завершающем, этапе (2009-2011 гг.) разрабатывалось организапи-онно-методическое обеспечение предложенных средств автоматизированного педагогического тестирования знаний студентов в вузе, проводилось экспериментальное исследование эффективности предложенных решений, оформлялись материалы диссертационного исследования.
Научная новизна результатов исследования заключается в проектировании и реализации организационно-методического обеспечения педагогического тестирования знаний студентов в вузе как компонента образовательного процесса, повышающего эффективность педагогического контроля знаний, в частности:
1) обоснована необходимость и продемонстрирована возможность повышения эффективности педагогического тестирования знаний студентов за счет: а) построения, применения и реализации гфшщипиально новой модели эвристико-статистического оценивания результатов тестирования, отличающейся от известных моделей (B.C. Аванесов, Ю.М. Нейман, А.Г. Шмелев) возможностью учитывать ла-
тентную информацию, содержащуюся в выбранных испытуемыми вариантах ответов на тестовые задания; б) автоматизированного расчета объема теста, репрезентативного относительно общей базы тестовых заданий по дисциплине и позволяющего обеспечить соблюдение санитарных правил и норм, регламентирующих длительность непрерывной работы за компьютером;
-
разработано методическое обеспечение автоматизированного педагогического тестирования знаний студентов средствами АСУ ОП с применением эвристи-ко-сгатистической модели оценивания результатов тестирования знаний и алгоритма обеспечения репрезентативности теста;
-
предложена модель организационной структуры, обеспечивающей систематическое автоматизированное тестирование знаний студентов в вузе путем планово-организационной, консультативно-методической и экспертно-аналитической поддержки процесса автоматизированного тестирования знаний; регулярном использовании технологии автоматизированного тестирования знаний как одного из средств контроля учебных достижений студентов; разработан регламент подготовки и проведения автоматизированного тестирования знаний студентов с последующим анализом и использованием полученных результатов.
Теоретическая значимость результатов исследования заключается в построении и формальном описании эвристико-статистической модели оценивания результатов тестового контроля знаний студентов в вузе, обеспечивающей совмещение процедуры проверки статистических гипотез о виде закона распределения оценок истинности выбранных вариантов ответов с эвристическими алгоритмами принятия решений о выставлении итоговой оценки знаний за тест и в разработке алгоритма реализации этой модели в автоматизированной системе управления образовательным процессом; в алгоритмическом описании процедуры автоматизированного расчета объема теста, учитывающего действующие санитарные и организационные правила и нормы использования средств вычислительной техники и обеспечивающего репрезентативность педагогического теста относительно общей базы тестовых заданий по дисциплине. Тем самым вносится вклад в теорию педагогической диагностики, в теорию и методику профессионального образования. Практическая значимость исследования состоит в том, что: - реализация организационно-методического обеспечения автоматизированного педагогического тестирования знаний студентов средствами АСУ ОП позволяет повысить эффективность педагогического контроля в вузе за счет повышения достоверности результатов автоматизированного тестирования знаний студентов, поскольку расхождение между средними баллами экспериментальной группы студентов, полученными по эвристико-статистической модели, и средними баллами, выставленными экспертной аттестационной комиссией, в 1.8 раза меньше расхождения между средними баллами контрольной группы студентов и средними баллами, выставленными этой же комиссией. Реализация предложенных решений также обеспечивает соответствие условий автоматизированного тестирования знаний студентов ограничениям длительности непрерывной работы с компьютером, установленным действующими санитарными нормами и правилами в области применения эдоровьесберегающих технологий для конкретных возрастных категорий обучаемых;
реализация предложенной модели организационной структуры, обеспечивающей систематическое автоматизированное тестирование знаний студентов в вузе путем планово-органгоапионной, консультативно-методической и экспертно-аналитической поддержки процесса автоматизированного тестирования знаний, создает предпосылки для превращения педагогического тестирования знаний в неотъемлемый компонент образовательного процесса в вузе, обеспечивающий регулярность, объективность, массовость и неотвратимость педагогического контроля;
разработанное организационно-методическое обеспечение педагогического тестирования знаний студентов в вузе позволяет эффективно использовать созданный автором программный комплекс для оценивания результатов автоматизированного тестового контроля знаний студентов и повышения достоверности этих результатов в составе автоматизированных систем управления образовательным процессом, что подтверждается внедрением результатов диссертационного исследования в ФГОУ ВПО «Калининградский государственный технический университет» и в НОУ ВПО «Балтийский институт экономики и финансов».
Диссертация соответствует паспорту специальности 13.00.08 - теория и методика профессионального образования, поскольку область исследования включает совершенствование управления и организации учебно-воспитательного процесса в образовательных учреждениях высшего профессионального образования (п. 12), оптимизацию систем профессионального образования (п. 17), диагностику качества в профессиональном образовании (п. 21).
Достоверность и обоснованность результатов исследования основывается на теоретических положениях, полученных с использованием апробированных достижений современных фундаментальных и прикладных педагогических наук; на экспериментальном исследовании и подтверждении эффективности предложенного организационно-методического обеспечения; на успешной практической апробации предложенных решений.
Положения, выносимые на защиту:
-
Эффективность педагогического контроля знаний студентов в вузе повышается за счет повышения достоверности результатов автоматизированного тестирования знаний при реализации в АСУ ОП подсистемы автоматизированного тестирования на базе эвристико-статистической модели оценивания результатов тестового контроля знаний, основанной на совместном применении методов математической статистики и эвристических алгоритмов анализа степени истинности выбранных ответов на тестовые задания и вывода итоговой оценки за выполнение теста, а также за счет обеспечения репрезентативности формируемых и используемых в АСУ ОП тестов относительно общей базы тестовых заданий по дисциплине с учетом действующих санитарных правил и норм использования средств вычислительной техники.
-
Спроектированное организационно-методическое обеспечение всех этапов подготовки, проведения и контроля результатов автоматизированного педагогического тестирования знаний студентов вуза, в том числе составления и ведения графика тестирования, подготовки, апробации и оценивания качества тестов, ведения базы тестовых заданий, организации и проведения сеансов тестирования, анализа и
использования полученных результатов регламентирует деятельность в области педагогического контроля, осуществляемую преподавателями, работниками отдела тестирования, административным и учебно-методическим персоналом вуза, и повышает эффективность образовательного процесса в вузе за счет обеспечения регулярности, объективности, массовости и неотвратимости педагогического контроля.
3. Доя организации и поддержки проведения автоматизированного педагогического тестирования знаний студентов в вузе должно быть создано подразделение, функции которого заключаются в осуществлении планово-организационной, консультативно-методической и экспертно-аналитической поддержке процесса тестирования знаний; разработке и реализации регламента подготовки и проведения тестирования знаний студентов с последующим анализом и использованием полученных результатов.
Апробация теоретических положений и результатов исследования проводилась на Межрегиональной научно-практической конференции «Инструментарий педагогической диагностики» (Таганрог, 2005 г.), V Всероссийской научно-технической конференции «Проблемы информатики в образовании, управлении, экономике и технике» (Пенза, 2005 г.), ХШ Международной конференции «Математика. Компьютер. Образование. МКО-2006» (Дубна, 2006 г.), Всероссийской научно-практической конференции «Информационные технологии в образовании и науке» ИТОН-2006 (Москва, 2006 г.), 2-й международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, 2006 г.), 26-м Европейском статистическом форуме EMS-2006 (Торунь, Польша, 2006 г.), конференции ИИО РАО «Информационные и коммуникационные технологии в общем, профессиональном и дополнительном образовании» (Москва, 2006 г.), конференциях «Информационные технологии в образовании» ИТО-2006 (Москва, 2006) и ИТО-2008 (Москва, 2008 г.), международной научно-практической конференции «Формирование информационной компетентности специалистов в условиях непрерывного образования» (Калининград, 2007 г.), Всероссийской научно-практической конференции «Информационные технологии в образовании, науке и производстве» (Серпухов, 2007), 2nd International Conference on Multi-Criteria Decision Making (Польша, Катовице, 2007 г.), Международной научно-практической конференции «Развитие отечественной системы информатизации образования в здоровьесберегающих условиях» (ИИО РАО, Москва, 2008 г.).
Внедрение результатов исследования. Результаты исследования внедрены в ФГОУ ВПО «Калининградский государственный технический университет» и в НОУ ВПО «Балтийский институт экономики и финансов» для использования в составе автоматизированных систем управления учебным процессом, что подтверждено соответствующими актами об использовании результатов.
Структура диссертации. Диссертация состоит из введения, трех глав, выводов по главам, заключения, списка литературы, списка сокращений, 13 таблиц, 40 рисунков, 153 страниц текста.
