Содержание к диссертации
Введение
Глава 1. Системный анализ процесса управления подготовкой специалистов финансово-хозяйственной деятельности 13
1.1. Анализ профессиональной подготовки финансово-хозяйственных работников в вузах МЧС России 13
1.2. Определение требований к системе управления качеством профессиональной подготовки финансово-хозяйственных работников 33
Глава 2. Принципы построения и функционирования системы управления качеством подготовки финансово-хозяйственных работников 59
2.1. Структура системы управления качеством подготовки финансово-хозяйственных работников 59
2.2. Формирование информационной модели массива модулей подготовки специалистов финансово-хозяйственной деятельности 71
2.3. Математическая модель контура формирования знаний в информационной системе подготовки специалистов финансово хозяйственной деятельности 82
2.3.1. Вероятностная модель динамики контура формирования знаний слушателей 82
2.3.2. Пример расчета вероятностей состояний обучаемого при изучении работы с экономической информационной системой финансового моделирования 91
2.3.3. Характеристики системы управления качеством подготовки финансово-хозяйственных работников, как системы обслуживания заявок на пополнение знаний 94
Глава 3. Алгоритм управления качеством профессиональной подготовки (повышения квалификации) специалистов финансово- хозяйственной деятельности 97
3.1. Математическая модель оценки качества подготовки специалистов на базе тестирования 97
3.2. Математическая модель процедуры контроля качества подготовки специалистов 100
3.3. Параметры и оперативная характеристика процедуры принятия решения по качеству знаний специалистов финансово-хозяйственной деятельности 10S
3.4. Математическая модель управления качеством подготовки специалистов финансово-хозяйственной деятельности 117
3.5. Пример определения матрицы управляющих воздействий на обучаемого 123
Глава 4. Оценка достоверности полученных результатов и определение направлений дальнейших исследований 125
4.1. Оценка достоверности полученных результатов 125
4.2. Экспериментальная проверка функционирования системы управления качеством подготовки финансово-хозяйственных работников 127
4.3. Направления дальнейших исследований 130
Заключение 133
Обозначения и сокращения используемые в работе 135
Список используемой литературы 138
Приложение 1 153
Приложение2 159
- Анализ профессиональной подготовки финансово-хозяйственных работников в вузах МЧС России
- Структура системы управления качеством подготовки финансово-хозяйственных работников
- Математическая модель оценки качества подготовки специалистов на базе тестирования
- Оценка достоверности полученных результатов
Введение к работе
Обобщенная системная концепция - «общая теория систем» была выдвинута в 30-х годах XX века австрийским биологом-теоретиком Людвигом фон Берталанфи (1901-1972) Задачей этой концепции стала разработка математического аппарата для описания систем разных типов и установление изоморфизма законов в различных областях знания. В рамках общей теории систем Л. фон Берталанфи и его последователи (В.Н. Садовский, Э.Г. Юдин, И.В. Блауберг, СП. Никаноров и др.) разработали терминологию новой концепции, исследовали закономерности функционирования и развития сложных систем. Почти одновременно с общей теорией систем возникли новые научные направления с развитым математическим аппаратом, базирующиеся на методы оптимизации, математического программирования, математической статистики, названные «теорией принятия решений» и «исследованием операций».
В 1962 г. Ф.Е. Темников предложил термин «системотехника», связанный с постановкой и исследованием сложных технических проблем проектирования и управления, а для других направлений И.Б. Новик в 1965 г. предложил термин «системология». В 1946 г. американский ученый Норберт Винер (1894-1964) применительно к задачам управления для названия новой «науки об управлении в живых организмах и машинах» выделил науку «кибернетика».
Для обобщения дисциплин, связанных с проектированием и исследованием сложных систем, в последнее время используется термин «системные исследования», а иногда сохраняется термин «системный подход», определяющий общие принципы и ориентации при проведении системного исследования, не доводя их до определенных действий. Наиболее конструктивным из направлений системных исследований в настоящее время считается появившийся в 1948 г, «системный анализ». Системный анализ является формой системного подхода и представляет собой совокупность научных методов и практических приемов решения проблем. Он предлагает методику проведения системного исследования, организации процесса принятия решения, дает подходы к выполнению этапов методики в конкретных условиях.
Интеграция России в систему мирового сообщества обусловила ряд проблем, специфических для нашей страны. Одной из таких проблем является необходимость встраивания отечественной системы высшего образования в международное информационное поле без потери собственных достижений в этой области. Эта длительная и кропотливая работа охватывает широкий спектр вопросов, одним из которых, является проектирование систем управления качеством образовательного процесса, в частности при решении задач профессиональной переподготовки и повышения квалификации. Нужны принципиально новые методики оценки качества образования, причем с опорой на критерии, предъявляемые обществом, экономикой работодателем, рынком труда. В образовании должны появиться новые управленческие технологии и финансовые механизмы. В подготовке специалистов важен, прежде всего, конечный результат.
В приказах министра МЧС России отмечается место и роль финансово-хозяйственных работников как профессионалов в решении сложных и ответственных задач по регулированию финансово-хозяйственной деятельности в системе МЧС. Наряду, с положительной оценкой достигнутого вузами МЧС России дается критический анализ имеющихся проблем в системе повышения квалификации данных кадров.
В качестве главного недостатка в решении вопросов повышения квалификации указываются: низкое качество специальной подготовки, необходимой в современных условиях
Одна из причин этого заключается в том, что в большинстве вузов МЧС России еще не сложилась целостная и эффективная система работы
6 должностных лиц по руководству учебной, воспитательной и методической работой при решении задач переподготовки и повышения квалификации сотрудников Министерства. В диссертационной работе проблема повышения квалификации финансово-хозяйственных работников, исследуется с позиций общей теории систем и системного анализа.
Выявленные в ходе исследования недостатки в системе управления качеством профессиональной подготовки и повышения квалификации в вузе ГПС МЧС России определяются рядом противоречий, несоответствий, основными из которых являются следующие: - между новыми требованиями к уровню подготовки офицеров, к номенклатуре специальностей и уровнем обученности выпускников, возможностями инженерного вуза ГПС МЧС России по их реализации; - между функциональной деятельностью, интересами административно- хозяйственных подразделений и деятельностью структур, отвечающих за качество образовательного процесса; - между потребностью в организации личностно ориентированной образовательной системы и преобладающей административной системой жизненного уклада вуза ГПС МЧС России, системой управления педагогическим процессом; - между потребностью в организации целостной системы управления качеством образования и устаревшей системой измерения и оценки качества педагогического процесса, его результатов; между потребностью в усилении практической направленности образования и возможностями, условиями вуза ГПС МЧС России как закрытой системы по реализации этой потребности; между бюджетом выделяемого учебного времени и объемом необходимых для усвоения знаний, умений, навыков.
В этой ситуации возникает проблема модернизации системы управления качеством профессиональной подготовки и повышения квалификации финансово-хозяйственных работников МЧС России. Необходимость решения данной проблемы обусловила выбор темы исследования: Системное моделирование качества управления учебным процессом в образовательных учреждениях МЧС России приводится с позиций системного анализа на примере повышения квалификации финансово-хозяйственных работников
Цели и задачи исследования. Целью настоящей работы является научное обоснование технологии управления качеством образовательного процесса при профессиональной подготовке и повышении квалификации финансово-хозяйственных работников в вузах МЧС России.
Для реализации этой цели в работе ставятся и решаются следующие научно-технические задачи:
Разработана структура и функции системы управления качеством подготовки финансово-хозяйственных работников.
Разработана математическая модель формирования знаний обучаемых при использовании экономических информационных систем.
Разработана математическая модель и алгоритм функционирования контура управления качеством подготовки финансово-хозяйственных работников.
Обоснование предложений по созданию информационной системы контроля качества знаний.
Объект исследования - методы и алгоритмы интеллектуальной поддержки принятия решений в системе управления качеством подготовки финансово-хозяйственных работников в вузе МЧС России.
Предметом исследования являются процессы управления качеством подготовки сотрудников МЧС, повышающих квалификацию в вузе МЧС России.
Основная гипотеза - управление качеством образовательного процесса в ходе повышения квалификации и профессиональной переподготовки в вузе МЧС России будет эффективным, если: в системе управления качеством профессиональной подготовки и повышения квалификации используются информационные системы: контроля знаний обучаемых и экономические информационные системы (бухгалтерские и финансового моделирования); применяется модульная система подготовки специалистов финансово-хозяйственной деятельности; - используется специальная система показателей измерения и оценки качества образовательного процесса;
Теоретическими источниками стали фундаментальные теории в области системного анализа и принятия решений (B.C. Анфилатов, А.А. Емельянов, А.А. Кукушкин, В.Н. Волкова, А.А. Денисов, Черноруцкий И.Г.).
Методы исследования.
Предлагаемая работа базируется на результатах, полученных в следующих научных направлениях: методах моделирования сложных систем, разработанных в теории сложных систем, основные результаты которой, представлены в работах [3, 7,14, 19,20, 26,31,41,42, 53, 71, 79, 110, 114], методах моделирования процессов обучения, разработанных в математической теории обучения, основные результаты которой представлены в работах [8, 22, 67, 68, 77, 78, 88,95,96, 101,111, 112], методах математического моделирования случайных процессов, разработанных в теории вероятностей, теории случайных процессов, основные результаты которых представлены в работах [24, 39, 60, 89, 97, 103, 117,120,122], методах оценки качества, разработанных в теории управления качеством и математической статистике, основные результаты которых представлены в работах [1, 30, 33, 36, 59, 63, 65, 75, 80, 98, 100, 101, 102, 125],
5) теории автоматизированных обучающих систем, основные результаты которой представлены в работах [54, 57, 72, 82, 83,94, 108],
6)теории систем управления, основные результаты которой, представлены в работах [2, 9, 12,27,32, 69, 81, 84, 90, 91, 109], методах применения компьютерных технологий в деятельности МЧС и органах внутренних дел [49, 50, 51,55, 56, 113]. педагогики и психологии [II, 13, 17,28,29,35,39,61,64,93, 106] теории информационных систем [5, 6, 10, 18, 27, 58, 66, 76, 92, 107, 118]
На защиту выносятся следующие положения:
Обоснование структуры и функций системы управления качеством подготовки специалистов финансово-хозяйственной деятельности для вузов МЧС, а также обоснование состава показателей качества подготовки.
Вероятностная модель контура формирования знаний с подсистемой контроля качества знаний методом двухступенчатого статистического анализа.
Матричная модель и алгоритм функционирования контура оперативного управления качеством знаний.
Подсистема системы управления качеством профессиональной подготовки специалистов финансово-хозяйственной деятельности, предназначенная для тестирования знаний финансово-хозяйственных работников МЧС России, включающая информационную матрицу знаний, систему тестов, подсистему контроля качества знаний с каналом порогового контроля методом двухступенчатого статистического анализа и канала допускового контроля на основе функции желательности Харрингтона.
Научная новизна диссертационного исследования заключается в разработке системы управления качеством профессиональной подготовки и повышения квалификации финансово-хозяйственных работников, предназначенной для вузов МЧС России. Настоящее исследование является первой работой, в которой решается задача создания математических моделей контура формирования знаний финансово-хозяйственных работников и системы контроля их качества порогово-допусковым методом, Предложены математическая модель и алгоритм функционирования контура оперативного управления системы управления качеством подготовки, обеспечивающего изменение качества знаний сотрудников в требуемом направлении. Определены параметры и характеристики системы управления качеством изучения программы повышения квалификации финансово-хозяйственных работников.
Теоретическая значимость исследования. Определена и подтверждена экспериментальными исследованиями правомерность сформулированных предложений, методик и алгоритмов управления качеством повышения квалификации финансово-хозяйственных работников.
Практическая значимость работы состоит в том, что:
Обоснованы предложения по структуре, функциям и основным техническим показателям системы управления качеством подготовки финансово-хозяйственных работников для вузов МЧС России.
Разработанные в диссертации модели: модель порогового контроля методом двухступенчатого статистического анализа и модель допускового контроля на основе функции желательности Харрингтона позволяют автоматизировать процедуру контроля качества знаний на базе применения средств вычислительной техники.
Разработанные в диссертации матричная модель и алгоритм функционирования контура оперативного управления позволяют автоматизировать процедуру управления качеством знаний обучаемых при использовании средств вычислительной техники.
4. Разработанная в диссертации подсистема системы управления качеством подготовки, предназначенная для освоения программы повышения квалификации финансово-хозяйственных работников, может применяться для оценки качества знаний офицерского состава МЧС России при проведении аттестаций и при проверке их готовности к выполнению важных и ответственных заданий, требующих четкого знания своих должностных обязанностей.
Достоверность и обоснованность основных положений исследования обеспечена применением современной научной методологии, корректным использованием современных математических методов, апробированных на практике и результатами экспериментальных исследований.
Апробация результатов исследования. Основные научные результаты исследования апробированы путем проведения их многоступенчатой экспертизы на межкафедральных семинарах и научно-практических конференциях.
Международная научно-практическая конференция «Применение современных методов и форм методической работы в подготовке специалистов пожарно-спасательного профиля (международной опыт)», Санкт-Петербург, 9 февраля 2005 г.
Международная конференция КТИФ «Пожарная охрана Мира. Расширение функций и задач», Санкт-Петербург, 14 октября 2005 г.
Международная научно-практическая конференция «Актуальные проблемы защиты населения и территорий от пожаров и катастроф», Санкт-Петербург, 21 июня 2006 г.
Международная научно-практическая конференция «Подготовка кадров в системе предупреждения и ликвидации последствий чрезвычайных ситуаций», Санкт-Петербург, 14 сентября 2006 г.
Результаты исследования внедрены в учебном процессе Санкт-Петербургского университета ГПС МЧС России.
Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, библиографии (179 наименований), двух приложений.
Общий объем диссертации составляет 153 страницы, в том числе 12 таблиц, 28 рисунков и приложений на 25 страницах.
В первой главе исследуется существующее состояние технологии профессиональной подготовки и повышения квалификации специалистов финансово-хозяйственной деятельности в вузах МЧС России, выясняется степень ее соответствия необходимым требованиям. На основе полученных результатов формулируются научно-технические задачи и определяются пути их решения. Рассматриваются информационные технологии с точки зрения их места в ходе учебно-воспитательного процесса вуза МЧС.
Во второй главе рассматриваются предложения по построению и функционированию системы управления качеством профессиональной подготовки финансово-хозяйственных работников, раскрывается алгоритм функционирования системы.
Третья глава посвящена методике оценки качества подготовки специалистов, на базе предложенной процедуры контроля и разработке матричной модели управления качеством подготовки финансово-хозяйственных работников.
В четвертой главе приводится оценка достоверности полученных результатов, результаты эксперимента по практической проверке знаний программы подготовки специалистов финансовых подразделений МЧС России.
В приложении приведены показатели уровня развития и профессиональной деятельности офицера, требуемые для выполнения функциональных обязанностей по должности.
Все положения и выводы диссертационного исследования получены на основе анализа практики обучения групп повышения квалификации и профессиональной переподготовки в Санкт-Петербургском университете ГПС МЧС России.
Анализ профессиональной подготовки финансово-хозяйственных работников в вузах МЧС России
Общие закономерности управления целостными системами образования определены в работах Е.С. Березняка, Ю.В. Васильева, Ю.А. Конаржевского, М.И. Кондакова, И.В. Худоминского и др. Этими авторами обоснована взаимосвязь эффективности педагогического труда и качества управления системой образования, необходимость квалифицированного анализа учебно-воспитательной деятельности всей образовательной системы.
Управлению образовательным учреждением посвящены работы СИ. Архангельского, В.П. Беспалько, П.Я Гальперина, А.Н. Орлова, Ю.А. Конаржевского, B.C. Лазарева, А.Я. Наина, П.И. Пидкадистого, М.М. Поташника, Г.Н.Серикова, П.И. Третьякова, В.А. Черкасова, Т.И. Шамовой и др.
Вопросы усовершенствования образовательного процесса освещены в трудах А.А. Орлова, А.В. Усовой, П.И. Чернецова, Р.Х. Шакурова, Г.И. Щукиной, Н.М. Яковлевой и др.
Анализ литературы, связанной с управлением образованием, позволил выделить 3 направления научного поиска: первое - управление процессом образования (у некоторых авторов - обучения, воспитания, или формирования личности); второе - управление образовательными учреждениями и, начавшееся оформляться в России в 90-ые годы нашего века, третье направление - управление федеральными, региональными и муниципальными системами (программами, проектами) образования.
Как отмечает М.С. Солодкая [161], теоретическая и практическая ценность значительного числа работ по специальным вопросам управления снижается из-за того, что многие общие проблемы управления не подверглись еще должному философско-мстодологическому анализу, обобщающему результаты предыдущих исследований и учитывающему новые достижения научного знания. К числу таких проблем относятся проблемы сущности управления, его природы, целей.
Анализ имеющихся представлений о сущности управления показывает, что в некоторых из них происходит расширение понятия управления, в результате чего оно теряет свою качественную определенность и становится аморфным, в других, напротив, происходит сужение его содержания, что приводит к изменению статуса понятия «управление», к переводу его из разряда общего в разряд особенного.
Не отрицая регулятивной сущности управления, следует провести принципиальное различие между естественными и искусственными, целерациональными регулятивами, поскольку и причины, и цели, и функции, и механизмы их принципиально различны.
Основываясь на этом, будем рассматривать в качестве сущности управления целерациональное регулирование. Поэтому следует говорить об управлении, которое оптимально сочетает в себе ориентацию на достижение конкретного (операционально заданного) результата с ориентацией на процесс, ведущий к достижению этого результата.
В современной научной литературе по проблемам управления организациями [8, 26, 30] управление (менеджмент) рассматривается как искусство, наука, функция и процесс. В то же время управление - это люди, управляющие организацией, это органы или аппарат управления.
Одной из главных задач управления является установление целей, ради достижения которых формируется, функционирует и развивается организация как целостная система. Системообразующей целью высшего учебного заведения является воспитание и обучение в интересах конкретного человека, общества, государства.
Анализ известных формулировок целей показывает, чго это, по существу, образ желаемого результата.
В работе М.С. Солодкой [161] в качестве формальной обобщенной цели функционирования образовательной системы предлагается рассматривать управляемость.
В терминах теории сложных систем педагогическая система считается управляемой, если 3(Y(t),T,W) Э при u(V)aU и Е «Е , где Э -эффективность системы; Y(t) - состояние системы в момент времени t\T— временной интервал функционирования системы; W - израсходованный на временном интервале Г ресурс; Э - заданная эффективность системы; u(V) — управляющее воздействие; V - область возможных воздействий; U -область допустимых управлений; Es возможности системы (кадровые, материальные, финансовые и др. - энергоресурс системы); Е - потребный ресурс для реализации управления. Классическая наука, формируя единый социальный идеал управляемости, задает и границы управляемости, которые, по сути, зависят только от возможности познания некоего рационального плана. Такой подход принят в работах Н.Ф. Талызиной [165], Л.Н. Ланда [92], рассматривающих циклическое управление на основе требований, предъявляемых кибернетикой: указание цели управления; установление исходного состояния управляемого процесса; определение программы воздействий, предусматривающей основные переходные состояния процесса; обеспечение получения информации по определенной системе параметров о состоянии управляемого процесса, т.е. обеспечение систематической обратной ; обеспечение переработки информации, полученной по каналу обратной ; выработка корректирующих (регулирующих) воздействий и их реализация.
В таком понимании управляемость связана с устойчивым детерминированным или стохастическим «подчинением» управляемого объекта определенным правилам, командам, программе и является характеристикой объекта управления и внешних воздействий.
В реальных условиях внешние воздействия в большинстве случаев известны неточно или вообще неизвестны, тогда создается ситуация, которую принципиально неадекватно рассматривать как ситуацию функционирования, эффективно использующую прямой механизм обратной. Следовательно, система управления должна учитывать возможность частичного выхода объекта управления из-под контроля в расчете на возможность адаптировать последний к функционированию в новой ситуации, для чего, вероятно, придется частично или полностью изменить цель. Это является прерогативой самой системы управления.
Таким образом, современный взгляд на сущность управления динамическими социальными системами (а к таковым в условиях активной информатизации относится и система образования в самом широком смысле слова) заключается во взаимной адаптации субъекта, объекта и среды управления.
Структура системы управления качеством подготовки финансово-хозяйственных работников
При разработке методологии создания и применения информационных систем (ИС) учитывались принципы, формы и методы обучения, оказывающие существенное влияние на процесс подготовки специалистов в вузе ГПС МЧС России.
Каждый принцип включает в себя правила, т.е. положения, раскрывающие отдельные стороны обучения, его конкретные требования. Но ни один из принципов не может быть сведен к сумме тех или иных правил. В принципах заключено методологическое содержание, которое определяет общую позицию обучающего, его философско-педагогические взгляды на учебно-воспитательный процесс.
К принципам обучения можно отнести: а) сознательность и активность обучаемых; б) наглядность обучения; в) систематичность, последовательность и комплексность в обучении; г) обучение на высоком уровне трудностей; д) прочность знаний, навыков и умений; е) коллективизм и индивидуальный подход в обучении.
Обучение осуществляется в различных формах, которые определяют состав обучаемых, порядок и последовательность отработки учебного материала, место и продолжительность занятий, специфику деятельности обучающего и обучаемых.
Формы обучения подразделяются на учебно-плановые (теоретические занятия, практические занятия, тренировочные занятия, игры) и внеплановые, внеурочные (кружки, школы передового опыта, состязания, конкурсы, викторины). Методы обучения - это способы совместной работы обучающего и обучаемых, при помощи которых обучающий вооружает обучаемых знаниями, навыками и умениями. К методам обучения относятся следующие: а) Устное изложение учебного материала. Устное изложение бывает в виде рассказа, объяснения или лекции. б) Обсуждение изучаемого материала. Для углубления, закрепления и систематизации полученных знаний на занятиях практикуется обсуждение с курсантами (слушателями) изучаемого материала. Оно осуществляется в виде бесед, групповых и семинарских занятий. в) Показ (демонстрация). На занятиях используется показ (демонстрация) образцов техники, приемов работы, различных явлений и процессов в натуре или в виде изображений. г) Упражнение. Упражнение заключается в сознательном, многократном и все более усложняющемся повторении изучаемых приемов и действий. д) Практические работы. К практической работе обучаемые приступают после того, как усвоят определенный объем знаний, навыков и умений. е) Самостоятельная работа. Основными видами самостоятельной работы курсантов (слушателей) являются: работа с печатными источниками, самостоятельные тренировки, самостоятельная работа в компьютерных классах. ж) Методы программного обучения. Главная отличительная особенность программного обучения - эффективное управление и самоуправление познавательной деятельностью обучаемых.
Специфическую роль в программном обучении играет обратная связь. Она призвана оперативно информировать обучаемых и обучающих о ходе и результатах учебной работы. В результате обратная связь как составной элемент программного обучения создает возможности для большей активности и самостоятельности обучаемых, для более качественной отработки ими учебных заданий.
Принципы и формы обучения претерпели незначительные эволюционные изменения со времен Яна Амоса Каменского. Методы же обучения, а в особенности методы программного обучения, получили новое толкование, и их содержание нуждается в уточнении применительно к целям работы.
Опыт показывает, что более эффективным, является программное обучение, осуществляемое в классах, оборудованных вычислительной техникой. В целом программное обучение, по сравнению с традиционным, обладает рядом преимуществ. Оно требует более тщательной предварительной логической обработки изучаемого материала, позволяет в большей степени индивидуализировать обучение, увеличить объем самостоятельной работы, повысить активность обучаемых и уровень управления их познавательной деятельностью.
Для разработки принципов построения ИС, нацеленной на подготовку слушателей, целесообразно выполнить анализ состояния разработки вопросов компьютеризации обучения, а также определить цели и задачи компьютеризации учебно-воспитательного процесса в учебных заведениях МЧС.
Развитие вычислительной техники и средств автоматизации управления в ведущих зарубежных странах, не определило значительного прогресса в компьютеризации обучения, по сравнению с отечественными достижениями. Уровень компьютерной технологии обучения за рубежом и у нас в принципе одинаков.
Разработка систем управления качеством является одним из главных путей повышения качества продукции и услуг, в том числе и образовательных. Системы управления учебно-образовательным процессом относятся к системам организационного (административного) управления. Объекты управления в таких системах имеют социальную природу и представляют собой коллективы людей. Хранение и обработка информации в системах организационного управления осуществляется с помощью средств автоматизации. Как отмечал в работе [32] академик В.М. Глушков, использование в системах организационного управления компьютеров позволяет значительно повысить эффективность процесса управления.
Появляется возможность: а) увеличить число управляемых параметров; б) реализовать более сложные алгоритмы управления; в) учитывать изменения состояния объекта за более длительные отрезки времени.
Использование компьютеров в контуре управления, позволяет реализовать оптимальные алгоритмы управления, и тем самым повысить качество продукции и снизить процесс брака. Система управления профессиональной подготовкой слушателей реализует алгоритм управления процессом обучения учебным дисциплинам слушателей и позволяет оценить уровень подготовки обучаемых в течении всего периода обучения в вузе. Путем анализа комплексных показателей уровня подготовки слушателей, управляющий объект формирует направленные воздействия на объект управления.
Математическая модель оценки качества подготовки специалистов на базе тестирования
Тестирование является методом контроля качества знаний. При создании тестов по предметной области основной задачей является определение объема знаний и их качества. В информационной системе правовой подготовки тесты должны иметь формализованный вид. Выделяют несколько типов компьютерных технологий тестирования знаний [78]: а) альтернативные вопросы (требуют ответа "да - нет"); б) вопросы с выбором (ответ выбирается из готового набора вариантов); в) информативные вопросы на знания фактов (где, когда, сколько) Однако удобнее пользоваться оценками качества знаний по четырехбалльной шкале с точками 2, 3,4, 5 баллов.
Для перехода от шкалы баллов, определяемых натуральным рядом чисел, к четырехбалльной шкале воспользуемся функцией желательности Харрингтона Е. [125], используемой в задачах контроля качества массовой продукции. Функция желательности Харрингтона Е. устанавливает соответствие между интервалами измеряемого параметра и значениями точек на репернои шкале. В математическую модель оценки качества подготовки финансово-хозяйственных работников входят: выражение для расчета суммы баллов за тест, выражение для определения среднего балла по дисциплине и матрица качества фактических знаний.
При решении задачи контроля качества обучения могут применяться два метода: а) метод сплошного контроля, б) метод выборочного контроля.
При сплошном контроле проверяется качество усвоения всей совокупности вопросов тестовой системы. Метод сплошного контроля требует затрат ресурсов, поэтому является дорогостоящим. В связи с этим наибольшее применение для контроля качества, как промышленной продукции [30], так и знаний обучаемых [95] нашел выборочный контроль, основанный на методах математической статистики. При выборочном контроле о качестве знаний дисциплины судят по оценке выборки вопросов. Под выборкой будем понимать вопросы, содержащиеся в части тестов, выбранных случайным образом из общей совокупности тестов. При выборочном контроле решают статистическую задачу принятия одной из двух конкурирующих гипотез: а) гипотезы Но о том, что материал учебной дисциплины обучаемый усвоил (качество знаний не ниже удовлетворительного). б) гипотезы Hi, что материал учебной дисциплины обучаемый не усвоил (качество знаний неудовлетворительное).
Выбирается та гипотеза, которая признается более правдоподобной. Наибольшее распространение в практике выборочного контроля нашли три вида процедур принятия решения по выбору гипотезы: 1) одноступенчатая, 2) многоступенчатая, 3) процедура последовательного анализа (процедура Вальда).
При одноступенчатой процедуре решение о качестве знаний обучаемого принимают по результатам контроля одной выборки. Под выборкой будем понимать произвольно взятое количество вопросов. При многоступенчатой процедуре решение о качестве знаний обучаемого принимают по нескольким выборкам, количество которых устанавливается предварительно. При последовательном анализе решение о качестве знаний обучаемого принимают после оценки каждой последовательно проверяемой выборки. Количество выборок при этом является случайной величиной.
Одноступенчатая процедура реализована для целого ряда автоматизированных обучающих систем. В настоящей работе предусмотрена процедура (план) многоступенчатого контроля знаний, основанная на методе двухступенчатого анализа. Выбор этого метода объясняется следующими причинами:
1. Метод двухступенчатого анализа дает результаты близкие к оптимальным, которые могут быть достигнуты с использованием метода последовательного статистического анализа;
2. Метод двухступенчатого анализа более прост в реализации по сравнению с методом последовательного статистического анализа Вальда.
В то же время в исследованиях, посвященных оценке качества знаний, этот метод практически не разработан.
Метод двухступенчатого анализа, как и метод последовательного анализа позволяет реализовать статистические процедуры с управляемой длительностью наблюдения. При выборочном контроле качества процедуры с управляемой длительностью наблюдения позволяют при заданной достоверности контроля сократить объем испытаний. Сокращение объема испытаний позволяет снизить затраты ресурсов на их проведение. Сущность двухступенчатой процедуры контроля качества знаний состоит в том, что если по результатам первого этапа контроля решение принять затруднительно, проводится второй этап. В этом случае решение по качеству знаний принимается по результатам двух этапов. Контролируемым параметром является доля вопросов тестовой системы на которые обучаемый не мог дать правильный ответ (не усвоил). Для задания двухступенчатой процедуры контроля задаются параметры процедуры (контрольные нормативы): ш - объем выборки на первом этапе, П2 - объем выборки на втором этапе, сі - нижнее пороговое значение количества вопросов тестов, по которым на первом этапе могут быть получены неправильные ответы; С2 - верхнее пороговое значение количества вопросов тестов, по которым на первом этапе могут быть получены неправильные ответы; сз - пороговое значение количества вопросов тестов, по которым на втором этапе могут быть получены неправильные ответы, di - количество вопросов тестов, по которым на первом этапе получены неудовлетворительные оценки; d2 - количество вопросов тестов, по которым на втором этапе получены неудовлетворительные оценки. При проведении первого этапа (первой выборки), обучаемым предлагается ш вопросов, из выбранных случайным образом вопросов тестов. Если обучаемый, не мог дать правильные ответы на di вопросов тестов, причем di сі, то экзамен сдан. Оценки соответствуют набранной сумме баллов за ответы на вопросы теста. Если d] C2, то экзамен не сдан. Если количество вопросов тестов di, по которым обучаемый не мог дать правильные ответы, соответствует неравенству ci di сэ, то экзамен продолжается. Далее проводится второй этап контроля. Обучаемому предлагается дополнительно П2 выбранных случайным образом вопросов тестов. Если при 103 этом, обучаемый не мог дать правильные ответы на ch вопросов тестов, причем выполняется неравенство: di + ch c3, (3.7) то экзамен сдан. Если di + d2 сз, то экзамен не сдан. Таким образом, двухступенчатая процедура контроля качества знаний в ИС характеризуется пятью параметрами: ш, п2, сі, С2, сз, т.е. S = {ш,П2, С1,С2,СЗ} (3.8) где S - двухступенчатая процедура контроля качества знаний. Параметры ci, с2, сз должны удовлетворять соотношению: сі С2 сз. Для оценки эффективности процедур контроля качества знаний используют их оперативные характеристики. Под оперативной характеристикой понимают зависимость вероятности положительной оценки знаний обучаемого от доли вопросов, на которые получены неправильные ответы.
Оценка достоверности полученных результатов
В работе рассматривается система управления качеством подготовки финансово-хозяйственных работников, повышающих свою квалификацию в Санкт-Петербургском университете Государственной противопожарной службы МЧС России. Система управления включает в себя такой элемент как информационная система, содержащая такие подсистемы, как экономическая информационная система; подсистема оценки качества знаний, подсистема накопления результатов.
В системе формируются контур стратегического управления и контуры оперативного управления. Последние управляют контурами формирования знаний в которые входят обучаемые. Оценка качества знаний обучаемого осуществляется системой контроля, формирующей матрицу фактических знаний.
Требования руководства по качеству знаний формализуются в виде матрицы требуемого качества, которая сравнивается управляющим объектом системы с матрицей фактических знаний. По результатам сравнения формируется матрица отклонений и вырабатывается матрица управляющих воздействий. Управляемыми величинами являются показатели качества знаний положений учебной дисциплины.
Систему управления качеством подготовки финансово-хозяйственных работников можно отнести к классу многомерных стохастических систем. Ее размерность определяется числом положений учебной дисциплины, числом режимов работы ЭИС, которые должен знать обучаемый. Стохастичность является следствием случайного характера процессов утраты и пополнения знаний. Математическая модель системы управления качеством профессиональной подготовки описывает ее функционирование на основе информационного взаимодействия между составными частями. Математическое описание контура формирования знаний базируется на концепции пространства состояний и марковских случайных процессов, широко используемых для описания стохастических систем.
В контуре формирования знаний ЭИС, входящая в ИС, выполняет функцию обслуживания требований обучаемого на пополнение знаний и повышение их качества. Характерной особенностью систем обслуживания является необходимость учета случайного потока заявок и случайного времени обслуживания. В исследованиях процесса обучения [95] показано, что поток требований на пополнение знаний можно считать пуассоновским. Он обладает свойствами стационарности, ординарности и не имеет последействия. В то же время, пуассоновский поток является наиболее трудным для системы обслуживания, поэтому системы, рассчитанные на пуассоновский поток, будут эффективно работать при других видах потоков с той же интенсивностью [123]. Важную роль в теории систем обслуживания играют ассимптотические свойства процесса обслуживания, выявленные К.Эрлангом [97] для случая показательного времени обслуживания и любого числа обслуживающих приборов и доказанные в работах Р. Форте [124], Б.А.Севастьянова [97] и А.Я. Хинчина [122]. На основе этих свойств для оценки текущего распределения вероятностей состояний можно использовать его предельное значение. При этом ошибка в оценке не является существенной, если общая продолжительность процесса не меньше (2-3) 1/ц [123].
Алгоритм управления построен на базе принципа управления по состоянию, используемого в теории многомерных систем управления. Таким образом достоверность полученных в работе результатов вытекает их применения апробированных методов теории систем массового обслуживания, теории управления, теории случайных процессов, статистической теории обучения. Для опытной проверки разработанной тестовой системы проверки знаний о функционировании экономической информационной системы Project Expert и двухступенчатой процедуры принятия решений по качеству знаний был проведен эксперимент, в котором участвовали преподаватели и слушатели Санкт-Петербургского университета ГПС МЧС России, в том числе и автор настоящего исследования. Эксперимент проводился в естественных условиях учебного процесса и включал следующие основные этапы: 1) проведение учебных занятий и отработка комплексных задач по экономическим дисциплинам с использованием ИС; 2) оценивание знаний слушателей с использованием двухступенчатой процедуры проверки качества знаний.
Опрос уровня подготовленности слушателей по дисциплине «Информационные системы в экономике» в части знания назначения, возможностей и основных характеристик экономической информационной системы финансового моделирования Project Expert осуществлялся с применением тестовой системы оценки знаний.
Матричная критериально-ориентированная тестовая система реализуется в виде набора тестов, каждый из которых представляет собой матрицу, все ячейки которой заполнены элементами базы данных, образуя разветвленную логическую структуру. Ячейки матрицы заполняет тестируемый, исходя из логико-аналитического рассуждения, выбирая ответы, расположенные над матрицей. В результате формируется интегральная оценка по итоговым результатам тестирования. Число вопросов в тестовой системе представлено в таблице 4.1. Обозначение модулей реализуемой тестовой системы приведено в разделе 2.2.
Контролируемым параметром являлась доля вопросов тестовой системы по знанию основных возможностей экономической информационной системы, на которые обучаемый не мог дать правильный ответ (не усвоил).
Главным направлением дальнейших исследований автора данной работы является разработка сетевой структуры на базе сервера Центра информационных технологий и систем Санкт-Петербургского университета ГПС МЧС России. Предполагается разработка и создание, коммуникационного узла Центра подготовки офицеров подразделений МЧС, повышающих свою квалификацию в Санкт-Петербургском университете ГПС МЧС России, на базе единого сервера, обеспечивающего информационную поддержку факультета переподготовки и повышения квалификации, и кафедр, проводящих занятия со слушателями всех категорий повышения квалификации.
Кроме этого через сервер дистанционного обучения Санкт-Петербургского университета ГПС МЧС России планируется обеспечить доступ к информационным системам финансово-хозяйственных работников, повышающих свою квалификацию.
Система дистанционного обучения (СДО), используемая в интересах офицеров повышающих свою профессиональную квалификацию должна обеспечивать следующие принципы построения: 1. СДО охватит удаленные от Санкт-Петербурга регионы. 2. За основу региональных сетей СДО приняты классы коллективного пользования [68]. 3. В качестве телекоммуникационного базиса рекомендуется использование телефонных коммутируемых линий. 4. В режиме «Справка» обучаемый работает с электронным учебником, обеспеченным мультимедийным сопровождением и структуризацией изложения учебного материала. В режиме «Контроль» используются разработанные системы тестов и оценок знаний обучаемых. 5. Главной задачей СДО должен стать индивидуальный подход к каждому обучаемому, что обеспечивается постоянной обратной связью между обучаемым и ИС.
В результате исследований, приведенных в настоящей работе, создана математическая модель контура формирования знаний, включающего экономическую информационную систему и обучаемого. Контур может пребывать в N+1 состоянии. Состояние определяется выбором одной из двух гипотез Но (качество знаний не ниже удовлетворительного) и Hi (качество знаний неудовлетворительное). В дальнейшем целесообразно исследовать вопросы по созданию математической модели контура формирования знаний, когда состояние контура определяется выбором одной из четырех гипотез Но (качество знаний отличное), Hi (качество знаний хорошее), № (качество знаний удовлетворительное), Нз (качество знаний неудовлетворительное)
