Содержание к диссертации
Введение
Глава 1. Задача автоматизации изучения положений нормативных правовых актов 13
1.1. Особенности процесса изучения положений нормативных правовых актов 13
1.1.1. Особенности, связанные с целями обучения 14
1.1.2. Особенности, связанные с характером контроля знаний 15
1.1.3. Особенности, определяемые структурой учебных материалов... 17
1.2. Традиционные технологии автоматизации изучения положений нормативных правовых актов 18
1.2.1. Электронные версии печатных учебных пособий 19
1.2.2. Гипертекстовые учебники 21
1.2.3. Мультимедийные обучающие программы 24
1.2.4. Справочно-поисковые системы 27
1.3. Проблемы автоматизации изучения положений нормативных правовых актов на основе традиционных технологий 28
1.3.1. Факторы, связанные с особенностями обучения 29
1.3.2. Психолого-педагогические факторы 30
1.3.3. Экономические факторы 33
1.4. Постановка задачи исследования 35
1.5. Выводы 38
Глава 2. Технология автоматизации изучения положений нормативных правовых актов 40
2.1. Этапы изучения положений нормативных правовых актов 40
2.2. Метод контроля качества работы обучающегося с учебными материалами 41
2.2.1. Общее описание метода 41
2.2.2. Модель электронного учебного пособия 44
2.2.3. Модель конспекта учебного материала 48
2.2.4. Модель контрольных заданий по учебному материалу 55
2.2.5. Алгоритм контроля качества работы обучающегося 59
2.3. Метод предварительного контроля знания положений нормативных правовых актов 61
2.3.1. Общее описание метода 62
2.3.2. Согласованные онтологии предметной области 63
2.3.3. Основные утверждения о свойствах согласованных онтологии. 82
2.3.4. Контекстная модель знаний о предметной области 97
2.3.5. Логический вывод на основе контекстной модели представления знаний о предметной области 105
2.3.6. Процедуры анализа и синтеза адаптированных текстов 124
2.3.7. Алгоритм генерации закрытых контрольных заданий 142
2.4. Технология автоматизации изучения положений нормативных правовых актов 148
2.5. Выводы 154
Глава 3. Реализация и оценка эффективности специализированной технологии автоматизации изучения положений нормативных правовых актов 158
3.1. Программная реализация технологии 158
3.1.1. Средства контроля качества работы с текстовыми учебными материалами 160
3.1.2. Средство автоматизированной генерации контрольных заданий 163
3.1.3. Средства предварительного контроля знаний 167
3.1.4. Примеры применения разработанной технологии 171
3.2. Оценка педагогической эффективности технологии 180
3.3. Оценка экономической эффективности технологии 182
3.4. Оценка качества программной реализации технологии 185
3.4.1. Показатели качества систем автоматизации обучения 186
3.4.2. Сравнительная оценка систем автоматизации обучения 201
3.4.3. Результаты оценки и сравнения систем автоматизации обучения 214
3.5. Итоговая оценка эффективности технологии 216
3.6. Выводы 219
Заключение 222
Литература 227
Приложение
- Традиционные технологии автоматизации изучения положений нормативных правовых актов
- Метод контроля качества работы обучающегося с учебными материалами
- Средство автоматизированной генерации контрольных заданий
- Показатели качества систем автоматизации обучения
Введение к работе
В современных условиях принципиальное значение для большинства организаций приобрело правовое обеспечение их деятельности. Пробелы в правовой квалификации сотрудников ведут к игнорированию или ненадлежащему исполнению ими своих обязанностей, что зачастую приводит к возникновению серьезных проблем для всей организации, вплоть до судебного разбирательства. Помимо этого, наличие в организации необходимых нормативных правовых актов1 и соблюдение сотрудниками их положений является одним из основных требований группы стандартов менеджмента качества ISO 9000 [93].
Ситуацию существенно осложняет тот факт, что действующая нормативно-правовая база подвержена регулярным изменениям. В таких условиях традиционные средства и методы обучения (вузовское обучение, повышение квалификации) оказываются недостаточно эффективными, так как либо не позволяют поддерживать в актуальном состоянии знания обучающихся (при повышении квалификации 1 раз в 5 лет), либо требуют отрыва сотрудников от трудовой деятельности, а в отдельных случаях — и поездок в командировки.
Одним из путей решения проблемы повышения правовой квалификации сотрудников является применение современных автоматизированных информационных технологий [90], что позволяет существенно повысить доступность обучения, однако оставляет открытым вопрос о его качестве. В настоящее время контроль качества обучения осуществляется посредством педагогического тестирования, что, с одной стороны, позволяет применять современные педагогические методики контроля, а с другой - требует существенных трудозатрат преподавателей на разработку тестов и обоснование их надежности и валидности [1, 43]. Кроме того, при педагогическом тестировании многие обучающиеся оказываются неподготовленными к контрольным мероприятиям просто потому, что не могут самостоятельно оценить уровень своей подготовки к ним. Сочетание этих факторов приводит к возникновению ситуаций, когда значительные усилия преподавателей по разработке педагогических тестов (анализ текстов нормативных правовых актов, разработка банка контрольных заданий, формирование индивидуальных тестов, оценка их надежности и валидности) оказываются неэффективными из-за недостаточного качества самостоятельной работы обучающихся.
Поскольку самостоятельная работа обучающихся является ключевым компонентом системы повышения профессиональной квалификации, ее качество является определяющим фактором качества системы повышения квалификации в целом [90]. Традиционным методом повышения качества самостоятельной подготовки обучающихся при использовании средств автоматизации обучения является контроль качества их работы с текстовыми учебными материалами1 (прежде всего - с каноническими текстами нормативных правовых актов и комментариями к ним). Основой такого контроля служат интерактивные сценарии обучения, обеспечивающие адаптацию процесса обучения к информационным потребностям и уровню знаний конкретного обучающегося [29]. Продуманный сценарий обучения, включающий элементы предварительного контроля знаний, обеспечивает своевременное выявление и локализацию пробелов в знаниях обучающегося, а также автоматизированную коррекцию последовательности обучения. Однако, такой подход в сфере изучения нормативных правовых актов обладает существенным недостатком: на разработку качественного сценария уходит значительное время (до нескольких месяцев), а любое изменение правовой базы, как правило, вызывает необходимость серьезной переработки этого сценария. Присутствует даже обратная зависимость: чем большее значение имеет нормативный правовой акт (и чем больше востребовано его изучение), тем чаще он изменяется, что приводит к необходимости непрерывной переработки соответствующих учебных материалов. В результате своевременное и качественное изучение положений нормативных правовых актов становится затруднительным.
Таким образом, применение традиционных подходов к автоматизации обучения и контролю его качества [2,30,44,85,96, 101] в сфере изучения положений нормативных правовых актов оказывается недостаточно эффективным, а решение задачи разработки специализированной технологии автоматизации изучения положений нормативных правовых актов, учитывающей специфику обучения в этой предметной области, является актуальным и востребованным [49]. Актуальность разработки технологии автоматизации обучения для оперативного повышения квалификации персонала в области нормативного правового обеспечения также подтверждается широким интересом кадровых служб как государственных организаций, так и коммерческих предприятий. Следует подчеркнуть, что в контексте настоящей работы рассматриваются только вопросы, связанные с обеспечением качества изучения нормативных правовых актов, исключая сравнительно хорошо изученные вопросы контроля знаний посредством педагогического тестирования [1, 29, 43, 44, 66, 91].
Объектом настоящего исследования являются системы автоматизации профессионального обучения в сфере повышения правовой квалификации. Предмет исследования - технологии автоматизации обучения в таких системах. Целью исследования является разработка эффективной технологии автоматизации обучения в сфере повышения правовой квалификации.
Основными задачами настоящего исследования являются:
1. Анализ особенностей процесса обучения в сфере повышения правовой квалификации, определение основных недостатков существующих технологий автоматизации обучения, формирование требований к специализированной технологии обучения и определение ее основных этапов.
2. Разработка математической модели электронного учебного пособия и метода автоматизированной оценки качества работы обучающегося с текстовыми учебными материалами пособия.
3. Разработка математической модели представления знаний о предметной области и обоснование утверждений о ее наиболее существенных свойствах.
4. Разработка на основе предложенной модели представления знаний о предметной области метода автоматизированной генерации массива контрольных заданий для предварительного контроля знаний обучающегося.
5. Разработка технологии автоматизации изучения положений нормативных правовых актов, основанной на применении предложенных методов, практическое применение технологии и оценка ее педагогической и экономической эффективности. В процессе проведения исследования применены следующие методы исследования: общенаучные (анализ, синтез), общематематические (алгебраические методы, методы математической логики, теории отношений, методы математического моделирования), прикладные (методы , математической статистики, методы агрегирования).
Настоящая диссертационная работа включает введение, три главы, заключение, список литературы и приложения.
В первой главе рассмотрены особенности процесса изучения нормативных правовых актов и технологии автоматизации обучения, применяемые в этой области; определены основные недостатки существующих технологий и сформулированы требования к специализированной технологии автоматизации изучения положений нормативных правовых актов. Завершает первую главу настоящего исследования постановка задачи по разработке специализированной технологии автоматизации обучения.
Во второй главе выделены основные этапы процесса изучения нормативных правовых актов и подробно рассмотрена разработанная специализированная технология автоматизации обучения, основанная на двух основных методах:
1. Метод контроля качества работы обучающегося с текстовыми учебными материалами, основанный на конспектировании таких материалов и автоматической оценке полученного конспекта, также на автоматической оценке результатов поиска обучающимся ответов на контрольные вопросы в тексте конспекта.
2. Метод предварительного контроля знаний, полученных обучающимся в процессе изучения положений нормативных правовых актов, основанный на автоматической генерации закрытых тестовых заданий.
В третьей главе приведено описание программного комплекса, реализующего предложенную технологию автоматизации обучения, и выполнена оценка ее эффективности. Проведена сравнительная оценка возможностей технологии с традиционными подходами к автоматизации изучения положений нормативных правовых актов с точки зрения ее педагогической и экономической эффективности, а также возможностей соответствующих программных продуктов. На основании результатов комплексной оценки сделан вывод о том, что разработанная технология автоматизации изучения положений нормативных правовых актов является эффективной.
В заключении сформулированы общие выводы и основные результаты диссертационной работы, сведения об их апробации и внедрении, а также определены направления дальнейших исследований.
Научная новизна настоящего исследования состоит в следующем:
1. Определены специфические особенности процесса изучения нормативных правовых актов, включая психолого-педагогические и экономические факторы, влияющие на эффективность обучения, что позволило сформулировать требования к эффективной технологии автоматизации обучения.
2. Разработан и обоснован метод автоматизированного контроля качества работы обучающегося с текстовыми учебными материалами, существенно отличающийся от традиционных методов контроля работы обучающегося, что позволило автоматически контролировать самостоятельную работу обучающегося без участия преподавателя. 3. Предложены онтологическая и контекстная модели представления знаний о предметной области, ориентированные, в отличие от общепринятых моделей, на формализацию содержания нормативных правовых актов, что позволило разработать алгоритмы автоматической генерации массива контрольных заданий.
4. Разработан метод автоматической генерации массива закрытых тестовых заданий для предварительного контроля знаний обучающегося на основе предложенных моделей, что позволило в автоматизированном режиме контролировать умение обучающегося применять полученные им знания в конкретной ситуации.
Теоретическая значимость настоящего исследования состоит в разработке и теоретическом обосновании специализированных моделей представления учебных материалов и формализации знаний о предметной области, а также методов автоматизации работы обучающегося с этими учебными материалами и формализованными знаниями. Практическая значимость исследования заключается в том, что разработанная технология внедрена в учебный процесс факультета подготовки руководящих кадров (ФПРК) Академии ФСБ России, что подтверждено соответствующим Актом о внедрении.
О результатах, полученных в процессе выполнения работы, были сделаны доклады на XXXIII Международной конференции «Информационные технологии в науке, образовании, социологии и бизнесе»; VI Всероссийском симпозиуме по прикладной и промышленной математике; IV, V и VII Межведомственных конференциях; межведомственной научно практической конференции «Организация дополнительного профессионального образования в учебных заведениях ФСБ России, других правоохранительных органов и специальных служб»; совместном заседании кафедры информационных технологий управления и связи в пограничных органах и кафедры правовых основ пограничной деятельности и борьбы с трансграничной преступностью Пограничной академии ФСБ России; заседании кафедры №53 факультета подготовки руководящих кадров Академии ФСБ России; научно-технических семинарах кафедры №714 института криптографии, связи и информатики Академии ФСБ России.
По результатам исследований опубликовано 12 печатных работ, из которых статей - 7 (из них 5 статей опубликованы в изданиях из числа рекомендованных ВАК для опубликования результатов докторских диссертаций), тезисов докладов — 4 и одно учебно-методическое пособие. Полученные в процессе проведения настоящего исследования результаты опробованы в 2004-2008 годах на ФПРК Академии ФСБ России в рамках потоков профессиональной переподготовки и повышения квалификации преподавателей образовательных учреждений ФСБ России.
На защиту выносятся следующие результаты:
1. Метод автоматизированного контроля качества работы обучающегося с текстовыми учебными материалами на основе конспектирования учебных материалов и поиска в них ответов на контрольные вопросы.
2. Метод предварительного контроля знаний обучающегося на основе автоматизированной генерации массива контрольных заданий.
3. Технология автоматизации изучения положений нормативных правовых актов, реализованная виде специализированного программного комплекса.
Традиционные технологии автоматизации изучения положений нормативных правовых актов
Здесь и далее в рамках настоящего исследования под технологией автоматизации обучения будем понимать совокупность моделей и методов, применяемых в определенном порядке для достижения цели изучения положений нормативных правовых актов, вне зависимости от особенностей их технической реализации и специфики используемых учебных материалов.
Следует отметить, что в настоящей работе основное внимание уделяется методам и технологиям, обеспечивающим автоматизацию процесса изучения нормативных правовых актов, а методы и технологии итогового контроля знаний, исследуемые, например, в [1, 43, 44, 85, 91, 99, 101], подробно не рассматриваются.
Наиболее распространенной технологией изучения положений нормативных правовых актов является предоставление обучающимся электронных версий традиционных (печатных) учебных пособий. Электронная версия учебного пособия может быть как сетевой (в случае, когда для управления учебными материалами применяется централизованная серверная система управления контентом), так и полностью автономной (в случае, когда все необходимые учебные материалы копируются на компьютер обучающегося). Кроме того, электронная версия учебного пособия может быть идентичной печатному изданию (за счет представления в графических и текстово-графических форматах), форматированной (за счет воспроизведения текстовой составляющей издания и сопровождающих ее изображений в форме, отличающейся от печатного варианта) и модифицированной (в случае, когда электронная версия отличается от печатной не только оформлением, но и структурой - например, делением на страницы) [29]. Общая схема технологии приведена на рис. 1.2.1.1.
Применение технологии изучения положений нормативных правовых актов, основанной на предоставлении обучающемуся электронных версий печатных изданий, подразумевает самостоятельное изучение им полученных материалов. Такая технология не требует применения специфических математических моделей и методов управления обучением, а перечень необходимого программного обеспечения, как правило, ограничивается стандартными (часто - свободно распространяемыми) программными продуктами (web-браузер, Adobe Acrobat Reader, Microsoft Office и др.).
Выделение наиболее значимых положений нормативных правовых актов осуществляется за счет соответствующего форматирования текста пособия и включения в него иллюстраций; структура нормативных правовых актов отображается в форме оглавлений и предметных указателей (в том числе - с использованием гиперссылок). Средства предварительного контроля знаний и автоматизации обновления учебных материалов не предусматриваются; средства защиты учебных материалов ограничиваются авторизацией пользователя и техническими ограничениями применяемого программного обеспечения. Критерии удовлетворительного изучения предложенных учебных материалов отсутствуют, обучающийся самостоятельно принимает решение о завершении обучения и начале контроля знаний.
Основной причиной широкого распространения технологии изучения положений нормативных правовых актов, основанной на использовании электронных версий традиционных учебных пособий, является простота разработки и распространения учебных материалов, а также их идентичность оригиналам, что гарантирует их достоверность, научную значимость и возможность оперативного обновления. Тем не менее, такой подход обладает рядом существенных недостатков. Прежде всего, в большинстве случаев он приводит к снижению качества обучения, так как восприятие обучающимся большого количества информации с экрана компьютера значительно ухудшается по сравнению с восприятием печатного текста на бумажном носителе. Помимо этого, отсутствие механизмов автоматизированного управления процессом обучения часто приводит к поверхностному ознакомлению обучающегося с учебными материалами, что также снижает качество обучения. Открытым остается и вопрос соблюдения авторских прав (особенно в случае использования электронных версий печатных изданий, идентичных оригиналам) [29].
Таким образом, применение технологии обучения, основанной на электронных версиях печатных изданий, при изучении положений нормативных правовых актов является недостаточно эффективным.
Технология изучения положений нормативных правовых актов, основанная на использовании гипертекстовых учебников, обеспечивает значительное повышение качества обучения по сравнению с использованием электронных версий печатных учебных материалов. Гипертекстовые учебники представляют собой хорошо структурированные наборы (обычно иллюстрированные) страниц (слайдов, экранов и т.д.), связанных гиперссылками. Применение гипертекстовых учебников, как правило, подразумевает наличие в их основе нескольких сценариев работы обучающегося, позволяющих ему при наличии определенного исходного уровня знаний изучать наиболее важные для него положения нормативных правовых актов за счет последовательного перехода между страницами (слайдами, экранами) [29,30]. Общая схема технологии гипертекстовых учебников приведена на рис. 1.2.2.1.
Метод контроля качества работы обучающегося с учебными материалами
Анализ организации учебного процесса в высших учебных заведениях показывает, что уровень усвоения текстового учебного материала значительно повышается, если в процессе работы с источником (учебным пособием, лекцией) обучающийся конспектирует наиболее важные положения и тезисы [82]. Практика показывает, что конспектирование является неотъемлемым атрибутом эффективной работы студентов по усвоению учебного материала на лекционных и семинарских занятиях и самостоятельной работы с научными источниками.
В соответствии с этим правилом, предлагаемый метод контроля качества работы обучающегося основан на выделении им в тексте учебного пособия наиболее существенной, с его точки зрения, информации [48, 50]. Эффективное изучение нового материала происходит в том случае, когда учащийся выделяет действительно наиболее важные и полезные сведения, содержащиеся в пособии. Это действие следует доводить до состояния навыка, т.е. выполнение его должно, с одной стороны, занимать минимальное время, а с другой стороны, приводить к получению максимально полного и минимально избыточного конспекта. Умение выделять основную информацию в тексте полезно не только при изучении нового материала, но и в практической деятельности.
Исследованию данного вопроса посвящено множество работ, содержащих подробные методические рекомендации по разработке текстов учебных пособий, и сравнительно немного работ, описывающих способы контроля познавательной деятельности учащихся. Другими словами, рассматриваются преимущественно методические рекомендации по подготовке учебного материала и оценке знаний, полученных обучающимся в результате работы с этим материалом. При этом очень редко рассматривается возможность контролировать качество работы обучающегося с пособием и использовать результаты контроля для управления предъявляемой информацией, например, изменяя последовательность и детальность изложения материала, что является основным направлением индивидуализации обучения в системах автоматизации обучения [85].
В существующих системах автоматизации обучения учебный материал, как правило, оформляется в виде гипертекста с внедренными в него графическими и мультимедийными объектами, оснащенного иерархической системой поиска. В результате самостоятельного изучения подобного курса (такое изучение часто бывает поверхностным) обучающийся перед проверкой знаний не имеет никаких предварительных оценок своей подготовки. Поскольку эта проверка обычно является ответственным мероприятием, а разработка с этой целью, к примеру, хорошего теста — занятие сложное и дорогостоящее [1], требуется, как минимум, предупреждать обучающегося в случае недостаточной проработки им учебного материала или невыполнения некоторых необходимых действий.
В традиционной педагогике проблема такого предварительного контроля знаний решается за счет непосредственного взаимодействия обучающегося и преподавателя, при котором обучающийся составляет конспект учебного материала, а преподаватель оценивает его качество. На аналогичных соображениях основан предлагаемый метод автоматизированного контроля качества работы обучающегося с текстовыми учебными материалами. В соответствии с ним самостоятельная работа обучающегося с текстом подразумевает два этапа. На первом этапе происходит оценка понимания обучающимся содержащейся в тексте информации, для чего от него требуется выделить в нем наиболее важные фрагменты и занести их в конспект - специальным образом формируемую структуру. Если такие фрагменты выделены некачественно, проводится процедура уточнения конспекта - обучающемуся предлагается добавить в него недостающую важную информацию (в форме подсказок - какие важные сведения им не учтены) или, наоборот, удалить из конспекта избыточный материал. Процедура уточнения конспекта повторяется до тех пор, пока конспект, составленный обучающимся, не совпадет полностью с конспектом, предусмотренным преподавателем. На втором этапе проверяется качество усвоения информации обучающимся, для чего ему задаются заранее предусмотренные преподавателем контрольные вопросы по наиболее важным положениям изучаемого материала, ответами на которые являются фрагменты текста, которые обучающийся включает в конспект на первом этапе. Определяя эти фрагменты, обучающийся не только проходит своего рода тест, но и показывает, насколько хорошо (быстро) он ориентируется в выделенных им наиболее важных положениях учебного материала. В результате оценки качества ответов обучающегося на контрольные вопросы статистическими методами делается обоснованный вывод о возможности перехода к этапу контроля его знаний или необходимости повторного изучения предложенных ему учебных материалов.
В п.п. 2.2.2 - 2.2.4 рассмотрены математические модели, необходимые для строгого описания предложенного метода, выполненного в п. 2.2.5. Примеры текстовых учебных материалов, разработанных для применения предложенного метода, приведены в приложениях 2 и 3.
Будем считать, что обучающийся может работать с электронным пособием в двух режимах: чтение и изучение. В первом случае происходит самостоятельное ознакомление обучающегося с предоставленной ему информацией. Второй режим предусматривает выполнение обучающимся некоторых оцениваемых действий, и изменение, в зависимости от их результатов, последовательности этапов процесса обучения.
Рассмотрим математическую модель электронного учебного пособия. Основным предположением, лежащим в основе предлагаемой модели, является рассмотрение текста пособия как последовательности отдельных элементов, объединенных древовидной структурой, что соответствует, в частности, стандартам IMS, AICC и SCORM.
Определение 2.2.2.1. Элементом гипертекста будем называть произвольный объект, технологически включаемый в текст электронного учебного пособия: слово, изображение, мультимедийный элемент и т.д. Обозначим множество всех элементов гипертекста символом Н. Будем полагать, что текстовый материал учебного пособия разбит на отдельные страницы. Обучающийся может в каждый момент времени работать только с одной страницей, но может переходить между страницами по предусмотренным преподавателем гиперссылкам.
Средство автоматизированной генерации контрольных заданий
Средство автоматизированной генерации контрольных заданий предназначено для автоматической генерации большого количества типовых контрольных тестовых заданий на основе заранее подготовленного описания предметной области и реализовано в рамках настоящего исследования в виде отдельного консольного приложения hi г on 7. Общая схема генерации массива контрольных заданий с использованием приложения hiron7 приведена на рис. Исходные данные, принципы функционирования приложения и получаемые в результате его работы выходных данные подробно рассмотрены в п.п. 3.1.2.1 - 3.1.2.3, а соответствующие примеры - в п. 3.1.4.
Пример XML-файла norms.xml, содержащего описание изучаемых правовых норм, приведен на рис. 3.1.2.1.1. Формат файлов rules.xml и examples .xml аналогичен представленному, а более подробно возможное содержание используемых XML-файлов рассмотрено при описании примеров применения технологии в п. 3.1.4.
Предполагается, что первоначальная разработка исходных данных и конфигурационных файлов для нового нормативного правового акта должна проводиться специалистами в области инженерии знаний. В свою очередь, дальнейшее уточнение исходных данных (при изменении контролируемых положений нормативного правового акта) не требует от преподавателя специальной подготовки, так как осуществляется путем редактирования текста на естественном языке. Таким образом, применение приложения hiron7 наиболее полезно в случаях, когда преподавателям необходимо оперативно обновлять банк контрольных заданий в соответствии с изменениями положений нормативного правового акта.
Последовательность обработки информации приложением hiron7 соответствует алгоритму автоматической генерации контрольных заданий, подробно описанному в п. 2.3.6, и включает следующие основные шаги: 1. Выполняется морфологический, синтаксический и семантический анализ исходных данных и на их основе строится семантическая сеть, содержащая очевидные (базовые) сведения о предметной области, контролируемые сведения и описания конкретных ситуаций (примеры). Размерность сети при этом имеет линейную зависимость от размерности исходных данных. 2. Выполняется логический вывод, в результате которого семантическая сеть пополняется утверждениями, отсутствующими в исходных данных, но являющимися их логическими следствиями. Размерность такой расширенной сети имеет, как правило, экспоненциальную зависимость от размерности исходных данных. 3. В расширенной семантической сети выбираются утверждения, являющиеся логическими следствиями контролируемых сведений в контексте конкретных примеров. Для каждого утверждения генерируется фрагмент текста, соответствующий этому утверждению или его точному логическому отрицанию (выбор осуществляется случайным образом). Этот фрагмент текста и является контрольным заданием, подразумевающим два варианта ответа: тестируемому сотруднику необходимо определить, является ли предложенное ему утверждение правильным. Количество таких контрольных заданий в большинстве случаев растет экспоненциально относительно размерности входных данных.
Ввиду высокой ресурсоемкости процессов семантического анализа и выполнения логического вывода предполагается, что генерация контрольных заданий для предварительного контроля знаний осуществляется приложением hiron7 заблаговременно, до начала процесса такого контроля. Полученные результаты импортируются в систему WebTutor/Hiron или в иную систему автоматизированного контроля знаний, поддерживающую стандарты SCORM или IMS/QTI.
В результате работы программы hiron.7 формируется банк контрольных тестовых заданий, представляющих собой фрагменты текста, содержащие описание конкретной ситуации и утверждение, справедливость которого обучающемуся необходимо оценить в двоичной шкале (верно/ошибочно). Вследствие того, что в результате выполнения логического вывода размерность семантической сети растет экспоненциально, такой банк содержит очень большое количество похожих, но уникальных контрольных заданий. Примеры контрольных заданий, генерируемых в автоматическом режиме, рассмотрены в п. 3.1.4.
Контрольные задания могут экспортироваться в текстовом формате, форматах SCORM, IMS/QTI и др., а также размещаться непосредственно в базе данных Lotus Notes 6.5, что позволило интегрировать hiron7 с системой WebTutor/Hiron несколькими способами, рассмотренными ниже.
Показатели качества систем автоматизации обучения
Сформулируем основные требования к средствам автоматизации изучения положений нормативных правовых актов, основанные на анализе перечисленных выше особенностей процесса изучения правовой базы и общего научно-технического уровня, присущего современным системам автоматизации обучения. Необходимо отметить, что эти требования являются комплексными и базируются не только на перечисленных особенностях, но и на ряде других положений, в частности, требованиях Министерства образования, технических требованиях ГОСТ, общепринятых требованиях к качеству программных продуктов [38, 55, 84].
Требования к средствам автоматизации изучения нормативных правовых актов подразделяются на общие (требования, предъявляемые к системам автоматизации обучения вообще) и специализированные (определяемые особенностями автоматизации изучения нормативных правовых актов). Однако, такая классификация не учитывает технических особенностей проектирования и разработки программных продуктов, поэтому в дальнейшем будем разделять требования к средствам автоматизации изучения нормативных правовых актов на технологические (применимые ко всем сетевым информационным системам), специальные (специфические требования к средствам автоматизации изучения нормативных правовых актов) и требования по защите информации (в том числе - от несанкционированного доступа, распространения или искажения).
Технологические требования и требования по защите информации являются относительно менее важными по сравнению со специальными требованиями, так как система автоматизации обучения, не полностью удовлетворяющая технологическим требованиям и требованиям по защите информации при определенных условиях (например, за счет использования специальной аппаратно-программной платформы) может, тем не менее, применяться по назначению. Если же такая система не удовлетворяет специальным требованиям, то она не удовлетворяет своему целевому назначению и не может применяться даже в том случае, если технологические требования и требования по защите информации выполнены полностью.
Технологические требования к системам автоматизации изучения нормативных правовых актов
Технологические требования определяют общий научно-технический уровень системы автоматизации обучения, ее соответствие современным стандартам и спецификациям, соответствие архитектуры системы и положенных в ее основу технологических решений целевому предназначению системы [38].
Требования к производительности. Производительность программного комплекса системы автоматизации обучения, как и любой автоматизированной информационной системы, определяется рядом параметров, основными среди которых являются архитектура системы, ее масштабируемость и производительность выполнения основных и служебных функций.
Существенной особенностью изучения нормативных правовых актов является проблема своевременной доставки актуальных учебных материалов обучающемуся. Действующая правовая база подвержена существенным изменениям; в свою очередь, изменения отдельных правовых норм могут оказать значительное влияние на действие ряда других положений, что влечет необходимость оперативного обновления значительного количества учебных материалов. По этой причине процессы хранения и обновления учебных материалов в системе автоматизации изучения правовой базы должны осуществляться централизованно, а доступ к ним должен быть реализован на основе сетевой технологии обучения.
Система автоматизации обучения должна удовлетворять свойству масштабируемости: для увеличения числа ее пользователей должно быть достаточно только увеличения производительности оборудования без модификации программного обеспечения. Указанное свойство системы может быть достигнуто за счет использования специализированной высокопроизводительной программной платформы, включающей операционную систему, систему управления базами данных и сервер приложений.
В целях повышения производительности в системе должен быть предусмотрен приоритет выполнения основных функций (обучение) над служебными функциями (индексирование, «сборка мусора» в базе данных и т.д.). Кроме того, программный код системы (как основных, так и дополнительных функций) должен быть оптимизирован в целях повышения производительности их выполнения.
Требования к надежности. Надежность программного обеспечения системы автоматизации изучения нормативных правовых актов должна обеспечивать ее непрерывное функционирование с перерывами на профилактический осмотр и ремонт, не превышающими 1 рабочего дня в месяц. Должны быть предусмотрены средства резервного копирования информации и оперативного восстановления ее в случае сбоя. Система должна автоматически восстанавливать свою работоспособность после программных сбоев, не связанных с повреждением исполняемых модулей. Система должна обладать средствами контроля и восстановления целостности данных в случае аппаратных сбоев и сбоев системного программного обеспечения.
