Содержание к диссертации
Введение
Глава 1 Исследование технологических возможностей анализа качества продукции, предназначенной для информационно-аналитического обеспечения органов власти 13
1.1 Анализ нормативной правовой базы, выявление функций и свойств информационно-аналитических материалов 13
1.2 Основные процессы информационно-аналитического обеспечения потребителей с применением информационно-аналитических материалов 22
1.3 Исследование процессов подготовки и анализа качества информационно-аналитических материалов 28
1.4 Постановка задач диссертационного исследования 51
Глава 2 Разработка компонентов методики аналитического мониторинга качества информационно-аналитических материалов 56
2.1 Уточнение перечня объектов аналитического мониторинга и систематизация их структурно-функциональных отличий 56
2.2 Разработка системы характеристик качества информационно-аналитических материалов 62
2.3 Обоснование подхода к выявлению причин снижения качества информационно-аналитических материалов и исследование влияния факторов персонала на аналитический мониторинг их качества 96
Глава 3 Разработка методики аналитического мониторинга качества информационно-аналитических материалов 101
3.1 Содержательное и формальное описания задачи аналитического мониторинга качества информационно-аналитических материалов 101
3.2 Методика аналитического мониторинга качества информационно-аналитических материалов 104
- Основные процессы информационно-аналитического обеспечения потребителей с применением информационно-аналитических материалов
- Исследование процессов подготовки и анализа качества информационно-аналитических материалов
- Разработка системы характеристик качества информационно-аналитических материалов
- Методика аналитического мониторинга качества информационно-аналитических материалов
Введение к работе
Актуальность работы. В настоящее время принятие управленческих решений на всех уровнях государственной власти и местного самоуправления требует организации информационно-аналитического обеспечения (ИАО), включающего в себя формирование информационных ресурсов, предоставление информационной продукции и услуг, поддержку функционирования информационно-аналитических систем.
Для организации данного вида обеспечения созданы и функционируют субъекты ИАО - информационно-аналитические службы (подразделения), решающие задачи по организации ИАО органов власти, эксплуатирующие информационно-телекоммуникационные системы для их нужд.
Одним из главных видов информационной продукции, изготавливаемой субъектами ИАО, являются информационно-аналитические материалы (ИАМ) по социально-экономическим и общественно-политическим вопросам и проблемам.
Необходимость исследования процесса анализа качества ИАМ обусловлена:
расширением видов и форм целенаправленных информационно-психологических и дезинформационных операций и акций;
ростом требований потребителей к качеству информации и важностью проведения работ по его определению и контролю;
трудоемкостью работ по анализу качества ИАМ и необходимостью их единообразного выполнения;
отсутствием стандартизированных методов и инструментальных средств анализа качества ИАМ, удовлетворяющих современным требованиям.
- значительной ресурсоемкостью процессов анализа качества ИАМ.
Исследование подходов и методов определения качества деловых текстов,
отчетных документов, инструкций, научных работ (далее - информационных продуктов) показало, что в известных методиках основное внимание сконцентрировано на отдельных вопросах, касающихся деятельности по оцениванию качества, или на отдельных этапах редакторского анализа (форматирование, литературное, научное редактирование). При этом во многих методиках система характеристик качества продуктов в явном виде не выделяется. Характеристики целевого назначения готовых продуктов, как правило, не требуются, а потому они неизвестны. Процессы анализа качества информационных продуктов часто рассматриваются в общем виде, при этом не учитываются возможные риски субъективного влияния на излагаемую информацию, а значит, они являются преимущественно объектно- и (или) предметно-ориентированными. В связи с вышеизложенным, при анализе качества ИАМ в сфере деятельности органов власти существует несоответствие между необходимостью учета современных требований и возможностями известных методов по анализу качества информационных продуктов. Ослабить это противоречие предлагается за счет разработки методики аналитического мониторинга качества ИАМ (ММ).
Степень научной разработанности. Исследованиям вопросов организации и управления информационно-аналитического обеспечения органов власти посвящены труды Н. Н. Демидова, Н. И. Ильина, В. А. Никито-ва, А. В. Старовойтова и других авторов. Значимый вклад в разработку методологии построения систем характеристик качества продукции внесли основоположники отечественной квалиметрии Г. Г. Азгальдов, Э. П. Райхман, а также японский ученый К. Исикава.
Качество информационных продуктов и услуг во многом определяется уровнем аналитико-синтетической переработки информации. Этой проблеме посвящены работы таких авторов, как И. А. Афоничкин, Д. И. Блюменау, Г. Ф. Гордукалова, А. А. Гречихин, И. Г. Здоров, С. А. Панфилов, Н. А. Сляднева. Методы анализа и обработки различных видов информации описаны в трудах А. Г. Васильева, Р. С. Гиляревского, В. К. Грецовой, А. Э. Мильчина, А. И. Михайлова, А. И. Черного.
Терминология в области управления качеством частично имеется в серии стандартов ГОСТ ИСО 9000. Ряд терминов в области качества информации и различных информационных продуктов вводятся в государственных стандартах, трудах И. А. Афоничкина, А. Г. Васильева, В. К. Грецовой, С. А. Панфилова.
Несмотря на достаточно всестороннее исследование проблемы, отсутствуют работы, раскрывающие специфику информационно-аналитической деятельности, правил и механизмов оценки различных видов информационной продукции, подготавливаемых в интересах органов власти.
Объект исследования: процесс информационно-аналитического обеспечения органов власти с применением ИАМ.
Предмет исследования: процесс анализа качества ИАМ, подготовленных в интересах органов государственного и муниципального управления.
Цель исследования: совершенствование информационного процесса анализа качества ИАМ за счет разработки методики аналитического мониторинга.
Для достижения поставленной цели в работе поставлены и решены следующие частные научные задачи:
-
Анализ информационных процессов ИАО органов власти с применением ИАМ на предмет выявления факторов, влияющих на этот процесс, и возможности управления их влиянием.
-
Выявление современных требований к методике анализа качества ИАМ и проверка соответствия существующих методик анализа качества информационных продуктов этим требованиям.
-
Разработка методики аналитического мониторинга качества ИАМ, удовлетворяющей выдвинутым требованиям.
-
Экспериментальная проверка эффективности аналитического мониторинга качества ИАМ с применением разработанной методики.
5. Разработка научно-технических предложений по использованию методики аналитического мониторинга качества ИАМ.
Методы и средства исследования. При решении приведенных выше задач использовались методы моделирования, квалиметрии, математической статистики, теории эффективности, теории принятия решений; программные средства MathCad 15, SPSS 16, C++ Builder, Platinum BPWin 4.0, ERStudio 8.0.
Научная новизна работы состоит в следующем:
-
Разработана система характеристик качества ИАМ, подготавливаемых в интересах органов власти по заданиям на подготовку, отличающаяся наличием в структуре обобщенных характеристик, отражающих значимые свойства ИАМ (выявленные в результате комплексного анализа научных трудов и экспертных данных), а также единичных характеристик (преимущественно количественных), позволяющих более точно производить сравнительный анализ качества различных ИАМ.
-
Разработана методика аналитического мониторинга качества ИАМ, подготавливаемых в интересах органов власти по заданиям на подготовку (планам-проспектам), для основных вариантов ее использования (ручной и автоматизированный режимы):
расширяющая область анализа за счет использования процедур выявления причин снижения качества ИАМ и подготовки отчетной документации;
позволяющая определять общий уровень качества ИАМ, вести учет недостатков, снижающих качество, получить дополнительные характеристики, предназначенные для обнаружения и предотвращения отклонений от предусмотренного порядка выполнения аналитического мониторинга качества ИАМ.
3. Сформированы структура мониторинговой информации и логиче
ская модель базы данных, представляющие в явном и обозримом виде ис
ходные данные и итоги выполнения аналитического мониторинга качества
ИАМ; обеспечивающие комплексность представления разнородной инфор
мации, прослеживаемость аналитического мониторинга качества ИАМ (кон
троль результатов его выполнения).
Теоретическая значимость работы обусловлена:
-
развитием методов анализа качества информационной продукции, изготавливаемой в интересах органов власти, за счет предложенных формул расчета и правил определения значений отдельных характеристик качества ИАМ;
-
созданием условий для стандартизации информационных процессов в области ИАО органов власти, формирования и накопления оценочных профилей ИАМ для использования в ходе научных исследований.
Практическая значимость исследования обусловлена:
-
повышением производительности и результативности труда оценивающих лиц за счет упорядочения их деятельности и расширения области анализа качества ИАМ;
-
разработкой средств автоматизации аналитического мониторинга качества ИАМ, позволяющих сократить трудозатраты на выполнение процесса.
Результаты исследования реализованы, внедрены и используются в казенных учреждениях, органах местного самоуправления, образовательных учреждениях, что подтверждено соответствующими актами. Получено свидетельство о государственной регистрации программы для ЭВМ: «Анализатор качества информационно-аналитических материалов «Recenzent-IAM».
Область исследования. Содержание диссертации соответствует паспорту специальности 05.13.17 «Теоретические основы информатики» (технические науки) по следующим областям исследований: п. 1. «Исследование, в том числе с помощью средств вычислительной техники, информационных процессов, информационных потребностей коллективных и индивидуальных пользователей»; п. 2. «Исследование информационных структур, разработка и анализ моделей информационных процессов и структур».
Положения, выносимые на защиту:
-
Система характеристик качества информационно-аналитических материалов, подготавливаемых в интересах органов власти по заданиям на подготовку (планам-проспектам).
-
Методика аналитического мониторинга качества информационно-аналитических материалов, подготавливаемых в интересах органов власти по заданиям на подготовку (планам-проспектам), для основных вариантов использования (ручной и автоматизированный режимы работы).
-
Структура мониторинговой информации, обеспечивающая комплексное, формализованное представление данных в процессе аналитического мониторинга качества информационно-аналитических материалов.
Достоверность научных положений, выводов и результатов обеспечивается за счет сочетания формальных и неформальных методов исследования; непротиворечивости полученных результатов и известных теоретических положений и выводов; использования апробированных методов.
Личный вклад соискателя. В диссертации приведены результаты исследований, выполненных лично автором или при его непосредственном участии.
Апробация результатов диссертационного исследования. Основные положения диссертации и ее результаты обсуждались на конференциях: МНК «Информационные технологии в науке, образовании и производстве» (Орёл, 2004); IV ВНК «Проблемы совершенствования и развития специальной связи и информации, предоставляемых государственным органам» (Орёл, 2005); МНТК «Информационно-вычислительные технологии и их приложения» (Пенза, 2005); II ВНПК «Перспективы развития информационных технологий» (Новосибирск, 2010); ХМНПК «Перспективы развития информационных технологий» (Новосибирск, 2012).
Публикации. По результатам выполненных исследований опубликовано 10 работ, в том числе 3 статьи в журналах из перечня ВАК при Минобрнауки России, свидетельство о государственной регистрации программы для ЭВМ.
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка использованных источников из 118 наименований и 17 приложений. Работа изложена на 217 страницах машинописного текста, содержит 29 рисунков, 25 таблиц.
Основные процессы информационно-аналитического обеспечения потребителей с применением информационно-аналитических материалов
Как правило, реалии осуществления ИАО органов власти определяют структуру субъектов ИАО. Например, по данным исследования центра «Аналитик» (г. Екатеринбург), проведенного в 2010-2011 гг., численность информационно-аналитической службы органа исполнительной власти регионального уровня составляет 7-8 человек [73]. В то же время субъекты ИАО, осуществляющие свою деятельность в масштабах государства, имеют сложную распределенную структу-ру[48].
Технологической основой субъектов ИАО является информационные технологии, информационные ресурсы, технологические объекты, объединенные единой информационно-коммуникационной инфраструктурой [48, 102].
Управленческая деятельность в области ИАО органов власти состоит в организации и управлении рабочим коллективом, управлении процессом изготовления информационного продукта, планировании деятельности и распределении ресурсов.
ИАО органов власти с применением ИАМ является одним из наиболее востребованных способов его организации. Это подтверждается включением функции по подготовке ИАМ в перечень функций, видов деятельности субъектов ИАО, отраженных в соответствующих документах [83], а также результатом анализа содержания ряда научных трудов [48, 54].
В работе [48], посвященной СИО, отмечено, что ввиду большого количества потребителей данной системы и различных областей их информационных интересов ИАМ содержат разнородную информацию. В содержание ИАМ включается информация о событиях или явлениях общественно-политической, социально-экономической, духовной сфер жизни общества, отражающая изменения в системе социальных отношений. При этом информация в ИАМ представляется в различных формах: текст, таблицы, числа, иллюстрации, карты, графики [48].
Анализ содержания ИАМ, подготовленных в интересах органов власти, а также научно-исследовательских работ [88, 89], посвященных вопросам организации ИАО органов власти, показали: 1. Имеются две группы ИАМ, к первой из которых относятся ИАМ, имеющие в своем содержании аналитическую часть, выполненную непосредственно их составителями, ко второй - ИАМ, не имеющие в своем содержании такой части. ИАМ второй группы при этом часто содержат признаки аналитической обработки информации, выполненной авторами первоисточников, используемых составителями ИАМ при их создании.
2. Количество предметов обозрения в отдельно взятых ИАМ может существенно отличаться (от 1 до нескольких десятков). При этом объем ИАМ с приложениями может составлять до 50 страниц формата А4 печатного текста, а их оглавление может включать в себя несколько десятков пунктов.
3. Отдельные ИАМ имеют общие (между собой) видовые структурно-содержательные особенности, позволяющие, по нашему мнению, в дальнейшем произвести их классификацию.
4. Значительная часть ИАМ изготовляется «серийно». Подготовка данных ИАМ производится в соответствии с едиными заданиями на подготовку (планами-проспектами), в которых приведены требования к их содержанию [80, 88]. Требования к оформлению ИАМ определяются соответствующими инструкциями или общепринятыми рекомендациями [71].
Анализ нормативных правовых актов, регламентирующих деятельность информационно-аналитических подразделений органов власти различного уровня, предприятий и организаций, показал, что в перечень выполняемых ими функций, как правило, включается функция подготовки информационно-аналитических материалов на ту или иную тематику [81-84]. При этом в таких документах, а также в государственных стандартах Российской Федерации отсутствует определение понятия «информационно-аналитический материал», не приведена их классификация [27, 33, 35, 81-84]. Отсутствует определение данного термина и в документах, регламентирующих подготовку ИАМ, в которых этот термин используется. В отдельных из них применяются другие термины, например «аналитический материал» [98]. В стандартах для таких областей деятельности как обмен информацией, книгоиздание, делопроизводство и архивное дело, приводятся определения терминов, характеризующих, по нашему мнению, те или иные стороны данного понятия («документ», «обзорное издание» и т. д.) [27, 33, 35]. В ряде источников приводятся определения таких терминов как «информационная продукция», «информационный продукт», «информационная услуга» [40, 50, 103]. По нашему мнению, ИАМ являются видом информационной продукции, процесс их подготовки - технологическим процессом обработки информации, а доставка потребителям - информационной услугой, оказываемой им. Принимая во внимание широкое распространение термина «информационно-аналитический материал» в научной, научно-популярной литературе и публицистике, а также его массовое использование в нормативных правовых актах органов власти, считаем необходимым предложить вариант его трактовки с учетом имеющихся в рассмотренных источниках определений.
Информационно-аналитический материал - вид информационной продукции, предназначенной для удовлетворения информационных потребностей лиц, принимающих управленческие решения, представляющей собой документ, содержащий тематически и логически упорядоченные наборы данных о состоянии, развитии, возможных способах решения определенной проблемы, полученные методами аналитико-синтетической переработки содержания совокупности первоисточников.
Данное определение учитывает взаимосвязь понятия «информационно-аналитический материал» и понятий «информационная продукция», «информационная услуга», приведенных в [40, 103], учитывает целевое предназначение ИАМ, как вида информационной продукции. Кроме того, определение формы представления ИАМ как документа подчеркивает обязательное наличие у него ряда специальных реквизитов (название, дата подготовки, наименование подразделения-разработчика и т. п.). Приведенная выше дефиниция относится к часто используемым видам явных определений - определение через род и видовое отличие [44, 45, 96]. Отсюда следует, что ИАМ является видом информационной продукции (признак рода), имеющей следующие видовые отличия: - категория потребителей - лица, принимающие управленческие решения; - методы создания - методы аналитико-синтетической переработки содержания совокупности первоисточников; - содержание - тематически и логические упорядоченные наборы данных о состоянии, развитии, возможных способах решения определенной проблемы; - форма представления информации - документ. Приведенный перечень видовых отличий ИАМ позволяет обоснованно: - отделить их от других видов информационной продукции, изготовляемых в интересах органов власти, таких как тематические подборки, сводки (досье), при подготовке которых содержание первоисточников не перерабатывается; - перейти к этапу анализа функций ИАМ. Являясь по форме представления информации документом, ИАМ обладает общими для всех документов и специальными функциями. Подход к классификации функций документов предложен в работе Н.С. Ларькова [63]. На основе данного подхода определены функции ИАМ, изготовляемых субъектами ИАО, учитывающие их целевое предназначение.
Исследование процессов подготовки и анализа качества информационно-аналитических материалов
Задачей данного этапа исследования является определение перечня объектов аналитического мониторинга качества ИАМ. При этом необходимо учитывать ограничения на использование методики L{, L2 (таблица 1.2). К объектам мониторинга могут быть отнесены все или отдельные виды ИАМ, изготавливаемые в интересах органов власти по заданиям на подготовку (планам-проспектам). Для определения перечня объектов аналитического мониторинга качества ИАМ необходимо: 1) определить виды ИАМ, подготавливаемые в интересах органов власти по заданиям на подготовку; 2) определить структурно-содержательные особенности видов; 3) разработать способ классификации ИАМ, подготовленных в интересах органов власти по заданиям на подготовку; 4) разработать систему кодирования видов ИАМ; 5) разработать алгоритмическую процедуру, предназначенную для классификации ИАМ, подготовленных по новым заданиям; 6) определить возможность использования отдельных видов ИАМ в качестве объектов аналитического мониторинга качества.
Для однозначного понимания термина вид ИАМ необходимо сформулировать его определение с учетом суждений специалистов в областях источниковедения и организации информационно-аналитической работы. В работе Сидоренко О.В. [94] понятие вид источника связывается с единством происхождения и внутренней формы конкретных групп источников. Подобный подход к определению вида источника использован и в работе Демидова В.В. [39]. В исследовании под видом ИАМ понимается исторически сложившаяся в организационной структуре совокупность документов, которая характеризуется одинаковой внутренней формой, что обусловлено единством происхождения документов, их содержания и назначения при создании.
Следует отметить, что предложения по классификации документов, имеющих некоторые признаки, характерные для ИАМ (обзоры, информационно-аналитические документы, используемые в области маркетинга), имели место и ранее в работах Виноградова М., Журавель Е.Ш., Корсунской Г.В., Михайлова А.И., Чёрного А.И., Гиляревского Р.С. [16, 41, 72].
В диссертационной работе предлагается подход к классификации ИАМ, основанный на разделении данных информационных продуктов с учетом отдельных структурно-содержательных особенностей. Такой подход позволит определять вид ИАМ на основе анализа их непосредственного содержания.
В параграфе 1.1 нашего исследования отмечено, что отдельные ИАМ, подготавливаемые субъектами ИАО по заданиям на подготовку, содержат аналитическую часть, созданную их непосредственным составителем. В связи с этим возможно разделить данные ИАМ по основанию «наличие в содержании ИАМ явно выраженной аналитической части, созданной непосредственно составителями» на ИАМ, содержащие подобную часть, и ИАМ, ее не содержащие.
К ИАМ, не содержащим аналитической части, созданной составителями, следует отнести ИАМ, представляющие собой перечень или описание предстоящих событий международного, государственного и регионального уровней, памятных дат исторических событий, дней памяти и рождения исторических и современных известных личностей.
Примером ИАМ, имеющим в своем содержании аналитическую часть, созданную составителями, является ИАМ «Информационно-аналитический материал по реализации областной целевой программы «Информатизация Владимирской области на 2007—2009 годы» и развитию информационных технологий в государственном управлении» [51]. Следующим основанием для деления ИАМ, подготавливаемых в интересах органов власти по заданиям на подготовку, выступает количество предметов обозрения.
По данному основанию ИАМ делятся на имеющие один предмет обозрения и несколько предметов обозрения [22]. Таким образом, формируется иерархия видовых групп ИАМ: 1. ИАМ, имеющие в своем содержании аналитическую часть, созданную составителями (1.1. ИАМ, имеющие один предмет обозрения; 1.2. ИАМ, имеющие несколько предметов обозрения); 2. ИАМ, не имеющие в своем содержании аналитической части, созданной составителями (2.1. ИАМ, имеющие один предмет обозрения; 2.2. ИАМ, имеющие несколько предметов обозрения).
При продолжении процесса классификации в качестве третьего основания для деления, имеющего прикладной характер, выступают формы изложения и содержание информации.
По данному основанию нами выделено 5 видов ИАМ: информационный монообзор, реферативный обзор, аналитическая справка, бизнес-справка, аналитический обзор. Выделенные виды ИАМ возможно распределить по группам, полученным в ходе деления ИАМ по первому и второму предлагаемым основаниям. Кроме этого предлагается разделить все ИАМ вида «аналитический обзор» на аналитические обзоры малой, средней и высокой сложности, в зависимости от объема аналитической части, выполненной автором. Для всех видов ИАМ в работе сформулированы определения, приведенные в Приложении Е. Необходимо отметить, что сформулированные нами определения видов ИАМ подчеркивают их структурно-содержательные особенности. Таким образом, классификация ИАМ, подготавливаемых в интересах органов власти по заданиям на подготовку, примет вид, представленный на рисунке 2.1.
Разработка системы характеристик качества информационно-аналитических материалов
При расчете q по формуле (2.19) возможные значения данной КХК будут находиться в диапазоне [0;1]. Для выполнения требования Щ q (таблица 2.1), заключающегося в понятности значений характеристик качества оценивающему лицу, по отношению к КХК сформулированы правила интерпретации числового значения q (определены воз можные варианты интерпретации q для КХК q ). Правила интерпретации осуществляют проверку двух условий: 1) значений ОХК, отражающих критические свойства ИАМ на предмет отнесения их к допустимым значениям; 2) числового значения q на предмет отнесения его к одному из трех диапазонов, входящих в диапазон возможных значений данной КХК. Формулировки правил интерпретации значения КХК приведены в Приложении М.
Значение q =0,5 (Приложение М) определено в качестве «граничного» между допустимыми и недопустимыми значениями q, так как оно соответствует ситуации, когда значения всех ОХК до нормирования являются наименьшими допустимыми (соответствует значениям «удовлетворительно» (3 балла)).
Значение #=0,85 (Приложение М) определено в качестве «граничного» между высоким и средним уровнями качества ИАМ, так как оно соответствует ситуации, когда значения двух ОХК (причем не двух самых важных), отражающих критические свойства ИАМ, являются максимально возможными (соответствует значениям «отлично»), а значения остальных ОХК определены как «хорошо» и «удовлетворительно» (для одной из наименее важных характеристик). Однако необходимо отметить, что данное значение может быть получено и при других значениях ОХК.
Возможность получения интерпретируемого значения КХК, а также предложения по интерпретации ОХК, приведенные в таблице 2.3, позволяет сделать вывод о выполнении требования Щ q. В свою очередь, численное значение КХК q может быть использовано при оценивании информационно-аналитической деятельности в качестве одного из операндов, что соответствует требованию Rg q .
По нашему мнению, ИАМ высокого качества (имеющий более высокие значения характеристик качества (с учетом их важности)) будет более полезным потребителям, чем ИАМ, качество которого отражают более низкие значения характеристик, так как правильно оформленный и вовремя доставленный документ, содержащий достоверную, кумулятивную, грамотно изложенную и легко читаемую информацию, скорее удовлетворит информационные интересы потребителя (будет ему полезен), чем документ, в полной мере не обладающий каким-либо из перечисленных свойств. Другими словами, КХК является своего рода «прогнозом» полезности ИАМ для потребителя, а предлагаемый поход соотнесения количественных характеристик, объективно отражающих качество ИАМ, и свойства «полезность», отражающего субъективное восприятие ИАМ непосредственным потребителем - попыткой такого прогнозирования.
Необходимо отметить, что точность подобного прогнозирования будет существенно зависеть от результатов выполнения этапа формализации информационных интересов (формирования задания на подготовку - для мониторинговой формы ИАР).
Так как значения ОХК, отражающих значимые свойства ИАМ, а также КХК, могут быть представлены и в числовом виде, и в словесной форме, а сами характеристики имеют полное описание, то представляется возможность их использования в процессе идентификации факторов, воздействующих на процесс ИАО органов власти с применением ИАМ (в соответствии с требованием Ri0q) при условии применения соответствующих методов. В качестве примера метода идентификации факторов можно привести метод построения причинно-следственных диаграмм [53, 117]. Достаточными условиями для использования данного метода по прямому назначению являются: - наличие явно выраженных характеристик качества (для разработанной СХК выполняется); - наличие специалистов в исследуемой области (аналитики субъектов ИАО). Таким образом, СХК, разработанная в ходе диссертационного исследования, соответствует всем 10 относящимся к ней требованиям, что позволяет сделать вывод о возможности ее использования при разработке ММ. Следует отметить, что разработанная СХК обладает новизной: - в существующих методиках анализа качества информационных продуктов система характеристик качества или не выражена в явном виде, или по результатам проведенного нами исследования не может быть использована по отношению к ИАМ; - правила определения значений характеристик качества ИАМ разработаны на основе известных научных методов, но примененных к новому объекту аналитического мониторинга.
Теоретическая значимость разработанной СХК обусловливается развитием подходов к качественно-количественному оцениванию информационной продукции, подготавливаемой в интересах органов власти.
Практическая ценность подтверждается использованием СХК: - в методике аналитического мониторинга качества ИАМ, разработанной в ходе выполнения диссертационного исследования; - в учебном процессе учреждения высшего профессионального образования (при преподавании курсы дисциплины «Информатика»), что подтверждено актом, приведенным в Приложении А; - при разработке методики оценки информационно-правовой деятельности органов государственной власти и проекта методических рекомендаций по анализу качества служебных документов информационно-справочного и информационно-аналитического содержания (подтверждено соответствующими актами, приведенными в Приложении А).
Кроме того, в процессе исследования произведена апробация СХК на предмет возможности ее использования для решения задач анализа качества информационных продуктов, создаваемых в образовательной сфере. Так, СХК была использована при создании проекта методики оценивания научных работ учащихся старших классов МБОУ Лицей № 40 г. Орла, что также подтверждено соответствующим актом, приведенным в Приложении А.
Методика аналитического мониторинга качества информационно-аналитических материалов
Для определения согласованности мнений экспертов вычислено значение коэффициента конкордации Wl с помощью пакета SPSS 16.0. Значение коэффициента конкордации Wx = 0,929 при уровне значимости а 0,001 позволяет сделать вывод о согласованности мнений экспертов.
Данные, приведенные в таблице С.1 Приложения С, позволили сделать вывод об увеличении полноты учета значимых свойств ИАМ при применении аналитического мониторинга качества ИАМ.
Для определения степени соответствия результатов анализа качества ИАМ мнению оценивающих лиц о качестве ИАМ (характеристики Е2) каждому эксперту было предложено оценить степень соответствия результатов анализа качества ИАМ (при использовании базовой методики и методика аналитического мониторинга качества ИАМ (в двух вариантах)) собственному представлению о качестве ИАМ с использованием пятибалльной шкалы.
В таблице 4.2 отражены основные характеристики шкалы, применяемой при опросе экспертов. Ответы экспертов обобщены в таблице С.2 Приложения С.
Для определения согласованности мнений экспертов вычислено значение коэффициента конкордации W2 с помощью пакета SPSS 16.0. Значение W2 = 0,857 при уровне значимости а 0,001 позволяют сделать вывод о согласованности мнений экспертов.
Средние значения балльных оценок в свою очередь позволяют сделать вывод о большей пригодности результатов аналитического мониторинга качества ИАМ, производимого в соответствии с ММ, для использования в технологической сфере по сравнению с результатами анализа качества ИАМ, производимого с применением базовых методик.
Определение пригодности использования результатов анализа качества ИАМ для использования в сфере организационного управления (значение характеристики эффективности Е4) осуществлялось путем применения метода аналогичного методам определения характеристик Ех - Еъ (шкала - пятибалльная).
Для определения согласованности мнений экспертов вычислено значение коэффициента конкордации WA с помощью пакета SPSS 16.0. Значение коэффициента конкордации W4 =0,83 при уровне значимости а 0,001 позволяет сделать вывод о согласованности мнений экспертов. 129 Средние значения балльных оценок позволяют сделать вывод: 1) о большей пригодности результатов аналитического мониторинга качества ИАМ, производимого в соответствии с ММ, для использования в сфере организационного управления по сравнению с результатами анализа качества ИАМ, производимого с применением базовых методик. 2) о возможности дальнейшего совершенствования методического обеспечения аналитического мониторинга качества ИАМ.
Для определения степени упорядоченности анализа качества ИАМ (значения характеристики Е5 ) каждому эксперту была предложена семибалльная шкала, элементам которой соответствует приведенное в таблице 4.5 вербальное описание. Ответы экспертов обобщены в таблице С.5 Приложения С. № п/п Значение оценки Описание 1 1 балл Методика не позволяет определить последовательность выполнения этапов и шагов анализа качества ИАМ 2 2 балла Методика позволяет определить последовательность выполнения отдельных основных этапов анализа качества ИАМ 3 3 балла Методика позволяет определить последовательность выполнения основных этапов анализа качества ИАМ, однако не позволяет определить последовательность выполнения шагов (операций) в их пределах 4 4 балла Методика позволяет определить последовательность выполнения основных этапов анализа качества ИАМ и последовательность выполнения шагов (операций) в пределах отдельных этапов 5 5 баллов Методика позволяет определить последовательность выполнения основных этапов анализа качества ИАМ и последовательность выполнения шагов (операций) в пределах всех этапов 6 6 баллов Методика позволяет определить последовательность выполнения основных этапов анализа качества ИАМ и последовательность выполнения шагов (операций) в пределах всех этапов, осуществлять частичный контроль за последовательностью выполнения шагов 7 7 баллов Методика позволяет определить последовательность выполнения основных этапов анализа качества ИАМ и последовательность выполнения шагов (операций) в пределах всех этапов, осуществлять полный контроль за последовательностью выполнения шагов
Для определения согласованности мнений экспертов вычислено значение коэффициента конкордации W5 с помощью пакета SPSS 16.0. Значение коэффициента конкордации W5 = 0,956 при уровне значимости а 0,001 позволяет сделать вывод о согласованности мнений экспертов.
Средние значения балльных оценок позволяют сделать вывод о большей упорядоченности аналитического мониторинга качества ИАМ (особенно при автоматизированном режиме работы), а также лучшими возможностями последнего по контролю за ходом выполнения аналитического мониторинга (совместно с ПС «Recenzent-I AM»).
Для определения среднего времени обработки одного листа ИАМ каждому эксперту, участвующему в испытании по определению среднего времени обработки одного листа ИАМ (характеристики Е6), предоставлялись по 2 ИАМ (общее количество ИАМ - 28). При этом в 14 из них были внесены искажения, соответствующие признакам влияния причинных факторов (не менее 10 искажений в каждый ИАМ). Результаты обработки форм регистрации аналитического мониторинга качества ИАМ приведены в таблице С.6 Приложения С.
