Методы оценки журналов в области естественных и технических наук для комплектования многоотраслевого информационного центра Федорец, Олег Владимирович

Введение к работе

Актуальность темы

Перевод печатных изданий в электронную форму не уменьшил роль научных периодических изданий (журналов) как важнейшего информационного ресурса науки и производства. В связи с увеличением объёма доступной исследователям информации, значимость редакционных коллегий и рецензентов возросла. Сегодня они являются фильтром, отделяющим научные публикации в журналах от обилия рекламной, популярной и не всегда достоверной информации в Интернет.

Регулярное оценивание и отбор журналов - важные функции комплектования информационного центра (ИЦ), так как журналы являются ценными источниками информационного обеспечения пользователей.

Хотя некоторые показатели оценивания научного журнала являются общепризнанными (соответствие тематическому профилю ИЦ, экспертные оценки, читательский спрос, показатели цитирования, обработка реферативными службами), каждый ИЦ разрабатывает собственную методику оценивания и отбора журналов, ориентируясь на свои информационные продукты и круг пользователей. При этом возникают следующие проблемы:

1. процедуры сбора и объединения данных о тысячах журналов из разнородных источников весьма трудоёмкие, поэтому необходимо ограничиться набором наиболее важных элементов данных и обеспечить их полноту и точность;

2. эмпирический и часто субъективный подход к определению множества критериев и их приоритета порождает вполне оправданную неуверенность в применяемой методике оценивания и полученных результатах;

3. отсутствие адекватных инструментов верификации методик не позволяет определить их эффективность и пути дальнейшего совершенствования.

Таким образом, актуальность темы определяется необходимостью разработки методов многокритериального оценивания и отбора научных журналов на основе данных, накопленных в базах данных многоотраслевого ИЦ.

Объектом исследования является комплектование, определённое в

ГОСТ 7.76-96 как "совокупность процессов выявления, отбора, заказа, приобретения, получения и регистрации документов, соответствующих задачам библиотеки, информационного центра".

Предмет исследования - процессы оценивания и отбора важнейших научных журналов в автоматизированной системе комплектования многоотраслевого ИЦ в области естественных и технических наук.

Цель работы — разработка методов многокритериального оценивания научных журналов и программных средств поддержки процесса оценивания.

Задачи работы:

4. разработка подхода к классификации критериев и определение принципов оценивания журналов;

5. разработка математической модели отбора критериев оценивания и определения их приоритета на массивах данных, характеризующихся большой размерностью, неполной информацией по критериям (наличием пустых значений) и различными типами критериев (булевыми и количественными);

6. разработка методики вычисления рейтингов журналов на основе критериев, представленных в виде иерархий и обладающих различным приоритетом;

7. разработка алгоритма агрегирования качественных экспертных оценок и построения экспертного рейтинга научных журналов;

8. применение разработанных методов в процессах комплектования крупного многоотраслевого ИЦ и выработка рекомендаций по их дальнейшему использованию.

Методологическая основа

В области оценивания научной литературы методологической основой работы послужили публикации отечественных и зарубежных специалистов крупных информационных центров и библиотек (ВИНИТИ РАН, БЕН РАН, Thomson Reuters и др.). Источниками сведений о методологии исследования документальных информационных потоков послужили монографии В. И. Горьковой, Дж. Солтона, А. И. Яблонского, А. И. Михайлова, А. И. Черного, Р. С. Гиляревского. В области теории принятия решений автор опирался на учебные

пособия Б. Г. Литвака, А. И. Орлова, А. В. Андрейчикова и О. Н. Андрейчиковой, а также монографии Т. Саати, Р. Л. Кини и X. Райфа.

Методы исследования

В работе используются методы теории множеств, теории вероятностей, математической статистики, теории принятия решений.

Достоверность полученных результатов определяется следующими факторами:

9. обобщением опыта крупных информационных центров и библиотек;

10. использованием больших статистических выборок и широко известных статистических методов;

11. использованием методов теории принятия решений, применяемых в других сферах деятельности.

Научная новизна

1. Разработана классификация критериев по функционально-аспектному принципу, впервые учитывающая необходимость разделения критериев выявления и оценивания, а также критериев качества и критериев спроса.

2. Разработан статистический метод отбора и взвешивания критериев, впервые учитывающий неполноту данных по критериям и совместное использование различные типов критериев (булевых и количественных), т.е. обладающий значительной универсальностью.

3. Впервые сформулировано понятие неполной политематической экспертизы и разработан алгоритм агрегирования неполного и политематического множества экспертных оценок.

4. Применён один из методов теории принятия решений (метод анализа иерархий, разработанный Т. Саати), ранее не использовавшийся для оценивания научных журналов и позволяющий вычислять рейтинги журналов на основе иерархического представления критериев.

Теоретическая и практическая значимость результатов исследования

1. Разработанные принципы оценивания научных журналов и методика классификации критериев формируют системный подход к проблеме

многокритериального оценивания журналов.

2. Разработанный метод отбора и взвешивания критериев может использоваться для разработки систем рейтингового оценивания в любой предметной области, где имеются репрезентативные статистические выборки, но регулярное получение экспертных оценок объектов затруднительно или требуется сократить число объектов, направляемых на экспертизу.

3. Разработанный алгоритм агрегирования экспертных оценок научных журналов предназначен для применения в условиях неполной политематической экспертизы, что позволяет использовать его для других политематических информационных ресурсов.

Реализация и внедрение результатов

Полученные результаты внедрены и используются для решения различных задач комплектования: отбор наиболее значимых формальных критериев и определение их приоритета, мониторинг отражения журналов в реферативных БД, ввод и агрегирование экспертных оценок, вычисление интегральных числовых показателей (рейтингов), подготовка различных перечней журналов.

Разработано и внедрено программное обеспечение (ПО), интегрированное в Автоматизированную систему комплектования и регистрации (АСКР) ВИНИТИ РАН. ПО разработано в двухзвенной архитектуре клиент-сервер: сервер БД под управлением Microsoft SQL Server, серверная логика реализована на языке Transact-SQL, клиентская логика - на языке программирования Delphi.

Использование результатов работы в ВИНИТИ РАН подтверждается актом о внедрении.

Апробация работы

Материалы диссертации докладывались на трёх конференциях:

11-я Международная конференции "Крым-2004: Библиотеки и информационные ресурсы в современном мире науки, культуры, образования и бизнеса" (Украина, г. Судак, 5-13 июня 2004)

7-я Международная конференция «НТИ-2007. Информационное общество, интеллектуальная обработка информации, информационные технологии» (Россия, г. Москва, 24-26 октября 2007).

12-я Международная конференция «LIBCOM-2008. Информационные технологии, компьютерные системы и издательская продукция для библиотею) (Россия, Московская область, Одинцовский район, п. Ершово, 17-21 ноября 2008)

Публикации

Основные результаты изложены в 9 публикациях: 3 доклада на конференциях, 2 депонированные рукописи, 4 статьи в журналах из перечня ВАК.

Положения, выносимые на защиту

1. Принципы рейтингового оценивания журналов в области естественных и технических наук, формирующие системный подход к построению рейтингов журналов для комплектования ИЦ.

2. Статистический метод отбора и взвешивания критериев в условиях неполноты данных по критериям и различных типов критериев, основанный на сравнении с эталонным показателем.

3. Методика построения рейтингов научных журналов на основе иерархий критериев;

4. Методика агрегирования результатов экспертной классификации научных журналов по упорядоченным классам и алгоритм построения экспертного рейтинга журналов.

Структура и объём диссертации

Диссертация включает в себя введение, перечень сокращений, четыре главы, заключение, список литературы и восемь приложений.

Работа изложена на 169 печатных страницах без учёта рисунков и таблиц, дополнительно 14 страниц занимает список литературы и 20 страниц приложения. Текст иллюстрирован 19 рисунками и 35 таблицами. Общий объём диссертации - 232 страницы. Список литературы состоит из 110 наименований. СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Структура и содержание введения диссертации соответствует первому разделу автореферата, а также включает в себя краткую характеристику глав диссертации и список публикаций автора.

В первой главе (Обзор проблемы) представлено современное состояние

теории и практики оценивания и отбора научных журналов в крупных информационно-библиотечных организациях. Излагаются различные подходы к классификации критериев оценивания журналов, роль и ограничения импакт-фактора (ИФ) журнала. Представлены различные трактовки термина "рейтинг" в научной литературе и выбрано определение рейтинга как комплексной оценки объекта, описаны некоторые методы обработки количественных критериев и агрегирования качественных экспертных оценок.

Применительно к задаче вычисления рейтинга рассматривается метод анализа иерархий Томаса Саати, позволяющий строить иерархию критериев в виде графа, согласно которому осуществляется иерархический синтез приоритетов -последовательное выполнение линейных свёрток (взвешенных сумм) критериев для вычисления рейтинга. Кратко характеризуются условия применения аддитивной функции ценности: независимость критериев по предпочтению и условие соответственных замещений.

В обзоре представлены отечественные и зарубежные публикации, а также описание практики оценивания журналов в следующих организациях: Institute of Scientific Information, Thomson Reuters (США); National Institute of Informatics (Япония); Institute of Scientific and Technical Information of China (Китай); Библиотека по естественным наукам (БЕН) РАН; Всероссийский институт научной и технической информации (ВИНИТИ) РАН; Высшая аттестационная комиссия (ВАК) Минобрнауки. Показано широко применение комплексных подходов к оцениванию журналов с учётом критериев, которые можно разделить на следующие группы: формальные критерии, цитирование, продуктивность, экспертные оценки, читательский спрос.

В результате обзора сделаны следующие выводы об оценивании журналов:

1)для снижения влияния случайных факторов и повышения стабильности ранжирования журналов необходимо использовать множество критериев;

2. методы теории принятия решений и опыт составления рейтингов в других сферах деятельности практически не используются;

3. статистические методы применяются в основном для анализа критериев цитирования, продуктивности и читательского спроса, но не для формальных

критериев;

4. импакт-фактор (ИФ) правомерно использовать для вычисления эталонного критерия, так как ИФ является наиболее объективным и общепризнанным показателем;

5. множество критериев необходимо классифицировать и разбить на подмножества, исходя из задач комплектования ИЦ, при этом значимость и вес критериев должны определяться в пределах подмножеств;

6. описания многокритериальных методов оценивания журналов встречаются в публикациях, однако выбор критериев и назначение им весовых коэффициентов носит субъективный характер;

7. отсутствуют методики агрегирования экспертных оценок журналов: обычно качественные оценки просто суммируются.

Во второй главе (Разработка принципов оценивания) разработан функционально-аспектный подход к классификации критериев, предложен новый критерий цитирования (тематически взвешенный импакт-фактор), рассмотрена роль статистики отражения в реферативных БД, введено понятие "рейтинга качества" и "рейтинга спроса", определены ограничения автоматизированного оценивания и сформулированы принципы оценивания периодических изданий.

Функционально-аспектная классификация критериев представлена на рис. 1, где на 1-м уровне расположены функции комплектования, на 2-м - аспекты оценивания журналов, на 3-м - группы критериев в зависимости от порождающих их субъектов (издателей, читателей, авторов статей, экспертов, поставщиков, реферативных служб, служб доставки копий и т.п.). Исходя из разработанной иерархии критериев, предложен подход, при котором по отдельности определяются рейтинг качества (РК) и рейтинг спроса (PC) журнала. Затем на основании РК и PC вычисляется общий рейтинг (ОР) журнала.

Рис. 1. Функционалъно-аспектная иерархия критериев

Информация о предложении (т.е. о ценах у различных поставщиков) может использоваться в модели оптимизации выбора журналов в качестве одного из ограничений. Задача оптимизации - «максимизировать суммарный рейтинг журналов при заданных ограничениях на финансовый бюджет и пропускную способность информационного центра». Эта задача сводится к решению задачи о наполнении многомерного ранца, т.е. одной из задач дискретной оптимизации.

Импакт-фактор (ИФ) как важный и общепризнанный измеритель используется в работе для вычисления эталонного критерия, в сравнении с которым определяется важность других критериев.

Главное ограничение ИФ: допустимо сравнивать по нему журналы только в пределах чётко ограниченных научных областей. Для преодоления этого ограничения разработан индикатор цитирования, названный «тематически взвешенным импакт-фактором» (ТВИФ).

Рассмотрим методику вычисления ТВИФ.

Соотнесём ИФ журнала (/,) со средним ИФ научной дисциплины (AIF,) и назовём новую величину Ц «относительным импакт-фактором» журнала j в научной дисциплине і, или «относительным тематическим импакт-фактором»:

В общем случае журналу издаёт статьи по s научным дисциплинам, поэтому вычислим «тематически взвешенный импакт-фактор» (ТВИФ) Ij следующим образом:

^5>А- ⁽²⁾

где s - кол-во тематик журнала./, w_tJ - относительная частота статей г'-й тематики bj-m журнале, величина/у вычисляется по формуле (1).

В нашем частном случае неизвестны относительные частоты статей журнала по научным дисциплинам, поэтому примем их равными lis. Соответственно ТВИФ становится приближённым:

?A±h- ⁽³⁾

где s - кол-во тематик журнала./, величина lj вычисляется по формуле (1).

Несмотря на сильную корреляцию журнальных списков, ранжированных по убыванию ИФ и ТВИФ (коэффициент ранговой корреляции Спирмена = 0,819), ранжирование по ТВИФ демонстрирует значительно более широкий тематический охват в верхних фрагментах списка, что демонстрируется в диссертации графически по данным указателя цитирования Journal Citation Reports (JCR).

Преимущества ТВИФ по сравнению со стандартным ИФ:

1)ТВИФ учитывает значительное варьирование среднего ИФ по научным областям, следовательно, позволяет ранжировать политематическое множество журналов;

2. ТВИФ обеспечивает более разнообразную тематику журналов в верхних фрагментах ранжированного списка;

3. применение ТВИФ в качестве эталонного критерия для статистического взвешивания других критериев даёт более достоверные результаты, так как объём политематической выборки журналов во много раз больше.

Важным показателем использования сериального издания (СИ) реферативной

службой является статистика отражения в реферативных журналах (РЖ), которая используется для следующих задач: изучение внутреннего спроса на СИ, уточнение тематической продуктивности, контроль сроков обработки.

Для предоставления экспертам более полной картины использования отражения статей СИ в РЖ разработаны вычисляемые статистические показатели, так как одни абсолютные частоты отражения статей недостаточно наглядны.

Рассмотрим разработанные показатели (4 шт.), вычисляемые для определённого периода времени (1-3 календарных года).

1. Регулярность отражения /-го СИ в і-м РЖ: Щ= (Cy/Sj),

где Су - кол-во отражённых выпусков у'-го СИ в і-м РЖ, Sj - кол-во зарегистрированных выпускову'-го СИ (характеризует стабильность тематической близости і-го РЖ иу-го сериального издания), 0 1.

2. Потенциальная продуктивность отражения /-го СИ в і-м РЖ:
A_ij = (DylG_J)R_iJ,

где Dy - кол-во рефератов статей у'-го СИ в і-м РЖ, G, - регулярность получения у'-го СИ, равная отношению количества зарегистрированных выпусков к количеству ожидавшихся выпусков, Ry — регулярность отражения у'-го СИ в і-м РЖ. Показатель Ау позволяет сравнивать тематическую продуктивность регулярно и нерегулярно поступавших изданий.

3. Доля /-го СИ в і-м РЖ: Q_a = (Dy I К,) х 100%,

где Dy- кол-во рефератов статей у'-го СИ в і-м РЖ, К, - общее кол-во рефератов статей в і-м РЖ. Список, ранжированный по убыванию Qy, позволяет выделить множество изданий, вносящих заданную долю статей в наполнение і-го РЖ, в т.ч. выявить «ядерные» сериальные издания по тематике і-го РЖ.

4. Доля і-го РЖ в /-м СИ: Ру = (Dy I Lj) х 100%,

где Dy - кол-во рефератов статей у'-го СИ в і-м РЖ, L,- общее кол-во рефератов статейу'-го СИ во всех РЖ. Список наименований РЖ с величинами Ру для заданного значенияу демонстрирует тематическое рассеяние статей у'-го СИ.

На основании материалов первой и второй главы диссертации сформулированы следующие принципы оценивания научных журналов:

1. Разделение процессов выявления научных журналов в мировом потоке

литературы их оценивания, и, соответственно, разделение критериев выявления (наличие списка литературы в статьях, рецензирование статей перед публикацией) и критериев оценивания научного журнала.

2. Предварительное оценивание по формальным критериям, которое широко применяется многими информационными центрами как средство, позволяющее сократить растущий поток научных журналов, направляемых на экспертизу.

3. Результат экспертизы является решающей оценкой при отборе новых журналов, по которым ещё не накоплена статистика цитирования и спроса.

4. Использование статистики отражения в РЖ для уточнения тематической продуктивности журнала.

5. Применение импакт-фактора (ИФ) как важного критерия качества журнала внутри тематических массивов, но не как единственного критерия.

6. Применение ИФ для вычисления эталонного критерия (тематически взвешенного ИФ), позволяющего статистически взвешивать другие критерии на политематической выборке журналов.

7. Необходимость классифицировать критерии и частные рейтинги, представив их в виде иерархии, состоящей обычно из трёх уровней: рейтинг (цель), частные рейтинги (подцели) и критерии.

8. Раздельное оценивание качества журнала и спроса на него, что означает вычисление по отдельности рейтинга качества и рейтинга спроса журнала по различным иерархиям критериев.

9. Рейтинг качества и рейтинг спроса являются частными рейтингами для вычисления общего (сводного) рейтинга и одновременно векторной оценкой журнала, имеющей самостоятельное значение.

В третьей главе (Построение формальных рейтингов) представлен метод, позволяющий проверять статистические гипотезы о значимости формальных критериев и определять их веса для вычисления рейтинга качества научного журнала. Описана методика получения рейтингов качества, спроса и общего рейтинга журналов.

Идея статистического взвешивания критерия состоит в том, чтобы сравнить список журналов, ранжированный по исследуемому критерию, со списком,

ранжированным по эталонному критерию.

Проблема в том, что большинство критериев оценивания журналов имеют булев тип. Поэтому разработан метод, обеспечивающий сравнимость булевых и количественных критериев, а также их совместное использование при вычислении рейтинга журнала.

Для проведения статистического эксперимента из 17-ти критериев, используемых в ВИНИТИ РАН, выбраны те, по которым имелась репрезентативная выборка журналов. В результате использовалась выборка объёмом 4326 журналов, имеющих ИФ и значения следующих шести критериев: язык текста английский (0 или 1), адрес издания в Интернет (0 или 1), доступ через Интернет к полному тексту (0 или 1), кол-во реферативных служб (>0), кол-во служб электронной доставки (>0), копии оглавлений отправляются академикам (О или 1).

Последний из перечисленных критериев является экспертным критерием, значимость которого не вызывала сомнений, поэтому он использовался для верификации разработанного метода статистического взвешивания.

Выборки и операции над ними определены с помощью аппарата теории множеств.

Вначале определим множества J, Ей К:

J - множество индексов. Индекс - целое положительное число, идентифицирующее объект (в нашем случае объект — научный журнал).

Е - множество допустимых значений эталонного критерия. Допустимым значением считается неотрицательное рациональное число. Для научных журналов в качестве эталонного критерия выбран приближённый ТВИФ, вычисляемый согласно (3).

К- множество допустимых значений исследуемого частного критерия, К = Е.

Определим тернарные отношение R, где RcfJx-Ex-K) и ^V(y._e,*)^V₍,. _хtJ,_)eR(j,e,k) * (i,x,y) => (J Ф і).

Определим тернарные отношения Rq и R\, которое назовём соответственно «нулевой» и «единичной» выборкой.

_UU,e,k)\(j,e,k)e R&k = 0},если К = {0,l}, * " \{U,e,k) І Ш,к) eR&k< $„(К_Я)},если К = {k\k > 0},

где Kr - случайная величина, принимающая значение критерия к в кортежах (;,еД) є R, %_0Ъ(К_К) - квантиль порядка 0,5 случайной величины (т.е. медиана).

Ше,к) 10.е,к) eRSck = 1},если К = {ОД}, ' " \{и,е,к)\и,е,к) eR&k> г;_0|5(К„)},еслиК = Щк 0}.

Введём дополнительно случайные величины Е₀ и Е_х. Пусть Е₀ - случайная величина, принимающая значения критерия е в кортежах (_/,e,t)e Л,,, т.е. в ігулевой выборке. Пусть Е\ - случайная величина, принимающая значения критерия е в кортежах (j,e,k)eR^,t.e. в единичной выборке. Тогда Е_й и Е-

выборочные средние случайных величин Eq1\E\ соответственно.

Величина Е" равна отношению выборочного среднего эталонного критерия в единичной выборке к аналогичной величине в нулевой выборке:

Е'=Ъ- №

Чем слабее, связь исследуемого критерия с эталонным критерием, тем ближе значение Е* к единице.

Зададим тернарные отношения S₀ и Si следующим образом:

5₀ = {(j,e,k) I (j,e,k) eR&e< ^(Е_я)},

5₁ = {U,e,k) | U,e,k) eR8ce> „(*)},

где E_R - случайная величина, принимающая значение критерия е в кортежах (j,e,k) eR.

Для булевого частного критерия «успехом» назовём событие к=1. Для количественного частного критерия «успехом» назовём событие: k>Z,_oi(K_R)-Тогда кол-во успехов в выборке S₀ («эталонный критерий < медианы») равно мощности множества |5₀ПЯ_;], ^а кол-во успехов в выборке 5; («эталонный

критерий > медианы») равно мощности множества J5", П Л,|.

Величина S показывает отношение количества успехов в выборке S_t к количеству успехов в выборке So'.

Ї=$Щ. (5)

Чем слабее связь исследуемого критерия с эталонным критерием, тем ближе значение S* к единице.

Таким образом, в (4) и (5) получены величины Е* и S* - темпы роста. Напомним, что темп роста - это отношение данного уровня показателя к исходному или базисному. В качестве базисного уровня здесь используется значение показателя в нулевой выборке.

Темп прироста (ТП) - отношение прироста величины показателя к его исходному уровню. ТП измеряется в относительных величинах или процентах. Если обозначить как Г_р темп роста, а Г_п - темп прироста, то Г_п = Т_р — 1.

В данной модели возрастание значения эталонного критерия означает возрастание предпочтительности объекта или повышение его качества. Выдвигается гипотеза, что более предпочтительному (или качественному) объекту соответствует большее значение частного критерия. Используются два статистических теста для проверки двух статистических гипотез. Если оба теста подтверждают значимость различия между выборками журналов, сформированными с применением частного критерия, то этот частный критерий считается статистически значимым для оценивания журналов.

Тест 1. Сравнение двух вероятностей биномиальных распределений.

Н₀:ро=Рі, H_x:p₀ где в качестве оценок неизвестных вероятностей ро и р\ используются относительные частоты ро* = 1 П Лі|:|5₀| и р* = \S_{ П Я\[Щ. Тест 2. Критерий Уилкоксона-Манна-Уитни.

Я₀:Р(₀<.) = ¹/₂, H_l:P(E_0i)>^x/₂. В диссертации приведена таблица исходных данных, используемая для проверки статистических гипотез и вычисления весовых коэффициентов. В

приложениях - таблицы с результатами проверки гипотез при уровне значимости 0,001 для первого теста и 0,002 для второго. Во всех тестах для всех шести критериев отвергнуты нулевые гипотезы и приняты альтернативные. Таким образом, все исследованные критерии признаны статистически значимыми.

Следующий этап - вычисление веса критериев. Для получения более устойчивого к случайным факторам веса используются оба темпа роста (* и 5*). В качестве ненормализованного весового коэффициента w взят средний темп прироста

w=JY-\, (6)

где Е* и S* соответствуют (4) и (5). Далее коэффициенты нормализуются чтобы их сумма равнялась единице.

В работе показано, что использование темпов прироста как весовых коэффициентов в линейной свёртке критериев не нарушает условия соответственных замещений: в случае уменьшения критерия х_а на z единиц можно компенсировать значение функции ценности увеличением критерия х_ь на z-wJ-Wb единиц, где WflHVfj,- веса критериев х_а и х_ь соответственно.

Также обосновано применение статистического метода нормирования количественных критериев, при котором значение критерия делится на величину, равную сумме выборочного среднего и среднего квадратического отклонения критерия в выборке. Если выборка репрезентативная, то нормированное значение практически не зависит от полноты данных по критерию, при этом большинство нормированных значений оказывается в отрезке [0,1].

Далее построены две иерархии критериев для вычисления рейтинга качества (РК) и рейтинга спроса (PC) соответственно на основании сформулированного ранее принципа раздельного оценивания качества журнала и спроса на него.

На рис. 2 показана иерархия критериев, которая задаёт последовательность линейных свёрток для вычисления рейтинга качества. Веса критериев проставлены на дугах. Количественные критерии нормируются статистическим методом, описанным выше, значения булевых критериев не нормируются, пустые (NULL) значения заменяются нулём. В тех случаях, когда не было оснований (экспертных или статистических данных) для присвоения различного веса

подцелям или критериям, им присваивался равный вес.

Рис. 2. Иерархия оценки качества научного журнала

Согласно рис. 2, РК вычисляется следующим образом: AimExpert = ₄-0,333 + #5-0,333 + *б-0,333; AimFormal=krQ,3\5 + fc₈-0,281 + =,-0,180 + *ю-0,145 + „-0,080; AimCiting = ₁₂-1,000;

PK = ValQuality = AimExpert-Q,333 + AimFormal-0,333 + AimCiting-Q,333. В отличие от критериев качества журнала, критерии спроса - это переменные целого типа, показывающие частоту использования журнальных статей по различным каналам информационного обслуживания.

В данной работе используется статистика только по одному каналу информационного обслуживания - отражению статей в РЖ, поэтому иерархия имеет вырожденный вид. При этом все РЖ считаются одинаково важными, поэтому имеют вес ПК, где К- количество РЖ. Таким образом, PCj-го издания вычисляется с помощью одной линейной свёртки:

PC,

,=1 Л-

xlOO,

(7)

где К - количество РЖ, i = \,K, Щ - относительная частота отражения статей у-го издания в /-м РЖ, 0 < ю, < 1, 0 < R _п < 100- Умножение на 100 используется для изменения масштаба PC, иначе его значения получаются слишком малыми и

неудобными для восприятия.

Пара частных рейтингов (РК, PC) является векторной оценкой журнала. Имея значения РК и PC для каждого журнала, можно получать из БД отчёты о несоответствии между оценкой качества журнала и спроса на него. Общий рейтинг (ОР) вычисляется умножением РК на PC. В этом случае при увеличении одного из частных рейтингов в п раз общий рейтинг также увеличится в п раз.

Из примерно 31 тыс. актуальных сериальных изданий ненулевой ОР получили около 9 тыс. При этом ненулевой PC получили примерно 12 тыс., а ненулевой РК- 19 тыс. изданий.

Четвёртая глава (Построение экспертного рейтинга) охватывает экспертизу журналов, сбор и агрегирование экспертных оценок, алгоритм построения экспертного рейтинга, анализ результатов ранжирования. Даны рекомендации по использованию рейтингов для оптимизации выбора научных журналов на основе решения задачи о ранце.

Экспертиза журналов является политематической и неполной. Этим она кардинально отличается от типовых задач экспертного оценивания, в которых специалисты в одной предметной области оценивают все объекты, т.е. традиционная экспертиза является монотематической и полной. Это отличие потребовало разработки новой методики агрегирования экспертных оценок.

Каждая экспертная оценка - результат субъективного суждения эксперта об уровне полезности журнала для информационного обеспечения в его тематике. Для экспертизы журналов предложена следующая порядковая шкала экспертных оценок: 5 - высокий, 4 - выше среднего, 3 - средний, 2 - ниже среднего, 1 -низкий, 0 — нулевой.

Генеральная совокупность экспертных оценок, проставленных специалистами ВИНИТИ РАН, состояла более чем из 43 тыс. ненулевых оценок, которые поставили 240 экспертов, каждое издание получило в среднем 4 оценки, хотя бы одну оценку получили свыше 11 тыс. сериальных изданий (СИ). Большинство СИ (свыше 9 тыс.) были периодическими. Кол-во изданий в тематических списках варьировалось от 18 до 831, в среднем 180 изданий в одном списке.

К сожалению, не было возможности получить оценки нескольких экспертов по каждой тематике, а затем в качестве усреднённой тематической оценки использовать медиану индивидуальных экспертных оценок журнала по данной тематике. В нашем частном случае тематическая оценка журнала оказалась равна индивидуальной экспертной оценке.

Даются определения понятиям «тематическая полезность», «суммарная полезность» и «максимальная полезность», введённым для вычисления экспертного рейтинга.

Тематическая полезность - функция Q/pc), выражающая полезность объекта с оценкой х в _/-м тематическом списке и позволяющая производить квантифнкацию (оцифровку) ненулевых качественных экспертных оценок количественными значениями на основании предпочтительности журналов в конкретной тематике.

Суммарная полезность /-го объекта:

./=1 где п — кол-во тематик, ау - тематическая экспертная оценка /-го объекта в у'-м тематическом списке, Qfflij) — тематическая полезность /-го объекта по отношению ку'-й научной тематике.

Максимальная полезность /-го объекта:

М,=тях.д.(а₉) (9)

Если при оценивании журналов ориентироваться только на их суммарную полезность, то при отборе будут отброшены ценные узкоспециальные журналы. Следовательно, при построении экспертного рейтинга (ЭР) необходимо соблюдать баланс между суммарной и максимальной полезностью журнала.

Тематическая полезность вычисляется как точечная оценка вероятности случайного события «объект с оценкой х предпочитается при сравнении со случайно выбранным объектом изу-го тематического списка»:

м^ ,+к. ./2 ,,..

где m_xj - кол-во объектов в у'-м списке с оценкой, менее предпочтительной, чем х; kcj - кол-во объектов ву'-м списке с оценкой, равной х; Sj - общее кол-во объектов с ненулевой оценкой ву-м списке.

Разработан следующий алгоритм построения экспертного рейтинга (ЭР).

Шаг 1. Собрать тематические экспертные оценки в матрицу (%) размера т*п, где т - кол-во журналов, п - кол-во тематик. Каждый элемент матрицы (а,у) является качественной оценкой полезности /-го журнала для у'-й научной тематики.

Шаг 2. Вычислить Q/x) для каждого уровня х ву"-й тематике по формуле (10). Результаты вычислений сохранить в матрице () размера g*n, где g - кол-во качественных уровней, п — кол-во тематик.

ШагЗ. Заполнить матрицу (Ь_у) размера т*п, каждый элемент которой соответствует элементу матрицы (%) и Ь_у = б/%). Все возможные Q/x) были вычислены на предыдущем шаге, поэтому они берутся из матрицы (q_XJ), принимая х = а_и. Каждый элемент матрицы (Ь₀) является количественной оценкой полезности /'-го журнала дляу-й научной тематики.

Шаг 4. Вычислить суммарную полезность журналов согласно (8): S, = ^

У=1

Шаг 5. Вычислить максимальную полезность журналов по (9): M_t = max.b_v

Шаг 6. Нормировать критерии & и M_h вычисленные на шаге 4 и 5. В результате нормирования получаются значения s_t и т, соответственно. Здесь, как и ранее для вычисления РК, применяется нормирование делением значения критерия на сумму двух параметров выборки (выборочного среднего и среднего квадратического отклонения критерия).

Шаг 7. Присвоить критериям весовые коэффициенты w_s и w_m и вычислить экспертный рейтинг /-го журнала как линейную свёртку полезностей s_t и /и,:

R_i = s_iw_s + m_iw_m,

В настоящее время неизвестны причины, по которым приоритеты суммарной
и максимальной полезности журналов можно считать различным. Поэтому их
веса приняты равными, т.е. w_s=w_m = 0,5.

Чтобы выявить преимущество ранжирования по убыванию ЭР по сравнению с ранжированием по убыванию суммы экспертных оценок и др. методиками, выполнено сравнение с показателями, косвенно характеризующими полезность журналов: кол-во журналов, включённых в JCR; среднее арифметическое значение ИФ журнала; среднегодовое кол-во отражённых в РЖ ВИНИТИ статей; кол-во журналов, копии оглавлений которых заказывали академики и члены-корреспонденты РАН. При помощи графиков и таблиц демонстрируется преимущество ранжирования по убыванию ЭР.

В работе приведены результаты исследования ранговой корреляции ЭР с полученными ранее формальными рейтингами (РК, PC, OP), которые дают статистическое обоснование следующего эвристического рассуждения: «оценку эксперта можно трактовать как субъективную оценку величины КАЧЕСТВО х СПРОС. Действительно, для пары ранжированных списков (ОР, ЭР) получены наибольшие коэффициенты ранговой корреляции. Исследование также показало, что ЭР на основе экспертных оценок редакторов РЖ оказался значительно ближе к рейтингу спроса, чем к рейтингу качества.

В Заключении перечислены основные результатов работы.

В Приложениях (8 шт.) приведены дополнительные материалы. Первое приложение демонстрирует варьирование среднего ИФ по отраслям науки, второе приложение приводит математический аппарат, применённый для проверки статистических гипотез. В остальных приложениях представлены фрагменты ранжированных списков журналов (/ор-50), иллюстрирующих различные рейтинги (РК, PC, OP, ЭР), а также акт о внедрении результатов.

Похожие диссертации на Методы оценки журналов в области естественных и технических наук для комплектования многоотраслевого информационного центра

Совершенствование метода оценки производительности компьютерных сетей в корпоративных информационных системахМозохин Александр Евгеньевич

Информационная система поддержки принятия групповых решений в объектно-функциональной системе управления предприятием на основе метода попарных сравненийВолков Антон Андреевич

Метод агрегирования информационных объектов при концептуальном проектировании объектно-ориентированной базы данныхВолков, Антон Андреевич

Метод агрегирования информационных объектов при концептуальном проектировании объектно-ориентированной базы данныхОгурцов Александр Николаевич

Методы оценки эффективности функционирования автоматизированных системЕршов, Дмитрий Николаевич

Разработка методов оценки эффективности доступа к данным в информационных системахГрановский, Юрий Исаакович

Интегральная система информационного обеспечения научных исследований в области математических наук: концепция создания и перспективы развитияНикольская Инга Юрьевна

Комплексная методика информатизации назначения и выплаты государственных пенсий и пособий в удаленных дотационных регионах (На примере Камчатской области) Зиняков Василий Михайлович

Информационная система мониторинга и прогнозирования чрезвычайных ситуаций природного и техногенного характера субъекта Российской Федерации : На примере Архангельской областиМалых Сергей Валерьевич

Комплексная методика информации назначения и выплаты государственных пенсий и пособий в удаленных дотационных регионах (на примере Камчатской области)Зиняков, Василий Михайлович