Содержание к диссертации
Введение
1 Обзор работ и постановка задач 12
1.1 Обзор работ по обработке КЭТ 12
1.2 Обзор работ по аудиту КЭТ 17
1.2.1 Классификация ошибок КЭТ 18
1.2.2 Методы тестирования КЭТ 20
1.2.3 Методы визуального аудита КЭТ 21
1.3 Методы обработки информации, основанные на факторном анализе 25
1.4 Экспертные методы оценки и принятия коллективных решений 29
1.5 Постановка задач 39
2 Информационные технологии обработки крупноформатных электронных таблиц 42
2.1 Крупноформатные электронные таблицы. Основные термины и определения 42
2.1.1 Вводные замечания 42
2.1.2 Структурные элементы табличных процессоров 42
2.1.3 Табличные программы, табличные представления и приложения КЭТ 49
2.1.4 Графовые представления 54
2.1.5 Модели восприятия электронных таблиц 55
2.2 Информационные технологии обработки данных в КЭТ 57
2.2.1 Вводные замечания 57
2.2.2 Информационная технология создания ДЭТ 59
2.2.3 Информационная технология онлайн обработки ДЭТ 73
2.2.4 Информационная технология пост обработки ДЭТ 76
2.3 Методическое, алгоритмическое и программное обеспечение
стохастической обработки данных в КЭТ 78
2.3.1 Методическое обеспечение обработки данных с использованием канонического статического факторного анализа 78
2.3.2 Методическое обеспечение обработки данных с использованием
канонического динамического факторного анализа 84
2.4 Выводы по разделу 2 98
3 Реформационные технологии аудита крупноформатных электронных таблиц 100
3.1 Вводные замечания 100
3.2 Информационная технология аудита КЭТ, основанная на визуализации логических областей 103
3.2.1 Критерии эквивалентности логических областей 103
3.2.2 Описание информационной технологии аудита КЭТ, основанной на визуализации логических областей 112
3.2.3 Подготовка исходных данных для аудита 115
3.2.4 Автоматическая идентификация логических областей 116
3.2.5 Синтез визуальной модели 120
3.2.6 Методы анализа визуальной модели и примеры их использования 120
3.2.6.1 Метод анализа табличной ВМ 122
3.2.6.2 Метод анализа функциональной ВМ 124
3.2.6.3 Метод анализа структуры SSP 127
3.3 Информационная технология аудита КЭТ, основанная на визуализации логических классов 130
3.3.1 Определение логического класса 130
3.3.2 Описание информационной технологии аудита КЭТ, основанной на визуализации логических классов 137
3.3.3 Инициализация параметров логических классов 137
3.3.4 Автоматическая идентификация логических классов 138
3.3.5 Синтез визуальной модели 141
3.3.6 Анализ визуальной модели 142
3.4 Выводы по разделу 3 149
4 Методика экспертной оценки качества КЭТ 150
4.1 Задачи и цели экспертного анализа качества КЭТ 150
4.2 Формирование перечня критериев и шкал, характеризующих качество
отдельных таблиц и КЭТ в целом 151
4.3 Формирование решающих правил по оценке качества отдельных таблиц и КЭТ в целом 156
4.4 Основные стадии экспертного опроса 160
4.5 Подбор экспертов 162
4.6 Методика обработки экспертной информации и формирование заключения 164
4.7 Обобщенный алгоритм экспертного анализа и оценки качества КЭТ... 167
4.8 Применение методики экспертной оценки качества КЭТ в компании
"Росинспекторат" 168
4.9 Выводы по разделу 4 169
5 Применение технологий обработки и аудита кэт в информационных системах 170
5.1 Общие положения 170
5.2 Проблемы оценки трудоемкости эксплуатации информационно-телекоммуникационной системы Банка России 172
5.2 Краткое описание возможностей ПК АРМ 174
5.3 Алгоритмы расчета трудоемкости эксплуатации ТС ИТС регионального сегмента Банка России и потребности в расходных материалах 175
5.4 Реализация ПК АРМ 179
5.5 Применение информационных технологий обработки КЭТ в ПК АРМ. 180
5.5.1 Реализация информационной технологии создания ДЭТ 180
5.5.2 Реализация информационной технологии онлайн обработки ДЭТ 183
5.5.3 Реализация информационной технологии пост обработки ДЭТ 184
5.6 Применение информационных технологий аудита КЭТ в ПК АРМ 185
5.6.1 Аудит безошибочности выполнения расчетов ПК АРМ на этапе разработки 187
5.6.2 Логический контроль правильности заполнения норм в справочниках ПК АРМ и исходных данных 189
5.7 Сравнение реализаций ПК АРМ на основе КЭТ и СУБД. Оценка
практической значимости разработанных ИТ обработки и аудита КЭТ 195
5.8 Выводы по разделу 5 196
Заключение 198
Литература
- Методы визуального аудита КЭТ
- Табличные программы, табличные представления и приложения КЭТ
- Описание информационной технологии аудита КЭТ, основанной на визуализации логических областей
- Формирование решающих правил по оценке качества отдельных таблиц и КЭТ в целом
Введение к работе
Крупноформатная электронная таблица1 (spreadsheet) является одним из основных видов приложений для автоматизации офисных задач и широко используется в различных прикладных областях. Интеграция крупноформатных электронных таблиц (КЭТ) с языками программирования, позволила сделать из них средство быстрой разработки приложений для профессиональных разработчиков. Благодаря простой и удобной организации табличных вычислений, КЭТ часто используют непрофессиональные пользователи, специалисты из других прикладных областей. Все это привело к тому, что КЭТ стали одним из самых распространенных программных продуктов, устанавливаемых на персональные компьютеры.
Современные КЭТ предоставляют большие возможности для быстрой разработки качественных информационных систем, ориентированных на табличные расчеты, при небольших трудозатратах. А в некоторых случаях КЭТ являются более эффективной платформой разработки, в сравнении с системами управления базами данных. Однако КЭТ редко используются в этом качестве, в связи с тем, что до сих пор отсутствуют информационные технологии (ИТ) эффективной обработки данных в них. Качество большинства приложений КЭТ не соответствует важности обрабатываемой ими информации. Во многом это связано со значительным увеличением размеров современных КЭТ и недостаточным развитием ИТ аудита2 их качества. Особую актуальность приобретают ИТ автоматизированного аудита безошибочности КЭТ.
По проблемам разработки и аудита КЭТ начиная с 1999г. ежегодно проводится европейская конференция EUSPRING. Среди зарубежных исследователей в данной области следует выделить такие имена, как Р.Панко С.Крук, Д.Чадвиг, Р.Батлер, Д.Садженеми. В России сейчас наблюдается практически полное от-
1 Термин крупноформатная электронная таблица и просто электронная таблица по сути обознача
ют одно и то же. Словом "крупноформатная" подчеркивается, что предлагаемые в работе информа
ционные технологии целесообразно использовать для электронных таблиц большого размера.
2 Термином аудит КЭТ (spreadsheet audit) принято обозначать процесс выявления ошибок в КЭТ
пользователем.
8 сутствие каких-либо работ в данном направлении. Вся имеющаяся литература
ограничена руководствами пользователя по работе с табличным процессором1. Тем не менее, следует отметить цикл работ, проводимых в ИПИ РАН в конце 80-х годов по разработке трехмерной электронной таблицы "СтереоТаб" под руководством И.М. Адамовича. Позже трехмерные электронные таблицы получили широкое применение в технологиях многомерного анализа данных при построении кубов OLAP. Также следует отметить исследования М.И. Пугачева, Е.В. Старикова и Т.И. Янбухтина, проведенные в МГУ в 1991г. по созданию матричной электронной таблицы, где помимо стандартных функций работы с числами, использованы математические функции работы с матрицами.
Цели и задачи работы. Целью диссертационной работы является разработка информационных технологий обработки и аудита КЭТ для повышения эффективности использования современных табличных процессоров и быстрого создания информационных систем на их основе.
Для достижения этой цели ставились следующие основные задачи.
Выявить проблемы разработки приложений на основе КЭТ и определить пути их решения на основе создания соответствующих ИТ обработки и аудита.
Систематизировать терминологию КЭТ.
Разработать ИТ обработки КЭТ для случая динамически изменяемого множества исходных данных.
Разработать методическое и алгоритмическое обеспечение обработки данных КЭТ на основе канонического факторного анализа.
Разработать ИТ аудита КЭТ для автоматизированного выявления в них ошибок.
Разработать методику экспертного анализа качества КЭТ.
Оценить практическую значимость разработанных ИТ на основе их применения в типовых информационных системах.
Термином табличный процессор принято обозначать программную реализацию парадигмы КЭТ
Методы исследования. В работе использованы современные методы теории множеств и графов, математической логики, теории алгоритмов и программирования, теории вероятностей и математической статистики, теории подготовки и принятия решения, экспертные методы, теории оптимального оценивания и управления, а также вычислительные методы информатики.
Научная новизна. В работе получены новые результаты в области теоретических основ информатики, среди которых следует выделить следующие разработки:
новая ИТ создания динамических электронных таблиц на основе КЭТ, позволяющая разрабатывать приложения КЭТ с динамически изменяемым множеством исходных данных;
новые ИТ онлайн и пост обработки динамических электронных таблиц;
алгоритмическое и методическое обеспечение обработки данных в КЭТ на основе канонического статического и динамического факторного анализа;
новые ИТ аудита КЭТ на основе логических областей и классов, позволяющие в автоматизированном режиме исследовать структуру КЭТ и выявлять в ней логические ошибки;
- новая методика анализа качества КЭТ на основе экспертных методов.
Практическая ценность работы состоит в том, что она предоставляет
разработчику все ИТ для быстрой реализации информационных систем на основе КЭТ с высокими показателями качества. На основе результатов исследования созданы и внедрены:
Информационная система расчета трудоемкости эксплуатации и потребности в расходных материалах информационно-телекоммуникационной системы регионального сегмента Банка России.
Программное обеспечение автоматизированного формирования отчетов по инспектированию нефтепогрузок ЗАО "Росинспекторат" и аудиту качества
10 информации в отчетах.
Специальное программное обеспечение Spreadsheet Explorer 1.0 для автоматизированного аудита безошибочности КЭТ.
Программное обеспечение проведения канонического статического и динамического факторного анализа данных в табличном процессоре Microsoft Excel.
Реализация результатов работы. Результаты диссертации реализованы в 6-ти тематических и договорных НИОКР ИЛИ РАН (2001-2005 гг.), в программе ОИТВС РАН "Фундаментальные основы информационных технологий и систем", двух проектах РФФИ (01-01-00758, 04-01-00270).
Апробация работы. Результаты работы докладывались на следующих международных и всероссийских конференциях:
IV Международная конференция "Электроника и информатика -2002", Зеленоград, 2002.
Межрегиональная научно-практическая конференция "Интеллектуальные информационные технологии" (Интеллект-2003), Тула, 2003.
3) III Международная конференция "Идентификация систем и задачи
управления" (SICPRO'04), Москва, 2004.
II Российская научно-практическая конференция "Математика в современном мире", Калуга, 2004.
IV Международная конференция "Идентификация систем и задачи управления" (SICPRO'05), Москва, 2005.
6) II Научная сессия Института проблем информатики РАН, Москва, 2005.
Публикации. Список публикаций насчитывает 10 позиций. Материалы
также опубликованы в 14 научно-технических отчетах ИЛИ РАН, Банке России и компании "Росинспекторат".
Структура и объем работы. Диссертация состоит из введения, пяти разделов, заключения и приложений.
В разделе 1 приводится обзор работ по теме диссертационной работы. Рас-
сматриваются проблемы разработки приложений на основе КЭТ и определяются способы их решения путем создания новых ИТ обработки и аудита КЭТ. Дается постановка задач диссертационной работы.
Методы визуального аудита КЭТ
Тестирование КЭТ связано с идентификацией и коррекцией ошибок в приложениях под них. Хотя процесс разработки, тщательное проектирование и документирование значительно увеличивают общее качество программного обеспечения (ПО), они не являются заменой тестированию.
Традиционное ПО обычно тестируется путем проведения тестов для различных случаев работы ПО, с дальнейшем сравнением полученного результата с ожидаемым. Однако, как это было указано Д. Хуангом [53] и Э. Дейкстрой [50], в связи с большим количеством возможных случаев работы программы, должен быть также предусмотрен и большой набор тестов для получения значимых результатов тестирования.
В настоящий момент в литературе представлено два подхода по тестированию КЭТ: с использованием интервального анализа [48] и что вы видите то тестируете (WYSIWYT)-noflxofl [73,76,77].
В последнем подходе требуется, чтобы разработчик дал достаточно большое число тестов для различных случаев работы имеющихся формул. Кроме того, для каждой формулы вычисляется степень проверенности. Таким образом разработчик должен проверить каждую формулу и сделать вывод о правильности приложения КЭТ.
Степень проверенности формул в ячейках визуально отражается в КЭТ, путем окрашивания ячейки в оттенки синего цвета. Если формула не проверена, то ячейка с ней имеет красный цвет. Таким образом, чем более синий цвет имеет ячейка, тем она более проверена. Хотя эта методика хорошо интегрируется с КЭТ, она имеет существенные недостатки, поскольку является зависимой от выбора хороших или достоверных тестов. Конечные пользователи, как правило, не имеют полного представления о всех возможных условиях работы формул и выбирают тесты только для известным им условиям ее работы, а следовательно, тестирование будет не полным. В результате данный подход эффективен в использовании только профессиональными тестировщиками.
В интервальном тестировании, альтернативном подходе, разработчику нет необходимости разрабатывать группу тестов. Для каждой тестируемой ячейки, разработчик должен определить диапазон значений, в пределах которого значение ячейки является верным. Я. Аялью [48] называет такой диапазон ожидаемым интервалом Е. Путем подстановки в проверяемую формулу ожидаемых значений ее параметров с использованием правил интервальной арифметики вычисляется реальный интервал R принимаемых значений. После чего проверяется факт выхода интервала R за границы интервала Е. Для данного подхода также имеется специальное ПО. В сравнении с подходом WYSIWYT данный подход более ориентирован на пользователя.
Из-за наличия определенных проблем при тестировании приложений КЭТ, таких как сложность проведения полного тестирования и отсутствия опыта тес тирования у многих пользователей, стали популярными методы визуального аудита. Данные методы заключаются в анализе безошибочности КЭТ по построенной для нее визуальной модели [74].
Визуальная модель - это некоторое графическое представление КЭТ, делающее структуру вычислений в ней более наглядной для пользователя. Визуальная модель может отображаться как непосредственно в интерфейсе КЭТ, так и отдельно от нее. В последнем случае предусматривается некоторый механизм, связывающий модель с интерфейсом КЭТ.
Визуализация - процесс построения визуальной модели, который может происходить как в интерактивном режиме (режиме диалога с пользователем), так и полностью автоматически.
Основная цель визуализации в КЭТ - снизить общую сложность табличных программ и привести ее к некоторому виду, который легче понять аудитору [61]. Обычно средства визуального аудита окрашивают одним цветом ячейки, удовлетворяющие некоторым характеристикам, например имеющим схожие формулы, определенный тип данных или располагающимися по соседству. Следовательно, аудитору больше не требуется по-ячеечно проверять КЭТ, а сосредоточится на проверке более больших блоков. Рассмотрим существующие методы, средства и технологии визуального аудита более подробно.
Коммерческие программные средства для визуализации. В настоящее время известны такие коммерческие программные средства для визуализации, как SpACE [49], Spreadsheet Detective [82] и Operis Analysis Kit [81], которые являются надстройками для табличного процессора Microsoft Excel. Основная функциональность этих средств аудита примерно одинакова: - пользователь выбирает некоторый критерий группировки, например тип данных, формулу-шаблон; - все ячейки, которые соответствуют критерию группировки, окрашиваются в определенный цвет; - аудитор КЭТ производит поиск несогласованностей.
Табличные программы, табличные представления и приложения КЭТ
Табличная программа в основном состоит из директив вычисления (формул) и значений констант, требующихся для соответствующей настройки формул. Табличное представление - это совокупность всех ячеек в табличном пространстве с установленными и вычисленными значениями.
Существует несколько различий между понятием табличной программы и понятием программы в традиционном программировании. Известно, что в табличной программе: 1) нет объявляемых констант, так как разработчик свободно вводит константные значения в любую ячейку; 2) каждая ячейка потенциально может вводить и выводить данные; 3) программа хранится вместе с данными; 4) пользователь может модифицировать программу, добавив формулу, также как он добавляет данные; 5) нет циклических структур.
Ячейки в КЭТ можно разделить на программные ячейки и ячейки ввода данных. Каждая ячейка, содержащая формулу (см. определение 2.1.10), является программной ячейкой и является частью табличной программы.
Замечание. В дальнейшем, для обозначения типа адресации устанавливаемой на ячейку с в формуле / потребуются следующие предикаты: RR(f,c) означает, что формула / содержит относительную ссылку (relative reference) на ячейку с, AR{f,ct) - абсолютную ссылку (absolute reference), CR(f,c) - смешанную ссылку, то есть частично абсолютную и частично относительную (combined reference), a R(f,c) - просто означает тот факт, что формула / каким-либо образом ссылается на ячейку с и не указывает на тип адресации.
Так как абсолютная адресация ячеек в основном используется для обраще ния к константам в формулах, далее будем рассматривать любую ячейку, на которую имеется ссылка с абсолютной адресацией, также частью табличной программы. Ячейки, предназначенные для ввода данных пользователем, в основном не являются абсолютно адресуемыми, потому что если формулы копируются внутри КЭТ, то они должны изменить и вводимые данные. Таким образом, все ячейки, на которые ссылается табличная программа при помощи относительной адресации, соответствуют данным ввода. Далее приводится формальное определение табличной программы Определение 2.1.11 — Табличная программа (SSP).
Табличная программа (Spreadsheet program) является подмножеством ячеек КЭТ, включающим в себя все ячейки с формулами и ячейки, на которые ссылаются данные формулы посредством абсолютной адресации. Формально, табличная программа является объединением ячеек FC, содержащих формулы и ячеек АС, которые абсолютно адресуются этими формулами. Таким образом, SSP = FC\JAR, где FC = {с с є S л (с = (Я,У,Г,/)Л/ 0)} и AC = {c\cGSA3ck(ck=(ak,vk,rk,fk)GFCAAR(fk,c))}.
На рисунке 4 дано графическое изображение табличной программы, включающей в себя ячейки из различных листов, построенное по способу интерактивной 3D визуализации связей ячеек КЭТ [80].
Существуют также и другие способы определения табличной программы, например, как программы управляемой потоками данных или посредством объектно-ориентированного языка программирования [63, 75, 86].
Из определения 2.1.11 следует, что ячейка, на которую содержится абсолютная ссылка в формуле, рассматривается как часть табличной программы, даже если она содержит значение константу и имеет относительные ссылки в других формулах. Однако ячейки, на которые имеются частично абсолютные, а частично относительные ссылки, не являются частью табличной программы, а относятся к ячейкам ввода данных (см. следующее определение).
Определение 2.1.12 -Ячейки ввода данных (ЮС).
Ячейки ввода (Input Data Cells) данных являются множеством всех ячеек, не являющихся частью табличной программы IDC czS\SSP, но на которые имеются относительные ссылки в формулах табличной программы:
Описание информационной технологии аудита КЭТ, основанной на визуализации логических областей
В ИТЛО при помощи потоков В и Е осуществляется преобразование информации из приложения КЭТ (блок 1) в визуальную модель SSP (блок 4). Аудитор (блок 6) производит анализ визуальной модели (поток Н) при помощи методов аудита (см. п.3.2.6). Обратная связь J аудитора с приложением КЭТ, является информационным потоком, направленным на исправление ошибок. Блоки 2-5 являются составными элементами ПО-Аудит.
Модуль идентификации логических областей (блок 2) осуществляет ав томатическую идентификацию всех логических областей в приложении КЭТ (см. п.3.2.4). Входными потоками для него являются поток А и G. Поток А -табличная информация из приложения КЭТ, поток G представляет собой множество исходных данных (см. п.3.2.3) и управляющих команд, подаваемых аудитором для настройки, синтезируемой визуальной модели. Выходной поток D является множеством идентифицированных логических областей и управляющих команд по представлению визуальной модели.
Построитель визуальных моделей (блок 3) занимается установкой взаимосвязей между логическими областями и синтезом визуальной модели (см. п.3.2.5). Визуальная модель синтезируется на основе потока В - табличной информации из приложения КЭТ и потока D - множества идентифицированных логических областей и управляющих команд по представлению визуальной модели. Выходной поток Е - представляет собой графическое представление визуальной модели SSP в блоке 4. Напомним, что SSP является обозначением табличной программы в соответствии с определением 2.1.11.
Визуальная модель SSP (блок 4) - это такое графическое представление табличной программы, при котором аудитору становятся очевидными все ее недостатки. Процесс выявления ошибок в КЭТ по визуальной модели (поток Н) осуществляется с использованием специализированных методов анализа (см. п.3.2.6).
Модуль вспомогательного анализа SSI включает в себя все функции для дополнительного анализа табличных представлений (SSI). Сюда относятся функции проверки форматов и корректности значений, алгоритмы работы которых приведены в п.3.2.4. Входными потоками для него являются поток С, F и I. Поток С -табличная информация из приложения КЭТ, поток F - это уже синтезированная визуальная модель, поток I представляет собой множество управляющих команд, подаваемых аудитором для вспомогательного анализа. Поток F является также выходным и предназначен для модификации имеющейся визуальной модели.
В соответствии с ИТЛО аудитор должен подготовить исходные данные для модуля идентификации логических областей, построителя визуальной модели и модуля дополнительного анализа SSI. Исходные данные для последнего модуля не обязательны и задаются по усмотрению пользователя. Таким образом, исходные данные делятся на две категории: основные и дополнительные.
К основным исходным данным относятся:
1) Множество исследуемых ячеек S. Данное множество может быть задано простой загрузкой приложения КЭТ в табличный процессор, без указания подмножества исследуемых ячеек. В таком случае, предполагается, что аудит проводится для всего приложения КЭТ либо активного листа. Также оно может быть задано в виде выделенной физической области, например, выделенного столбца или строки. Последний случай удобен для аудита локализованной группы ячеек.
2) Критерий эквивалентности ind. Данный критерий необходим для автоматической идентификации логических областей. В соответствии с определениями 3.2.1.-3.2.10 критерий эквивалентности ind может принять одно из множества значений {се, le, se, src, dest, agg, de}.
3) Тип графического отображения визуальной модели. Данный параметр определяет способ, по которому построитель визуальной модели представит визуальную модель аудитору. Более подробно о типах графического отображения визуальных моделей рассказывается в п.3.2.5.
К дополнительным исходным данным относятся:
4) Подмножество исследуемых ячеек, для вспомогательного анализа. Данное подмножество может быть заданно в виде выделенной логической или физической области.
5) Вспомогательный критерий эквивалентности. В соответствии с определениями 3.2.8.-3.2.9 вспомогательный критерий эквивалентности может принять одно из двух значений {vfe,CorVal}.
Все представленные исходные данные описаны на формальном уровне. Конкретная реализация подготовки исходных данных определяется ПО-Аудит. На практике аудитор может не знать, для какого модуля ИТЛО предназначается тот или иной параметр.
Формирование решающих правил по оценке качества отдельных таблиц и КЭТ в целом
Нами пока не затрагивались вопросы проведения и обработки результатов групповой экспертизы. Выделяют следующие стадии проведения экспертного опроса [4, 5, 24-27, 32,45]: 1) формулировка ЛПР цели экспертного опроса; 2) подбор ЛПР основного состава рабочей группы (РГ); 3) разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса; 4) разработка РГ подробного сценария проведения сбора и анализа экспертных мнений (оценок), включая как конкретный вид экспертной информации (слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы) и конкретные методы анализа этой информации); 5) подбор экспертов в соответствии с их компетентностью; 6) формирование экспертной комиссии (целесообразно заключение договоров с экспертами об условиях их работы и ее оплаты, утверждение ЛПР состава экспертной комиссии); 7) проведение сбора экспертной информации; 8) анализ экспертной информации; 9) при наличии нескольких туров - повторение двух предыдущих этапов; 10) интерпретация полученных результатов и подготовка заключения для ЛПР; 11) официальное окончание деятельности РГ.
При проведении экспертного опроса часто считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство.
В этом случае следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением часто пренебрегают.
Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. На самом деле цель достигнута - установлено, что единого мнения нет, и ЛПР должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой ценой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся РГ или «подсказанной» ЛПР.
С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов. Жесткий способ борьбы с экспертами-диссидентами состоит в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, в [26] показана крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели.
Мягкий способ борьбы с экспертами-диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются и не достигают ЛПР аргументы экспертов-диссидентов.
В любом из двух способов борьбы с экспертами-диссидентами ЛПР лиша ется информации, идущей от диссидентов, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи ЛПР.
В нашем случае оценки КЭТ при оценке результатов опроса экспертов как по отдельным показателям, так и таблицы в целом следует особенно внимательно относиться к низким оценкам показателей , полученных от каждого эксперта и включить в процедуру оценки передачу данного мнения ЛПР с дополнительной аргументацией эксперта. Только ЛПР может принимать решение отбраковывать полученную низкую оценку или нет.
Остановимся теперь на проблеме подбора экспертов.
Как известно (подраздел 1.4), проблема подбора экспертов относится к важным и сложным. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? К сожалению нет универсальных методов подбора экспертов, которые наверняка обеспечивающих успех экспертизы.
Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие «компетентность» строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть организации экспертизы.
