Содержание к диссертации
Введение
Глава 1. Проблемная область принятия решений в случае многокритериальных задач 6
1.1 Классификация проблем принятия решений 8
1.2 Многокритериальные задачи с объективными моделями 15
1.3 Многокритериальные задачи с субъективными моделями 27
Основные результаты 40
Глава 2. Иерархические модели для прогнозирования принимаемых решений 41
2.1. Методы оценки элементов иерархии 41
2.2. Иерархический синтез приоритетов 54
2.3. Иерархия с различным числом и составом альтернатив под критериями 55
2.4. Метод попарного сравнения динамических предпочтений 59
2.5. Алгоритм расчета динамики приоритетов 63
2.6. Метод улучшения согласованности экспертных суждений 68
2.7. Алгоритм ранжирования альтернатив и прогнозирования динамики приоритетов на основе МАИ 70
Основные результаты 73
Глава 3. Интеллектуализация систем поддержки принятия решений 74
3.1. Потенциально алгоритмически защищенные системы 74
3.2. Объектно-ориентированная система поддержки принятия решения 90
3.3. Проектирование информационных систем с использованием метода, основанного на прецедентах 103
Основные результаты 119
Глава 4. Принятие решений по результатам испытаний и оценка качества защищенности программных средств 120
4.1. Задача принятия решения решений по результатам испытаний защищенности программных средств 120
4.2. Принципы принятия решений в условиях неопределенности (по числовой информации) 122
4.3. Функция полезности 130
4.4. Принятие решений по нечисловой информации 134
4.5. Представление нечисловой информации в задачах принятия решений 146
4.6. Комплексирование лингвистических оценок 151
Основные результаты 156
Заключение 157
Литература
- Классификация проблем принятия решений
- Методы оценки элементов иерархии
- Потенциально алгоритмически защищенные системы
- Задача принятия решения решений по результатам испытаний защищенности программных средств
Введение к работе
Среди различных областей применения математических методов и средств вычислительной техники имеется одна, которая с точки зрения человеческой деятельности является крайне важной. Эта область принятий решений в ситуациях, когда последствие результатов выбора определенного курса действий могут быть очень серьезными. Назовем принятием решений особый вид человеческой деятельности, состоящий в выборе одного из нескольких вариантов решений. Каждый, кто сталкивался с таким выбором при принятии деловых или личных решений, знает, сколь он сложен и сколько умственных усилий он требует. Любые методы, которые помогают человеку лучше понять, что он хочет и что у него есть, которые помогают оценить с единых позиций желаемые цели и имеющиеся ресурсы, являются не только полезными, но иногда и просто неоценимыми.
Методы, помогающие в принятии решений, длительное время были предметом внимания как практиков, так и теоретиков. Над такими методами работали многие экономисты, специалисты по государственному (административному) управлению, юристы, военные.
Однако только в последние десятилетия возникло научное направление, для которого центральными являются вопросы о том, как человек принимает решения и как ему можно и нужно помогать в сложных задачах выбора. Проблемы принятия решений ставится и рассматривается с единых позиций,
в независимости от областей конкретного приложения. Такая постановка вопроса вполне оправдана, так как уже накопилось не мало доказательств того, что существуют общие черты и характеристики поведения людей при принятии экономических, политических, социальных, технических решений. Общность поведения людей и общность требования к их поведению обусловливают единые методологические задачи, которыми и занимаются теория принятия решений.
Всякое новое научное направление возникает на базе чего-то уже известного и, как правило, связанно с другими направлениями. Несомненна связь принятия решений с исследованием операций, кибернетикой, искусственным интеллектом. В тоже время принятие решений имеет свои, отличные от прочих направлений задачи и свою логику развития.
Классификация проблем принятия решений
Для лучшего понимания особенностей принятия решений как научного направления сопоставим его с хорошо известной научной дисциплиной - исследованием операций.
При рассмотрении исследования операций как сложившегося научного направления важно отметить его следующие особенности. 1. Объективный характер используемых моделей. Построение моделей рассматривается в рамках исследования операций как средство отражения объективно существующей реальности. Хотя многие специалисты по исследованию операций подчеркивают, что построение моделей, выбор параметров являются непростым делом [3], предполагается, что все зависит от опыта и умения специалиста. Когда модель, правильно отражающая действительность, найдена, критерий установлен, оптимальное решение возникает единственно возможным образом (если не принимать во внимание вычислительных трудностей). «Другими словами, опираясь на одни и те же данные, различные специалисты-аналитики должны получать одинаковые результаты» [4]. 2. Заказы на проведение исследования операций выдаются руководите лями. Получив такой заказ, аналитик исследует систему, внешнюю среду и пытается найти адекватную модель. В этой работе сам руководитель чаще всего не нужен. В описаниях многочисленных случаев применения методов исследования операций подчеркивается, что группа аналитиков сама находит удачное решение. Конечно, иногда руководитель дает дополнительную ин формацию. Но его роль при этом не отличается от роли любого сотрудника организации.
Когда решение найдено, задача руководителя - внедрить его. Иначе говоря, руководитель дает заказ и получает готовое решение. Все остальное делают аналитики - специалисты по исследованию операций.
В общем случае заказ руководителя может быть сформулирован в следующем виде: «Найдите мне наилучшее (оптимальное), единственно верное и научно обоснованное решение». Определяя такой заказ, руководитель находится в достаточно удобном положении (особенно если плата за работу специалистов невелика): он полагается на силу научного подхода.
3. Существует объективный критерий успеха в применении методов ис следования операций. Если проблема, требующая решения, ясна, критерий определен, то применение аналитического метода сразу показывает, насколько новое решение лучше существующего.
В отличие от задач исследования операций в задачах многокритериального выбора всегда существует неопределенность, связанная с сопоставлением оценок по различным критериям. Эта неопределенность является принципиальной и не может быть исключена на основе использования моделей и объективных расчетов. Люди, принимающие решения и несущие ответственность за их последствия, являются единственным источником информации, позволяющим оценить варианты решений и выбрать из них наилучший.
На первый взгляд может показаться, что в способах решений проблемы произошли сравнительно небольшие изменения — для устранения неопределенности, возникающей из-за наличия многих критериев, используются предпочтения лица, принимающего решения. Однако это не так — использование предпочтений ЛПР является принципиальным. Информация ЛПР основана на его опыте, интуиции, на его политике, но эта информация есть точка зрения субъекта (иногда группы субъектов), и поэтому она субъективна. Эта субъективная информация является единственно возможной основой объединения основных параметров проблемы в единую модель, позволяющую оценить варианты решений. Следовательно, модель зависит от личности ЛПР. Однако субъективность модели не следует понимать в том смысле, что ЛПР «делает, что хочет». В деловых решениях человек обязан быть рациональным для того, чтобы иметь возможность убедить других, объяснить им мотивы своего выбора, логику своей субъективной модели. Поэтому любые предпочтения ЛПР должны находиться в рамках определенной рациональной системы. Очень часто его политика, его субъективная модель есть выражение политики группы лиц, находящихся около него. От этого модель не становится более объективной, но она становится как бы более устойчивой - она остается той же для любого ЛПР из некоторой группы, обладающей едиными предпочтениями, единым «взглядом на мир». Часто это единство в значи тельной степени определяется положением организации, к которой принадлежит данная группа специалистов.
В такой субъективности нет ничего плохого. Среди многочисленных человеческих решений, встречающихся в окружающем нас мире, значительная часть не может быть названа научно обоснованной, если понимать под словом «научно» критерии естественных наук, таких, например, как физика. В типичной ситуации с недостаточно определенными последствиями принимаемых решений, с динамически меняющейся обстановкой, только умение людей строить гипотезы и дополнять ими отсутствующую информацию может спасти положение. Опытные руководители, принимающие неплохие (и часто удачные) решения, хорошо осознают, сколько личного и субъективного они вносят в эти решения. И по-иному многие решения просто нельзя принять.
Итак, в человеческих решениях чаще всего «объективное» невозможно, а качество «субъективного» решения сильно зависит не только от личности J11 IP, но и от методов и процедур разработки и обоснования решений. Именно этими методами и процедурами занимается теория принятия решений.
О принятии решений как научном направлении. Существуют все признаки того, что в настоящее время сложилось направление исследований, получившее название «принятие решений». Имеются многочисленные публикации на эту тему, специальные журналы, ряд книг, библиография с большим числом наименований. Исследователей, работающих в этой области, чаще всего можно отнести к трем различным по направлению работ группам: 1) психологи, занимающиеся изучением и описанием реальных процедур принятия решений; 2) математики, занимающиеся аксиоматическими построениями и изучением моделей выбора; 3) специалисты по нормативным методам, предписывающим людям правила рационального выбора.
Эти группы работают, безусловно, над интересными и содержательными проблемами, хотя часто работы специалистов из различных групп оказыва ются никак не связанными, несмотря на то что они направлены к единой цели - построению и всестороннему обоснованию методов принятия решений.
С нашей точки зрения, основным объектом исследования в данной области являются нормативные (прескриптивные) методы принятия решений. Именно наличие таких методов оправдывает право этой области на самостоятельное существование. Если их исключить, то область исследований распадется на одно из частных направлений психологии и одно из частных направлений прикладной математики.
Рассмотрим далее классификацию и анализ существующих методов принятия решений, а также критерии всестороннего обоснования этих методов. Чтобы ограничить круг рассматриваемых вопросов, здесь не будем касаться проблем построения математической теории выбора [6,7,8], а сосредоточим внимание на методах принятия решений. Вначале не будем касаться также проблем коллективного выбора [9].
Классификация проблем принятия решений. Выделим характеристики проблем принятия решений, наиболее существенные с точки зрения построения методов их решения.
Первой такой характеристикой является наличие (или отсутствие) объективной модели, связывающей большинство основных параметров проблемы. Существует широкий класс проблем принятия решений, для которых можно построить надежную количественную модель (аналогичную моделям в исследовании операций), причем качество полученного решения оценивается по многим критериям. Эти проблемы являются как бы многокритериальными аналогами соответствующих известных проблем исследования операций.
Методы оценки элементов иерархии
Множество разработок по принятию решений [19, 20, 24-26, 31, 32, 38, 42, 50, 68, 79, 80, 83, 84, 86, 112] и опыт в области проектирования информационных систем [6-12,18,36] позволяют сделать вывод, что наиболее перспективными для многокритериальной оценки альтернатив и прогнозирования динамики их весов является метод анализа иерархии (МАИ), или Analytic Hierarchy Processes (АНР) [83,84,112].
Этот метод предлагает декомпозировать цель выбора на более простые составляющие, и, получив суждения ЛПР, определить значимость альтернатив относительно цели выбора.
Применительно к проектированию технических и программных систем, в качестве таких критериев выступают показатели качества производства (создания), функционирования, эксплуатации изделия (программы) и так далее. Данный метод предусматривает наличие системы оценки множества альтернативных вариантов технических и программных решений строящейся на базе множества показателей качества и имеющей иерархическую структуру.
По характеру связей различают два типа иерархии, первый, где альтернативы получают оценки по всем критериям нижнего уровня, второй, где для некоторых альтернатив оценка по какому-либо критерию нижнего уровня не выполняется. Для оценки альтернатив по критериям используются три метода сравнения, которые применимы для задач со статическими оценками: 1. Метод парного сравнения; 2. Метод сравнения альтернатив относительно стандартов; 3. Процедура линейного нормирования количественных величин. При исследовании систем, предпочтения по критериям в которых изменяются с течением времени, применяются еще два метода: 1. Метод попарного сравнения динамических предпочтений экспертов, 2. Метод попарного сравнения динамических предпочтений с улучшением согласованности вводимой экспертами информации.
Применение метода анализа иерархий начинается с построения иерархической структуры задачи принятия решений, которая включает цель, расположенную в ее вершине (фокусе иерархии), промежуточные уровни (например, критерии) и альтернативы, формирующие самый нижний иерархический уровень.
Затем производится оценка элементов иерархии (альтернатив относительно критериев, критериев относительно более обобщенных критериев). На третьем шаге выполняется свертка всех оценок иерархии для получения приоритетов альтернатив относительно цели.
При построении иерархии можно использовать три способа. Первый способ заключается в конкретизации (декомпозиции) заданного множества элементов (в частности, критериев). Второй способ противоположен первому и предполагает синтез более общих элементов из заданных частных. Третий способ состоит в упорядочении предварительного заданного множества элементов на основе их попарного сравнения.
После построения иерархии, устанавливается метод получения оценок ее элементов относительно элементов более высокого уровня иерархии: метод парных сравнений, метод стандартов, процедура линейного нормирования количественных величин.
Метод попарного сравнения элементов имеет ограничения на количество сравниваемых элементов (не более десяти).
Сравнение альтернатив относительно стандартов альтернатив может применяться, когда сравниваемых элементов более чем десять, и когда требуется включение в иерархию новых альтернатив.
Метод попарного сравнения динамических предпочтений применяется, когда суждение эксперта о предпочтительности по какому-либо критерию изменяется на исследуемом промежутке времени, и когда возможно построить аналитические зависимости по всем элементам матрицы парных сравнений.
Метод попарного сравнения динамических предпочтений с улучшением согласованности вводимой экспертами информации следует использовать, если некоторые аналитические зависимости не определены, или если не удается добиться хорошей согласованности экспертных суждений.
Метод парного сравнения. В иерархии выделяют элементы двух типов: элементы-«родители» и элементы-«потомки». Элементы-«потомки» воздействуют на соответствующие элементы вышестоящего уровня иерархии, являющиеся по отношению к первым элементами-«родителями». Матрицы парных сравнений строятся для всех элементов-«потомков», относящихся к соответствующему элементу-«родителю».
Элементами-«родителями» могут являться элементы относящиеся к любому иерархическому уровню, кроме последнего, на котором расположены, альтернативы. Парные сравнения проводятся в терминах доминирования одного элемента над другим. Полученные суждения выражаются в целых числах 9-ти бальной шкалы (табл.2.1.).
Данная шкала позволяет ЛПР ставить в соответствие степени предпочтения одного сравниваемого объекта перед другим некоторые числа. Правомочность этой шкалы доказана теоретически [84,112] при сравнении со многими другими шкалами.
При использовании указанной шкалы ЛПР, сравнивая два объекта в смысле достижения цели, расположенной на вышележащем уровне иерархии, должен поставить в соответствие этому сравнению число в интервале от 1 до 9 или обратное их значение.
Заполнение квадратных матриц парных сравнений осуществляется по следующему правилу.
Если элемент (альтернатива) А\ доминирует над элементом (альтернативой) А2, то клетка матрицы, соответствующая строке А\ и столбцу А2 заполняется целым числом, а клетка, соответствующая строке А2 и столбцу А] заполняется обратным к нему числом. Если элемент А2 доминирует над А], то целое число ставится в клетку, соответствующую строке А2 и столбцу А\, а дробь проставляется в клетку, соответствующую строке А\ и столбцу А2. Если элементы А\кА2 равнозначны, то в обе позиции матрицы ставятся единицы.
Потенциально алгоритмически защищенные системы
Процесс принятия решений в организационной системе управления содержательно представляет собой выбор определенного варианта из числа альтернативных вариантов. В качестве области возникновения альтернатив ограничиваемся рассмотрением так называемых потенциально алгоритмизируемых защищенных систем (ПАС).
Понятие коллектива алгоритмов принадлежит аналитической теории алгоритмов. Если коллектив алгоритмов, алгоритм или операнд обозначены не которой буквой (например Z), то будем запись этого объекта, выполненную на формальном языке; обозначать той же буквой «с крышкой» (например, Z), а функцию, индуцируемую алгоритмом (или коллективом) Z, будем обозначать той же буквой «с тильдой», т.е. «с волной» (например, Z).
Если говорить не строго, но наглядно, то коллектив алгоритмов К представляет собой совокупность «алгоритмов» А\уАг,..,Ап совместно перерабатывающих общий для них операнд X, причем процесс, определяемый каждым Aj, зависит только от его записи Л,- и от состояния операнда Д, претерпевающего изменения, вызываемые всеми А\,Аг,..уАы- Результат совместного процесса по определению должен быть однозначным, в чем заключается результативность коллектива К. Слово «алгоритмов» в приведенном описании понятия коллектива алгоритмов взято в кавычки, так как каждый «алгоритм» имеет смысл только в составе содержащего его коллектива, а взятый в отдельности может не быть результативным. Учитывая сказанное, впредь кавычки, ставшие теперь излишними, будем опускать.
Предположим, что запись операнда X состоит из непересекающихся элементов, которые будем обозначать малыми греческими буквами а,р,є,.... Удобно считать, что на каждом алгоритмическом шаге происходит сперва считывание {обращение по чтению) одного или нескольких элементов операнда, а затем запись {обращение по записи) частного результата на место одного из элементов операнда, без изменения имени последнего элемента.
Приведем некоторые определения из аналитической теории алгоритмов [126]: Определение L Элемент є операнда X, к которому обращается в течение всего процесса только один алгоритм коллектива или несколько алгоритмов, но только по чтению, называется собственным элементом.
Определение 2. Элемент є операнда X, к которому некоторый алгоритм коллектива обращается по записи и хотя бы один из других - по чтению, называется несобственным.
Определение 3. Шаги, на которых производятся обращения только к собственным элементам, называются регулярными. Шаги, на которых совершаются обращения к несобственным элементам, называются критическими.
Определение 4. Нумеруя шаги каждого частного процесса pj, с помощью чисел 1, 2, 3,... в порядке их выполнения, мы зададим так называемый частный порядок на процессе ру. Если в процессе pj шаг И имеет меньший частный номер, чем шаг Л", то будем писать И 1ї\ р Равенство h -Л", означает, что И и h" — это один и тот же шаг.
В каждом частном процессе pj шаги выполняются в соответствии с частным порядком данного процесса и, если эти шаги регулярны, независимо от выполнения шагов других частных процессов. Иначе обстоит дело с критическими шагами. Если в процессе pt наступила очередь шага h\ а в процессе р//Ф /) - очередь шага h" и оба критических шага связаны с одним и тем же несобственным элементом, то от последовательности, в которой они выполняются, может зависеть окончательный результат, что недопустимо. Вместе с тем нужно помнить, что строго одновременное обращение разных частных процессов к одному и тому же несобственному элементу физически невозможно. Поэтому для критических шагов, связанных с каждым несобственным элементом, должен существовать свой порядок выполнения (связанный с содержанием задачи, решаемой при помощи коллектива алгоритмов).
Определение 5. Совокупность критических шагов, связанных с несобственным элементом є , называется є -порцией, если взаимный порядок выполнения этих шагов не влияет на результат совместного, процесса и после выполнения некоторого шага этой совокупности и до выполнения всех ее шагов другие критические обращения к г не должны производиться.
Замечание. Шаги различных -порций не могут выполняться вперемежку. Определение 6. Совокупность нескольких перенумерованных є-порций, таких, что шаги первой из них должны быть выполнены раньше любого критического шага остальных порций (первая может быть единственной), а кри тические шаги (/+1)-й (і =1,2...) должны быть выполнены после всех критических шагов /-й (если таковая не является последней), составляют так называемый е-фрагмент.
Каждый г-фрагмент обозначают заглавной латинской буквой, вслед за которой в скобках указывают наименование несобственного элемента, например Е(е).
Всем критическим шагам /-й порции е-фрагмента присваивают один и тот же, номер і, называемый специальным.
Определение 7. Совокупность номеров критических шагов фрагмента Е(е) определяется так называемый специальный порядок шагов, принадлежащих данному фрагменту.
Если А и А" - критические шаги фрагмента Е(е) и если специальный номер шага А меньше специального номера шага А", то пишут А А", Е(є). Запись Л-А", Е(є) понимают как утверждение о том, что А и А" является одним и тем же шагом, а не как бесполезное в данном случае утверждение о равенстве специальных номеров шагов А и А".
Определение 8. Если для шагов А и А" в каком-либо частном процессе pj имеет место А A", pj - и/или в каком либо е-фрагменте А А", Е(Е), то говорят, что в соответствии с общим порядком И предшествует шагу А" и пишут А А".
Определение 9. Сетевой схемой совокупного процесса выполнения коллектива алгоритмов К при операнде X (и графом его общего порядка) называют ориентированный граф с вершинами А/, изображающими шаги совокупного процесса, ребрами (А/;,Л/ ), изображающими переходы между шагами в частных процессахру, и ребрами (Ы Ы ),/ Ф/ изображающими непосредственное следование шагов, в соответствии с их специальными порядками. В сетевой схеме каждый частный процесс pj дополнен фиктивным шагом А(/, а последним шагом каждого процесса является А/.
Задача принятия решения решений по результатам испытаний защищенности программных средств
Опыт, накопленные при рассмотрении задач выбора решений в условиях определенности, неопределенности и риска, позволяет отметить, что среди важнейших проблем, связанных с этими задачами, следует выделить представление знаний о характеристиках защищаемых ПС и среды пользователей. Сложность описания этих характеристик на естественном языке требует применения новых формальных методов и концепций принятия решений, в частности, теории нечетких множеств. Введенное Л.Заде в 1965 году понятие размытого (нечеткого) множества сейчас является перспективной концепцией и активно используется в расплывчатых процедурах и алгоритмах принятия решений по нечисловой информации [47].
К расплывчатым категориям при выборе решений относятся такие характеристики, которые представлены в нечисловой (качественно) форме (например, "конфиденциальные условия эксплуатации ПС", "недостаточно высокое качество защищенности ПС", "медленное решение задач" и т.д.). Расплывчатые категории возникают там, где представления ЛИР выражаются с помощью недостаточного определенных качественных оценок.
В основе расплывчатых категорий и нечетких множеств лежит введенное Л.Заде понятие лингвистической переменной (ЛП), т.е. такой переменной, которая выражается не числом, а словом на естественном языке.
Трудности манипулирования расплывчатыми категориями, содержащимися в текстах, представленных на естественном языке и связанными с необходимостью их формального представления при оценке защищаемых ПС, выборе и принятии решений, успешно преодолены Л.Заде с помощью введений понятий "нечеткого множества" и "функции принадлежности". В отличии от классической теории множеств, элементы которых либо принадлежат к ним, либо не принадлежат, Л.Заде рассматривает такие множества ("нечеткие"), элементы которых обладают разной степенью принадлежности этому множеству. О степени принадлежности конкретного элемента к некоторому нечеткому множеству судят по значению его функции принадлежности, которое изменяется в интервале [0,1]. При этом крайние значения (0 V 1) характеризуют соответственно полную непринадлежность или полную принадлежность данного элемента нечеткому множеству.
Различным аспектам теории нечетких множеств сейчас в научной литературе посвящено более 5000 публикаций, в частности, рассмотрены задачи линейного программирования (ЛП) с нечеткими (размытыми) ограничениями, задачи ЛП с нечеткими коэффициентами, задачи нечеткого математического программирования с четкими целями; задачи определения размытого множества Парето и модели взвешенной свертки нечетких локальных критериев. В этих публикациях можно выделить два основных направления. Одно из них состоит в "размывании" существующих математических понятий, т.е. в замене "жесткого" отношения принадлежности элемента множеству на функцию принадлежности, введенную Л.Заде; так возникают нечеткие аналоги известных математических теорий. Второе направление состоит в разработке методов количественного описания нечетких ситуаций и последующего использования известного аппарата теории принятия решений в условиях определенности или риска. Дальнейшее развитие работ первого направления связано с разработкой механизма оперирования с размытыми объектами. Исследования в этом направлении только начинаются и пока отсутствуют конкретные инженерные результаты. В то же время в рамках второго направления получен ряд инженерных результатов, которые уже сейчас позволяют решать прикладные задачи выбора решений.
Рассмотрим один из таких результатов на примере решения задачи оценки показателей качества защищенности ПС в нечеткой обстановке, когда отсутствует общепринятая шкала измерений свойств, определяющих качество ПС.
В нечеткой обстановке показатель качества (ПК) защищенности ПС может быть описан с помощью лингвистической оценки типа "ПС имеет достаточно высокое значение ПК", "ПК защищаемого ПС почти соответствует желаемому значению" и т.д.
В первом случае качество контрольного примера неудовлетворительно, программное средство признано работоспособным, во втором случае — наоборот, третий и четвертый исходы очевидны.
Испытания ПС необходимы для принятия следующих решений: 1. О целесообразности защиты исследуемого ПС при сравнительно небольшом количестве этапов приемочных испытаний. 2. О выделении подмножества пользователей, у которых сопровождение исследуемого ПС экономически целесообразно, при сокращении тем самым затрат на сопровождение ПС. Имеется, полученное вместе с поступившим ПС, либо после очередного этапа приемочных испытаний априорное распределение вероятностей возможных исходов испытаний ПС. Кроме того, имеется информация о случайных значениях реальных исходов контрольных приемочных прогонов защищаемой программы. Пусть задано не более 20 групп пользователей, отличающихся одна от другой относительными затратами на использование исследуемого ПС. При формировании групп пользователей применяется метод, алгоритм и программный модуль сцепления корреляционных плеяд. Заданы также относительные затраты каждой из групп пользователей для каждого из возможных исходов испытаний, усредненные затраты на использование данного класса ПС, приоритет исследуемого ПС.
