Содержание к диссертации
Введение
1. Системный анализ методов экспертного оценивания контроля качества технологических процессов 9
1.1. Проблемы и технологии построения интегрированных информационных систем контроля качества 9
1.2. Методология построения аналитических моделей системы контроля качества на основе карт контроля качества 12
1.2.1. Анализ методик оценки качества на основе типовых контрольных карт 12
1.2.2. Анализ методов и моделей построения систем оценки контроля качества технологических процессов 19
1.2.3. Функции лаборатории поддержки качества на предприятиях по изготовлению асфальто-бетонной продукции 22
1.3. Методьг и модели экспертного оценивания качества промышленных изделий 28
1.4. Формирование правил вывода в динамической среде 35
1.4.1. Место систем электронного документооборота в информационной поддержке управления предприятием 40
Выводы по главе 1 46
2. Разработка методов и моделей контроля качества в динамических экспертных системах 47
2.1. Сравнительный анализ алгоритмов расчета контрольных пределов для кар контроля качества 47
2.2. Разработка интегральных критериев контроля качества 55
2.3. Разработка методов классификации качества и пригодности
технологических процессов 61
2.3.1. Дискриминантный анализ в задаче классификации с учетом
коррелированности показателей 61
2.3.2. Разработка метода классификации качества с учетом априорной
информации 66
2.3.3. Использование карт Парето в классификации качества 70
2.4. Методика распознавания рукопечатных форм 77
Выводы по главе 2 85
3. Разработка методов оценки квалификации экспертов при оценке качества технологических процессов 86
3.1. Формирование требований к квалификации экспертов при оценке качества технологических процессов 86
3.2. Модель латентно-структурного анализа в системе экспертного оценивания 89
3.3. Модели латентного профиля с двумерным распределением 93
3.4. Гипотетические и практические примеры кластеризации на основе латентно-структурного анализа 99
3.4.1. Гипотетический случай двух классов экспертов при оценке качества технологического процесса 99-
3.4.2. Практический случай двух классов экспертов при оценке качества технологического процесса 103
3.4.3. Гипотетический случай трех классов 105
3.4.4. Сравнительный анализ результатов моделирования классификации
экспертов 108
Выводы по главе 3 110
4. Апробация методики контроля качества и пригодности технологических процессов в непрервном производственном цикле 111
4.1. Апробация методики оценки качества на основе типовых контрольных карт для производства бетонных плит 111
4.1.1. Интерпретации результатов Х-карты 111
4.1.2. Оценка пригодности процесса 113
4.1.3. Задание причин и действий 114
4.1.4. Вычисление параметров карты для различных наборов выборок... 118
4.1.5. Построение карт Скользящего среднего/Скользящих размахов 121
4.1.6. Построение карт Отдельных наблюдений и скользящих размахов. 123
4.2. Программные технологии статистического анализа в системе контроля качества 125
Выводы по главе 4 127
Заключение 128
Литература 129
Приложение. Акты о внедрении 139
- Проблемы и технологии построения интегрированных информационных систем контроля качества
- Сравнительный анализ алгоритмов расчета контрольных пределов для кар контроля качества
- Формирование требований к квалификации экспертов при оценке качества технологических процессов
- Апробация методики оценки качества на основе типовых контрольных карт для производства бетонных плит
Введение к работе
В настоящее время большое внимание уделяется разработке систем поддержки принятия решений в оценке качества промышленной продукции. При этом качество продукции напрямую связано с качеством технологических процессов. Применение статистических методов - весьма действенный путь разработки технологий контроля качества. Многие ведущие фирмы стремятся к их активному использованию, и некоторые из них тратят более ста часов ежегодно на обучение этим методам, осуществляемое в рамках самой фирмы. Знание методов - часть нормы образования инженеров по контролю качества, но само знание еще не означает умения применить его. Дать разумную интерпретацию события с математической точки зрения, важнее, чем знание самих методов. Кроме того, надо уметь идентифицировать недостатки и возникшие затруднения в плане изменения самого технологического процесса. Важно не столько знание самих методов, сколько сознательное желание их использовать.
Производственный процесс должен быть управляемым. Иными словами, если средние значения последовательных выборок оценок допусков сильно флуктуируют или явно находятся вне заданного допуска, то вначале нужно решить проблемы качества. Следовательно, первый шаг к организации высококачественного процесса производства состоит в том, чтобы сделать процесс управляемым, в том числе с помощью методов, основанных на картах контроля качества. Если процесс управляем, то можно ставить вопрос о его пригодности.
Целью настоящей работы является повышение эффективности оценки качества технологических процессов в непрерывном производственном цикле за счет автоматизации процедур экспертного оценивания на основе карт контроля качества.
В соответствии с поставленной целью в диссертации решаются следующие задачи:
анализ методов и моделей оценки качества технологических процессов в непрерывном производственном цикле;
разработка и параметризация планов контроля качества технологических процессов;
разработка методов и моделей классификации качества технологических процессов и формирование обобщенных критериев качества;
анализ и разработка системы экспертного оценивания показателей технологических процессов;
разработка программно-моделирующего комплекса системы управления контролем качества продукции.
Научную новизну работы составляют методы, модели и методики, обеспечивающие автоматизацию экспертного оценивания - качества технологических процессов в непрерывном производственном цикле промышленных предприятий.
На защиту выносятся:
методы агрегирования показателей карт контроля качества;
классификация показателей качества технологического процесса в условиях коррелированности показателей качества промышленных изделий;
модели латентно-структурного анализа в системе экспертного оценивания качества
программно-моделирующий комплекс оценки качества технологических процессов.
Диссертация состоит из четырех глав, в которых приводится решение поставленных задач»
В первой главе диссертации проведен анализ и показано, что существует два обстоятельства, наиболее сильно влияющих на качество продукции: отклонения от плановых спецификаций и слишком высокая изменчивость реальных характеристик изделий (относительно плановых спецификаций). На ранних стадиях отладки производственного процесса для оптимизации
этих двух показателей качества часто используются методы планирования эксперимента. Изменчивость или вариабельность - причина дефектов. Что будет, если изготавливать изделия из материалов одинакового качества на одинаковых станках, с помощью одних и тех же методов и проверять эти изделия совершенно одинаковым образом? Вне зависимости от того, сколько изделий будет изготовлено, все они должны быть идентичными, пока идентичны упомянутые условия, т.е. либо все изделия будут соответствовать требованиям, либо не будут им соответствовать. Все изделия окажутся дефектными, если материалы, станки, методы изготовления или контроля будут ненадлежащими. В этом случае неизбежно появление одинаковых дефектных изделий. Если же никаких отклонений в перечисленных условиях производства не будет, то все изделия должны быть "идентичными" -бездефектными.
Во второй главе диссертации разработаны формальные методы и модели контроля качества промышленной продукции. Ставится и решается задача формализации моделей контроля качества на основе карт контроля качества (глава 1) и принципов их включения в систему поддержки принятия решений по управлению технологическими процессами.
Для организации сбора экспертной информации по оценке контроля качества предлагается методика, основанная на формализованном описании информационных потоков. С теоретико-множественных позиций описываются и документы и сообщения как элементы информационного потока. Каждый документ (экспертное заключение) есть множество лексических единиц.
При реализации системы документооборота в диссертации разработан метод распознавания рукопечатных форм заполнения карт
В третьей главе диссертации ставится и решается задача формализации моделей экспертного опроса и оценки качества экспертизы с учетом оценки компетентности самих экспертов.
При этом необходимо учитывать основные показатели качества эксперта, а именно, профессиональные качества (компетентность), способность решать задачи, метод решения которых полностью или частично неизвестен (креативность), способность выявлять неочевидные проблемы (эвристичность), способность угадывать решение без его обоснования (интуиция), способность предсказать будущее решение (предикатность), способность противостоять большинству (независимость), способность видеть проблему с разных точек зрения (всесторонность).
Для повышения точности классификации экспертов и идентификации ситуаций по показателям технологического процесса в диссертации разработана модель кластеризации на основе методов латентно-структурного анализа, в которой предполагается, что каждый латентный класс является однородным относительно любых оценочных величин.
В четвертой главе проведена апробация методики оценки контроля качества на примере анализа технологических процессов производства железобетонных плит.
При производстве бетонных плит ширина и длина являются важными характеристиками качества, так как плита по размерам должна точно подходить предусмотренному для нее месту.
Обоснованность научных положений, рекомендаций и выводов, изложенных в работе, определяется корректным использованием современных математических методов, согласованным сравнительным анализом аналитических и экспериментальных зависимостей. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения разработок в ряде предприятий.
Научные результаты, полученные в диссертации, доведены до практического использования. Разработан программно-моделирующий комплекс, позволяющий в интерактивном режиме формировать и корректировать экспертные оценки качества продукции. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического
8 применения в ЗАО НПВФ «СВАРКА» и ЗАО «ФИРМА ПРОМСТРОЙМОНТАЖ».
Результаты внедрения и эксплуатации подтвердили работоспособность и эффективность разработанных методов.
Содержание разделов диссертации докладывалось и получило одобрение:
на республиканских и межрегиональных научно-технических конференциях, симпозиумах и семинарах (2005-2008 г.г.);
на заседании кафедры «Автоматизированные системы управления» МАДЩГТУ).
Материалы диссертации отражены в 6 печатных работах.
Диссертационная работа состоит из введения, пяти глав и заключения, изложенных на 127 страницах машинописного текста, содержит 28 рисунков, 7 графиков и 9 таблиц, список литературы из 116 наименований и приложения.
Проблемы и технологии построения интегрированных информационных систем контроля качества
Для всех процессов возникает необходимость установить пределы характеристик изделия, в рамках которых произведенная продукция удовлетворяет своему предназначению. Вообще говоря, существует два "врага" качества продукции: 1) уклонения от плановых спецификаций и 2) слишком высокая изменчивость реальных характеристик изделий (относительно плановых спецификаций). На ранних стадиях отладки производственного процесса для оптимизации этих двух показателей качества часто используются методы планирования эксперимента.
Изменчивость или вариабельность - причина дефектов. Что будет, если изготавливать изделия из материалов одинакового качества на одинаковых станках, с помощью одних и тех же методов и проверять эти изделия совершенно одинаковым образом? Вне зависимости от того, сколько изделий будет изготовлено, все они должны быть идентичными, пока идентичны упомянутые условия, т.е. либо все изделия будут соответствовать требованиям, либо не будут им соответствовать. Все изделия окажутся дефектными, если материалы, станки, методы изготовления или контроля будут ненадлежащими. В этом случае неизбежно появление одинаковых дефектных изделий. Если же никаких отклонений в перечисленных четырех условиях производства не будет, то все изделия должны быть "идентичными" - бездефектными.
Почему же наряду с бездефектными изделиями изготавливаются дефектные? Причины этого заключаются в изменениях материалов, наладки станков, приемов работы и методов проверки. Если бы не было перечисленных изменений, все изделия были бы идентичными, а их качество оставалось бы неизменным.
Изменчивость - причина выпуска дефектных изделий. Если попытаться ее уменьшить, их число, несомненно, сократиться. Это - простой и здравый принцип, одинаково правильный вне зависимости от видов изделий или типов технологических процессов.
Диагноз процессов. Причины изменений качества бесчисленны и их воздействие различно. Некоторые из них сильно влияют на изменение качества, в то время как другие, теоретически считающиеся важными, на самом деле не оказывают существенного воздействия, если должным образом контролируются.
Все бесчисленные возможные причины делятся на две группы. К первой относится небольшое число причин, которые оказывают существенное воздействие (их именуют "немногочисленные существенно важные"). Вторую группу составляет большое число причин, оказывающих тем не менее незначительное воздействие (их называют "многочисленные несущественные"). Обычно факторов, вызывающих дефекты не так уж много. Этот принцип, именуемый принципом Парето, применим во многих случаях.
Как же поставить правильный диагноз? Существует много методов. Некоторые полагаются на интуицию, другие опираются на прошлый опыт, третьи прибегают к статистическому анализу данных. Однако для устранения дефектных изделий важен не столько годами накопленный опыт, сколько сильная воля к их снижению и желание объективно анализировать реальную ситуацию. Взгляд на вещи сквозь призму статистики и статистические методы - наиболее эффективные средства объективного наблюдения.
Применение статистических методов - весьма действенный путь разработки новой технологии и контроля качества производственных процессов. Многие ведущие фирмы стремятся к их активному использованию, и. некоторые из них тратят более ста часов ежегодно на обучение этим методам, осуществляемое в рамках самой фирмы. Хотя знание статистических методов - часть нормы образования инженера, само знание еще не означает умения применить его.- Способность рассматривать события с точки зрения статистики, важнее, чем знание самих методов. Кроме того, надо уметь честно признавать недостатки и возникшие изменения и собирать соответствующую информацию. Важно не столько знание самих статистических методов, сколько сознательное желание использовать их.
Нет смысла изучать пригодность производственного процесса, если он не управляем. Иными словами, если средние значения последовательных выборок сильно флуктуируют или явно находятся вне заданного допуска, то вначале нужно решить проблемы качества. Следовательно, первый шаг к организации высококачественного процесса производства состоит в том, чтобы сделать процесс управляемым с помощью методов, основанных на картах контроля качества. Если процесс управляем, то можно ставить вопрос о его пригодности. Ответ на этот вопрос основывается на "статистических" рассуждениях и близок обсуждавшейся ранее проблеме выборочного контроля.
Сравнительный анализ алгоритмов расчета контрольных пределов для кар контроля качества
При этом все виды карт контроля качества дают информацию, необходимую для принятия решений по переналадке технологического процесса. При этом каждая карта рассматривается как некоторый показатель оценки качества, однако интерпретация всех показателей для решения вопроса об изменении технических характеристик (переналадке, замене, установке новых агрегатов и др.) формулируется как задача экспертного оценивания качества в условиях многокритериальности.
Для контроля изменчивости производственного процесса строятся следующие контрольные карты:
X-bar карта. На этой контрольной карте наносятся значения выборочных средних для того, чтобы контролировать отклонение от среднего значения непрерывной переменной. Функционал карт контроля качества X карта для отдельных наблюдений. Кроме выборок, состоящих из нескольких наблюдений, контрольные карты для переменных могут быть построены также для отдельных наблюдений, полученных в ходе производственного процесса. Иногда такой подход необходим в силу дороговизны или невозможности анализа выборок, состоящих из ряда наблюдений. Примером может служить ситуация, когда число претензий потребителей или случаев возврата изделий может быть получено только по итогам месяца, тем не менее, существует необходимость в проведении текущего анализа этих данных для выявления ухудшения качества продукции. Другим широко встречающимся примером- применения карт данного типа является проверка автоматическим тестирующим прибором каждой единицы произведенной продукции. В этом случае обычно стремятся обнаружить небольшие отклонения качества выпускаемой продукции (например, постепенное ухудшение качества, обусловленное износом производящего оборудования). При этом наилучшее применения находят контрольные карты типа CUSUM, МА, и EWMA (контрольные карты для накопленных сумм и взвешенных средних).
Контрольная карта скользящего среднего (МА-карта), контрольная карта экспоненциально взвешенного скользящего среднего (EWMA-карта). Помимо средних значений или отдельных наблюдений на карты данного типа накладывается линия скользящего среднего. Процедура сглаживания позволяет более наглядно отразить систематические отклонения от центральной линии (путем удаления, шума). Стоит заметить, что эти карты так же могут быть построены для отдельных наблюдений, (т.е., для N=1).
Контрольная карта накопленных сумм (CUSUM-карта). На данном типе карт, вместо отдельных наблюдений фиксируется накопленная сумма-отклонений отдельных измерений от центральной линии или спецификации. Данная карта особо хорошо подходит для обнаружения малых постоянных сдвигов процесса (дрейфов). В то время как на стандартной X карте такой дрейф может не вызвать выброса точки за контрольные пределы ввиду большого количества выборок, CuSum карта очень чувствительна в этом отношении и быстро определяет малые отклонения. R-карта. Для контроля за степенью изменчивости непрерывной величины в контрольной карте этого типа наносятся значения размахов выборок.
MR-карта. Эта карта используется в паре с картами для отдельных наблюдений (X, CuSum), с целью контроля за изменчивостью переменной. Вместо выборочных размахов, на карте выводятся (движущиеся) размахи соседних точек (отдельных наблюдений). S-карта. Для контроля за степенью изменчивости непрерывной переменной в контрольной карте данного типа рассматриваются значения выборочных стандартных отклонений. S2 карта. В контрольной карте данного типа для контроля изменчивости строится график выборочных дисперсий.
Для контроля качества продукции по альтернативному признаку применяются следующие типы контрольных карт: С-карта. В таких контрольных картах строится график числа дефектов (в партии, в день, на один станок, в расчете на 100 м бетонных изделий и т.п.). При использовании карты этого типа делается предположение, что дефекты контролируемой характеристики продукции встречаются сравнительно редко, при этом контрольные пределы для данного типа карт рассчитываются на основе свойств Распределения1 Пуассона (распределения редких событий).
U-карта. В карте данного типа строится график относительной частоты дефектов, то есть отношения числа обнаруженных дефектов к числу проверенных единиц продукции. В отличие от С-карты, для построения карты данного типа не требуется постоянство числа единиц проверяемых изделий, поэтому ее можно использовать при анализе партий различного объема.
Np-карта. В контрольных картах этого типа строится график для числа дефектов (в партии, в день, на станок); как и в случае С-карты. Однако, контрольные пределы-этой карты рассчитываются на основе биномиального распределения, а не распределения редких событий Пуассона. Поэтому данный тип карт должен использоваться в том случае, когда обнаружение дефекта не является редким событием (например, когда обнаружение дефекта происходит более чем у 5% проверенных единиц продукции). Этой картой можно воспользоваться, например, при контроле числа единиц продукции, имеющих небольшой брак.
Формирование требований к квалификации экспертов при оценке качества технологических процессов
Подбор экспертов необходимо проводить из соображений: много экспертов - плохо, так как больше вероятность привлечения некомпетентных специалистов; мало - тоже плохо, так не будет достаточной статистики согласования мнений экспертов.
При этом необходимо учитывать, основные показатели качества эксперта, а именно, профессиональные качества (компетентность), способность решать задачи, метод решения которых полностью или частично неизвестен (креативность), способность выявлять неочевидные проблемы (эвристичность), способность, угадывать решение без его обоснования (интуиция), способность предсказать будущее решение (предикатность), способность противостоять большинству (независимость), способность видеть проблему с разных точек зрения (всесторонность).
Кроме того, должны быть разработаны формальные оценки качества экспертиз и механизмов выбора рациональных решений, основанные на предположениях 1-7. 1. Условие наследования (Н):
Смысл условия заключается в том, что выбор из более широкого подмножества будет более широкий.
В ряде случаев при подборе экспертов используются некоторые численные оценки, характеризующие их квалификацию. Такие статистические оценки носят экспертный характер, и их применение возможно только тогда, когда эксперт достаточно часто привлекался для решения задач экспертизы одного типа. Примером может служить определение экспертами качества продукции в отделе технического контроля. Численные оценки могут быть использованы для улучшения состава экспертной группы и повышения достоверности результирующей оценки.
Целью анализа является получение весов экспертов щ. Пусть после многократного оценивая набрана статистика относительно ошибок і-го эксперта в j-ой экспертизе. Значения ошибок вычисляются на основании соотношения:
Величины, находящиеся слева, являются эмпирически данными, или наблюдаемыми. Они соответствуют количеству экспертов во всей выборке п, количеству экспертов, давших положительное заключение на один вопрос пр количеству экспертов, давших положительное заключение на два вопроса «,к, и т. д. Величины справа - подлежащие дальнейшему рассмотрению латентные параметры модели. Количество величин справа q равно числу подгрупп (латентных классов), на которые в результате анализа будет производиться разделение всей выборки. Число экспертов в латентном классе 1 равно щ т. д. Латентная вероятность рц равна доле членов латентного класса 1, давших положительный ответ на вопрос j, вероятность Рцк равна доле членов латентного класса 1, давших положительные ответы на вопросы j и к, и т. д. Уравнения (3) просто показывают, каким образом эмпирические данные рекрутируются из латентных классов. По ходу дела можно заметить, что уравнения (3), которые являются системой уравнений рекрутирования, линейны по своей природе, в то время как исходные уравнения факторного анализа линейны просто потому, что их такими выбрали. Различие между наблюдаемыми и латентными характеристиками, которые так выпукло обнаруживаются в теории латентной структуры, являются, конечно, центральным и в факторном анализе.
Уравнения рекрутирования одинаково верны для любого способа классификации и для любого числа латентных классов. Следующий шаг — выбор подходящего основания для классификации. Это основа модели латентной структуры. Естественно требовать, чтобы каждый латентный класс был однородным относительно любых исследуемых (латентных) величин, могущих влиять на наблюдаемые соотношения. Полная однородность не обязательна, если отклонения от сред него в классе случайны. Такие случайные отклонения конечно, не коррелированны внутри класса. Следовательно, необходимо потребовать, чтобы каждый латентный класс был достаточно однородным по отношении к любой такой'латентной величине, так чтобы все единичные высказывания внутри класса были независимы в смысле статистической независимости
Апробация методики оценки качества на основе типовых контрольных карт для производства бетонных плит
Примером Х-карты может/служить ситуация, когда число претензий потребителей или случаев г возврата изделий может быть получено только по итогам месяца, тем , не менее, существует необходимость в проведении текущего анализа этих данных для выявления ухудшения, качества продукции. Другим широко встречающимся примером применения карт данного типа является проверка автоматическим тестирующим прибором каждой единицы произведенной продукции. В этом случае обычно стремятся обнаружить небольшие отклонения качества выпускаемой продукции (например, постепенное ухудшение качества, обусловленное износом производящего оборудования).
Как и контрольные пределы, выраженные в единицах сигмы, критерии серий имеют в своей основе "статистическое" обоснование. Так, например, вероятность того, что любое выборочное среднее значение для Х-карты окажется выше центральной линии, равна 0.5 при следующих условиях: 1) производственный процесс находится в нормальном состоянии (т.е. центральная линия проведена через- значение, равное среднему контролируемой характеристики генеральной совокупности изделий), 2) средние значения следующих друг за другом выборок независимы (т.е. отсутствует автокорреляция)- и 3) выборочные средние значения контролируемой характеристики распределены по нормальному закону. Проще говоря, при таких условиях для выборочного среднего значения шансы попасть выше или ниже центральной линии составляют 50 на 50. Поэтому вероятность того, что два следующих друг за другом выборочных средних окажутся выше центральной линии, будет равна 0.5 , умноженному на 0.5 , т. е. 0.25.
Соответственно; вероятность того, что выборочные средние девяти последующих выборок (или серия из 9 точек контрольной карты) окажется с одной стороны от центральной линии, составит 0.59 — .00195. Заметим, что это значение приблизительно равно вероятности того, что отдельное выборочное среднее значение не попадет в интервал, ограниченный контрольными пределами в 3 сигма (при условии нормального распределения выборочных средних и нормальности производственного процесса). Поэтому, в качестве еще одного индикатора разладки производственного процесса можно рассматривать ситуацию, когда девять последовательных выборочных средних находятся с одной стороны от центральной линии.
В системе предусмотрена возможность использования нескольких подобных критериев для выявления наличия специальных причин появления отклонения в контрольных картах типов X, R, S, С, U, Р и Np, т.е. для обнаружения причин разладки производственного процесса - критерии серий.
Оценка пригодности процесса
Затем построим контрольную карту для длины. Всего имеется 20 выборок по 3 наблюдения в каждой. Эти данные могли быть получены как непосредственно с измерительного устройства, так и из базы данных.
Перед тем, как сказать, верно ли идет производственный процесс, нужно убедиться в том, что изменчивость процесса находится под контролем. Поэтому мы сначала исследуем контрольную карту изменчивости процесса (в данном случае - R карту). Заметим, что вторая выборка свидетельствует о разладе процесса, так как размах для нее превышает верхний контрольный предел.
Теперь обратимся к X-bar карте. 19 выборка также может говорить о разладе процесса, так как среднее для нее находится ниже нижнего контрольного предела.
Чтобы убедиться в случайности выборок, проверяются критерии серий. Отображаются две таблицы (одна для X-bar карты, другая для R карты). Обе таблицы показывают отсутствие нарушений критериев серий.
Пригодность процесса. Если мы знаем, что наши спецификации допускают отклонение +/-10 миллиметров от 100 для ширины изделия, мы можем изучить пригодность процесса и отобразить на графике индексы пригодности процесса. Задается Номинал+-дельта, для которого отображаются две таблицы с индексами пригодности и индексами производительности процесса. Изучив индексы пригодности процесса, делаем вывод, что процесс можно считать пригодным и центрированным (хотя у нас есть выборки за контрольными пределами). Затем проводится анализ индектов пригодности Ср, Cr, Cpl, Сри, и Срк (левый верхний угол).
Похожие диссертации на Автоматизация системы экспертного оценивания качества технологических процессов в непрерывном производственном цикле промышленных предприятий
