Содержание к диссертации
Введение
1. Анализ классических методов обработки пассивной информации 12
1.1. Применение математико-статистических и информационных методов для обработки многомерной пассивной информации с целью принятия решения по управлению и оптимизации сложного объекта исследования 12
1.2. Два подхода к математическому описанию объекта исследования 17
1.3. Метод случайного баланса 19
1.4. Метод стохастической аппроксимации 23
1.5. Методы определения парной корреляции 29
1.6. Методы оценки параметров выборок 41
1.1. Постановка задачи по совершенствованию методов обработки пассивной информации для математического описания сложного объекта исследования 44
2. Разработка и оптимизация методов математического описания обьекта исследования на основе автоматизированной обработки пассивной информации 47
2.1. Построение комплекса математических методов обработки пассивной информации при подходе к объекту как к «черному ящику» 47
2.2- Методы сокращения факторного пространства 48
2.3. Экспертный метод весовых коэффициентов важности , 56
2.4. Исследование точности и стабильности функционирования обьекта на основе расслоенной ретроспективной информации 62
2.5. Разбиение многомерных данных на однородные группы 66
2.6. Модифицированный метод случайного баланса 67
2.7- Метод наименьших квадратов с предварительной ортогоналгоацией факторов 78
2.8. Комбинированный метод математического описания объекта 85
2.9.Разработка специального математического обеспечения системы анализа и оптимизации обработки информации и принятия решений 86
2.10 Оценка качества математического описания сложного объекта 89
2.11. Выводы 90
3. Комплекс программ для автоматизации обработки контрольно- измерительной информации 93
3.1.Обоснование выбора операционной системы и языка программирования 93
3.2. Программа оболочки комплекса математических методов и программ 94
3.3. Разработка программ первичной обработки КИИ 97
3.4. Разработка программ сокращения размерности факторного пространства 104
3.5. Разработка программ построения системы математического описания 110
3.6. Разработка программ дополнительной обработки данных 116
3.6.1. Исследование разброса выходной величины методом расслоенного (ступенчатого) эксперимента
3.6.2. Проведение декомпозиции структуры объекта исследования
3.7. Выводы 120
4. Примеры применения разработанных методов математического описания сложных объектов исследования 122
4.1. Нахождение и исследование математического описания технологического процесса производства кристаллов ИМС 122
4.2. Построение математического описания и оіггамизация технологического процесса производства пива 132
4.3. Построение математического описания получения прибыли банком 135
4.4. Выводы 148
Заключение 150
Литература 153
Приложение 165
- Метод стохастической аппроксимации
- Экспертный метод весовых коэффициентов важности
- Разработка программ первичной обработки КИИ
- Нахождение и исследование математического описания технологического процесса производства кристаллов ИМС
Введение к работе
В любой производительной отрасли экономики, в медицине, научных исследованиях различных направлений к настоящему времени накоплены большие объемы пассивной экспериментальной количественной информации, обработка которой с целью выявления причинно-следственных связей затруднена вследствие отсутствия или труднодоступности методов свертки (например, в виде многомерных регрессионных уравнений), а также вследствие большого (или наоборот, слишком малого) объема числового материала. В этом отношении наибольший интерес представляют объекты, имеющие сложный характер как по количеству входных и выходных параметров, так и по иерархии обработки (например, изделия электронной техники), методы исследования которых могут быть направлены на повышение эффективности их функционирования.
Рост структурной и функциональной сложности объектов исследования, а также необходимость оперативного вмешательства в управление с целью повышения эффективности их функционирования обуславливает появление новых острых проблем в этой области. Общими особенностями таких объектов, затрудняющих применение известных методов свертки информации, их математического описания и управления в промышленности, являются:
многономенклатурность (например, изделий электронной техники);
сравнительно низкий процент выхода годных изделий, что требует оперативного анализа объекта для выявления неудовлетворительно работающих его компонентов;
групповой хараісгер производства, что требует учета иерархии обработки и коррекции режимов работы оборудования и/шти параметров изделий;
длительность изготовления изделий, что приводит к появлению множества влияющих производственных факторов, коррелированных с параметрами изделия (например, для изделий электронной техники). В свою очередь это приводит к необходимости разработки эффективной процедуры выявления информативных (контролируемых) параметров;
5) дрейф технологических условий, что приводит к необходимости оперативной корректировки режимов функционирования оборудования в пределах одного цикла производства.
Наиболее перспективным и экономически целесообразным решением поставленных вопросов, в том числе выявление скрытых резервов производства, на наш взгляд является более полное использование пассивной контрольно-измерительной информации (КИИ), накопленной за некоторый период времени по результатам пооперационных и финишных контролей параметров изделий электронной техники. Однако этому препятствуют:
отсутствие объективной эффективной системы выбора контролируемых (контролепригодных) параметров изделия, имеющих существенное влияние на выходные показатели качества (в том числе процента выхода годных) и метода комплексного анализа взаимосвязей между ними;
отсутствие объективной меры оценки этой эффективности, которая позволила бы выбрать наиболее подходящую модель для управления объектом;
отсутствие объективного метода декомпозиции сложного объекта исследования на практически независимые части, позволяющего получить комплексную модель, пригодную для управления объектом, в более короткие сроки и с меньшими вычислительными трудностями;
отсутствие связанной цепочки математических методов и комплекса компьютерных программ, позволяющих в единой форме и в одной интегрированной среде программирования обрабатывать пассивную производственную (экспериментальную) КИИ от первоначальной таблицы исходных данных до доказательства адекватности полученной модели с рекомендациями по ее применению для корректировки производственных режимов.
Ввиду того, что эффективность производственного процесса непосредственно зависит от качества управления технологией, которая, в свою очередь, опирается на точность и оперативность обработки КИИ, разработка математических методов исследования системных связей и закономерностей функционирования с учетом структурных особенностей объекта исследований (например, изделий электронной техники и технологических процессов их произвол-
ства), а также объединение их в единый комплекс статистических методов под единой оболочкой является актуальной задачей.
Целью диссертационной работы является разработка комплекса алгоритмов получения адекватных многомерных регрессионных моделей для описания сложного объекта исследования путем автоматизированной обработки пассивной контрольно-измерительной (экспериментальной) информации, а также пакета программ по всему комплексу методов в единой интегрированной среде программирования как приложение для одной из широко распространенных операционных систем Windows.
Для достижения поставленной цели решались следующие задачи:
Метод стохастической аппроксимации
Одним из широко используемых методов проведения «активного эксперимента» является полный факторный эксперимент (ПФЭ) [11, 67], реализующий все возможные повторяющиеся комбинации уровней независимых переменных, каждая из которых варьируется на двух уровнях. Число этих комбинаций N = Т f где п количество отобранных параметров для исследования. Число строк матрицы планирования экспериментом позволяет рассчитать и проверить на значимость 2я оценочных коэффициентов при одиночных факторах, их парных и тройных взаимодействиях, В условиях большого количества производственных факторов современных сложных производств, этот метод становится слишком трудоемким, так как число учитываемых параметров колеблется от нескольких десятков до нескольких сотен.
В этой ситуации вместо ПФЭ можно воспользоваться дробным факторным экспериментом (ДФЭ\ который позволяет получить модель при меньшем числе опытов за счет реализации только части плана ПФЭ (дробную реплику). При большом количестве переменных можно построить дробные реплики высокой степени дробности (1/4, 1/8, 1/16 и так далее). Число этих комбшіаций N — Т р, гдер количество переменных приравненных к соответствующим произведениям переменных. Для правильного планирования ДФЭ необходимо использовать все полученные сведения об объекте теоретического и интуитивного характера и выделить те переменные и произведения переменных, влияние которых минимально. Смешивание нужно производить так, чтобы основные оценки bh b2, ...f Ьп были смешаны с взаимодействиями, о которых заранее известно, что они не оказывают влияния на объект.
Еще одним выходом из этой ситуации является применение другого метода статистического моделирования - метода случайного баланса (МСБ). При очень большом числе факторов сложного объекта исследования необходимо произвести предварительное отсеивание несущественных и выделение тех из них, ксяорые оказывают наиболее заметное влияние на целевую функцию. С помощью сравнительно небольшого числа опытов метод "случайного баланса" позволяет решить эту проблему. Важнейшей предпосылкой применения метода является априорное знание о том, что из всей совокупности исследуемых факторов только небольшое их количество действительно является существенным, а остальные можно отнести к "шумовому полю" [72]. Целью эксперимента в методе случайного баланса является упорядочение факторов по степени их влияния на целевую функцию и оценка коэффициентов модели. Основная идея метода заключается в том, что вместо дробных реплик, которые представляют систематические выборки из полного факторного эксперимента, предлагается брать случайные выборки. При этом совместные оценки оказываются смешанными некоторым случайным образом. Планирование отсеивающих экспериментов делается сверхнасыщенным, то есть число опытов N выбирается из условия где к — число исследуемых эффектов (входных параметров и их парных взаимодействий). В этом случае число степеней свободы v становится отрицательной величиной, следовательно, нельзя дать количественной оценки всем коэффициентам регрессии. Но этого и не требуется, так как необходимо большую часть эффектов отнести к "шумовому полю", тогда оставшиеся эффекты будут оценены количественно. При этом оценка будет производиться с тем большей ошибкой, чем больше дисперсия "шумового поля".
Из сказанного выше можно заключить, что метод случайного баланса обладает меньшей чувствительностью, чем полный факторный эксперимент или дробный факторный эксперимент (под чувствительностью метода понимается способность выделять коэффициенты регрессии, значительно отличающиеся от О, то есть отбрасывать нуль-гипотезу bf = 0), Зато МСБ обладает большей разрешающей способностью: он позволяет выделить раздельно доминирующие эффекты среди очень большого числа факторов, взятых под подозрение.
Построение матрицы планирования для проведения отсеивающих экспериментов выполняется следующим образом. Все факторы разбиваются на группы по 4 - 6 факторов в группе, и для каждой из них выбирается дробный факторный план возможно меньшего объема. Разбивку иногда связывают с физикой процесса, а иногда производят формально. В некоторых задачах имеется априорная информация о том, какие из факторов являются доминирующими (например, полученная путем опроса экспертов). Тогда план эксперимента целесообразно составить так, чтобы первую его часть составил дробный факторный план (без случайного смешивания), построенный только из этих факторов.
Если априорное упорядочение совпадает с апостериорным, то уже предварительный эксперимент позволяет получить несмешанные оценки коэффициентов при значимых факторах. При использовании случайных выборок из полного факторного плана или при использовании случайных чисел для выбора уровней переменных в матрице планирования оценки параметров будут случайно смешаны друг с другом. План проведения эксперимента методом случайного баланса образуется путем случайного смешивания строк соответствующих групповых планов. Пусть требуется исследовать 21 эффект (6 линейных эффектов и 15 взаимодействий) от 6 факторов и выделить наиболее существенные го них с помощью небольшого числа опытов. По составленной матрице плана проводится эксперимент и измеряется выходная величина. Полученные экспериментальные данные анализируются с помощью диаграмм рассеивания результатов наблюдений по отдельным факторам. Для каждого фактора на графике проводится своя ордината, на которой с одной стороны отмечаются точками значения выходной величины на нижнем уровне варьирования данного фактора, а с другой стороны - на верхнем уровне. Для каждой из групп точек определяется медиана. Разность между медианами называется вкладом данного параметра, и чем она больше, тем сильнее воздействие соответствующего фактора на выходную величину.
В случае, если несколько факторов признаются одинаково существенными (то есть их вклады не отличаются существенно), то для решения вопроса, о том какой же из факторов признать главным проводят расчет вкладов «выделяющихся» точек, путем составления специальных таблиц. В результате определяется наиболее существенный из факторов, и рассчитанная величина вклада позволяет получить оценку коэффициента модели при рассматриваемом параметре.
Экспертный метод весовых коэффициентов важности
По каким либо признакам, обычно по внешнему виду кривой, высказывается гипотеза о том, что распределение случайной величины приближается к той или иной теоретической кривой распределения. Эта гипотеза проверяется с помощью вычисления выравнивающих частот выбранного распределения и одного из критериев согласия. По полученным результатам гипотеза либо принимается, либо отвергается.
Одной из предпосылок отыскания математической модели методами статистического моделирования является нормальный закон распределения параметра оптимизации. Это следует из того, что многие статистические критерии выполняются только при условии нормального закона распределения случайной величины и в случае отклонения дают неадекватные результаты. Поэтому необходимо иметь возможность предварительно проверить закон распределения параметров и в случае необходимости преобразовать его к нормальному [1].
Для проверки закона распределения на совпадение с нормальным законом распределения используется критерий согласия 2-Пирсона (хи-квадрат).
Значение критерия вычисляется путем суммирования квадратов разностей между вычисленными выравнивающими частотами, то есть частотами, которые должны быть при нормальном (согласно нашему предположению) распределении, приведешіьши к масштабу опыта, и уже имеющимися по гистограмме выборочными частотами. По таблице (% ) определяется вероятность совпадения выборочного ряда распределения с нормальной кривой распределения.
Критерий согласия Р(# ) не дает возможности с уверенностью утверждать или отрицать гипотезу. Существует довольно простое правило (критерий Романовского) [71], значительно облегчающее использование критерия согласия Пирсона для оценки расхождения между выборочными и выравнивающими частотами, которое при выполнении неравенства говорит о том, что расхождение случайно и вызвано малостью выборки, в противном случае, расхождение следует полагать существенным и признать, что выборочное распределение не подчиняется теоретическому закону, с которым его сравнивали.
Практика показала, что список параметров, имеющих место при исследовании сложного объекта современного производства, варьируется от нескольких десятков до нескольких сот наименований, причем степень воздействия каждого из факторов в начальный момент не ясна. Приступать к работе по не « посредственному определению модели в этих условиях нельзя - объем требуе мой информации может оказаться слишком велик, причем большая часть работы по сбору этой информации будет проделана впустую из-за того, что степень влияния на параметры оптимизации большинства факторов из первоначального списка окажется пренебрежимо малой. Поэтому необходимым этапом при определении модели сложного объекта является работа по сокращению размерности факторного пространства. Большинство промышленных производств являются групповыми иерархическими процессами массового и крупносерийного производства, характеризующимися сотнями факторов, С целью исследования системных связей и закономерностей функционирования таких сложных объек тов обычно выбираются несколько информативных параметров и осуществляется их выборочный контроль- Такие же задачи встречаются, например, и при исследовании показателей состояния организма людей, химических и физико-механических показателей сельскохозяйственной продукции, оптимизации и прогнозировании экономических показателей и так далее. Таким образом мы почти всегда имеем дело с большим количеством показателей, которые можно измерить и зафиксировать, но нельзя произвольно изменять. Для фиксации цифровых значений таких показателей и упорядочения первичной собранной информации удобно использовать форму таблицы.
Таблица исходных данных представляет собой матрицу размером N M, где М - факторы (столбцы), отобранные для исследования параметры какого-либо процесса, а N - строки, являющиеся данными измерений, причем каждая строка принадлежит одному объекту исследования. Такая матрица может содержать значительный объем информации, извлечь которую является сложной стати 52 стической задачей [2,49].
Первоначальная таблица исходных данных содержит довольно большой список измеряемых параметров- Для построения модели необходимо этот спи сок параметров значительно сократить, так как с ростом числа факторов трудоемкость моделирования растет как степенная функция, и уравнение модели, имеющее очень большое количество членов, непригодно для эффективного и гибкого управления сложным объектом. Отсев факторов можно производить по двум критериям: факторы незначимые, то есть не влияющие на целевую функцию и внесенные в первоначальный список ошибочно, и факторы, коррелированные между собой, то есть имеющие сильную внутреннюю связь. Для моделирования достаточно выбрать один из этих факторов, а другой можно отбросить как не дающий дополнительной информации в будущую модель. Не существует никаких формальных критериев, позволяющих определить, какой ю факторов должен быть отброшен, а какой оставлен. Выбор остается за исследователем, который может положиться на свою интуицию, опыт и знание структуры объекта.
Разработка программ первичной обработки КИИ
Во-первых, никакого искусственного изменения (варьирования) факторов в достаточно широких пределах нет, а имеет место лишь естественное производственное варьирование в пределах допуска на параметр» то есть сравнительно малое. Это означает, что для выявления влияния факторов на целевую функцию на фоне «шума» достигается путем увеличения таблицы экспериментальных данных. Опытным путем установлено, что таблица результатов пассивного эксперимента должна быть длинной по 10-15 строк на каждый исследуемый фактор, но не более 300 - 350 строк всего.
Во-вторых, при составлении первоначального списка факторов нет информации о конкретном влиянии каждого фактора на целевую функцию. Исследования показали, что, как правило, таблицы исходных данных представляют собой так называемые сверхнасыщенные планы, часть факторов которых не влияют на целевую функцию и, в конце концов, уйдет в шум эксперимента. Отсев таких факторов может производиться на основе объективных (например, метод случайного баланса) или субъективных (методы экспертных оценок) методов, в результате чего размерность факторного пространства сокращается в 2-5 раз без существенной потери информации.
В-третьих, в первоначальном списке факторы могут быть сильно кор-релированы между собой. Естественно, что один из них должен быть отброшен как не дающий дополнительной информации в будущую модель. Наиболее подходящим методом для этого является метод корреляционных плеяд и ядер. При этом размерность факторного пространства сокращается еще в 2 5 раз без существенной потери информации.
В результате получается таблица некоррелированных (точнее слабокоррелированных) данных, которая и является исходной для любых методов моделирования по пассивным данным. Одним из таких методов, позволяющим выявить наиболее значимые факторы, а также произвести дополнительную очистку данных является модифицированный метод случайного баланса по пассивным данным. Известно, что требованиям всех факторных планов является: - некоррелированность (слабая коррелированностъ) факторов; - нормальность закона распределения целевой функции Y; - ортогональность факторов; - гомоскедастичность, то есть равенство выборочных дисперсий во всех точках факторного пространства Нормальность закона распределения целевой функции проверяется путем построения гистограммы распределения и сравнения нормальной теоретической кривой распределения по критерию х -Пирсона. Если критерий не выполняется, и закон распределения отличается от нормального, то его следует преобразовать к нормальному виду путем применения различных математических преобразований. После получения математической модели и проверки ее адекватности необходимо проделать обратные преобразования.
Ортогональность факторов в активном эксперименте обеспечивается переносом центра координат в базовую точку зксперимеїгга и выбором точек факторного пространства, расположенных в вершинах гиперкуба (длина каждого ребра которого принимается за удвоенную новую единицу измерения), вписанного в гиперсферу определенного радиуса. Этим обеспечивается равномерное исследование окрестностей базовой точки, в результате чего можно получить меньшую дисперсию оценок коэффициентов регрессии.
Результаты экспериментальных данных, полученных при пассивном эксперименте, можно рассматривать как таблицу координат беспорядочно расположенных точек факторного пространства и откликов целевой функции в этих точках. Конечно, все эти точки не могут лежать в вершинах гиперкуба или хотя бы на гиперсфере одного радиуса, однако, из них с приемлемой ошибкой можно выбрать некоторые, которые отвечают требованию ортогональности. Для получения плана эксперимента предлагается следующий прием.
Любые факторные планы, в том числе и ММСБП, одним из предвари тельных этапов планирования имеют переход от координат с абсолютными единицами измерения факторов к координатам с относительными единицами, где единичной мерой служит достаточно произвольно выбранный шаг варьирвания , свой для каждого фактора. Тем самым достигается преобразование координат таким образом, что в факторном пространстве получаются концентрические гиперсферы, а не другие фигуры, а выбор вершин гиперкуба в качестве точек проведения активного эксперимента автоматически обеспечивает выбор только одной гиперсферы.
При пассивном эксперименте каждый фактор Хк имеет в таблице экспериментальных данных целый диапазон значений от Хк . до Хк , которые могут быть рассмотрены как выборка с Хк. Целесообразно разбить диапазон Хк . - Хк на три части (приблизительно, но не обязательно, одинаковые по вероятности попадания в них), причем за центр всей группировки принять Хк, рассчитанную по большому количеству данных. Так как большинство факторов распределены по законам близким к нормальному, то границами областей могут стать точки Хк f где Sk — среднеквадратическое отклонение значения фактора Хк. Тогда все значения ХкХк -z-Sk отнесем к области хк=-\, все отнесем к области:с =+1, а все значения Хк — z Sk Xk Хк +z-Sk отнесем к области xk=Q. Величинаz может меняться в пределах 0,25-0,50 по желанию исследователя. Таким образом, вершины гиперкуба превратились из точек в довольно обширные, хотя и локализованные, области, что эквивалентно утолщению оболочки гиперсферы. Следовательно, необходимая точность выделения значимых факторов для построения модели может быть обеспечена только за счет увеличения числа опытов в каждой точке локализованной области факторного пространства. Это требование достаточно легко выполняется, так как при пассивном эксперименте можно накапливать опытные данные довольно долго.
Нахождение и исследование математического описания технологического процесса производства кристаллов ИМС
Основным результатом работы в соответствии с поставленной целью является подбор классических методов обработки экспериментальной информации, их дополнение и усовершенствование, разработка новых математических методов, позволяющих провести весь комплекс работ по подготовке данных к статистическому моделированию и построению математических моделей различными методами на основе пассивной контрольной информации.
Новые научные результаты состоят в следующем: 1. Разработан метод оценки точности и стабильности функционирования объекта на основе расслоенной ретроспективной информации. 2. Разработан комбинированный метод моделирования по пассивным данным, основанный на сочетании двух методов ММСБП и МНКО, который позволяет за счет проведения дополнительной очистки исходных данных значительно повысить уровень качества математической модели и сделать его сравнимым с качеством моделей, получаемых на основе активного эксперимента 3. Разработан метод оценки качества многомерных регрессионных моделей на основе их информационной емкости, получаемой путем вычисления разности двух энтропии: энтропии исследуемой системы Y = f(X) (исходная таблица данных) и энтропии системы после получения сведений о характере взаимодействия в виде математической модели f = f(X). 4. Разработан метод объективной декомпозиции структуры сложного объекта контроля, позволяющий получить комплексную математическую модель, пригодную для управления технологическим процессом, в более короткие сроки и с меньшими вычислительными трудностями. Практическая ценность работы состоит в том, что создан комплекс математических методов и программ, объединенных под единой оболочкой, которые позволяют: - получать математические модели технологического процесса на базе пассивной числовой информации повышенной эффективности, сравнимой с эффективностью математических моделей, найденных с помощью активного эксперимента; - значительно (в 3-5 раз) уменьшить список параметров, по которым необходимо производить отбраковочный контроль по ходу технологического процесса, исключить дублирование информации и тем самым снизить себестоимость кристаллов на 20 - 40%; - повысить в 1,5 - 4 раза эффективность многомерной регрессионной модели технологического процесса по критерию информационной емкости по сравнению с существующими методами моделирования; - значительно (в сотни раз) уменьшить количество необходимых экспериментальных данных (в числовом выражении) для построения многомерной регрессионной модели всего технологического процесса на основе предложенного метода объективной его декомпозиции и тем самым существенно уменьшить время сбора необходимой информации; - автоматизировать процедуру нахождения математической модели от таблицы исходных данных до проверки модели на адекватность и информационную емкость, что дает возможность оперативно (в одном цикле изготовления) в случае необходимости вводить корректировку в режиме технологических операций. Разработанные математические методы обработки пассивной экспериментальной информации и пакет компьютерных программ «MathModel» успешно опробован для получения регрессионных статистических моделей технологического процесса производства кристаллов ИМС, по которым сделаны рекомендации, позволяющие увеличить в среднем процент выхода годных кристаллов с 65% до 82%. Эти же методы и программы применены для моделирования выходных показателей качества пива и его интегральной оценки. Полученные результаты позволили эффективно управлять технологическим процессом с целью достижения желаемого качества выпускаемого продукта. Эти же 152 методы и программы применены для моделирования прибыли банка, по результатам которого сделаны рекомендации по окончательному списку необходимых информативных параметров и повышению дохода банка. Таким образом, была доказана возможность применения всего комплекса математических методов и компьютерных программ или отдельных их фрагментов для обработки любой пассивной экспериментальной информации независимо от конкретной предметной области исследования, вида закона распределения факторов и формы представления числового материала (непрерывные величины, дискретные, в том числе биномиальные).
