Содержание к диссертации
Введение
1. Краткий обзор наиболее сильных известных методов фильтрации 15
2. Методика проверки описываемых методов моделированием 24
3. Новые алгоритмы нелинейной фильтрации повторяющихся сигналов
3.1. Метод выделения массива 34
3.2. Метод попарного сравнения 58
3.3. Метод сравнения 61
3.4. Способ увеличения помехоустойчивости М-оценок (метод итерационного сравнения) 71
3.5. Определение доверительных интервалов оценок 75
3.6. Блок-схемы алгоритмов 85
4. Реализация методов фильтрации повторяющихся сигналов в аппаратуре ЭВП-802 86
5. Нелинейная фильтрация изменяющихся сигналов при обработке записей магнитотеллурического поля 93
6. Фильтрация функциональных зависимостей методом скользящего сравнения 116
7. Особенности фильтрации опорного сигнала при фазовых измерениях 122
8. Реализация метода скользящего сравнения и метода фильтрации опорного сигнала в аэроэлектроразведке 129
9. Фильтрация градиентных измерений в методе заряда 136
Заключение 147
Литература 151
Приложения
- Краткий обзор наиболее сильных известных методов фильтрации
- Методика проверки описываемых методов моделированием
- Реализация методов фильтрации повторяющихся сигналов в аппаратуре ЭВП-802
- Нелинейная фильтрация изменяющихся сигналов при обработке записей магнитотеллурического поля
Введение к работе
Актуальность проблемы. Различные измерения играют большую и всё возрастающую роль почти во всех видах человеческой деятельности. Во многих областях науки и техники, в том числе в электроразведке, приходится измерять те или иные величины, сигналы. В большинстве случаев измерения можно провести многократно.
Широко распространены многократные измерения повторяющихся одинаковых или постоянных сигналов. Так, большая часть измерений в электроразведке связана с повторяющимися измерениями периодических или постоянных полей. Эгим занимаются в индуктивной и кондуктивной электроразведке (метод вызванной поляризации, ВЭЗ, заряд, профилирование, электрическая корреляция), в методах естественного поля и др.
Близка к упомянутой ситуация, когда измеряемые сигналы хотя и изменяются во времени, но свойства объекта не изменяются. Следовательно, не должны изменяться и результаты обработки этих сигналов. Если отдельный результат обработки можно однозначно связать с измеренным в какой-то момент времени набором сигналов, то методы цифровой фильтрации можно пытаться применить к фильтрации набора не сигналов, а результатов.
Гораздо сложее случай когда, как и выше, исследуемый объект не меняется, а измеряемые сигналы, позволяющие судить о двойствах этого объекта, изменяются во времени. Но отдельный результат обработки включает несколько взаимосвязанных величин и их нельзя однозначно связать с набором сигналов, фиксируемых в тот или иной момент времени. Пример подобных многократных измерений - магнитотеллурические измерения. Их результат -тензор импеданса - получают решением системы линейных уравнений относительно компонент магнитотеллурического поля, определённых на нескольких участках записи этого поля, при этом компоненты поля изменяют и частоту, и амплитуду, и фазу.
Ещё один случай возникнет при исследовании функциональных зависимостей, в том числе пространственных кривых, если и сигналы, и свойства объекта, а следовательно, и результаты обработки изменяются, но изменяются достаточно монотонно, а скорость их изменения мала. В электроразведке это профильные наблюдения, когда датчики от измерения к измерению перемещаются незначительно, обычно не более чем на несколько метров.
На сигналы всегда наложены помехи, искажающие результаты измерений, иногда очень сильно. Поэтому один из путей повышения качества, достоверности, уменьшения продолжительности и снижения стоимости исследований, в том числе геофизических, - применение методов обработки сигналов (или результатов) возможно более сильно подавляющих помехи и обеспечивающих при данном времени измерений возможно большую их точность или, иначе, возможно меньшее среднее квадратическое отклонение (СКО) оценки измеряемого сигнала (результата). Часто, особенно при высоком уровне помех, указанный путь - единственно возможный. В электроразведке подобные ситуации возникают при измерениях И Hf
онах.
6ИБЛИ0ТЄКА СЛвтербин;, О»
Но современным представлениям (В.А. Грановский, Т.Н. Сирая), плотность распределения помех с хорошей степенью приближения можно представить в виде
/>0>,g)= i^g ехрС-^Цо + аоо. (1)
Указанная модель помехи предполагает, что сигнал содержит небольшую флуктуационную помеху с приблизительно Гауссовым законом распределения N(0,oY), но иногда с вероятностью б зашумлен аномальной, обычно импульсной, помехой, имеющей неизвестное, часто несимметричное распределение h(y), и гораздо большую амплитуду, превосходящую или соизмеримую с амплитудой измеряемого сигнала.
Известно (В.И. Мудров, В.Л. Кушко), что для выделения повторяющегося сигнала на фоне только флуктуационных помех с нормальным распределением наилучшим является метод накопления (среднего арифметического). Однако уже один аномально искажённый сигнал может полностью испортить оценку, полученную методом накопления. Известно много робаст-ных (устойчивых) методов, позволяющих оценить периодический сигнал, искаженный помехой (1). Количественной характеристикой устойчивости является точка срыва є* - максимальная доля исходных данных, произвольное изменение которой не приводит к неконтролируемому росту погрешности оценки. Простейшая и наиболее устойчивая оценка - медиана, для определения которой полученные значения сигнала располагают по возрастанию, а за оценку принимают среднее значение или, когда число повторений четное, полусумму двух средних значений полученного ряда. У медианы точка срыва близка к 0.5, а у среднего арифметического она равна нулю. Однако за повышение помехоустойчивости приходится платить. Медиана заметно менее эффективна, т.е. хуже среднего арифметического подавляет чисто флуктуационную помеху. Заметим, что эффективность оценки е определяется отношением минимально возможной дисперсии ст - к ее фактическому значе-нию <у а при распределении помех строго по нормальному закону
е = a a I а а . Эффективность среднего арифметического единица, а эффективность медианной оценки - примерно 0.67 из-за того, что исходная выборка усекается.
Существуют много компромиссных робастных методов, по эффективности не очень сильно уступающих среднему арифметическому. Лучшие из наиболее распространённых, называемые М-оценками, R-оценками, имеют эффективность 0.8-0.9, а точки их срыва лежат между 0.1 и 0.3. Таким образом, все известные методы работают, когда время аномального искажения сигнала относительно невелико. Даже наиболее помехоустойчивые из них, в том числе медиана, начинают отказывать, когда это время приближается к половине времени измерения. Уже в простейшем случае постоянных или периодических сигналов задача подавления аномальных помех, искажающих сигнал более половины времени наблюдения, не решена. Методы подавления
'*
помех, аномально искажающих 30-50 % измеряемых сигналов, существуют, но их эффективность невысока.
Однако в ряде областей науки и практики приходится обрабатывать малые наборы повторяющихся измерений (выборки из нескольких десятков реализаций), где доля аномально искажённых реализаций велика и составляет до половины и более половины реализаций выборки. С подобной ситуацией приходится сталкиваться, например, при геофизических измерениях в промышленно развитых районах; при нарушениях радиосвязи, когда части установки разнесены в пространстве и связаны по радиоканалу; в радиотелеметрии, когда принимаемый сигнал мал. Поэтому разработка алгоритмов фильтрации, эффективно подавляющих смесь флуктуационных и аномальных помех и сохраняющих работоспособность, когда аномальная помеха существует до половины времени измерения и более, а время измерения относительно невелико, весьма актуальна.
Цель работы - повышение помехоустойчивости и эффективности цифровой нелинейной фильтрации путём разработки новых методов, работоспособных, когда аномальная помеха с неизвестным распределением существует до половины времени измерения и более, остальное время сигнал искажён флуктуационной помехой с нормальным распределением, а время измерения ограниченно, и реализация этих методов в электроразведке.
При этом ставились следующие задачи:
-
Разработать эффективные алгоритмы нелинейной цифровой фильтрации постоянных и повторяющихся сигналов, искажённых смесью флуктуационных и аномальных помех, сохраняющие работоспособность, когда аномальные помехи искажают сигнал до половины и более половины времени измерения, а время измерения относительно невелико (несколько десятков повторений). Проверить их сравнительно с лучшими существующими моделированием на ЭВМ, а также при измерениях в полевых условиях в районах с высоким уровнем помех. Реализовать разработанные методы в цифровой переносной аппаратуре для кондуктивной электроразведки.
-
Разработать и реализовать помехоустойчивую методику фильтрации и обработки записей магнитотеллурического поля.
-
Разработать помехоустойчивые методы фильтрации функциональных зависимостей и пространственных кривых (профилей) и реализовать их сравнительно с известными в системе аэроэлектроразведки.
-
Разработать метод фильтрации грубых ошибок при измерении градиента поля в методе заряда и реализовать его в автоматизированной системе обработки данных метода заряда.
Научная новизна работы. Предложены, разработаны и опробованы 4 новых метода фильтрации одинаковых повторяющихся и постоянных сигналов. Работа всех их основана на том, что плотность распределения сигналов, искажённых аномальными помехами, меньше, чем сигналов, искажённых только флуктуационной помехой. Это позволило предложить идеи и разработать методы подавления аномально искажённых сигналов (или результатов их обработки), даже если аномально искажено более половины реализаций
обрабатываемой выборки. Два метода, названные выделением массива и попарным сравнением, используют упомянутую разницу в плотности распределения прямо, а два - сравнения и итерационного сравнения - опосредованно. Моделирование показало, что методы выделения массива и сравнения имеют помехоустойчивость выше, чем любой из используемых в электроразведке методов, в том числе выше, чем метод медианы, причём метод сравнения приближается к последней по эффективности. Метод итерационного сравнения, относящийся к М-оценкам и использующий весовую функцию Тьюки, превосходит М-оценку Тьюки и другие М-оценки по помехоустойчивости, не уступая в этом отношении методу медианы, а по эффективности значительно превосходит метод медианы и близок к другим М-оценкам. Существенное, почти двукратное, повышение помехоустойчивости по сравнению с М-оценкой Тьюки при небольшой потере эффективности достигнуто новым подходом к вычислению М-оценок. При этом упомянутый метод сравнения используется для помехоустойчивого получения начального приближения и одновременно для отбраковки части аномально испорченных отсчётов. В принципе предложенный подход применим для помехоустойчивого вычисления всех известных М-оценок [1, 8, 11, 13, 14, 16, 18-21, 23, 24, 26, 27].
Часть предложенных методов реализована сравнительно с известными в аппаратуре ЭВП-802, способной обрабатывать одни и те же исходные сигналы по разным алгоритмам. Полевые испытания подтвердили результаты моделирования. Предлагаемые методы позволяли вести измерения в районах с высоким уровнем помех, где известные методы включая медиану давали недопустимо большой разброс результатов [1, 8, 10, 12-16, 19, 21, 23, 26,27].
Предложена и реализована оригинальная методика филь фации записей магнитотеллурического поля. Известно много методов фильтрации и обработки записей этого поля: поле рассматривается как случайный процесс, быстрым преобразованием Фурье вычисляются спектры, определяются кросс-спектры, чистые спектральные плотности и используемые для фильтрации когерентности между компонентами поля (В.Ю. Семёнов); обработка методом интегральных уравнений (М.И. Шимелевич); обработка путём аппрок-симационного подхода (СЕ. Кургинян, А.А. Ноздрина); обработка с помощью математических фильтров по установившимся или произвольным фильтрованным колебаниям (М.Н. Бердичевский, И.А. Безрук, О.М. Чинаре-ва); обработка методом наименьших квадратов (М.Н. Бердичевский) и др. В работе ни в коей мере не ставится под сомнение работоспособность этих методов. Но магнитотеллурическое поле отличается сложностью и большим разнообразием источников и каждый отдельно взятый метод основывается только на части свойств этого поля. Предлагаемая же методика опирается на некоторые, в полной мере не использованные ранее особенности магнитотеллурического поля и особенности работы предложенных нами методов фильтрации периодических сигналов. Предлагаемая методика может использоваться самостоятельно или в дополнение к известным методам.
Методика позволяет для автоматической разбраковки записей магнитотеллурического поля использовать методы, первоначально разработанные
нами для фильтрации повторяющихся сигналов. Прямо применить эти методы к записям магнитотеллурического поля невозможно. Нельзя применить их к фильтрации первичных сигналов, поскольку последние изменяют и частоту, и амплитуду, и фазу. Нельзя применить их и к фильтрации кбнечных результатов, поскольку, во-первых, конечный результат - тензор, и, во-вторых, этот тензор получают решением системы линейных уравнений, использующих несколько участков записи поля, и нельзя однозначно связать конечный результат с отдельным участком. Однако есть два параметра изучаемого поля - горизонтальный импеданс и горизонтальный магнитный параметр, однозначно связанные с отдельными участками записи. Правда, упомянутые величины тоже непостоянны. Они могут изменяться, хотя и не очень сильно, не только за счет помех. Но установлено, что их величина и, самое главное, величина их разброса для вариаций поля меньше, чем для помех. К наборам этих величин, соответствующим всем участкам, применялся разработанный метод сравнения. Он выделяет наиболее плотную часть в ранжированной последовательности реализаций фильтруемой величины, автоматически настраиваясь на её размер. Метод даёт медианную оценку значения фильтруемой величины по выделенной части и определяет её разброс в выделенных пределах. Значит, в нашем случае определяет медианные значения горизонтального импеданса и горизонтального магнитного параметра и разброс этих величин для участков записей, соответствующих вариациям. Поскольку горизонтальный импеданс и горизонтальный магнитный параметр у вариаций меньше, чем у помех, полученные "ворота" для обоих величин расширяются в сторону меньших значений и производится разбраковка записей по участкам. Методика позволила по сравнению с ручной разбраковкой заметно увеличить устойчивость определения зависимости кажущегося электросопротивления от частоты [1-7, 9, 17, 29, 31, 32,34, 35, 38^*2, 47].
Предложены и реализованы метод помехоустойчивой фильтрации функциональных зависимостей и пространственных кривых (профилей) и метод помехоустойчивой фильтрации опорного сигнала при фазовых измерениях. Комбинированным применением этих методов сравнительно с известными успешно обработаны почти 200 профилей общей протяжённостью около 1000 км в труднодоступных районах Среднего Урала. Съёмка велась аэроэлектроразведкой с использованием переменного поля незаземлённой петли. Существующие методы, из-за высокого уровня аномальных помех, позволяли обработать только часть этих материалов [1, 43-45,48-51].
Предложен и реализован метод подавления грубых ошибок при увязке значения электрического потенциала в методе заряда. Он эффективно выявляет и подавляет промахи, которые на замкнутых опорных контурах создают недопустимую невязку, ставящую под сомнение качество обработки на всей площади наблюдений. С его помощью также могут быть локализованы и исключены промахи при измерениях на рядовых профилях, начинающихся и заканчивающихся на точках опорного контура. Сущность метода состоит в совместном применении метода скользящей медианы и интерполяции параболическим многочленом Лагранжа, что позволило преодолеть недостатки
каждого метода и улучшить точность восстановления сильно искажённых отсчётов, по сравнению с фильтрацией скользящей медианой, почти в 10 раз. Метод облегчает выполнение высокоточных измерений полей зарядов и значительно повышает достоверность выделения малых аномалий от слабоконтрастных по проводимости объектов [1, 22, 25, 28, 30, 33,36, 37, 46].
Новизну разработок автора подтверждают 11 авторских свидетельств и патентов, в том числе 3 на способ.
Практическая ценность работы заключается в повышении эффективности электроразведки, использующей многократные измерения. Разработанные методы позволяют проводить измерения в особо сложных по уровню помех промышленио развитых районах, где ранее измерения было проводить вообще невозможно из-за большого разброса результатов. Если аномально искажается свыше 1/4 сигналов, то предлагаемые методы существенно превосходят известные и в точности оценки и в её достоверности. Если же аномальных помех мало, то разработанные методы очень немного уступают известным в точности оценки, но по-прежнему их превосходят за счёт большого запаса помехоустойчивости в достоверности.
Во всех районах с высоким уровнем помех применение разработанных алгоритмов заметно повышает и точность и достоверность измерений и (или) снижает время их проведения, повышая производительность труда и уменьшая стоимость работ. Алгоритмы имеют простую структуру и легко могут быть встроены в любую геофизическую аппаратуру с микропроцессорным управлением. Предлагаемые методы положены в основу алгоритмов работы микропроцессорного прибора ЭВП-802. Они применялись при обработке записей, полученных аппаратурой ГРОЗА, АММЗ, АММЗ-2, ПВЦ, АМЗ-10К.
Описываемые методы создавались для электроразведки и применялись в ней же, в основном в случаях, когда помехи велики. Однако не существует никаких принципиальных ограничений по их применению в других областях науки и техники, в том числе и таких, где проводятся очень точные измерения. Условия их применения - ограниченное время измерения, часть измерений, возможно большая, искажена помехой с неизвестным распределением и эта помеха больше, чем 0](л/2) , где о\ - СКО флуктуационной помехи, воздействующей на остальные измерения. Абсолютная величина помех и их относительная величина по отношению к сигналу значения не имеют, нужно только, чтобы неизвестная помеха приводила к большему разбросу сигналов или результатов, чем флуктуационная помеха с Гауссовым распределением. Поэтому работа (кроме специфических восьмой, девятой глав и средины пятой главы) полезна для любого экспериментатора, стремящегося подавить аномальные помехи с неизвестным законом распределения.
Реализация работы в практике геофизической разведки. Часть разработанных методов фильтрации периодических сигналов сравнительно с известными реализована в программно управляемом микропроцессорном измерителе вызванной поляризации ЭВП-802. Измеритель прошел государственные испытания и выпущен установочной серией, изготовленной Свердловским опытно-экспериментальным заводом скваженной геофизической аппа-
ратуры (ОЭЗСГА). И опытный образец измерителя, и установочная серия прошли успешное полевое опробование, в частности, в Черемшанской геофизической партии УГСЭ ПГО "Уралгеология", подтвердившее, что помехоустойчивость разработанных методов выше, чем у известных. Полевые измерения проводились в различных геологических условиях при поисках меди, золота и других полезных ископаемых.
Разработанные методы фильтрации и обработки записей магнитотел-лурических колебаний реализованы при обработке полевых материалов по ряду субширотных профилей (Вижайский, Яйва-Кыглым-Серов-Гари, Троицкий, западный отрезок профиля Арти-Байкалово), по геотраверсу Темир-тау-Куйбышев, по Манчажской магнитной аномалии. По многим десяткам точек на этих профилях были построены устойчивые полярные импедансные диаграммы, позволившие выделить главное направление тензора импеданса и строить кривые зависимости кажущегося электросопротивления от частоты вдоль главных осей. Указанные зависимости использовались как основной интерпретационный параметр при построении моделей в блоково-слоистых и двумерно-неоднородных средах. Данные использовались при комплексной интерпретации в региональных исследованиях Департаментом природных ресурсов по Уральскому региону, в том числе на хоздоговорной основе с Ба-женовской геофизической экспедицией.
Разработанные методы фильтрации пространственных кривых и фильтрации опорного сигнала при фазовых измерениях реализованы в системе аэроэлектроразведки с наземным источником поля. Опытные работы проведены на 14 участках общей площадью около 400 км , расположенных в труднодоступных районах Среднего Урала. Всего обработано почти 200 профилей протяжённостью примерно 1000 км. Методы успешно работали, когда аномальными помехами искажалось до половины и более - до 60-70 % - исходных отсчётов, даже если они искажались в одном направлении. Часть выявленных аномалий проверена и подтверждена наземными методами.
Разработанный метод фильтрации измерений градиента поля в методе заряда реализован в автоматизированной системе обработки данных метода заряда с измерением электрического и магнитного полей (GEOZAR), способной работать в вариантах компенсационных технологий. Система ориентирована как на повышение эффективности выделения малоамплитудных аномалий слабоконтрастных объектов, так и, наоборот, на выделение интерпретационных элементов аномалий искомых объектов в сложнодифференциро-ванных полях, а также на подавление приповерхностных возмущений. Работы с использованием системы выполнялись ОАО "Башкиргеология" в нескольких рудных районах Республики Башкортостан. Разработанные методы фильтрации применялись для обработки результатов, получаемых аппаратурой ПВЦ, АМЗ-10К, и действительно выявляли и подавляли грубые ошибки.
Личный вклад автора. Работа основана на материалах исследований, начатых автором в 1982 г. и выполняемых в рамках научной тематики Института геофизики УрО РАН.
Основная идея каждого излагаемого в работе метода (кроме метода попарного сравнения) предложена автором. Автор осуществлял научное руководство и принимал непосредственное участие при разработке и доработке всех описываемых методов, их проверке моделированием на ЭВМ и проверке сравнительно с известными при обработке полевых измерений. Внедрение предлагаемых методов в практику геофизических исследований осуществлялось автором или при его непосредственном участии.
Отдельные разделы работы выполнялись совместно с сотрудниками ВНИИГИС, УГСЭ, отдела геофизического приборостроения и лаборатории электрометрии Института геофизики УрО РАН. Результатом сотрудничества явился ряд совместных публикаций с СВ. Байдиковым, научным руководителем диссертации которого был автор, А.И. Человечковым, B.C. Вишневым, В.В. Кормильцевым, А.Г. Дьяконовой, В.И. Уткиным, В.Д. Семёновым, А.Н. Ратушняком, А.А. Яковлевым, О.В. Баталовой и др. Автор выражает им признательность и благодарность.
Апробация работы и публикации. Основные результаты работы докладывались автором на Совете по автоматизации научных исследований при Президиуме УрО АН СССР (Свердловск, 1982); на Объединённой выездной сессии секций "Теоретическая и вычислительная геофизика" и "Электроразведка" Научного совета по разведочной геофизике при отделении геологии, геофизики и геохимии Президиума АН СССР (Ивано-Франковск, 1985); на рабочем совещании по разработке матобеспечения для полевых вычислительных комплексов (Новосибирск, 1985); на расширенном заседании рабочей группы по МГД-зондированиям при Секции физико-технических и математических наук Президиума АН СССР и Секции электромагнитных методов геофизических исследований Научного совета по геофизическим методам разведки АН СССР (Троицк, 1986); на научно-технических семинарах "Опыт разработки и внедрения программного обеспечения мини-, микро-ЭВМ" (Свердловск, 1986, 1987, 1987, 1988); на конференции "Методы и микроэлектронные средства цифрового преобразования и обработки сигналов" (Рига, 1989); на научно-практической конференции "Инженерная геофизика в Уральском регионе" (Екатеринбург, 1995); на научно-технической конференции "Приборостроение. Датчики и системы - 2001" (Екатеринбург, 2001); на 29-й сессии Международного семинара им. Д.Г. Успенского "Вопросы теории и практики геологической интерпретации гравитационных, магнитных и электрических полей" (Екатеринбург, 2002); на научном семинаре кафедры радиоэлектроники информационных систем Уральского государственного технического университета УГТУ-УПИ (Екатеринбург, 2002); на научно-технической конференции - Международный форум "Приборостроение -2002" (Екатеринбург, 2002); на заседаниях Учёного совета Института геофизики УрО РАН (1983, 1986,1987,2001).
Отдельные результаты работы 5 раз признавались наиболее существенными достижениями Института геофизики УрО РАН (1986, 1987, 1990, 1990, 1997).
Краткий обзор наиболее сильных известных методов фильтрации
При многократных измерениях, в частности при измерениях повторяющегося сигнала, измерительный прибор образует некоторое количество чисел, в совокупности называемое выборкой, причем каждое из чисел выборки определяется измеряемым сигналом и наложенными на него помехами. В зависимости от конкретной конструкции прибора физическая сущность получаемых чисел может быть разной. Для повторяющегося сигнала, представленного периодическим полем, это может быть, например, его среднее от модуля или эффективное значение за период или за несколько периодов, или мгновенное значение в определенной фазе. А для постоянного сигнала, например, - его среднее значение во время измерительного строба. Называют эти первично полученные числа в литературе по-разному: наблюдения, первичные отсчёты, элементы выборки, реализации измеряемого сигнала и т.д. Во избежание путаницы в дальнейшем изложении в главах 1-4 будем применять последний термин и называть эти числа реализациями измеряемого сигнала, или просто реализациями. Накопив некоторое количество реализаций измеряемого сигнала, прибор (или человек, или ЭВМ) по какому-то методу, алгоритму обрабатывает сформированную выборку реализаций и получает обычно два числа: одно - оценка измеряемого сигнала, его измеренный отсчет, другое позволяет судить о точности этой оценки - обычно это или среднее квадратическое отклонение оценки или ее доверительный интервал. Весь описанный процесс - получение выборки, обработка выборки по какому-то алгоритму и получение в итоге одной оценки измеряемого сигнала, мы будем называть одним измерением этого сигнала или (при моделировании) одним опытом.
Желательно, чтобы применяемый метод обработки возможно более сильно подавлял помехи и обеспечивал при данном размере выборки и распределении помех возможно большую точность измерений или, иначе, возможно меньшее среднее квадратическое отклонение оценки измеряемого сигнала. Разработанные в математической статистике классические методы оценок оптимальны до тех пор, пока экспериментальные данные удовлетворяют строгим статистическим моделям. Например, для нормального распределения наилучшим методом оценки является среднее арифметическое, для экспоненциального распределения наиболее оптимальная оценка - медиана и так далее. Но классические оценки (медиана является счастливым исключением) очень неустойчивы даже к малым отклонениям распределения помех от предполагаемого и чувствительны к наличию выбросов или промахов. На практике же строгие модели распределения помех в подавляющем большинстве случаев нарушаются, и в связи с этим предпочтительнее использование методов, обеспечивающих сравнительно высокую точность оценки при слабой зависимости от сделанных предположений о распределении помех. Оценки, обладающие свойством устойчивости при уклонении закона распределения помех от гипотетического, принято называть "робастными" (от англ. robust - устойчивый). При робастных оценках исходят из того, что нельзя знать точно истинное распределение ошибок измерения. Как правило, к робастным оценкам предъявляются следующие основные требования: минимальное смещение оценки, высокая эффективность оценки к широкому классу распределений, малое изменение среднего квадратического отклонения (СКО) при изменении закона распределения помех. СКО (корень дисперсии оценки) можно рассматривать как меру разброса полученных оценок измеряемого сигнала. Она зависит от уровня помех при измерении, длительности измерения и метода, алгоритма получения оценки.
Для изучения устойчивости оценок более реалистичной является не строгая модель Гауссова распределения, а распределения с более "тяжелыми хвостами", когда вероятности большого отклонения от центра выше по сравнению с нормальным распределением. Несимметричные помехи могут возникать при включении и выключении потребителей электроэнергии, например в электроразведке при смене режимов электродвигателей поездов при торможении или ускорении, когда период полезного сигнала гораздо меньше длительности одного переходного режима электропоезда [26].
Количественной характеристикой устойчивости оценок является точка срыва Є , определяемая как максимальная часть исходных данных, произвольное изменение которых не приводит к неконтролируемому росту погрешности оценки. Образно говоря, эта мера робастности, называемая также пороговой точкой, определяет допустимую долю больших ошибок-выбросов, которая ещё не выводит оценку измеряемого сигнала за предсказуемые границы. Значение точки срыва может лежать между нулём и единицей. Очень устойчивой оценкой является медиана, имеющая точку срыва Є , близкую к 0.5; усеченное среднее имеет Є =Ot; среднее арифметическое является неустойчивой оценкой и имеет Є =0. Это означает, что медианная оценка имеет непредсказуемую ошибку, когда испорчена половина и более реализаций выборки, а среднее арифметическое перестает работать уже при одном выбросе. Таким образом, среднее арифметическое оказывается безнадежно плохой оценкой при наличии в выборке уже одной реализации, искаженной аномально большой помехой, а медиана робастнее, но эффективность медианной оценки невысока. Благодаря высокой устойчивости медиану часто берут в качестве первого помехоустойчивого приближения во многих более эффективных итерационных методах оценки. Из-за высокой устойчивости медианной оценки некоторые авторы [15] считают ее наиболее подходящим методом оценки для электроразведки.
Требование низкой чувствительности к большой ошибке входит в противоречие с требованием эффективности, заключающемся в низкой дисперсии оценки при нормальном распределении помех. Эти характеристики связаны и обычно улучшать их обе одновременно нельзя. Существует оптимальный класс компромиссных оценок, в которых улучшение одной из характеристик обычно должно оплачиваться некоторым ухудшением другой. Обычно чем выше устойчивость, тем меньше эффективность и наоборот. Единой или по крайней мере какой-то оптимальной робастной оценки нет. Крайние противоположные решения - среднее арифметическое (наиболее эффективное, но не робастное) и медиана (имеющая самую высокую устойчивость к выбросам, но не очень эффективная). При выборе вида робастных оценок начинают играть роль практические соображения и вычислительные аспекты.
Методика проверки описываемых методов моделированием
При разработке новых устойчивых алгоритмов фильтрации помех их желательно сравнивать с наиболее сильными из существующих. При этом можно поступать по одному из следующих методов: 1. Доказать достоинства новых алгоритмов фильтрации помех аналитически, доказывая соответствующие теоремы, подтверждающие силу этих алгоритмов. 2. Доказать достоинства новых алгоритмов моделированием на ЭВМ. 3. Проверить достоинства новых алгоритмов, реализовав их в какой либо аппаратуре, например геофизической, и практически применив в реальных условиях одновременно с существующими алгоритмами.
До появления ЭВМ первый метод был преобладающим. С появлением ЭВМ второй метод получил такое же право на существование, как и первый. Так, академик В.М. Глушков еще тридцать лет назад утверждал, что работающая программа является таким же доказательством, как и логически выведенная теорема. Второй метод обладает рядом достоинств по сравнению с первым: простота, наглядность, меньшая вероятность ошибочного умозаключения. По сравнению же с третьим методом моделирование дает возможность более полной проверки, возможность повторения любых ситуаций сколько угодно раз. Аттестация алгоритмов обработки данных моделированием узаконена Госстандартом России [80]. Поэтому основным методом проверки новых разрабатываемых алгоритмов фильтрации помех, предназначенных для оценки постоянных и периодических сигналов, было избрано моделирование их работы на ЭВМ совместно с наиболее сильными из применяемых на практике известных алгоритмов: медианой как наиболее устойчивой оценкой; медианой Ходжеса-Лемана, М-оценкой Тьюки как сравнительно устойчивыми и сравнительно эффективными; средним арифметическим - наиболее эффективным, хотя и неустойчивым. Разработанные алгоритмы фильтрации в дальнейшем проверялись на практике во время выполнения электроразведочных работ в полевых условиях при многократных геофизических измерениях, в том числе при измерениях повторяющихся сигналов. Проверка на практике позволяет проверить обоснованность сделанных предположений, избежать грубых просчетов и является окончательным подтверждением работоспособности создаваемых алгоритмов и их преимуществ перед существующими.
При моделировании измеряемый сигнал представлялся как фиксированный повторяющийся сигнал, на который накладывается помеха (см. [1, 16-20]). Формировалась выборка реализаций указанного сигнала. Помеха, искажающая полезный сигнал, носит обычно аддитивный характер и в соответствии с {1.1} содержит небольшую флуктуационную помеху с нормальным распределением и аномальную обычно импульсную помеху, имеющую неизвестное распределение. Поэтому все реализации выборки поражались небольшой флуктуационной помехой с нормальным распределением. Дополнительно некоторая заранее фиксированная часть реализаций поражалась аномальной помехой, имеющей различные распределения и амплитуды. Для одних и тех же исходных выборок рассчитывались оценки как известными методами, так и разработанными нами.
Проводилось много опытов. Определялось, отдельно для каждого метода, среднее квадратическое отклонение (СКО) оценки сигнала и, таким образом, сравнивались разрабатываемые и существующие алгоритмы. Затем процент реализаций выборки, поражённых аномальной помехой, изменялся. Работа методов сравнивалась повторно, при новой доле реализаций поражённых аномальной помехой. Исследовались случаи, когда эта доля была от 0 до 80% от общего количества реализаций в выборке. Применяя для моделирования аномальной помехи различные функции распределения, определяли устойчивость алгоритмов к различным распределениям аномальных помех.
Опишем процесс моделирования более подробно и изобразим его графически на рис. 2.1. В качестве полезного сигнала принимался фиксированный сигнал &, выражаемый каким-то постоянным числом, обычно нулем или единицей. Для получения одной очередной 1-й оценки (одного 1-го измерения, одного 1-го опыта) использовалось 1 реализаций сигнала d. Во всех реализациях значение сигнала суммировалось с небольшой флуктуационной помехой, изображаемой случайными числами с нормальным распределением N ( 0 , а \ ) .
Остальные распределения строились на основе равномерного по известным принципам [21, 22]. Последовательности случайных чисел всех распределений подвергались проверке. В том числе строились их гистограммы. А для распределения Лоренца-Коши, например, проверялось отсутствие предела для среднего арифметического. На рис. 2.2 показано изменение среднего арифметического случайных чисел, формируемых на основе этого распределения. Видно, что, действительно среднее арифметическое не имеет предела. На рис. 2.3 для примера показана гистограмма используемого двумодального распределения, получаемого из двух нормальных распределений.
Реализация методов фильтрации повторяющихся сигналов в аппаратуре ЭВП-802
Методы сравнения, попарного сравнения, медианы и среднего арифметического были реализованы в виде программ в геофизическом микропроцессорном цифровом вольтметре вызванной поляризации ЭВП-802 и испытаны в полевых условиях [1, 29, 30, 37, 38]. Вначале они были заложены в экспериментальный образец этого прибора (кроме метода сравнения), затем все 4 метода - в опытно-конструкторский, а далее -во все приборы установочной серии, изготовленной Свердловским опытно-экспериментальным заводом скважинной геофизической аппаратуры (СОЭЗСГА). Цифровой вольтметр ЭВП-802 предназначен для проведения массовых наблюдений методами кондуктивной электроразведки (вызванной поляризации, ВЭЗ, профилированием, зарядом, электрической корреляции) и естественного поля.
Алгоритмы функционирования вольтметра определяются разработанными автором совместно с СВ. Байдиковым управляющими программами. Последние хранятся в постоянном запоминающем устройстве и управляют работой вольтметра с помощью встроенной микро-ЭВМ, программно-доступных и программно-управляемых регистров и четырёх программно-управляемых таймеров, выходы которых связаны с прерывающими входами встроенной микро-ЭВМ. Микро-ЭВМ, занося управляющую информацию в соответствующие разряды программно-управляемых регистров, задаёт режимы работы всех блоков вольтметра; задаёт, управляя таймерами и получая от них прерывания, продолжительность этих режимов. Анализируя, в нужные моменты времени, состояние программно-доступных регистров, микро-ЭВМ получает информацию от соответствующих блоков вольтметра и на основе этой информации гибко управляет процессом измерения.
По команде оператора вольтметр автоматически проводит заданное количество определений измеряемого сигнала (обычно 16 или 32) накапливая в памяти соответственное количество реализаций этого сигнала. После чего питание аналоговой части автоматически отключается и вольтметр приступает к статистической обработке накопленных реализаций сигнала, осуществляя, таким образом, одно измерение.
Статистическая обработка реализаций сигнала в вольтметре выполняется, по желанию оператора, по одному из четырёх заложенных в вольтметр алгоритмов подавления помех: накопления (среднего арифметического), медианы, попарного сравнения и метода сравнения. Имеется возможность одни и те же накопленные в памяти реализации обрабатывать по нескольким методам, используя их в любом сочетании. Наряду с полученными результатами вольтметр вычисляет и высвечивает статистическую оценку их достоверности. Вольтметр ЭВП-802 дважды, в первый раз в виде макета, а второй в виде опытного образца, проходил полевые испытания в районах Урала с большим уровнем помех (см. [1, 16, 18, 19, 29, 30, 37, 38]). Всего макетом было снято 92 км профилей с установкой срединного градиента. Для сравнения методов на отдельных точках макетом проводились серии из нескольких измерений подряд с обработкой результатов по трем методам: попарного сравнения, медианы и среднего арифметического. Типичные ряды результатов измерений кажущейся поляризуемости и их 95 %-е доверительные интервалы U для метода медианы, полученные на двух точках, изображены в таблице 4.1. Причём результат очередного измерения каждым методом получался по 16 реализациям, одним и тем же для каждого метода обработки. Из таблицы видно, что метод среднего арифметического дал сильно выпавшие значения в четвертом, пятом измерениях на точке 1 и первом, втором, четвертом, седьмом, девятом - на точке 2. Методом попарного сравнения получено сравнительно большое отклонение только в девятом измерении точки 2, а методом медианы - в пятом на точке 1 и четвертом, седьмом на точке 2.
Таким образом, полевые испытания макета подтвердили результаты моделирования. Благодаря предварительной отбраковке, метод попарного сравнения выглядит несколько предпочтительнее, чем метод медианы и гораздо более помехоустойчивее, чем метод среднего арифметического. Для проверки применимости формулы {3.5.3} определения 95 %-го доверительного интервала для метода медианы проводились серии измерений (до 36 измерений подряд). По значениям, полученным методом медиан, брался средний арифметический результат. При его определении сильно отклонившиеся значения исключались. Так, на точке 1 (см. таблицу 4.1) не учитывалось пятое измерение, а в точке 2 - четвёртое и седьмое. Затем по каждому измерению, включая неучитываемые при определении среднего, находилось отклонение от среднего. Проверялось, укладывается ли оно в определенный вольтметром автоматически для этого измерения по формуле {3.5.3} 95 %-й доверительный интервал. Процент попаданий в 95 %-е доверительные интервалы по различным точкам колебался от 80 до 100 %, составив в среднем 93 %, что показывает допустимость применения формулы {3.5.3} для оценки достоверности полученных методом медианы результатов. Формула {3.5.4} в этих опытах не проверялась, так как она была предложена позднее. Однако, определение доверительных интервалов по формулам {3.5.3} и {3.5.4} отличается только тем, что в {3.5.3} используется межквартильный размах отклонений реализаций от оценки, а в {3.5.4} медиана модулей этих отклонений. Поэтому проверка работоспособности формулы {3.5.3} может рассматриваться как обоснование применимости определения 95 %-го доверительного интервала по формуле {3.5.4}.
Опытным образцом, изготовленным заводом СОЭЗСГА, было снято более 200 км профилей с установкой срединного градиента. Вольтметр в каждом измерении получал от 8 до 64, обычно 16 реализаций по 16 периодам измеряемого сигнала и, по желанию оператора, обрабатывал полученную выборку по любому из четырех методов: сравнения, попарного сравнения, медианы и среднего арифметического. Иногда одна и та же исходная выборка обрабатывалась последовательно по всем четырем методам. Полевые испытания опытного образца также подтвердили результаты моделирования. При работе в местах с высоким уровнем промышленных помех метод сравнения устойчиво показывал более стабильные результаты, чем методы попарного сравнения, медианы и среднего арифметического. Встречались точки наблюдения, на которых по методу среднего арифметического устойчивый результат вообще было получить невозможно, тогда как при обработке тех же выборок по методу сравнения повторяемость результатов была удовлетворительна.
Нелинейная фильтрация изменяющихся сигналов при обработке записей магнитотеллурического поля
Магнитотеллурические колебания заметно отличаются от периодических сигналов, с которыми мы имели дело выше. Их сложность и нерегулярность объясняется разнообразием и нестационарностью источников их происхождения. В основе магнитотеллурического зондирования (МТЗ) лежит представление об электромагнитных полях, порожденных процессами, протекающими в ионосфере и магнитосфере Земли. А в диапазоне от 3 до 10000 Гц - грозовой активностью (атмосферики). Регистрируемые поля, кроме того, могут быть обусловлены весьма разнообразными причинами: процессами в нижних слоях атмосферы, процессами в литосфере, дрейфом собственной эдс электродов и т.д. На естественные поля накладываются поля от работающих промышленных установок, что искажает картину зондирования, и прежде всего его основную характеристику - импеданс.
Целью МТЗ является определение комплексных величин матрицы импедансов Z для всевозможных частот из уравнений (см. [41, 42]) Ех 4ссЧк + Zxyy + xz"z» Еу = ZyxHx + ZyyHy + ZyzHz\ {5.1} 0 = ZzxHx + zyfiy + ZZZHZ » где Ех, Еу, Нх, Ну, Hz - комплексные значения электрических и магнитных компонент магнитотеллурического поля. На практике часто вертикальной магнитной компонентой в двух верхних уравнениях пренебрегают и система уравнений приобретает вид х -хх"х -ху"у Еу = ZyxHx + ZyyHy і5 -2} Hz = XzxHx + XzyHy, где формально Xzx= -Zzx/Zzz и Xzy = -Zzy/Zzz. Передаточные функции Xzx и Xzy носят название магнитных параметров. В [41, 42, 81-83] и многих других работах развиты методы решения этих уравнений относительно Zxx, Zxy, Zyx, Zyy, Xzx, Xzy, а также определения указанных величин в системе координат, повернутой на произвольный угол а. Полученные результаты оформляются в виде полярных диаграмм импедансов и зависимостей кажущегося электросопротивления от частоты.
В промышленных районах, к которым относится Урал, расположено значительное количество электрифицированных железных дорог, газопроводов, линий электропередач, электролизных, сварочных и других энергоемких установок. Они создают мощные техногенные поля, искажающие результаты МТЗ. При ручной обработке отличить записи электромагнитных вариаций от записей промышленных помех не составляет большого труда [39, 43, 45]. Однако с внедрением автоматизированных систем наблюдения и обработки записей чисто визуальные критерии выделения геомагнитных вариаций становятся неприемлемыми, так как описать их математически затруднительно. Нужны другие критерии.
Известно много методов фильтрации и обработки записей магнитотеллурического поля: поле рассматривается как случайный процесс, быстрым преобразованием Фурье вычисляются спектры, определяются кросс-спектры, чистые спектральные плотности и используемые для фильтрации когерентности между компонентами поля [41]; обработка методом интегральных уравнений [81]; обработка путём аппроксимационного подхода [82]; обработка с помощью математических фильтров по установившимся или произвольным фильтрованным колебаниям [83]; обработка методом наименьших квадратов [42] и другие. В данной работе ни в коей мере не ставится под сомнение работоспособность этих известных методов. Но магнитотеллурическое поле отличается сложностью и большим разнообразием источников и каждый отдельно взятый метод основывается только на части свойств этого поля. Предлагаемая же ниже методика опирается на некоторые, в полной мере не используемые ранее, особенности магнитотеллурического поля и на особенности работы предложенных нами выше методов фильтрации повторяющихся сигналов. Предлагаемая методика может использоваться самостоятельно или в дополнение к существующим методам фильтрации и обработки. Методика позволяет для автоматической разбраковки записей магнитотеллурического поля использовать методы, первоначально разработанные нами для фильтрации повторяющихся сигналов.
Если предположить, что основными источниками промышленных помех в используемом в МТЗ длинноволновом диапазоне являются заземленные источники тока, энергоёмкие установки с большими утечками, то их можно представить как заземленные диполи. Вариацию магнитотеллурического поля упрощенно можно рассматривать как плоскую вертикально падающую электромагнитную волну, среду - как однородное полупространство.
