Введение к работе
Актуальность проблемы. В настоящее время методы регрессионного анализа продолжают находить самое широкое применение в различных областях исследования. Однако при решении прикладных задач используется в основном небольшое число хорошо известных методов. Кроме того, мало внимания уделяется адекватности применяемых моделей, не анализируется, насколько исходные допущения, лежащие в их основе, соответствуют реально имеющимся эмпирическим данным. Например, большинство статистических методов ориентированы на обработку данных, измеренных лишь в количественных шкалах, т.е. шкале интервалов или отношений, тогда как реальные наблюдения могут быть выражены также в порядковой и номинальной шкалах. При этом часто предполагаются достаточно сильные ограничения на вид распределения вероятностей изучаемой случайной величины, в частности, нормальность распределения. В большинстве прикладных задач нет оснований априорно предполагать нормальность распределения, а проверка нормальности является достаточно сложной и трудоемкой процедурой, требующей большого числа наблюдений.
В некоторых областях исследования встречаются объекты,
описание которых не укладывается в рамки традиционного
представления в виде набора количественных и качественных
характеристик объекта. Объект в этом случае состоит из некоторого
случайного достаточно большого числа подобъектов (элементов),
каждый из которых описывается набором характеристик. При
моделировании таких сложных, названных нами
структурированными, объектов необходимо учитывать как свойства объекта в целом, так и его подобъектов. Применение классических статистических методов для структурированных объектов невозможно, а методов, ориентированных на подобного рода объекты, на сегодняшний день не существует. Сведение структурированного объекта к обычному путем усреднения характеристик его подобъектов приводит к большой потере информации.
Поэтому актуальным является разработка новых методов
регрессионного анализа, учитывающих структурированность
объектов, использующих данные о его внутренней структуре.
Одним из перспективных подходов к решению данной задачи, является логико-статистический метод, допускающий весьма слабые ограничения на вид распределения и ориентированный на обработку разнотипных данных. Кроме того, метод устойчив к малым объемам выборок, результаты анализа, представленные в виде логико-
статистических закономерностей, легко интерпретируемы
специалистами прикладных областей исследования.
Цель работы состояла в построении регрессионных моделей
структурированных объектов с использованием класса логических
решающих функций, разработке алгоритмов построения данных
моделей и апробации их на основе статистического моделирования, а
также применении алгоритмов для решения прикладных задач.
Методы исследования включают в себя аппарат теории вероятностей
и математической статистики, функционального анализа,
математическое моделирование с применением средств вычислительной техники.
Научная новизна. В диссертационной работе получены следующие научные результаты:
Введен класс логических решающих функций от разнотипных
переменных для структурированных объектов. Под
структурированным объектом понимается объект, состоящий из некоторого случайного числа подобъектов (или элементов), каждый из которых описывается своим набором характеристик. Характеристики структурированного объекта делятся на внешние и внутренние, т.е. описывающие объект в целом и его подобъекты.
Исследованы некоторые свойства логических решающих функций для структурированных объектов (сходимость логической решающей функции к регрессионной, инвариантность алгоритма построения оптимальной логической решающей функции относительно допустимых преобразований шкал характеристик, свойство симметричности или независимости функции от перенумерации подобъектов объекта). Описан алгоритм построения логической решающей функции для структурированных объектов о виде дерева решения.
Предложена оценка регрессионной функции на основе статистически эквивалентных блоков. Доказана состоятельность оценки.
Разработаны алгоритмы построения регрессионных моделей структурированных объектов:
в классе логических решающих функций,
по принципу статистически эквивалентных блоков,
на основе данных многолетнего эксперимента.
Предложены алгоритмы классификации структурированных объектов:
- на основе критерия однородности эмпирических выборок,
- с использованием специально введенной метрики (доказаны
свойства симметричности, эквивалентности и адекватности метрики).
Введена в рассмотрение оценка индекса корреляции между внешней и внутренней переменными на основе решающей функции, аппроксимирующей их зависимость.
Реализован алгоритм оценки качества регрессионной модели по известному методу "хаотизации".
Анализ эффективности разработанных алгоритмов осуществлен на основе статистического моделирования, решения ряда модельных задач.
Практическая ценность и реализация результатов работы. Практическая ценность диссертации заключается в создании программной системы статистического анализа структурированных объектов. Разработанные система предназначена для изучения свойств структурированных объектов на основе анализа их структуры, выявления взаимосвязи между переменными, описывающими объект в целом и его подобъекты. Логические решающие функции для структурированных объектов наглядны и удобны для интерпретации. Предложенные методы дают возможность сократить сроки выполнения прикладных исследований, повысить степень научной обоснованности прогнозов, снизить уровень информационной неопределенности при изучении структурированных объектов.
Эффективность разработанных в диссертационной работе алгоритмов была продемонстрирована на примере решения прикладных задач в различных областях исследования. Система использовалась для контроля качества технологических операций в ходе производства интегральных микросхем. Прогноз качества продукции на основе построенных моделей, осуществляемый на разных этапах технологического процесса, позволил повысить его эффективность, снизить себестоимость. Алгоритмы применялись также в генетико-селекционных исследованиях. Были построены логико-вероятностные модели зависимости урожайности растения от различных факторов с учетом информации о его внутренней структуре, разработана новая методика отбора элитных растений. Апробация работы. Основные результаты работы докладывались на: К Всесоюзной конференции "Математические проблемы экологии", г. Новосибирск, июнь, 1994 г.; генетико-селекционной школе Генетические ресурсы и эффективные методы создания нового селекционного материала сельскохозяйственных растений", г. Новосибирск, декабрь, 1994 г.; 1-ом съезде Вавнловского общества генетиков и селекционеров (ВОГИС), г. Саратов, декабрь 1994 г.; III Международной конференции "Математические проблемы экологии" (МАПЭК-96), г. Новосибирск, июнь, 1995 г.; IV-ой международной конференции "Распознавание образов и информационные процессы", г. Минск, 1997 г.; Всероссийской конференции "Математические
методы распознавания образов-8" (ММРО-8), г. Москва, октябрь, 1997 г., на IX Международном симпозиуме по непараметрическим методам в кибернетике и информатике, г. Красноярск, октябрь, 1997 г.; на семинарах Института математики СО РАН, кафедры теоретической кибернетики Новосибирского государственного университета. Публикации. По теме диссертации опубликовано 11 научных работ. Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения и приложения. Основной текст работы изложен на 136 страницах машинописного текста. Список литературы включает 104 наименования.