Содержание к диссертации
Введение
Глава 1. Аналитический обзор методов прогнозирования экономических систем
1.1. Истоки и современное состояние прогнозирования 10
1.2. Типология прогнозов и основные направления прогнозирования экономических систем
1.3. Математико-экономические методы прогнозирования 24
1.4. Основные методы моделирования и аналитического прогнозирования экономических систем
1.5. Сравнительный анализ традиционных методов прогнозирования с нейронными сетями
Глава 2. Классификация и снижение размерности традиционными статистико-математическими методами
2.1. Классификации как средство анализа и обработки статистической информации 62
2.2. Методы классификации в социально-экономических исследованиях 69
2.3. Методы снижения размерности многомерных признаков 76
2.4. Сравнительный анализ традиционных методов классификации и снижения размерности с нейронными сетями
Глава 3. Методика прогнозирования и классификации экономических систем средствами искусственных нейронных сетей
3.1. Требования к информации, используемой для построения искусственных нейронных сетей 96
3.2. Моделирование сложной экономической системы в условиях неопределенности методами искусственных нейронных сетей
3.3. Аналитическое решение задач прогнозирования и классификации в нейросетевом базисе
3.4. Показатели качества и адекватности моделей прогнозирования в условиях неопределенности
3.5. Решение задач прогнозирования и классификации методами искусственных нейронных сетей
Заключение
Список литературы
Приложения
- Истоки и современное состояние прогнозирования
- Классификации как средство анализа и обработки статистической информации
- Требования к информации, используемой для построения искусственных нейронных сетей
Введение к работе
Люди всегда стремились и стремятся к уменьшению влияния неизвестных и неконтролируемых факторов на результаты деятельности за счет получения дополнительной информации о том, что им неизвестно вообще или известно неточно. Этим и объясняется широкая распространенность в нашей жизни всевозможных предсказаний и прогнозов.
Актуальность темы. При использовании традиционных моделей в прогнозировании предполагается, что основные факторы и тенденции прошлого периода сохраняются на период прогноза или можно обосновать и учесть направление их изменений в перспективе. Однако в настоящее время, в условиях переходной экономики, социально-экономические процессы становятся очень динамичными. В этой связи исследователь часто имеет дело с новыми явлениями и с короткими временными рядами. При этом устаревшие данные часто оказываются бесполезными и даже вредными. Таким образом, возникает необходимость строить модели, опираясь в основном на малое количество самых свежих данных, наделяя модели адаптивными свойствами.
С другой стороны, процесс постоянного накопления новых знаний и информации об экономических системах, рост многообразия социальных явлений, развитие производства и создание новых технологий приводят к постепенному устареванию статистических классификаторов в части адекватного отображения классифицируемой информации. К тому же бурное развитие электронно-вычислительной техники стимулировало проведение в последние годы широких комплексных исследований сложных социально-экономических систем, таких, как образ и уровень жизни населения, совершенствование организационных систем, региональная дифференциация социально-экономического развития, планирование и прогнозирование отраслевых систем и др. В этих условиях выходят на первый план проблемы построения группировок и классификаций по многомерным данным.
В условиях определенности прогнозирование и классификация экономических систем успешно осуществляются на основе традиционных методов математической и экономической статистики. Это позволяет строить обоснованные модели систем в случае большого набора экспериментальных данных, достаточного для доказательства статистических гипотез о характере распределения, и при относительно равномерном их распределении в пространстве параметров. Однако, в условиях неопределенности при высокой стоимости экспериментальных данных, или невозможности получения достаточного их количества, или их высокой зашумленности, неполноте и противоречивости такие модели являются неработоспособными. В особенности опасно использование этих моделей при малых статистических выборках, так как полученные на них законы распределения могут быть неустойчивыми. В таких условиях наилучшими оказываются модели, построенные на базе нейронных сетей. Всё это обусловливает актуальность выбранной темы исследования.
Целью работы является разработка методики прогнозирования и классификации экономических систем, основанной на механизмах анализа данных поточными искусственными нейронными сетями. Для достижения указанной цели необходимо решить следующие задачи:
провести теоретическое исследование и выяснить современное состояние проблем прогнозирования и классификации экономических систем;
провести сравнительный анализ известных методов решения подобных задач;
построить модель системы и разработать метод, обеспечивающий эффективное решение поставленной задачи;
показать целесообразность и перспективность внедрения разработанного метода;
реализовать разработанную методику для проверки эффективности практической реализации метода.
Методологическая основа. Методы прогнозирования и классификации любой сложной системы напрямую связаны с некоторой степенью неопределенности, присутствующей в исследуемой системе, что обусловлено самим понятием сложной системы и заложено в условиях ее функционирования. Проблема неопределенности занимает ключевое место в общей проблеме управления, и возможность ее решения рассматривают в применении новых информационных технологий, составной частью которых являются интеллектуальные средства обработки информации. Такими средствами являются нейронные сети, объединение которых с методами и моделями статистического, математико-экономического моделирования и прогнозирования, аналитического аппарата анализа сложных экономических систем, численными методами оптимизации, позволяет существенно расширить классы решаемых задач прогнозирования и классификации в управлении.
Теоретическая основа. Состояние вопроса в рассматриваемой области характеризуется обширным списком публикаций, посвященных статистическим, аналитическим, численным методам прогнозирования и классификации экономических процессов.
В области теории и практики разработки прогнозов необходимо отметить труды зарубежных ученых - Г. Тейла и Дж. Брайта, которые сформировали теоретическую базу экономического прогнозирования, а также В. Леонтьева, Дж. Мартино, Дж. Фон Неймана, О.Моргенштерна, Дж. Форрестера и др., доказавших в теории и на практике ценность прогнозов в принятии управленческих решений. Общеизвестны работы крупных ученых СССР И.В.Бестужева-Лады, А.Г. Ивахненко, В.М. Глушкова, И.П.Федоренко, А.И.Анчишкина, В.Г. Гмошиского, Г.М.Доброва, Ю.П.Лукашина, В.А. Лисичкина, Г.С. Кильдишева, Е.М. Четыркина, А.А.Френкеля.
Кроме этого следует также выделить работы по формированию классификаций, которыми в разное время занимались следующие отечественные учёные: Айвазян С.А., Бежаева Э.И., Божко В.П., Бухштабер В.М., Гаспари-ан М.С., Дубров A.M., Енюков И.С., Забелин В.Н., Коробов В.Н., Мхита-
рян B.C., Попов С.А., Полякова Н.А., Пряхина Е.В., Трошин Л.И., Шмелев В.В., а также зарубежные учёные: Болч Б., Джонстон Дж., Кейн Э., Ким Дж., Клекка У., Мандель И., Мьюллер Ч., Харман Г., Хуань К.
Однако, несмотря на довольно внушительный теоретико-практический фундамент классических методов следует отметить, что исследованию и анализу сложных экономических систем и в особенности их прогнозированию и классификации в условиях неопределенности посвящено незначительное количество работ, опубликованных в основном в последнее десятилетие.
Предметом исследования являются методологические основы прогнозирования и классификации в прикладных экономических исследованиях.
Объектом исследования выступают элементы сложной экономической системы АПК Самарской области.
Информационная база работы. Источником информации явились статистические материалы Самарского областного комитета государственной статистики и Администрации Самарской области, а также материалы публикаций в научных периодических изданиях, ресурсы сети Интернет. При определении методологических подходов использовались труды отечественных и зарубежных учёных в области прогнозирования и классификации экономических систем.
Научная новизна диссертационной работы заключается в разработке методики прогнозирования и классификации экономических систем в условиях неопределённости с использованием аппарата искусственных нейронных сетей. Отдельные элементы новизны содержатся в следующих результатах исследования, полученных лично автором и выносимых на защиту:
1. Выявлены преимущества моделирования и прогнозирования методами искусственных нейронных сетей по сравнению с традиционными ста-тистико-математическими методами, заключающиеся в том, что нейронные сети особенно эффективны в тех случаях, когда исходные данные сильно коррелированы либо неполны, рассматриваемой системе свойственна высо-
7 кая степень нелинейности, не требуется никаких предположений относительно закона распределения вероятностей в совокупности данных.
На основе проведённого сравнительного анализа доказана большая универсальность и гибкость методов классификации и снижения размерности признаков с использованием искусственных нейронных сетей по сравнению с методами многомерного статистического анализа.
Разработан процесс аппроксимации исходной функции комбинацией элементарных функций и схема моделирования экономической системы методами искусственных нейронных сетей, где обоснована необходимость представления сложной экономической системы в виде «черного ящика», что учитывает фактор неопределенности путем обучения и адаптации модели.
Предложена схема эффективной аппаратно-программной реализации сконструированной нейронной сети, на основе которой построены модели прогнозирования производства хлебобулочных изделий, зерна и мяса; осуществлена классификация сельских районов Самарской области по уровню устойчивости темпов роста производства основных видов сельскохозяйственной продукции.
Практическая значимость. Результаты исследования могут быть применены в практической деятельности органов государственной статистики и административных учреждений с целью построения прогнозов и при усовершенствовании существующих статистических классификаторов. Выработанные практические положения и методические указания имеют универсальный характер и могут быть использованы для предсказания финансовых временных рядов, для предсказания риска банкротств и других предпринимательских рисков, для сравнительного анализа финансового состояния предприятий и построения различных рейтингов.
Апробация и внедрение результатов. Основные научно-практические результаты диссертационного исследования докладывались и обсуждались на всероссийских, межрегиональных и региональных конференциях и семинарах, опубликованы в периодических научных изданиях. Результаты работы
8 были использованы в образовательном процессе на кафедре статистики и экономического анализа в ФГОУ ВПО «Оренбургский государственный аграрный университет» при преподавании дисциплин «Методы прогнозирования», «Многомерные статистические методы».
Структура диссертации. Рукопись состоит из введения, трех глав, заключения, списка литературы и приложений. Объём диссертации без приложений составляет 176 страниц машинописного текста, содержит 22 таблицы, 12 рисунков, 9 приложений. Список литературы включает 179 источников.
Во введении обосновывается актуальность темы диссертации, сформулированы цель и задачи, определены предмет, объект, информационная база и теоретико-методологическая основа исследования, отражены положения научной новизны и практической значимости работы.
В первой главе описывается история развития науки прогнозирования, рассматриваются некоторые общие аспекты прогнозирования, конкретные методы прогнозирования в экономике, а также проводится сравнительный анализ традиционных методов прогнозирования и методов прогнозирования посредством искусственных нейронных сетей.
Во второй главе рассматриваются классификации как средство анализа и обработки статистической информации, методы классификации и снижения размерности многомерных признаков в социально-экономических исследованиях, а также сравнительная характеристика методов классификации и снижения размерности традиционными статистическими методами и методами искусственных нейронных сетей.
В третьей главе описываются требования, предъявляемые к информации, используемой для построения искусственных нейронных сетей; теоретические основы и программная реализация искусственных нейронных сетей, которая выполняет информационное моделирование и прогнозирование функции модели экономической системы; представлена схема реализации искусственных нейронных сетей в комплексе прогнозирования; рассмотрены показатели качества и адекватности моделей прогнозирования в условиях не-
определенности; проведен опыт применения искусственных нейронных сетей для решения задач прогнозирования и классификации сложной экономической системы на примере АПК Самарской области.
Завершается работа заключением, в котором сделаны основные теоретические и практические выводы, указана перспектива дальнейших исследований. Также приведены список использованной литературы и приложения.
Публикации. По результатам исследования опубликовано 8 печатных работ общим объёмом 3,8 п.л.
Истоки и современное состояние прогнозирования
Прогноз в жизни общества всегда имел, имеет и будет иметь огромное значение. По образному выражению [50] «Прогноз - окно в будущее». Прогностика как наука возникла в наши дни в условиях научно-технической революции, но как область поиска она берет начало в глубокой древности. Прогностика (от. греч. prognosis — предвидение) - термин древнегреческий. Напомним о написанной более двух тысяч лет назад книге великого древнегреческого врача Гиппократа «Прогностика». В наиболее общем смысле это понятие обозначало искусство формулирование диагнозов и прогнозов процессов и явлений. В отличие от предсказаний оракулов и пифий прогностика того времени касалась в основном способов определения, различных болезней, их протекания и исходов. Искусство предвидения базировалось только на интуиции прорицателей, а чаще — на приметах, догадках и других столь же «научных» основаниях. Необходимость предвидеть будущее осознавалось во все времена. Но особенно велика потребность в прогнозах в наш век - век стремительных темпов общественного развития, гигантского взлета науки и техники, бурного развития производства. Прогнозов, основанных на интуиции, сейчас, разумеется, недостаточно. Необходимо прогнозирование, базирующееся на объективных закономерностях, на переработке информации по строгим правилам логики и математики с применением современных ЭВМ. Современная прогностика - это система научного знания. Поэтому, заимствовав у древних сам термин, мы, тем не менее, можем говорить о новом рождении прогностики.
Непременным элементом всякого и каждого вида целесообразной деятельности человека является более или менее развитое предвидение результатов предпринимаемых действий.
Прогноз — вероятностное научно обоснованное суждение о перспективах, возможных состояниях того или иного явления в будущем и об альтернативных путях и сроках их осуществления. Роль прогнозирования в принятии управленческих решений [143] показана на схеме:
Из представленной схемы следует, что информация, получаемая методами прогнозирования, может использоваться как на этапе принятия управленческого решения, так и при его реализации в различных формах (соответствующие блоки выделены пунктиром). Прогнозы позволяют проанализировать возможные факторы, влияющие на функционирование системы в целом и ее отдельных частей, а также наметить возможные пути развития и определить результаты.
В развитии современной науки прогнозирования можно выделить основные временные этапы. Начало прогностических исследований — 50-е годы прошлого века, в которые стали широко развиваться теория прогнозирования, использоваться простые прогнозные модели, далее в 60-70 гг. это «бум прогнозирования», в ходе которого разработано большинство теоретических вопросов, новые методы, созданы сложные прогнозные модели, широкое применение стали получать в прогнозировании ЭВМ. С конца 70-х начала 80-х гг. идет следующий этап, который закрепил достигнутое и продолжает развивать ныне научное прогнозирование, применение достижений прогностики в деятельности предприятий и организаций самого различного профиля.
В области теории и практики разработки прогнозов, начиная с 60-х гг. необходимо отметить труды зарубежных ученых — Г. Тейла и Дж. Брайта, которые в своих работах [3, 155] сформировали теоретическую базу экономического прогнозирования, определив задачи и сферы применения результатов, Р.Эйреса и Э. Янча, которые разработали [173, 179] методы научно-технического прогнозирования и показали ценность прогнозов в этой области, а также В. Леонтьева, Дж. Мартино, Дж. Фон Неймана, О.Моргенштерна, Дж. Форрестера и др., доказавших в теории и на практике ценность прогнозов в принятии управленческих решений [124, 135, 170].
В этот период были опубликованы общезначимые работы [50, 64, 75, 89, 112, ИЗ, 114, 142, 159] крупных ученых СССР И.В.Бестужева-Лады, А.Г. Ивахненко, В.М. Глушкова, И.П. Федоренко, А.И.Анчишкина, В.Г. Гмошиского, Г.И. Флиорента, Г.М. Доброва, Ю.П.Лукашина, В.А. Лисичкина, Г.С. Кильдишева, А.А.Френкеля, которые были посвящены прогнозированию и планированию в условиях плановой экономики. Нынешний период становления рыночной экономики в России характерен тем, что экономические связи усложняются, управление не осуществляется на основании каких-либо директив или указаний, принимать решения интуитивно невозможно. В то же время ускоряется развитие различных форм бизнеса, и малого, и большого, причем на качественно новой основе, чем при предыдущих формах хозяйствования. И, прежде всего, в этой основе лежит показатель конкурентоспособности. Внешне кажется, что взаимосвязь хозяйственных структурных или иных звеньев той или иной отрасли не существует, но это далеко не так. Дело в том, что эти взаимоотношения приобрели более сложный характер, хотя они строятся по ясному для всех принципу «выгодно — не выгодно».
В общем, значимость прогнозирования заключается в том, что оно, раскрывая будущие взаимосвязи явлений объективной реальности, увеличивает разнообразие, выбор вариантов развития исследуемой системы и как следствие способствует принятию эффективных управленческих решений. Но при таком общем взгляде, однако, существовали и существуют различные мнения по поводу прогноза и процессов прогнозирования. В их числе находится и утопический подход, т.е. произвольное представление о желаемом будущем, но которое только субъективно кажется «научным», на самом же деле такой утопический подход опирается не на знания, а на веру и он объективно не основан на научном понимании.
Классификации как средство анализа и обработки статистической информации
Понятие термина «классификация», очевидно, происходит от слова «класс». В соответствии с толковым словарём русского языка В.И.Даля под классом понимается «отдел, раздел, отделенье, разряд, порядок, круг однородного; степень; сословие» по Далю — размещать, распределять, разделять на разряды и порядки.
В толковом словаре иностранных слов Крысина Л.П. термину классификация даются следующие определения: классификация (от фр. classification лат.): 1. Распределение тех или иных объектов по классам в зависимости от их свойств; 2. Система соподчиненных понятий в какой-нибудь отрасли знания, составленная на основе учета свойств объектов и закономерных связей между ними.
В разное время вопросами классификации и снижения размерности занимались следующие отечественные учёные: Айвазян С.А., Бежаева Э.И., Божко В.П., Боровиков В., Бухштабер В.М., Гаспариан М.С., Дубров A.M., Заде Л.А., Енюков И.С., Забелин В.Н., Иванова Е.И., Коробов В.Н., Мешал-кин Л.Д., Мхитарян B.C., Попов С.А., Полякова Н.А., Пряхина Е.В., Староверов О.В., Трошин Л.И., Шмелев В.В., а также зарубежные учёные: Болч Б., Джонстон Дж., Иберла К., Каллан Р., Кейн Э., Ким Дж., Клекка У., Мандель И., Мьюллер Ч., Харман Г., Хуань К.
В экономической статистике [175] термин «классификация» означает систематизированное распределение явлений и объектов на определённые секции, группы, классы, позиции, виды на основании их сходства и различия. Основанием классификации служит признак (критерий) или несколько признаков (критериев).
Вообще в экономических исследованиях термин «классификация» может употребляться в двух случаях: во-первых, как метод упорядочивания, анализа, хранения и эффективного поиска информации; во-вторых, как средство научного поиска, позволяющего разделить исходную совокупность на однородные группы.
В первом случае система экономических классификаций является условием упорядочивания, анализа, хранения и эффективного поиска информации. Основные классификации, обязательные для применения, имеют силу стандарта. Классификации обычно согласовываются статистическими службами с потребителями информации и являются предметом гармонизации на международном уровне. Совокупность методов, правил и признаков классификации образуют систему классификации. Обычно выделяют две основные системы классификации: иерархическую и фасетную [109, 175].
Большинство авторов отмечают, что при иерархическом методе классификации необходимо соблюдать следующие правила:
деление каждой классификационной группировки должно производиться только по одному основанию;
получаемые в результате деления группировки не должны пересекаться по своему содержанию, исключая, таким образом, дублирование информации;
классифицирование должно обеспечивать суммирование нижестоящих группировок.
Наиболее сложными вопросами, возникающими при построении иерархической классификации технико-экономической и социальной информации, являются выбор системы признаков, применяемых в качестве основания деления, а также порядок их следования.
Основные преимущества иерархической классификации заключаются в ее значительной информационной емкости, традиционности и в возможности создания для объектов классификации мнемоничных кодов, несущих смысловую нагрузку.
Существенным недостатком иерархической системы классификации является слабая гибкость структуры, обусловленная фиксированностью постоянных признаков (оснований деления) и заранее установленным порядком их следования, не допускающим включения при отсутствии резервной емкости новых объектов и классификационных группировок. Вследствие этого изменение хотя бы одного признака ведет к перераспределению классификационных группировок. Поэтому в классификаторах, построенных по иерархическому методу, должны предусматриваться значительные резервные емкости. Кроме того, этот метод классификации не позволяет агрегировать объекты и осуществлять информационный поиск по любому произвольному сочетанию признаков, а также усложняет машинную обработку информации из-за нестандартного выделения и расположения конкретных признаков в различных ветвях классификации.
Другим методом, используемым для построения классификационной структуры классификаторов, является фасетный метод, заключающийся в параллельном разделении множества объектов на независимые классификационные группировки. В этом методе классификационное множество объектов информации описывается набором независимых признаков (фасетов), не имеющих жесткой взаимосвязи друг с другом. Их можно использовать отдельно для решения различных задач.
Требования к информации, используемой для построения искусственных нейронных сетей
Проблема прогнозирования и классификации состояния сложных систем в условиях неопределенности является центральной в теории и практике управления, и решению ее посвящено значительное количество работ [1,2, 12, 13, 21-27, 38, 60, 62, 80, 87, 98, 151]. Библиография по этой отрасли научных исследований настолько обширна, что любой список будет неполным. Отметим, что наибольший вклад здесь внесли Н.Винер, Р.Циммерман, Р.Беллман, Л.Заде, Я.З.Цыпкин, А.А.Красовский, Г.С.Поспелов, Д.А.Поспелов, А.Н.Мелехов и др.
Следует, указать, что термин «неопределенность» трактуется довольно неоднозначно, что, между прочим, целиком понятно, и зависит от характера той задачи, которую стараются решить. Но можно утверждать, что проблема неопределенности присуща всем сложным системам [22, 38, 126, 151] и для описания этой неопределенности современная теория управления сложных систем широко применяет, в частности, аппарат нечетких множеств и его составные части - теорию нечетких выводов, нечеткую математику [13, 22, 38, 126] и др.
Характерной особенностью проблемы прогнозирования и классификации для упомянутых выше систем является невозможность проведения экспериментов над реальной системой и необходимость использования выводов, полученных исключительно теоретически. Учитывая, что проблема моделирования в условиях неопределенности отличается многомерностью, нетрудно представить себе ее сложность в составе проблемы прогнозирования.
Современный этап проблемы моделирования сложных систем характеризуется применением искусственных нейронных сетей, а в последнее время - подходом, где синтезированы в единое целое нечеткая математика и ИНС -так называемые нечеткие поточные нейронные сети [12, 15, 21, 25]. Как показывают научные исследования и практический опыт, именно этот путь считается наиболее перспективным для решения задач прогнозирования в сложных системах.
В общем виде обобщенная методика построения модели сложной экономической системы включает в себя следующие этапы:
1. Постановка экономической проблемы и ее качественный анализ.
2. Подготовка исходной информации.
3. Построение статистической (математической) модели.
4. Статистический (математический) анализ модели.
5. Численное решение.
6. Анализ численных результатов и их применение1.
Постановке проблем прогнозирования и классификации экономических систем были посвящены 1 и 2 главы работы. Следующим существенным этапом является подготовка исходной информации, которому посвящен данный раздел 3 главы.
При построении ИНС, обучающий набор данных представляет собой набор наблюдений, для которых указаны значения входных и выходных переменных. Первый вопрос, который нужно решить, - какие переменные использовать и сколько наблюдений собрать.
Выбор переменных осуществляется интуитивно. Опыт работы в данной предметной области поможет определить, какие переменные являются важными. Например, при работе с пакетом STATISTICA Neural Networks [57, 136] можно произвольно выбирать переменные и отменять предыдущий выбор; кроме того, система умеет сама опытным путем отбирать полезные переменные. Для начала имеет смысл включить все переменные, которые могут влиять на результат - на последующих этапах можно сократить это множество.
Нейронные сети могут работать с числовыми данными, лежащими в определенном ограниченном диапазоне. Это создает проблемы в случаях, когда данные имеют нестандартный масштаб, когда в них имеются пропущенные значения, и когда данные являются нечисловыми. Числовые данные масштабируются в подходящий для сети диапазон, а пропущенные значения можно заменить на среднее значение (или на другую статистику) этой переменной по всем имеющимся обучающим примерам.
Более трудной задачей является работа с данными нечислового характера. Чаще всего нечисловые данные бывают представлены в виде номи-нальных переменных типа Пол = {Муж, Жен}. Переменные с номинальными значениями можно представить в числовом виде. Однако, нейронные сети не дают хороших результатов при работе с номинальными переменными, которые могут принимать много разных значений.
Пусть, например, мы хотим научить нейронную сеть оценивать стоимость объектов недвижимости. Цена дома очень сильно зависит от того, в каком районе города он расположен.
