Введение к работе
Актуальность темы
Экспериментальные и теоретические исследования, проводившиеся на протяжении последних двадцати лет привели к открытию принципиально нового низкотемпературного состояния в неупорядоченных спиновых системах, получившего название спинового стекла. Основным свойством этого состояния является ярко выраженная неэргодичность, которая проявляется в зависимости наблюдаемых свойств системы от ее предыстории. При этом принципиальное отличие спин-стекольной фазы от обычных' термодинамических состояний, характеризующихся спонтанным нарушением какой-либо симметрии, состоит в том, что здесь число различных близких по энергии термодинамических состояний макроскопически велико. В связи с этим характерным свойством спиновых стекол является аномально медленная релаксация неравновесных состояний, возникающая из-за бесконечно широкого спектра времен релаксации.
Главные достижения теории спиновых стекол основаны на точных результатах, полученных для модели спинового стекла с бесконечным радиусом взаимодействия [25], [19]. Было показано, что в этой модели имеется низкотемпературная фаза, которая характеризуется нарушением эргодичности и термодинамически большим числом метастабильных состояний, отделенных друг от друга макроскопически высокими энергетическими барьерами. И хотя эта модель по своей формулировке весьма далека от реальных экспериментально наблюдаемых спин-стекольных систем, в настоящее время концепция физики спин-стекольного состояния может быть сформулирована в отрыве от той модели, на которой она была получена. Более того, эта новая физика оказалась настолько естественной, а явления, которые она описывает настолько общими, что в последние годы методология теории спиновых стекол стала успешно использоваться для чрезвычайно широкого спектра проблем, от описания социальных структур и экономики до биологии.
Физика спин-стекольного состояния, изложенная в первой части диссертации, представляет собой качественное описание того, что происходит в низкотемпературной фазе спиновых систем со случайными взаимодействиями. Подобные исследования интересны еще и потому, что речь идет о явлении общего характера, имеющем отношение далеко не только к неупорядоченным магнетикам. Последние годы проблематика спиновых стекол стала включать в себя такие, на первый взгляд, непохожие друг на друга проблемы, как моделирование биологической эволюции, статистические модели памяти (нейронные сети), проблемы оптимизации. (По-видимому, проблема 1// шума тоже имеет к этому самое прямое отношение.)
Во второй части диссертации рассматривается проблематика одной из таких "ветвей", выросшей из теории спиновых стекол, в которой изучаются статистические модели нейронных сетей. Удивительным образом теория спиновых стекол, основанная главным образом на довольно искусственной модели с бесконечным радиусом взаимодействия, в последнее время получила новое значение в связи с возможностью, по крайней мере на качественном уровне, моделировать ассоциативную память. При этом все рассматриваемые модели основаны на совсем небольшом наборе биологически мотивированных предположений:
1) Минимальный структурный элемент нейронной сети - это "нейрон",
состояние которого описывается одной переменной а. При этом предпола
гается, что нейрон может находиться лишь в двух возможных состояниях'
- возбужденном и погасшем. По этой причине для описания состояния
нейрона обычно используется изинговская спиновая переменная а = ±1.
2) Процесс реконструкции образов происходит путем парал
лельной динамики нейронов, с начальной нейронной конфигура
цией, соответствующей текущему визуальному образу, а конечная
устойчивая нейронная конфигурация соответствует восстановленному
образу, хранящемуся в памяти.
3) Память об образах записывается в межнейронных (спин-спиновых)
взаимодействиях, причем эти взаимодействия являются пластичными и
могут меняться в процессе обучения.
Исследования последних лет убедительно продемонстрировали, что подобные статистические модели нейронных сетей хорошо имитируют наиболее общие свойства ассоциативной памяти [40], [4J] .
Основные направления исследования
В диссертации содержатся результаты исследований по теории спиновых стекол и статистическим моделям нейронных сетей.
Первое из этих направлений представлено следующими исследованиями. Построена скейлинговая теория вычисления свободной энергии спин-стекольных состояний для систем с ультраметрической структурой пространства метастабильных состояний, а также феноменологическая теория релаксационных процессов, происходящих в подобных системах. Для построения теории используются общие скейлинговые свойства иерархической структуры спин-стекольных состояний и основные идеи перенормировок обычной теории фазовых переходов.
Построена теория спиновых ' стекол, в которых спин-спиновые взаимодействия являются медленными динамическими переменными, не находящимися в термодинамическом равновесии со спиновыми степенями свободы. При этом удается дать естественную физическую интерпретацию известного метода реплик, широко используемого в теориях неупорядоченных систем.
В качестве отдельного исследования рассматриваются спин-стекольные
явления, возникающие в другом классе систем, представляющих собой ферромагнетики с вмороженными слабыми случайными магнитными полями. Здесь благодаря многочисленным метастабильным состояниям инстантонного типа, возникающим из-за взаимодействия со случайными полями, в термодинамических функциях появляются неаналитичные поправки, которые не могут быть вычислены в рамках обычной теории возмущений.
Среди исследований второго направления рассматривается ряд новых моделей нейронных сетей. Среди них нейронные сети с оптимизированными спин-спиновыми взаимодействиями, иерархические модели, модели нейронных сетей для инвариантного распознавания образов, модели памяти для конфигураций полимерных цепочек и модели нейронных сетей с подвижными образами.
Научная ценность и новизна
Оригинальные результаты, представленные в диссертации, опубликованы в работах [1] - [18], и могут быть кратко сформулированы следующим образом:
Построена скейлинговая теория для вычисления статистической суммы и свободной энергии для систем с ультраметрической структурой пространства метастабильных состояний.
Построена феноменологическая теория релаксационных процессов, происходящих в спиновых стеклах с иерархической структурой метастабильных состояний.
Предложена естественная физическая интерпретация метода реплик, который широко используется в теориях неупорядоченных систем.
Построена теория спиновых стекол, в которых спин-спиновые взаимодействия являются медленными динамическими переменными, не находящимися в термодинамическом равновесии со спиновыми степенями свободы.
Для ферромагнитных изинговских систем с вмороженными слабыми случайными магнитными полями вычислены неаналитичные поправки к термодинамическим функциям, которые возникают в низкотемпературной фазе благодаря многочисленным метастабильным состояниям инстантонного типа.
Предложен простой итерационный алгоритм оптимизации спин-спиновых взаимодействий в нейронных сетях, позволяющий существенно увеличивать емкость памяти.
Вычислены фазовые диаграммы и исследованы термодинамические свойства целого класса нейронных сетей с оптимизированными спин-спиновыми взаимодействиями.
Построены два типа моделей нейронных сетей, могущих хранить в памяти иерархически скоррелированные образы.
- Предложена модель нейронной сети, в которой происходит
трансляционно инвариантное распознавание образов. Модель допускает простое обобщение для случаев масштабной инвариантности, а также инвариантности по отношению к поворотам.
Предложена статистическая модель для запоминания конфигураций полимерных цепочек, вычислена ее фазовая диаграмма и термодинамические свойства.
Предложена модель нейронной сети, в которой запоминаемые образы являются медленными динамическими переменными, не находящимися в термодинамическим равновесии со спиновыми степенями свободы. Вычислена фазовая диаграмма этой модели и ее термодинамические свойства.
Апробация работы
Диссертация содержит результаты 18 работ, опубликованных в России и за рубежом. Работы докладывались на теоретических семинарах в ИТФ РАН, ИФП РАН, ФИАН РАН, в Римском университете, в Бостонском университете, в Калифорнийском университете (UCLA), в Масса чусутском технологическом институте (MIT), в Оксфордском университете, в Геттингенском университете (Германия), в Международном центре теоретической физики (Триест), в Ecole Normale Superieure (Париж), на Всесоюзных конференциях по физике низких температур (Самарканд 1983, Таллин 1984), на международном семинаре ИТФ-НОРДИТА (Гете-борг 1986), на Советско-Итальянской конференции по статистической физике (Рим 1987), на международной конференции по сложным системам (Будапешт 1988), на международной конференции по нейронным сетям (Салерно 1989), на Советско-Индийской конференции по сложным системам (Бангалор 1990), на международной конференции по статистической физике (Триест 1991), на российско-германском симпозиуме по статистической физике (Бад-Хоннеф 1993).
Основные результаты диссертации получены в Институте теоретической физики им. Л.ДЛандау РАН, частично в соавторстве с Е.Дорофеевым, Н.Яруниным, B.Tirozzi, S.Franz, M.Mezard, G.ParUi.
Структура и объем диссертации
