Содержание к диссертации
Введение
ГЛАВА 1. Теория рефлекса в психофизиологии 18
1.1. Методологические принципы в психофизиологии 18
1.2. Раскрытие сущности парадигмы реактивности в психофизиологии 31
1.3. Методологические основы организации эксперимента в парадигмах активности и реактивности 44
1.4. Формулирование требований к тестовой поведенческой задаче 53
1.5. Аспекты рассмотрения содержания понятия рефлекторного отражения 56
1.6. Понятие «цель» в психофизиологических парадигмах 58
1.7. Заключение 66
ГЛАВА 2. Методика исследования рефлекторного взаимодействия со средой модельного агента и активности нейронов у животного 69
2.1. Методика обучения животных 69
2.2. Методика регистрации нейронов 71
2.3. Тестовая задача, взаимодействие модели со средой задачи 72
2.4. Психофизиологическая модель рефлекторного агента 78
2.5. Методики экспериментальных серий 93
ГЛАВА 3. Результаты экспериментального исследования взаимодействия со средой 105
3.1. Результаты исследования работы модели в режиме постоянной мотивации. Серия 1 105
3.2. Результаты исследования работы модели в режиме мотивации с насыщением. Серия 2 124
3.3. Оценки ситуаций в обучении с подкреплением. Серия 3 135
3.4. Классификация действий по вызываемым ими эффектам. Серия 4 137
3.5. Роль учета предыстории событий в поведении. Серия 5 140
3.6. Сопоставление нейронной активности с поведением животного. Серия 6 143
3.7. Заключение 145
ГЛАВА 4. Обсуждение результатов исследования рефлекторного взаимодействия со средой 147
4.1. Экспериментальный анализ тестовой задачи 147
4.2. Динамика формирования элементов опыта 153
4.3. Роль различных детерминант в рефлекторном поведении 159
4.4. Характер детерминации поведения 175
4.5. Взаимодействие со средой. Сопоставление методики погружения в среду с методикой предъявления стимулов 182
Заключение 188
Выводы 194
Использованные сокращения 196
Литература
- Методологические принципы в психофизиологии
- Тестовая задача, взаимодействие модели со средой задачи
- Результаты исследования работы модели в режиме постоянной мотивации. Серия 1
- Взаимодействие со средой. Сопоставление методики погружения в среду с методикой предъявления стимулов
Введение к работе
Актуальность работы:
Традиционно в «сопоставляющей психофизиологии» психические явления напрямую сопоставляются с локализуемыми элементарными физиологическими явлениями, что неизменно приводит к рассмотрению психологических и физиологических процессов как тождественных, параллельно протекающих или взаимодействующих [Александров Ю.И., 2004]. Такое положение отражается в программах редукционизма и элиминативизма, предполагающих поэтапное замещение психологии нейробиологией [Иванов-Смоленский А.Г, 1929; Churchland P.S., 1986; Gold I., DanielS., 1999].
В системной психофизиологии [Швырков В.Б., 1995; Александров Ю.И. и др., 1997; Александров Ю.И., 2004] реализуется иное решение психофизиологической проблемы (В.Б. Швырков, 1978), принадлежащее к группе «двухаспектных решений» [Спенсер Г., 1897; Бехтерев В.М., 1991; Chalmers D.J., 1995; ПристС, 2000]: психическое и физиологическое являются разными аспектами рассмотрения одних и тех же системных процессов, организующих активность физиологических элементов в пределах всего организма для достижения тех или иных полезных результатов.
Если в сопоставляющей психофизиологии используется методика предъявления стимулов, то в системной психофизиологии используется методика «погружения в среду» («embodied and situated agent» [Brooks R. A., 1991a,b]) и свободное поведение. В первом случае экспериментатор задает ситуации, с которыми сталкивается испытуемый (агент), во втором случае испытуемый, находясь в некоторой среде и воспринимая ее, сам влияет на то, в каких ситуациях он окажется.
До сих пор, однако, не был в достаточной мере рассмотрен вопрос о
месте двух упомянутых типов методик в научном исследовании, об
ограничениях, которые они, возможно, накладывают на тип исследования и
характер получаемых результатов [Brembs В. et al., 2004]. Между тем ответ
на этот вопрос позволил бы продвинуться в разработке представлений о
специфике и области применения методики предъявления стимулов в
психологии и, в частности, в психофизиологии. «Генеральной линией
развития психологии (и смежных с ней наук) является ... более глубокая
разработка специфически психологических методик исследования,
основанных на философски фундированной методологии» - соглашаясь с
С.Л. Рубинштейном, писал А.В.Брушлинский еще в 1979 [Брушлинский А.В.,
1979]. Мы предполагаем сравнить методику предъявления стимулов и
методику погружения в среду применительно к решению указанной выше
психофизиологической проблемы.
«Согласно представлениям И.П. Павлова, специфический предмет
определенной науки не может существовать независимо от того метода, при
помощи которого она изучает определенный круг явлений» [Шингаров Г.Х.,
1982, с. 11]. Организация экспериментальный среды во многом
предопределяет характер получаемых данных. Например, в ситуации
предъявления стимулов удобно трактовать изменения активности организма,
связанные по времени со стимулом, как реакции. Теория рефлекса достигла
определенных успехов в описании активности организма в этом случае.
Напротив, при «погружении в среду», в свободном поведении, испытуемый
сам влияет на то, какие ситуации складываются в среде и на их
последовательность. В этом случае учет только лишь рефлекторных
детерминант может оказаться недостаточным [Анохин П.К., 1973]. Поэтому
актуальным представляется исследование взаимодействия рефлекторного
агента со средой при использовании методики погружения в среду.
«Рефлекторный акт - это прежде всего практическое взаимодействие между
организмом и средой» [Шингаров Г.Х., 1982, с.31]. При этом «процесс
взаимодействия есть обмен изменениями» [Корнилова Т.Н., Смирнов С.Д.,
2007, с. 165], поэтому для исследования рефлекторного взаимодействия
следует провести анализ зависимости внутренних переменных агента от
влияния среды, и зависимости среды от влияния на нее агента. В качестве
агента может рассматриваться как человек и животное, так и модель,
реализующие поведение [Непомнящих В.А., 2003] (обзор содержания
понятия «агент» см. в [Franklin S., Graesser F., 1996]). Поскольку вопрос о
том, является ли живой агент (человек, животное) рефлекторным остается
спорным [Анохин П.К., 1978; Швырков В.Б., 1978; Александров Ю.И., 2004;
Schall J.D., 2001], важно изучить именно модель рефлекторного агента в компьютерном эксперименте. Такой подход гарантирует, что агент будет адекватно описываться рефлекторной теорией (РТ).
Таким образом, заведомо известно, что наш «испытуемый» полностью описывается рефлекторной теорией, и является адекватным парадигме реактивности (нами используется устоявшийся в отечественной литературе термин Т. Куна «парадигма» (1975), его можно сопоставить с терминами «исследовательская программа» И. Лакатоса (1995) и «метатеория» А. В. Юревича (2001а)), Парадигма реактивности предполагает, что такой агент исчерпывающе изучается с помощью предъявления стимулов и не может продемонстрировать феномены, не изучаемые этой категорией методик. Эта гипотеза проверяется в настоящей работе путем ее фальсификации: покажем, что некоторые закономерности взаимодействия испытуемого со средой могут быть выявлены лишь погружением в среду, даже если он адекватно описывается рефлекторной теорией. Таким образом, альтернативная гипотеза состояла в том, что такой агент, построенный в соответствии с РТ, при его погружении в среду проявит также феномены не предусмотренные РТ. Целью исследования стал анализ динамики ситуаций, в которых оказывается агент, в зависимости от его собственных действий и опыта (фазы научения). В качестве тестовой среды использовалась модель фуражирования в открытом поле, положительно зарекомендовавшая себя в модельных психологических исследованиях [Baldassarre G., 2000, 2001;
KrylovA.K., 2004] и удовлетворяющая критериям, предъявляемым нами к
тестовой поведенческой задаче минимально необходимой сложности, пригодной для межпарадигмального исследования [Крылов А.К., 2005]. По нашему мнению, полученные результаты могут дать более строгое, формальное описание различий между перечисленными выше теоретическими конструктами, связанными с этими экспериментальными методиками, а также установить область применения каждой из методик.
Поскольку модель позволяет проводить измерение всех интересующих исследователя переменных, работа с компьютерной моделью, в отличие от экспериментов с живыми агентами, позволит выявить закономерности актуальной задачи, т.е. как выглядит задача с точки зрения агента (испытуемого). Далее окажется возможным сопоставление тестовой задачи с точки зрения экспериментатора с актуальной задачей. Результаты модельного эксперимента следует проверить, сравнив их с результатами поведенческих и психофизиологических экспериментов. В частности, оценить выраженность известного в РТ феномена корреляции нейронной активности с поведенческими событиями, но в условиях свободного поведения животного - при погружении его в среду, аналогичную той, в которую будет погружаться модельный агент.
В исследованиях, проводимых на основе РТ, наиболее распространены методики классического и оперантного обусловливания. Методика классического (павловского) обусловливания, принадлежит к категории методик предъявления стимулов и с точки зрения РТ позволяет формировать
у испытуемого классический условный рефлекс. Методика оперантного
обусловливания, разработанная Скиннером, близка к идее погружения в
среду и с точки зрения РТ позволяет формировать у испытуемого
инструментальный условный рефлекс. Задача различения классического и
оперантного обуславливания была поставлена давно: «Проблема
взаимоотношений между классическим и инструментальным условными
рефлексами, несмотря на очевидную простоту, является одним из наиболее
запутанных вопросов, которые стоят перед поведенческими и
нейрофизиологическими исследованиями» [Граштьян Е., 1973, с. 350].
Однако и сегодня эта задача остается актуальной [Brembs В. et al., 2004].
Поэтому исследование рефлекторного взаимодействия со средой является
актуальным также и для теории рефлекса.
На основе парадигм активности (термин «парадигма активности»
можно сопоставить с понятием «принцип активности» Н. А. Бернштейна
(1966), С.Л.Рубинштейна (1946) и др.) и реактивности построены два
различных подхода в психофизике. Парадигма реактивности является
основой объектного подхода в психофизике, в то время как парадигма
активности - основа субъектного подхода. Отмечается, что в настоящее
время имеется тенденция перехода от объектной психофизики к субъектной
[Скотникова И.Г., 2003; Гусев А.Н., 2004] с переходом к рассмотрению
системной детерминации [Гусев А.Н., 2007]. Однако в обоих подходах чаще
всего используют методики основанные на предъявлении стимулов в
случайном порядке [Гусев А.Н., 2004]. Возможно, поэтому различия между
парадигмами не столь отчетливы в психофизике: «реактивное и активное
поведение - это не антиподы, а дополняющие друг друга формы
приспособления к действительности, между которыми не всегда удается
провести отчетливую границу» [Асмолов А.Г., 1985, с. 18]. С парадигмой
реактивности в психофизике связывают ограниченную, одномерную,
однозначную сенсорную задачу, с которой работает хорошо тренированный
испытуемый [Гусев А.Н., 2004], и типичную, относительно стационарную
среду, типовую ситуацию [Асмолов А.Г., 1985]. В психологии восприятия
ситуация несколько иная - используются парадигма активности и методика
погружения в среду (например, для исследования движений глаз
[Барабанщиков В.А., 2000; Velichkovsky В.М., 2002]).
В области искусственного интеллекта (ИИ), как отмечает Р. Брукс
[Brooks R. A., 1991b], долгое время предполагалось, что робот должен лишь
уметь оперировать абстрактными логическими схемами, символьными
репрезентациями знаний. Входные данные предоставлялись
экспериментатором, а программная система должна была обработать их и
выдать что-то на выход. Подход называется «sense-model-plan-act» и
заключается в последовательном преобразовании входной информации,
предъявляемой экспериментатором, в выходную - от распознавания до
принятия решения. На основе такого подхода появились программы,
играющие в шахматы, однако не удалось создать ни одного реального
робота. В 80-х гг. получил распространение иной подход, основанный на
понятиях «телесность» {«embodiment») и «включенность в ситуацию»
{«situatedness») [Brooks R. А., 1991а,с]. Основой реально созданных роботов,
в отличие от компьютерных программ, стали понятия «погруженность в
среду» и «взаимодействие со средой» роботов, обладающих физическим
«телом».
Параллельно с этим, как отмечает Р. Бир [BeerR.D., 1998, 2000], в
развитии когнитивной науки поначалу превалировала «вычислительная
гипотеза» о том, что когнитивные процессы заключаются в манипуляциях с
псевдо-лингвистическими символьными репрезентациями по неким
синтаксическим правилам. Вычислительная метафора, с нашей точки зрения,
относится к парадигме реактивности (см. раздел 1.2). В 90-х гг. в
когнитивной науке появилось новое направление - динамический подход, в
котором рассматривается непрерывное взаимодействие нервной системы с
телом, и тела, погруженного в среду, с внешней средой. Поведение
образуется в ходе развертывания такого взаимодействия [Сергиенко Е.А.,
2006; BeerR.D., 2000]. Этот подход, на наш взгляд, ближе к парадигме
активности [Пономарев Я.А., 1999]. При этом допустимо погружение в
модельную среду: экспериментатор задает зависимость модификации
сенсорной ситуации от действий испытуемого или животного [BrembsB.,
Heisenberg М., 2000]. Например, используется компьютерный тренажер
вождения автомобиля, в котором испытуемый совершает поездку по
виртуальному городу [Velichkovsky В.М., 2002].
Таким образом, различия в двух рассматриваемых методиках так или
иначе связаны с двумя разными парадигмами в психологии и нейронауке,
двумя типами процедур обучения, двумя отличающимися один от другого
подходами в психофизике, искусственном интеллекте и когнитивной науке. В настоящей работе проверялось предположение о возможности эмпирического выявления различий между категориями методик предъявления стимулов и погружения в среду. При этом использовался междисциплинарный подход [Журавлев А.Л., 2003] и учитывались роль математического моделирования в психологии и ограничения на его применение [Ломов Б.Ф., и др., 1976; Крылов В.Ю., 2000; Trope Y., 2004; Савченко Т.Н., 2005].
В настоящей работе рассматривается формирование поведения в процессе научения агента и его реализация. Формирование нового навыка при научении рассматривается как формирование новой системы - элемента индивидуального опыта. На нейрональном уровне научение выражается в модификации импульсной активности нейронов. Анализ импульсной активности нейронов в сопоставлении с поведенческими событиями позволяет обнаружить поведенческую специализацию нейронов и объединить системный уровень исследования с нейрональным для психофизиологического изучения структуры и динамики внутреннего мира [Швырков В.Б., 1995; Александров Ю.И. и др., 1997], которые отражаются в закономерностях научения и поведения агента.
Цель исследования:
Выявление особенностей рефлекторного взаимодействия агента, погруженного в среду, находящегося в условиях свободного поведения.
Объект исследования
Агент (компьютерная модель, животное) осуществляющий свободное пищедобывательное поведение в среде (модельной и реальной, соответственно).
Предмет исследования
Взаимодействие агента (компьютерная модель, животное) со средой.
Гипотеза исследования
Взаимодействие рефлекторного агента, находящегося в условиях свободного поведения, со средой подчиняется иным закономерностям, нежели в случае, когда стимульный паттерн задается экспериментатором.
Задачи исследования:
определить ядро исследовательской программы, на которой основана теория рефлекса, и на базе этого определения построить модель рефлекторного агента, отражающего сущность теории рефлекса;
сформулировать критерии к тестовой задаче пригодной для анализа результатов с помощью сопоставляющей и системной психофизиологии;
выявить структуру поведения рефлекторного агента при погружении его в среду тестовой задачи;
выявить динамику актуальной задачи при взаимодействии рефлекторного агента со средой;
выявить зависимость актуальной задачи от индивидуальных особенностей рефлекторного агента, работающего с ней;
определить степень корреляции нейрональной активности с поведенческими событиями в условиях погружения животного в среду аналогичной тестовой задачи.
Теоретико-методологические основы исследования
Теоретико-методологической основой исследования являются теория функциональных систем (ILK. Анохин), системно-эволюционный подход, системная психофизиология.
Методы исследования
Для эмпирического исследования была синтезирована тестовая поведенческая задача на основе сформулированных критериев, и модель рефлекторного агента, отражающая современные представления рефлекторной теории о работе головного мозга. В качестве экспериментальной методики использовалось погружение модели рефлекторного агента в среду тестовой задачи в условиях свободного поведения - задача фуражирования. Использовалась модель обучения парадигмы «обучение с подкреплением». В эксперименте на животных они погружались в среду инструментального пищедобывательного поведения.
Эмпирическая база исследования
В исследовании проанализирована активность нейронов разных поведенческих специализаций, зарегистрированная у 3-х животных; рассмотрено 14 категорий модельных агентов, 9 видов морфологии, всего 920 агентов. Разница морфологии заключалась в различиях структуры зрительных рецептивных полей и двигательных паттернов. Разница между категориями состояла в различии алгоритмов обучения и скорости движения у агентов с разной морфологией. Проведено 5 серий модельных экспериментов и 1 серия на животных.
Научная новизна работы.
Впервые проведено исследование связанное с задачей выявления межпарадигмальных различий в психофизиологии, и направленное на формализацию аналитических особенностей применяемых в психофизиологии методик. Оригинальным является выявление ядра исследовательской программы, на которой основана теория рефлекса. На этой основе построена модель рефлекторного агента, отражающая суть концепции реагирования. Разработан новый алгоритм модельного обучения и показаны его преимущества перед классическим.
Теоретическое значение.
Проведенная формализация концепции реагирования может способствовать более глубокому пониманию достоинств и недостатков
рефлекторной теории. Показано, что вероятность активации нейронов в окрестности поведенческого события выше, чем вероятность возникновения события при возникновении нейронной активности. Следовательно, возникновение известного в РТ феномена - повышенной частоты спайковой активности нейрона в окрестности поведенческого события, может быть объяснено иначе, нежели реакция на стимул, ввиду того, что аналогичное явление получено в экспериментах в свободном поведении.
Практическая значимость.
Полученные результаты демонстрируют специфику
экспериментальной методики погружения в среду и методики предъявления стимулов, и могут быть использованы при планировании психологических и, в частности, психофизиологических экспериментов; применяются в моделировании процесса научения; используются в курсе «Системная психофизиология» и программе преподавания по курсу «Психофизиология». Разработанный алгоритм обучения может применяться в практических приложениях в области искусственного интеллекта. Разработанный метод сопоставления нейронной активности с поведенческими событиями внедрен в программное обеспечение системы обработки психофизиологических данных - в программу NeuRu.
Положения, выносимые на защиту:
При погружении в среду динамика задачи зависит от поведения агента: вероятность возникновения какой-либо ситуации зависит от предыдущей ситуации, от предыдущего действия и опыта рефлекторного агента; вариация сложности субзадач, с которыми сталкивается рефлекторный агент, порождается собственными действиями агента в среде - агент ненаправленно реструктурирует среду.
В отличие от фиксированной актуальной задачи в методике предъявления стимулов, рефлекторный агент своим взаимодействием со средой в свободном поведении влияет на актуальную задачу, которая поэтому оказывается различной для одного и того же агента на разных стадиях обучения и для разных агентов, работающих с ней.
Ядро исследовательской программы, на которой основана теория рефлекса, можно выразить следующим образом: индивид в своем действии и состоянии объективно отражает предшествующий внешний сигнал. Это утверждение представимо следующей формулой: действие^ + т) = f( внешний сигнал^)),
где временная задержка т > 0, t - время, f - функциональная зависимость.
Методологические принципы в психофизиологии
В основе постановки задач эксперимента, методик организации эксперимента, выбора оборудования, способов трактовки экспериментальных данных лежат парадигмальные представления экспериментатора [Кун Т., 1975; Лакатос И., 1995]. Уже по описанию методики эксперимента можно судить об используемой исследователем парадигме.
Роль методологии заключается, в частности, в логической экспликации и осознании скрытых и неосознанных оснований теорий и подходов к исследованию того или иного объекта или/и предмета.
В качестве базовых методологических принципов используются редукционизм и системный подход. Применительно к психофизиологии, редукционизм связан с парадигмой реактивности, а системный подход связан с парадигмой активности (подробнее см. в [Роуз С, 1995; Швырков В.Б., 1995; Александров Ю.И., 2004; Александров Ю.И., Крылов А.К., 2005; Raudsepp М., 2005; и др.]).
Выбор парадигмы диктует подход к решению психофизиологической проблемы (см. ниже), и, в конечном счете, роль психологии в системе наук: либо постепенная замена психологии нейробиологией как следствие парадигмы реактивности и редукционизма, либо предмет психологии обладает качественным своеобразием по сравнению с предметом нейробиологии как следствие парадигмы активности и системного подхода (см. ниже). Также, от выбора пути решения психофизиологической проблемы зависят: используемый подход в психотерапии [Менегетти А., 2004; Покрасс М.Л., 1997], в медицине [Пиковский Д.Л., 2000], взгляд на процессы обучения и памяти [Александров Ю.И., 2005], решение проблемы сознания и эмоций [Alexandrov Yu.L, Sams М.Е., 2005], проблематика нейронауки [Gold I., Daniel S. 1999; Виноградова O.C., 2000; Александров Ю.И., Крылов A.K., 2005].
Под редукционизмом обычно понимается применение концепций и законов «более базовой» редуцирующей теории для объяснения феноменов, описываемых «менее базовой» редуцируемой теорией; взгляд, согласно которому мир может быть разбит на части, каждая из них изучена в отдельности и на основании результатов этого изучения сделан вывод о закономерностях функционирования целого [Lewontin R., Levins R., 1980]. Качественное своеобразие целого (системы) по сравнению со свойствами его компонентов, несводимость целого к сумме частей постулируется в имеющем антиредукционистскую направленность системном подходе.
Редукционизм, применительно к психофизиологии, связан с парадигмой реактивности, наиболее ярко представленной в проведенной Декартом аналогии между живыми организмами и механическими объектами, и развитой И.П.Павловым в рефлекторной теории [Павлов И.П., 1949].
И.П. Павлов использовал редукцию, эпистемологически отождествив высшую нервную деятельность (процессы, протекающие в нервной ткани) с внешней предметной деятельностью животного [Василюк Ф.Е., 2003]. По его представлениям, зная все о деятельности больших полушарий, мы знаем все о поведении. Зная законы функционирования мозга, мы знаем законы внешнего поведения. «... все изменения в реакциях животного и все получаемые факты работающий должен объяснять, стоя исключительно и целиком на объективной естественно-научной точке зрения, раз и навсегда отказавшись от психологической терминологии и воззрений и памятуя, что он есть физиолог, т.е. физик и химик живого вещества, - и ничего более» [Подкопаев Н.А., 1936, с.92-93]. При этом «вероятность вполне овладеть предметом существует только для тех понятий в этой области, которые характеризуются как понятия пространственные. Вот почему ясной должна представляться мысль, что нельзя с психологическими понятиями, которые по существу дела непространственны, проникнуть в механизм этих отношений» [Павлов И.П., 1996, с.92], поэтому учение об условных рефлексах «совершенно исключило из своего круга психологические понятия» (там же).
Тестовая задача, взаимодействие модели со средой задачи
В разделе 1.4.2 были сформулированы 5 критериев к тестовой задаче пригодной для тестирования межпарадигмальных различий в психофизиологии. В этом разделе будет предложена такая задача и теоретически оценена ее адекватность этим критериям.
В качестве тестовой поведенческой задачи отвечающей приведенным выше критериям мы выбрали задачу фуражирования (ее вариации см. в [Araujo E.G., Grupen R.A., 1996; Baldassarre G., 2000; Бурцев M.C. и др., 2000; Крылов А.К., 2004; SethA.K., 1998; Barandiaran X., 2002; Демин А.В., Витяев Е.Е., 2006]) - агент движется на плоскости, поедая пищевые объекты. Среда (Рис.3) представляет собой развертку тора на плоскости, в которой изначально равномерно разбросано N = 42 пищевых объектов. После «поедания» агентом одного объекта, в случайном месте появляется новый объект.
Известно, что формирование пищевого поведения в раннем онтогенезе «позволяет выработать первичные навыки удовлетворения еще не сформированнных», позже возникающих потребностей [Раевский В.В., 2007, с. 193]. Поэтому модель, учитывающая формирование пищевого поведения может быть репрезентативна и для других его форм.
Поиск пищевого объекта в этой тестовой задаче можно сопоставить с поиском решения в процессе мышления человеком [Брушлинский А.В., 1996]. Траектория от текущего местоположения агента до пищевого объекта, изначально неизвестная агенту, нами рассматривается как искомое агентом решение мыслительной задачи. Текущее местоположение агента есть условие задачи («дано»), местоположение объекта есть требование задачи («вопрос»). Траектория есть неизвестное искомое, есть рассуждение, приводящее испытуемого к ответу на вопрос задачи. Процесс построения траектории есть процесс поиска решения задачи. Поэтому, данная тестовая задача, по нашему мнению, может быть моделью, на которой можно исследовать и процесс мышления, т.е. обладает достаточной общностью.
Далее описывается один из вариантов морфологии тестируемого агента, в математическом смысле представляющего собой модель двухколесного робота [Крылов А.К., 2004; Krylov А.К., 2004]. По сути же, такая модель может быть моделью движения животного или рыбы.
Критерий 1.
В каждый такт времени агент совершает одно из следующих действий: захват объекта, поворот вправо, поворот влево, ожидание. Для каждого агента угол поворота фиксирован. Исследовались два варианта угла поворота: 22.5 и 67.5 (3 22.5) градусов (рис. 4А,В). Все действия длятся один такт. Действие «захват» может быть успешно, только если пищевой объект находится в области захвата (малый сектор на рис. 4А-Г). Действие поворот вправо осуществляется вращением левого колеса (рис. 4А-Г). Действие поворот влево осуществляется вращением правого колеса. При совершении действия «ожидание» агент не перемещается. Таким образом, критерий 1 (1.4.2) удовлетворяется - агент имеет не менее двух альтернатив при выборе действия и обладает принципиальной возможностью определять траекторию прохождения тестового ПОЛЯ.
Результаты исследования работы модели в режиме постоянной мотивации. Серия 1
Все выученное рефлекторным агентом поведение (рис. 12) в режиме постоянной мотивации можно разбить на циклы, состоящие из трех компонент: 1. поиск объекта, 2. подход к объекту, 3. захват объекта.
Эти компоненты будем называть «поведениями», образующими циклическую последовательность в пищедобывательной деятельности. «Поисковое» поведение обеспечивается следующими рефлексами: если нет объекта в области видимости - поворот влево с вероятностью около 50%, если нет объекта в области видимости - поворот вправо с вероятностью около 50%.
Поведение «подход к объекту» обеспечивается следующими рефлексами: если объект только слева - поворот влево (вероятность около 100%), если объект только справа - поворот вправо (вероятность около 100%), если есть объект слева и есть объект справа - поворот влево (вероятность около 50%), если есть объект слева и есть объект справа - поворот вправо (вероятность около 50%). если есть объект в области захвата и есть объект слева - захват (вероятность около 100%), если есть объект в области захвата и есть объект справа - захват (вероятность около 100%), если есть объект в области захвата, есть объект слева и есть объект справа - захват (вероятность около 100%).
Таким образом, всего, для работы в 8 возможных ситуациях агент образует 10 рефлексов. Этот набор сформировавшихся рефлексов можно, с точки зрения наблюдателя, разбить на 3 группы по наблюдаемым формам поведения. Отметим, что такое разбиение существует лишь с точки зрения наблюдателя, но не существует для агента.
Некоторые рефлексы реализуются в одной и той же ситуации, а это означает, что агент - вероятностный, а не детерминированный. Например, поисковое поведение обеспечивается двумя рефлексами, применяемыми с разной вероятностью в одной и той же ситуации. Оказалось, что детерминированный агент не способен решать данную тестовую задачу. Задача такова, что для ее решения иногда необходимо применение разных действий в одной и той же ситуации, например, поисковое поведение не может быть обеспечено одним рефлексом при такой морфологии агента.
Базовая морфология агента описана в разделе 2.4. Относительно этой морфологии мы варьировали только параметр угла поворота агента - V. На рис.13 показаны кривые научения при постоянной мотивации для двух агентов при значениях параметра V=0.25, V=0.75. Кривые имеют S-образный вид. Выделяется период научения (рис. 13, рост показателя), и период дефинитивного поведения (рис.13, плато). Видно, что обучение заканчивается и агент переходит в фазу стабильности - работает с постоянной эффективностью. Форма кривой не зависит от параметра V, а величина плато - зависит. В данном случае, агент с V=0.75 оказывается почти в два раза эффективней, чем агент с V=0.25.
Обучение различным компонентам пищедобывательного поведения шло одновременно (Рис.14), однако с различной скоростью формирования. Имеется следующая гетерохрония формирования поведений в рамках пищедобывательной деятельности: быстрее всего формируется поведение
Рисунок 14. Динамика формирования рефлексов в рамках пищедобывательной деятельности, режим постоянно!) мотивации. По оси абсцисс - время в тыс.тактов. По оси ординат - величина вероятности соответствующего рефлекса в данной ситуации. Подробности в тексте. «захват пищевого объекта» (рис.14, кривая "M=>G", обозначенная «захват»), несколько медленнее «подход к пищевому объекту» (рис. 14, кривые "L=>RW" - поворот влево, когда объект виден слева, "R=>LW" - поворот вправо, когда объект виден справа, обозначенные «S1 -подход»), еще медленнее «поиск пищевого объекта» (рис.14, кривые "_=>RW" - поворот влево, когда объектов не видно, "_=>LW" - поворот вправо, когда объектов не видно, обозначенные «поиск»), и в последнюю очередь формируется «подход к объекту при наличии двух конкурирующих объектов в поле зрения» (рис.14, кривые "RL=>RW" - поворот влево, когда виден объект справа и виден объект слева, "RL=>LW" - поворот вправо, когда виден объект справа и виден объект слева, обозначенные «82-подход»).
Взаимодействие со средой. Сопоставление методики погружения в среду с методикой предъявления стимулов
Выработка условного рефлекса заключается в том, что испытуемому предъявляют последовательно пары событий (условный сигнал и безусловный) и это происходит независимо от действий испытуемого [Heisenberg М., 2001]. Испытуемый не может повлиять на характер будущих событий (стимулов) в классическом условном рефлексе.
Радикальным примером может служить процедура выработки классического оборонительного условного рефлекса, «когда вслед за условным сигналом дается болевое раздражение конечности, независимо от того, делает ли животное движение этой конечностью... Существует точка зрения, что на первых этапах выработки классического рефлекса животное активно ищет адекватную инструментальную реакцию, избавляющую его от болевого раздражения. В дальнейшем, вследствие безуспешности этих попыток, животное попадает в ситуацию беспомощности (helpless), и реакция либо угашается, либо воспроизводится как невротическая реакция» [Иоффе М.Е., 1987, с.99].
В оперантном обусловливании обучение считается законченным, когда испытуемый путем перебора обнаружит действие, загаданное экспериментатором. Степень влияния испытуемого на среду ограничивается теми действиями, которые экспериментатор позволяет ему совершить. Это ограниченный набор действий, и закономерности эффектов в среде от совершаемых действий определяются экспериментатором: «поведенческий акт животного в скиннеровской модели окажется успешным (или неуспешным) не благодаря силе и ловкости животного, а по одному только предопределению экспериментатора, произвольно решающего, что именно и когда подкреплять» [Василюк Ф.Е., 2003, с. 136]. И.П. Павлов в теории рефлекса утверждал, что животное ищет способ «уравновешивания» со средой.
Парадигма активности представлена идеей Н.А. Бернштейна о преодолении внешних препятствий на пути реализации родовой программы развития и самообеспечения [Бернштейн Н.А., 1966].
Ситуации, смена которых находится вне власти животного, действительно существуют. Например, смена дня и ночи, смена времен года. Однако, животное даже в этих случаях имеет некоторую возможность выбора - крот или змея могут переместиться в темное прохладное место жарким солнечным днем, перелетные птицы могут улететь в более теплый климат с наступлением холодов.
Можно сказать, что парадигма реактивности рассматривает ситуации, на которые индивид влиять не способен, а парадигма активности рассматривает ситуации, на которые индивид способен влиять.
Вследствие обучения для агента меняется вероятность оказаться в той или иной ситуации (3.1.8, рис. 26), несмотря на неизменные закономерности тестовой задачи. В терминах РТ это означает, что рефлекторный агент в свободном поведении способен до некоторой степени определять, какие стимулы он получит. В другой модельной работе это свойство названо «self-selection of input stimuli» [Nolfi S., Parisi D., 1993]. Возможность влияния действиями испытуемого на то, какие он стимулы получит, обычно не допускается в методике предъявления стимулов.
Обучение агента приводит к тому, что следующая ситуация, в которой он окажется, существенно определяется предыдущей ситуацией и его опытом (3.1.8, рис. 27). В терминологии РТ это означает, что очередной стимул зависит от предыдущего и от опыта испытуемого. Такая зависимость исключается в методике основанной на предъявлении стимулов, поскольку их принято предъявлять в случайном порядке.
