ФЕРСТЕР И КАЛБЕРТСОН: ПРИНЦИПЫ ПОВЕДЕНИЯ, ГЛАВА 1, Ч. 1

Выкладываю мой перевод на русский язык первой главы книги:

Charles B. Ferster & Stuart A. Culbertson: "Behavior Principles" - очень хорошего учебного пособия, детально излагающего суть оперантного поведения. Единственный недостаток этой книги - это тяжеловесный, чуждый элегантности и простоте изложения, т. е. традиционно "научный" стиль изложения. Признаюсь, что по этой причине я многократно брался за этот перевод - и откладывал его в сторону. Я постараюсь перевести как можно большую часть этой книги, но не могу гарантировать того, что мне удастся это сделать достаточно быстро.

* * *

КАКОВА ПРИЧИНА ПОВЕДЕНИЯ?

Введение

Эта глава посвящена посвящена принципам, которые управляют поведением животных и людей в окружающем мире. При этом в центре внимания будет оперантное поведение, названное так потому, потому что оно воздействует на окружающий мир. Оно основано на фундаментальном принципе, называемом подкреплением. Подкрепление представляет собой все те факторы, которые увеличивают частоту, с которой могут проявляться операнты (единичные акты оперантного поведения). Таким образом, подкрепление является ответом на вопрос о том, какова причина поведения организма, и о том, каким образом создаются репертуары поведения.

Мы сначала рассмотрим простые случаи актов поведения животных, на которых куда легче уяснить фундаментальные принципы, чем на более сложных примерах. Как только будут установлены основные параметры оперантного поведения и процесса подкрепления, мы сможем распроcтранить их на описание и объяснение более сложных случаев человеческого поведения. Далее в этой книге мы займемся двумя темами: (1) перемежающегося подкрепления, то есть вопросом о том, каким образом акт поведения сохраняется после того, как он вошел в поведенческий репертуар организма, и (2) регуляции стимулом (т.е. того, как явления окружающего мира, которые коррелируют с подкреплением, начинают управлять поведением организма). После рассмотрения этих двух тем мы займёмся речевым поведением.

Специальные термины:

contingency	фактор, условие
deprivations	лишения
differential reinforcement	дифференциальное подкрепление
differential reinforcement of other behavior (DRO)	дифференциальное подкрепление иного поведения
experimental space	экспериментальное пространство
extinction	экстинкция
forgetting	забывание
frequency	частота
key	кнопка
striated muscle	поперечно-полосатая мышца
lever	рычаг
magazine	магазин (кормушки)
operant	оперант
reinforce	подкреплять
reinforcement	подкрепление
reinforcer	подкрепитель
successive approximation	последовательное приближение
token	фишка, жетон, билетик
topography	топография

План главы:

Часть I: Подкрепление и экстинкция

Что такое оперантное поведение?

Использование животных для изучения подкрепления оперантного поведения

Кондиционирование оперантного акта поведения у голубей и крыс

Различие между экстинкцией и забыванием

Отрицательное подкрепление

Последовательное приближение

Техническое, а не наивное описание операнитных актов поведения

Случайные факторы подкрепления

Часть II: Некоторые технические аспекты оперантного поведения

Акт поведения, а не реакция

Подкрепление и экстинкция как процедуры, а не изменения поведения

Подкрепление как последствие выполнения акта поведения

Оперант как класс актов поведения

Примеры подкрепления окружающей средой

Экстинкция, идентификация подкрепителя и проверка кондиционирования.

Процедура дифференциального подкрепления иного поведения (DRO)

Подкрепление и экстинкция в повседневной жизни человека

Часть III: Демонстрация оперантного кондиционирования

Лабораторные процедуры кондиционирования (оперантного поведения) голубей

Дрессировка животного в естественной среде обитания

Применение схем выдачи билетиков для подкрепления актов поведения в условиях клиники

Практическая модификация поведения при помощи схем выдачи билетиков

Случайное подкрепление актов поведения у человека

Часть I: Подкрепление и экстинкция

Что такое оперантное поведение?

Оперантным поведением называется обширный класс действий организмов, при которых работают поперечно-полосатые мышцы. Эти действия изменяют окружающий мир или воздействуют на него, в том числе и на поведение других организмов. Например, ищущая пищу птица в природной окружающей среде ворошит лежащие на земле листья и таким образом обнаруживает личинок, насекомых, червяков или семена, находящиеся под ними. Ворошение листьев является оперантным актом поведения, потому что оно изменяет окружающий мир, открывая находящуюся под ними пищу. Крыса бегает от одного растения к другому, поедая плоды или семена, что оказывается результатом её беготни. В обоих этих наблюдающихся в природе примерах оперантного поведения движения дают организмам пищу, открывая её взгляду или приближаясь к ней.

Частота является главным аспектом большей части оперантного поведения. Когда акт поведения изменяет окружающий мир, частота его исполнения увеличивается. Когда акт поведения перестаёт быть эффективным для такого изменения окружающего мира, то его частота уменьшается. Для лабораторных исследований были разработаны процедуры, которые увеличивают частоту реагирования. Например, голубь очень редко клюет стенку клетки, а крыса только по случайности может нажать маленький горизонтальный рычаг. Однако частота клевания и нажимания на рычаг увеличится до стабильного высокого значения, если клевок или нажим на рычаг даст организму маленький кусочек пищи. В этом случае в качестве подкрепителя используется пища.

Акты оперантного поведения - это нечто совсем иное, чем рефлексы вроде подбрасывания голени в результате удара по коленке, сужения зрачка глаза в ответ на яркий свет, или же неизменные шаблонные действия, например ритуалы собак при драке и случке. Конечно, такая разновидность рефлексов похожа на операнты своей неизменностью при повторении и тем, что происходит, как реакция на окружающий мир. Но в отличие от них операнты формируются в зависимости от того, как они изменяют окружающий мир. Важность этих различий будет объяснена позже, после того, как мы разберём подробно технические характеристики оперантного поведения.

Использование животных для изучения подкрепления оперантного поведения

Как мы уже сказали, такое простое действие голубя, как клевок небольшого светящегося диска на стенке его клетки, может поддерживаться выдачей пищи. Этот произвольно выбранный пример действия в лаборатории можно считать типичным представителем множества других действий, которые можно поддерживать подобным образом. Универсальность принципов, которые обнаруживаются при помощи интенсивного лабораторного изучения этого простого, легко воспроизводимого и объективно регистрируемого акта поведения, была установлена при помощи подобных экспериментов на собаках, кошках, мартышках, бабуинах, шимпанзе, улитках, крысах, львах и многих других видах животных. Эти лабораторные исследования на животных дают картину основных процессов, при помощи которых создаётся акт поведения, входящий в (поведенческий) репертуар, как над ним устанавливается управление стимулами (сигналами) окружающего мира, как он поддерживается, когда его подкрепление имеет перемежающийся характер, и как такие факторы, как эмоции и наказание могут изменить его выполнение.

Научное изучение рода человеского, пожалуй, требует постановки опытов на людях. Однако полезно использовать те преимущества, которые дают открытия, полученные лабораторными исследованиями на животных, благодаря которым мы можем видеть процессы оперантного подкрепления в их чистейшем виде. Важное преимущество исследований на животных состоит в том, что позволяют изучать общие для широкого спектра видов животных процессы поведения, то есть их филогенетически универсальные принципы. В противовес этим общим принципам мы можем учитывать специфические характеристики - например, человека или других видов. Конкретные эксперименты на людях и наблюдения за поведением людей в повседневной жизни могут служить для проверки применимости и универсальности этих принципов.

Кондиционирование оперантного акта поведения у голубей и крыс

Так как клевание - акт поведения лабораторного голубя - лежит в основе столь многих принципов поведения, которые будут изложены в этой книге, то полезно начать с подробного описания процедуры опытов и применяемого оборудования. Эксперименты на крысах, собаках, мартышках, шимпанзе и людях концептуально подобны описываемым.

- -

Экспериментальное пространство Эксперименты на голубях выполняют в небольшом ящике, называемом экспериментальным пространством. На фото - проф. Скиннер со своей установкой для изучения поведения голубей.¹ Лампа вверху даёт сигнал, что начинаются экспериментальные процедуры, и освещает пространство для птицы. Его выключают, когда необходимо прервать или завершить ход эксперимента. Птица получает еду из кормушки, которая доступна ей через отверстие в передней стенке клетки. Птица не может достать кормушку, если она не подвинута вверх при помощи электромеханического устройства. Светильник в отверстии для кормушки освещает пищу, а также даёт ясный стимул, который можно мгновенно задействовать как подкрепитель акта поведения, который подлежит кондиционированию (обуславливанию). Наиболее часто исследуемый акт поведения - это клевание кнопки, которая представляет собой освещенный диск на передней стенке. За кнопкой находится выключатель, который механически замыкается при клевке птицей и который может автоматически приводить в действие магазин кормушки.

Подкрепление поднятия головы Частота любого акта поведения, входящего в поведенческий репертуар птицы, может быть увеличена или уменьшена. Для лучшего понимания начнем с рассмотрения простейшего акта поведения - поднятия головы - который имеет высокую частоту (спонтанного) выполнения в нормальных условиях (natural frequency of occurrence). По-другому это называется безусловной частотой (unconditioned frequency) или (исходным) уровнем операнта (operant level). Клевание кнопки будет рассмотрено позднее.

Мы можем увеличить частоту поднимания головы (кондиционировать её), устроив так, что выполнение этого акта поведения будет давать птице пищу. Оголодавшая птица после выдержки в экспериментальном пространстве до тех пор, пока его непривычная обстановка не перестанет вызывать мешающего эмоционального поведения, получает ознакомительную демонстрацию работы кормушки. Кормушку периодически на несколько секунд выдвигают вверх и сигнализируют это, освещая её. После того, как птица привыкает есть из кормушки сразу после того, как освещение кормушки включается, но не лезет в отверстие кормушки, когда оно не освещено, можно начинать процедуру подкрепления. Экспериментатор включает кормушку в тот момент, когда голова птицы движется вверх. Таким образом, освещение кормушки следует сразу за выполнением точно определенного акта поведения. И момент спустя птица кормится из выдвинутой вверх кормушки. В результате этого первого подкрепления птица станет чаще поднимать свою голову. Если этот акт поведения будет и далее включать магазин кормушки, то он далее будет продолжать выполняться с более высокой частотой до тех пор, пока птица не насытится. Но если магазин кормушки не будет включаться тогда, когда птица поднимает голову, тогда будет наблюдаться уменьшение частоты поднятия головы. Если отсутствие подкрепления поднятия головы будет продолжаться, то его частота в конце концов упадёт до первоначального уровня, наблюдавшегося до того, как была начата процедура подкрепления. Этот эксперимент можно выполнить с другими простыми актами поведения, как например, выполнение оборота кругом, кивание или поднятие одной лапы.

- -

Кондиционирование крысы на нажатие на рычаг Эта процедура кондиционирования аналогична описанной выше для голубя. Для подкрепления этого акта поведения экспериментатор лишает крысу пищи и потом помещает её в экспериментальное пространство для привыкания, пока оно не перестанет вызывать мешающего эмоционального поведения. Эксперимент можно начинать, когда животное станет подходить к кормушке и сразу съедать гранулу корма, о чём ему сигнализирует звук падения гранулы в кормушку. Крыса, двигаясь в клетке, вскоре нажмёт рычаг достаточно сильно вниз для того, чтобы кормушка-дозатор сработала и она могла съесть выданную механизмом гранулу. Частота акта нажатия на рычаг немедленно увеличится и акт будет повторяться, пока этим не перестанет включаться кормушка-дозатор, или пока крыса не насытится.

Экстинкция Когда акт поведения больше не изменяет окружающий мир (вызывая подкрепляющий стимул), то он будет наблюдаться реже. Процедура прекращения подкрепления называется экстинкцией. Если акт оперантного поведения наблюдается достаточно часто без получения подкрепления, его частота потом может упасть до исходного, безусловного уровня. Например, если магазин кормушки перестанет срабатывать, когда голубь поднимает голову, то голубь станет поднимать всё реже и реже и в конце концов станет поднимать голову с такой же частотой, что и до того, как была начата процедура кондиционирования.

Различие между экстинкцией и забыванием

Процедура лишения подкрепления (т.е. экстинкция) является наиболее важным способом уменьшения частоты актов поведения, выработанных ранее. То, как ею ослабляется это поведение, становится ясно, если сопоставить её с другими путями, которыми тоже можно уменьшить частоту выработанного оперантного акта поведения. Некоторые из этих воздействий: наказание, перемежающееся подкрепление и управление при помощи стимула, будут обсуждены далее в книге. А фактор, который уже сейчас можно обсудить с пользой, - это снижение частоты выполнения акта поведения просто с течением времени после того, как подкрепление было дано в последний раз. Если есть какое-либо уменьшение частоты определённого выработанного ранее акта поведения просто с течением времени, то мы говорим, что этот акт поведения был забыт. Однако опыт показывает, что течение времени само по себе имеет лишь незначительное влияние на оперантное поведение.

Скиннер, работая с голубями, провёл долгосрочный эксперимент для того, чтобы количественно измерить утрату акта поведения в результате забывания.² Несколько птиц, которых дрессировали во время Второй мировой войны на управление ракетой, содержались в течение семи лет без какого-либо дальнейшего обучения и контакта с экспериментальной установкой. Птицы являются идеальными объектами для такого рода экспериментов, потому что они обычно живут по меньшей мере пятнадцать лет. Птицы были выдрессированы клевать изображение небольшой детали - перекрестка - на проецируемой на экран аэрофотографии. Семь лет спустя их снова лишили пищи и снова поместили в экспериментальную установку, восстановив все первоначальные условия опыта. Все три птицы сразу же начали клевать именно по той детали изображения, которую их давным-давно выдрессировали клевать, причём с удивительно малой потерей интенсивности. Разумеется, что на этот раз они вообще не получали еды, так как такое возобновление подкрепления сделало бы невозможным установить, происходило ли новое оперантное кондиционирование, или же птицы клевали действительно вследствие их кондиционирования в прошлом. Уменьшение количества клевков по прошествии семи лет служило оценкой забывания.

Если мы приписываем забыванию потерю акта поведения, происходящую с течением времени, то мы должны устранить все другие поведенческие процессы, которые тоже происходят в течение длительного периода времени и могут уменьшить частоту выполнения этого акта. Человек, который говорит: "Я забыл записаться на приём к сделать стоматологу" - это пример сниженной частоты оперантного акта поведения (прихода к стоматологу). Но это снижение частоты может быть вызвано болью при прошлых приходах, а вовсе не длительностью времени, прошедшего с момента последнего посещения стоматолога. Этот вид забывания функционально отличается как от забывания, так и от экстинкции, и подобен тому, что фрейдисты называют "репрессией". Более подробное рассмотрение этого вида помех будет сделано в главе 5 после того, как мы обсудим явления избегания (avoidance), избавления (escape), и условных негативных стимулов (conditioned aversive stimuli). Другой причиной ослабления актов поведения в течение длительного промежутка времени могут быть конкурирующие акты поведения, выработанные в этот промежуток времени, и которые преобладают над первоначально выработанным актом поведения или являются ему помехой.

Отрицательное подкрепление

В отличие от подкрепляющих стимулов, которые увеличивают частоту предваряющих их актов поведения, существуют негативные стимулы, которые названы так потому, что они увеличивают частоту актов поведения, которые их предотвращают или отсрочивают. Если, например, металлическая решетка, образующая пол клетки крысы, подключается к источнику электрического тока, но при этом подключение электричества предотвращается в течение периода времени, когда крыса нажимает на рычаг, то частота нажимов на рычаг будет увеличиваться. Предотвращение удара током (негативного стимула - aversive stimulus) является негативной аналогией выдачи гранулы корма (подкрепляющего стимула - reinforcing stimulus). Выплевывание горького на вкус вещества - это оперантный акт поведения, получающий негативное подкрепление удалением неприятного вкуса во рту. Отрицательное подкрепление называется так потому, что подкреплением такого вида оперантных актов поведения служит отсутствие стимула (избавление от него), а не его получение. Этот процесс является оперантным, поскольку такой акт поведения изменяет окружающую среду. Как положительное, так и отрицательное подкрепление увеличивает частоту выполнения оперантного акта поведения.

Электрический шок, который из-за его удобства часто используется в лаборатории, является лишь одним из многих возможных негативных стимулов, которые могут подкреплять оперантное поведение. Другие отрицательные подкрепители, которые использовались в лабораторных экспериментах - это яркий свет, громкий шум и щипок животного за хвост. Например, если яркий свет над клеткой крысы выключается на 30 секунд каждый раз, когда крыса нажимает на рычаг, или крыса отсрочивает щипок за хвост на 30 секунд каждый раз, когда она поворачивает колесо, то такое поведение - нажатие на рычаг и поворот колеса - будет продолжаться, потому что этим крыса избегает яркого света или, соответственно, щипка за хвост.

Во всех случаях появления негативного стимулом потенциально существуют какие-то акты поведения, которые могут прекратить его. На ярком солнечном свете мы надеваем тёмные очки, затеняем глаза рукой, отворачиваемся от солнца, закрываем глаза или щуримся - это всё акты поведения, которые снижают интенсивность света, попадающего на сетчатку глаз. Все эти акты поведения получают подкрепление в виде прекращения или уменьшения неприятного действия яркого света. С другой стороны, мы называем яркий свет негативным стимулом, потому что его удаление увеличивает частоту выполнения актов оперантного поведения.

К негативным стимулам относятся разнообразные физические травмы, неприятное действие которых растёт с увеличением интенсивности стимула. Таким образом, болевые раздражители тела, а также экстремальные температуры, резкие запахи, противный вкус и шум - это всё негативные стимулы, которые могут увеличить частоту актов поведения, которые их устраняют. В непосредственной близости от ревущего реактивного самолета дежурный механик надевает защитные наушники. Дети быстро научаются затыкать уши пальцами для защиты от громкого шума. Младшеклассник в школе кричит «помилуй!», когда школьный хулиган выкручивает ему руку, а хулиган подкрепляет исполнение крика «помилуй!», отпуская руку жертвы. Акт поведения, который обычно получает подкрепление прекращением вида неприятных вещей - это простое отворачивание головы, как это мы делаем при виде жертв дорожно-транспортных происшествий. Увидев раздражающую рекламу на телевидении, мы можем выключить телевизор, уйти в другую комнату, или переключиться на другой канал. Такие акты поведения, как открывание окна, раздевание, включение кондиционера или вентилятора выполняются всё чаще и чаще, так как они снижают температуру воздуха, окружающего тело. А зимой мы заходим в отапливаемое помещение, закрываем окно, надеваем перчатки или одеваемся потеплее - всё это получает подкрепление в виде прекращения ощущения холода. Когда мы снимаем ботинок, чтобы вытряхнуть попавший туда камешек, то негативным стимулом является нажим камешка на ногу ботинком. Акт поведения (удаление камешка) прекращает его раздражающее действие на поверхность стопы. Мы можем зажать нос, чтобы предотвратить попадание в него вони.

Последовательное приближение

В силу того, что оперантное поведение представляет собой единое целое, охватывающее акт поведения и поддерживающее его незамедлительное подкрепление, то форма исполнения акта может изменяться от раза к разу. Например, если мы даём корм, когда голубь задирает голову, то можно видеть, что иногда он поднимает голову немного выше, чем это было бы необходимо для выполнения условия получения подкрепления. То, что форма исполнения выработанного операнта изменяется, позволяет давать подкрепление постепенного приближения к сложным или большим по величине действиям. Например, когда птица клюет кнопку, то иногда она ударяет в одну часть диска, а иногда - в другую часть; одни клевки слабые, так что кнопка едва-едва нажимается, а другие - толкают её до упора. Количество тех клевков, которые не нажимают кнопку достаточно сильно для того, чтобы задействовать выключатель, приводящий в действие магазинную кормушку, будет уменьшаться, потому что за них не выдаётся подкрепление, тогда как более сильные клевки включают магазинную кормушку и, следовательно, сохраняются. Физические свойства кнопки обеспечивают дифференцированное подкрепление, которое и формирует силу клевка. Тот же самый процесс дифференцированного подкрепления, который происходит в естественных условиях, может быть использован для искусственного формирования новых, сложных форм поведения, которых не было в поведенческом репертуаре птицы. Этот процесс называется последовательным приближением (successive approximation) или формированием (shaping). Сперва подкрепление даётся за любой акт поведения, который отдалённо напоминает желаемое поведение. Например, подкрепление дается тогда, когда птица немного поднимает свою голову. Когда птица поднимет голову ещё выше, чем раньше, то условие выдачи подкрепления смещается к более высокому подъёму головы. Этот процесс путем последовательных приближений к целевому акту поведения продолжается до тех пор пока не будет достигнут предел физических возможностей птицы. Таким образом, методом дифференцированного подкрепления можно придать поведению птицы новую форму, выходящую далеко за пределы её естественного поведения.

Заметьте, что при этом действуют одновременно два процесса. Один - это подкрепление последовательных приближений к целевому акту поведения. А другой - это прекращение подкрепления прочих актов поведения, за которые ранее давалось подкрепление, и которые поэтому выполняются всё реже. Именно по этой причине экспериментатор не должен давать подкрепление за каждое приближение к целевому акту поведения слишком долго. В этом случае (промежуточный) акт поведения может стать настолько привычным, что потребуется применить значительную экстинкцию до того, как процесс последовательных приближений удастся продвинуть вперед.

Последовательное приближение происходит во многих естественных ситуациях, особенно во время раннего развития детей. Изменения в размере отверстия в соске на бутылке младенца дают подкрепление интенсивности и топографии (то есть формы реакции) процесса сосания, дающих в результате достаточный приток молока. Большое отверстие дифференциально подкрепляет слабые, разреженные, осторожные сосательные движения, в то время как небольшое отверстие даёт подкрепление более сильным и частым движениям. Младенец. учащийся ползать и ходить, иллюстрирует такое же дифференциальное подкрепление сложных форм поведения. В силу того, что перемещение с одного места на другое даёт в результате подкрепление, и необходимое анатомическое развитие уже произошло, то движения ног и рук и их координация получают дифференцированное подкрепление. Частота тех движений, которые приводят к перемещению, повышается, а частота тех, которые неэффективны, снижается. Такое простое действие, как движения пальцев перед глазами, вероятно, подкрепляется дифференцированно видением их (пальцев) и, скорее всего, является процессом, который значительное развивает у ребенка управление своими руками.³ Положение руки в поле зрения ребенка будет дифференцированно подкреплять те движения, которые приводят руку туда, а вид движущихся пальцев является подкреплением, которое развивает управление отдельными пальцами. Ситуация ребенка, который учится помещать свои пальцы или сосок груди в рот, которая будет обсуждаться в главе 2 - это еще один поучительный пример того, как естественная среда, взаимодействуя с развивающимся ребенком, осуществляет последовательное приближение к актам поведения, которые мы наблюдаем в раннем развитии.

Для описания оперантного поведения нужна специальная терминология, а не повседневная лексика

Специальная терминология для описания поведения крыс и голубей может показаться искусственной при сравнении с языком повседневного общения. Например, могут сказать, что крыса нажимает на рычаг, потому что хочет еду, потому что она голодна, или потому, что знает, что для того, чтобы получить пищу, она должна нажимать на рычаг. Каждое из этих выражений интуитивно кажется разумным и описывает те же самые события, что и специальная терминология. Однако преимущество использования специальной терминологии состоит в том, что она описывает те же самые факты как простые, объективные, легко идентифицируемые и измеряемые явления. Например, в повседневной речи выражение "она хочет еды" относится к внутреннему побуждению, о котором мы не может иметь прямую информацию. А специальная терминология, заменяющая эту фразу ("она хочет еды"), указывает на еду как на важнейшее явление, поддерживающее нажимание на рычаг.

Объективное описание кондиционирования имеет практические и теоретические преимущества по сравнению с использованием метафор о внутреннем состоянии животного. Бихевиоризм детально описывает конкретные, объективные и ощутимые условия, от которых зависит поведение. А когда фантазируют на тему внутреннего состояния голодной крысы, возникает необходимость узнать то, что является причиной этого внутреннего состояния, и то, каково его влияние на поведение. От разговоров о внутреннем состоянии животного очень мало пользы, за исключением поисков наблюдаемых переменных. Возвращаясь на минуту к нашим примерам из повседневной речи, мы заметим, что вторая фраза ("потому что она голодна") подразумевает, что крыса была лишена пищи и, вероятно, будет есть, если получит пищу. Однако это может быть не так. Возможно, что крыса была лишена пищи, но еда - это такой предпочтительный подкрепитель, что крыса будет есть, даже если не голодна, или может быть, что поедание пищи приводит к каким-либо другим подкрепляющим явлениям, например, питью воды. Говоря, что животное голодно, мы указываем только на первую из этих возможностей. А на самом деле обычно вовсе не важно то, почему подкрепитель увеличивает частоту актов поведения, если явление (стимул), вызывающее это, уже выявлено.

Существует некоторый соблазн говорить о том, что ребенку дают конфету как награду за хорошее поведение, или что тюленю бросают рыбу как награду за выполнение сложного циркового номера. В отличие от использования в разговорной речи слова "награда", технический анализ процесса подкрепления выявляет детали взаимодействия. Строго говоря, термин "подкрепление" относится к событию, которое происходит мгновенно после конкретного акта поведения. Отметим например, что во всех разработанных ныне случаях применения подкрепления, оно редко когда описывается как сама пища. Обычно подкреплением является некий сигнал, например, щелчок срабатывания автоматической кормушки или включение сигнальной лампы, которые предшествуют выдаче корма. Концепция подкрепления как стимула, который является непосредственным следствием выполнения акта поведения, имеет важное практическое значение для применения в таких областях, как дрессировка животных. Щелкающее устройство выдает однозначный сигнал, который можно легко подать сразу же после точного выполнения акта поведения.

Случайные факторы подкрепления

Феномен подкрепления - это по сути временнóе явление, так как все, что требуется для того, чтобы подкрепление было эффективным - это чтобы оно происходило сразу же после акта поведения. Например, если голубь приучен есть из кормушки-дозатора, то некоторые его (случайные) действия будут получать подкрепление каждый раз, когда срабатывает кормушка, так как птица непрерывно выполняет то или иное действие. Когда подкрепление увеличивает частоту выполнения некоторого акта поведения, даже если это получилось "непреднамеренно" (с точки зрения экспериментатора или "законов природы"), то такое подкрепление называется случайным, нечаянным или суеверным.

Скиннер поставил эксперимент, демонстрирующий этот временнóй аспект подкрепления. Он взял "сырых", т.е. необученных голубей, которые предварительно были лишены пищи, и приделал к клеткам этих птиц кормушки-дозаторы вроде автоматических кормушек, описанных ранее. При этом без какой-либо преднамеренной дрессировки кормушка открывалась на 5 секунд каждые 15 секунд безотносительно каких-либо актов поведения птицы. Результаты получились следующие:

У одной птицы выработалось кондиционирование кружиться в клетке против часовой стрелки, делая два или три оборота между подкреплениями. Другая совала голову в один из верхних углов клетки. У третьей выработался поведенческий акт "бодания" - она как бы совала голову под невидимую балку и приподнимала её несколько раз. У двух птиц выработались маятниковые движения головы и тела, при которых они вытягивали голову вперед и махали ею справа налево резким движением, за которым следовало несколько более медленное обратное движение. Тело в целом следовало за этим движением и делалось несколько шагов, если движение было энергичным. Ещё одна птица выработала выполнение неполных движений клевания или кивания, направленные к полу, но не касаясь его. Ни один из этих актов поведения не проявлялся со сколь-нибудь заметной интенсивностью в процессе адаптации к клетке, то есть до того, как кормушка-дозатор стала периодически открываться. Ещё у двух птиц так и не выработалось каких-то чётко выраженных условных актов поведения.⁴

Другими словами, птицы повторяли тот акт поведения, который они случайно выполняли в тот момент, когда срабатывала кормушка-дозатор. А так как одно-единственное подкрепление способно может увеличить частоту акта поведения, например, поднятия головы, то есть высокая вероятность того, что этот же акт поведения будет выполняться как раз перед тем, когда кормушка-дозатор сработает снова. Таким образом, как только акт поведения станет условным, то он будет по-прежнему выполняться, с периодическим получением перемежающегося (intermittent) подкрепления по схеме с фиксированным интервалом

(fixed-interval schedule) вроде тех, которые будут описаны в главе 5. Интервал между выдачами корма имеет существенное влияние на то, станет ли конкретный акт поведения условным, потому что частота выполнения акта поведения, ранее получившего подкрепление, снижается при отсутствии подкрепления в течение длительного интервала времени и, следовательно, его выполнение будет менее вероятно в тот момент, когда кормушка-дозатор сработает снова. Если посторонний наблюдатель увидит два подопытных животных, у одного из которых выполнение акта поведения получало целенаправленное подкрепление, а акт поведения другого был результатом случайного подкрепления, то с его точки зрения оба животных будут заняты повторяющимся выполнением стереотипных действий, с последующим срабатыванием кормушки-дозатора. Эти два вида схем подкрепления в конечном счете можно будет отличить друг от друга, потому что топография актов поведения, получающих случайное подкрепление, будет постепенно изменяться, поскольку тут нет никакой гарантии того, что подкрепление последует за именно этой конкретной топографией акта поведения.⁵

Вопросы

1. Почему животные удобны для изучения процесса подкрепления?

2. Почему необходимо то, чтобы в качестве подкрепления конкретный незамедлительный стимул?

3. Опишите процесс экстинкции.

4. Опишите детали экспериментальной установки, используемой для демонстрации подкрепления актов поднимания головы или клевания у голубя.

5. Что Скиннер обнаружил, поместив выдрессированных птиц обратно в экспериментальную установку после того, как прошло семь лет?

6. Опишите, как увеличить частоту выполнения акта поведения с помощью негативного стимула.

7. Приведите несколько примеров, в том числе от себя, а не из книги, актов поведения человека, сохраняющихся посредством отрицательного подкрепления. Опишите негативный стимул, акт поведения и изменение частоты выполнения.

8. Опишите процедуру последовательного приближения для выработки у голубя подъёма головы выше, чем он это обычно делает.

9. Обсудите, каким образом процедура формирования осуществляет плавное изменение поведения, а не внезапное появление нового акта поведения.

10. Приведите несколько примеров последовательного приближения в человеческом поведении, которые происходят в повседневной жизни.

11. Почему бихевиористское описание более полезно, чем "объяснения" вроде: "Крыса нажала на рычаг, потому что была голодна"?

12. Каким образом случайное подкрепление свидетельствует о том, что подкрепление является временнЫм феноменом?

13. Опишите эксперимент Скиннера со случайным подкреплением.