Не рычите на собаку! Книга о дрессировке людей, животных и самого себя

Однако отрицательное подкрепление – это вовсе не то же самое, что наказание. В чем же разница? В первом издании этой книги я написала, что наказание – это воздействие, которое возникает после проявления поведения, нуждающегося в изменении, и, следовательно, не оказывает влияния на поведение. «Мальчик, которого отшлепали за плохие оценки в дневнике, может улучшить или не улучшить свои оценки, но он просто не в состоянии изменить те, что уже в дневнике проставлены». И действительно, когда мы сознательно наказываем кого-либо, то чаще всего делаем это слишком поздно. Но не в этом заключается основное различие между наказанием и отрицательным подкреплением.

Современные психологи-бихевиористы называют наказанием любое событие, которое прекращает поведение. Ребенок засунул шпильку в электрическую розетку. Мать хватает его и/или шлепает по руке: поведение, которое угрожает жизни, необходимо прервать немедленно. Поведение прекращается. В этот момент может начаться что-то другое – ребенок заплачет, мать расстроится и т. п., – но опасная привычка совать что попало в электрическую розетку, будет устранена, по крайней мере, в данный момент.

Б. Ф. Скиннер более точен в этом отношении. Он определяет наказание как нечто, что происходит, когда поведение приводит к утрате чего-либо желанного – удовольствия узнать, что произойдет, если засунуть шпильку в розетку, весьма характерного для детей, – или когда поведение приводит к каким-то нежелательным последствиям. Однако в обоих случаях, когда данное поведение прекращается, невозможно предсказать, повторится ли оно в будущем.

Мы знаем, что положительное подкрепление повышает вероятность желательного поведения в будущем, но наказание не приводит к предсказуемым результатам.

Например, схватив ребенка или шлепнув его по руке даже в самое подходящее время, может ли мать быть уверена в том, что он не попытается засунуть ту же шпильку в ту же розетку в другое время? Я в этом очень сомневаюсь. Спросите у любого родителя. Все мы стараемся спрятать мелкие предметы, закрыть розетки, передвинуть мебель, пока ребенок не вырастет.

Отрицательное подкрепление можно эффективно использовать для воспитания желательного поведения. При этом даже при наличии негативных стимулов процесс может быть относительно доброжелательным. Благодаря любезности специалиста по ламам Джима Логана, я могу привести прекрасный пример использования отрицательного подкрепления при дрессировке полудомашних лам, которых в США содержат как домашних животных, а во всем мире – ради ценной шерсти.

Ламы – животные пугливые и застенчивые. В этом они похожи на лошадей. Если их не воспитывать с раннего детства, приручить их очень трудно. Хотя обучение с помощью пищевого подкрепления великолепно подходит для лам, в тех случаях, когда животное слишком пугливо, чтобы подойти и взять у человека пищу, современные дрессировщики поступают следующим образом. Они используют кликер. Этот сигнал говорит ламе, что ее поступок заслужил подкрепление, но основное, реальное подкрепление заключается в устранении отрицательного подкрепления.

Это все равно, что сказать ламе: «Ты будешь стоять на месте, если я подойду к тебе на 30 футов? Да? Хорошо. Я щелкну моим кликером, повернусь и отойду.

А теперь ты будешь стоять на месте, если я подойду к тебе на 25 футов? Да? Хорошо. Я кликну и отойду».

Использование кликера для концентрации внимания на привычке стоять спокойно, когда страшный человек поворачивается и уходит, действует как положительное подкрепление. Такой прием позволяет сократить дистанцию между животным и человеком до минимальной величины всего за пять или десять минут. В этой ситуации все контролирует лама. Она стоит спокойно – и это заставляет человека отступить! Поэтому животное продолжает стоять спокойно, даже когда человек подходит прямо к нему.

Когда человек несколько раз касается ламы и тут же отступает, лед тает. Человек больше не кажется животному страшным. И вот тут-то наступает время корзинки с пищей. Коммуникативная петля выглядит следующим образом: «Могу я коснуться тебя, пока ты стоишь спокойно? Да? Клик – и вот вкусная, замечательная пища». Лама стремится получить положительное подкрепление, то есть пищу, поглаживание и ласку. Она понимает, что для этого нужно демонстрировать новое поведение – стоять спокойно вместо того, чтобы убегать сломя голову.

Такое использование отступления при проявлении желательного поведения является важным аспектом работы так называемых «заклинателей». При использовании подобного метода дрессировщик работает со свободной лошадью в ограниченном пространстве и за относительно короткое время превращает настоящую дикарку в лошадь, спокойно относящуюся к человеку. Совершенно дикая лошадь успокаивается настолько, что смиряется с седлом и наездником. Подобное мастерство может показаться настоящей магией.

Дрессировщики, использующие такие приемы, часто объясняют происходящее сверхъестественной силой. Хотя многие используют определенный звук или движение в качестве сигнала-маркера, или условного подкрепления, мало кто понимает, что именно он делает. Тем не менее в этой работе нет ничего магического. Это законы оперантного обусловливания в действии.

Хотя отрицательное подкрепление – довольно полезный процесс, очень важно помнить, что любое подобное действие несет в себе элемент наказания. Когда вы тянете за левый повод, пока лошадь не повернет, вы наказываете животное заранее. Чрезмерное увлечение отрицательными подкреплениями может привести к тому, что Мюррей Сидмен называет «осадком», то есть к нежелательному побочному действию.

Время подачи подкрепления

Как уже говорилось, подкрепление должно происходить одновременно с поступком, который необходимо модифицировать.

Время осуществления подкрепления – это информация. Она точно говорит ученику, что именно вам нравится.

Когда человек или животное пытается учиться, информационное содержание подкрепления становится еще более важным, чем само подкрепление. При тренировке спортсменов или танцовщиков инструктор часто кричит: «Да! Хорошо!», отмечая удачное движение. Такие выкрики дают человеку необходимую информацию, что гораздо полезнее последующего разбора в раздевалке.

Запоздалое подкрепление – это главная проблема начинающих тренеров. Собака сидит, но к тому времени, когда хозяин говорит: «Молодец! Хорошая собака!», она уже встала. Какое же поведение стимулирует произнесенное подкрепление? Правильно – не сидеть, а стоять. Когда у вас возникают подобные трудности, вы должны сразу же спросить себя, а не слишком ли поздно прозвучало подкрепление. Если вы работаете с человеком или животным и слишком захвачены процессом, будет полезно пригласить кого-нибудь еще, чтобы этот человек наблюдал за запоздалыми подкреплениями.

Мы слишком часто запаздываем с подкреплениями. «Дорогая, ты замечательно выглядела прошлым вечером». Подобный комплимент окажет совсем не то действие, что те же самые слова, произнесенные в нужный момент. Запоздалое подкрепление может оказать даже обратное действие («Что ты хочешь сказать? Что я сейчас плохо выгляжу?»). Мы трогательно полагаемся на слова, считая, что они смогут компенсировать неправильный выбор времени.

Слишком раннее подкрепление тоже неэффективно. Смотрители зоопарка в Бронксе никак не могли справиться с гориллой. Им нужно было перевести животное в открытый вольер, чтобы вычистить клетку. Но обезьяна сидела у дверей и мешала их закрыть. Смотрители и пищу бросали, и бананами гориллу заманивали, но зверь не обращал на них никакого внимания или хватал пищу и бегом возвращался на прежнее место, прежде чем двери удавалось закрыть. За помощью обратились к дрессировщику зоопарка. Он отметил, что размахивание бананами и подбрасывание пищи были попытками закрепить поведение, которое еще не проявилось. Это можно назвать простым словом «подкуп». Решение заключалось в том, чтобы не обращать внимания на гориллу, когда та сидела возле дверей, но поощрять ее пищей, когда она сама сойдет с этого места. Проблема была решена.

Мне кажется, что иногда мы используем подкрепление слишком рано. Особенно ярко это проявляется в отношениях с детьми. В результате мы стимулируем нежелательное поведение. («Молодец, девочка, вот так, ты все сделала почти правильно».) Такими словами мы стимулируем старание. Но между тем, чтобы постараться сделать и сделать по-настоящему, есть существенная разница. Жалобы «Я не могу» порой имеют под собой основание, но чаще всего они являются симптомами слишком раннего подкрепления.

Подарки, обещания, комплименты и все то, что поощряет еще не произошедшее поведение, ни в коей мере не подкрепляет желательное поведение. Все это подкрепляет то поведение, которое имеет место в данный момент, и в этом отношении его можно считать настоящим подкупом.

Время играет особенно важную роль, когда мы имеем дело с отрицательным подкреплением. Лошадь учится поворачивать налево, когда наездник тянет за левый повод. Но усвоит она навык лишь в том случае, если после поворота давление ослабеет. На этот раз подкреплением оказывается прекращение. Вы садитесь на лошадь, пришпориваете ее и направляете вперед. После этого нужно прекратить пришпоривать (если вам не нужно, чтобы она мчалась быстрее). Начинающие наездники часто забывают об этом. Им кажется, что пришпоривание – это нечто вроде бензина, необходимого для того, чтобы лошадь двигалась. Они постоянно пришпоривают лошадь, из-за чего она не получает никакой информации. В школах верховой езды появились даже этакие «железнобокие» лошади, которые с черепашьей скоростью передвигаются по манежу, сколько бы их ни пришпоривал наездник.

То же самое происходит с людьми, которых пилят и ругают родители, начальники или учителя. Если отрицательное подкрепление не прекращается при достижении желательного результата, оно не несет в себе никакой информации. Оно становится в буквальном и информационном смысле обычным «шумом».

Глядя по телевизору футбольные и бейсбольные матчи, я часто поражалась тому, насколько точно по времени игроки получали подкрепления. Как только игрок поступает именно так, как было нужно, зрители криками выражают свое одобрение. А посмотрите, как взаимодействуют между собой игроки, когда забит гол или одержана победа. У актеров все происходит по-другому. Даже на сцене аплодисменты звучат уже после того, как дело сделано. Киноактерам приходится еще труднее. Они могут получить подкрепление только от режиссера или оператора. Письма поклонников и хорошие рецензии приходят спустя много недель, а то и месяцев после съемок. Да они и сравниться не могут с реакцией огромного стадиона на успешный бросок игрока. Неудивительно, что многие кинозвезды болезненно жаждут поклонения и восторгов. Их работа не приносит удовлетворения, поскольку самые мощные и приятные подкрепления всегда оказываются запоздалыми.

Масштаб подкрепления

Начинающие дрессировщики, которые используют в работе с животными пищевые подкрепления, часто не понимают, насколько большим должно быть подобное подкрепление. Ответ очень прост: чем меньше, тем лучше. Чем меньше подкрепление, тем быстрее животное его съест. Это не только сокращает время ожидания, но еще и позволяет использовать за время сеанса большее количество подкреплений до наступления состояния насыщения.

В 1979 году я работала консультантом в Национальном зоопарке Вашингтона. Я учила сотрудников использованию системы положительного подкрепления. Одна из смотрительниц пожаловалась на то, что работа с пандой идет слишком медленно. Это показалось мне странным, поскольку интуитивно я чувствовала, что панды – крупные, прожорливые, активные животные – должны легко поддаваться пищевому подкреплению. Я понаблюдала за работой этой женщины и выяснила вот что. Хотя она постепенно добивалась успеха в формировании определенного движения, каждый раз она давала панде целую морковку. Панда радостно поедала сладкую морковку. В результате, за пятнадцать минут тренировки животное получало только три подкрепления (да и морковь ему порядком надоела). В качестве подкрепления вполне можно было использовать небольшой ломтик морковки.

В целом подкрепление должно быть небольшим, но достаточным, чтобы заинтересовать животное, – пара зернышек кукурузы для цыпленка, маленький кубик мяса для кота, половинка яблока для слона. Любимое лакомство следует отмерять еще более скупо – чайная ложка овса для лошади, к примеру. Смотрители Национального зоопарка обучили своих белых медведей массе полезных вещей – например, переходу в другую клетку по команде. В качестве подкрепления каждый раз они давали им по одной изюминке.

Золотое правило любого тренера заключается в том, что, проводя в день всего один сеанс, можно подкрепить желательное поведение примерно четвертью дневного рациона животного, а остальную пищу отдать просто так. Если вы планируете провести в течение дня три или четыре сеанса, то разделите обычный рацион на восемьдесят подкреплений. В течение сеанса выдайте животному двадцать-тридцать подкреплений. Восемьдесят подкреплений – это максимальное количество, способное поддержать интерес субъекта в течение дня. (Может быть, поэтому в кассете обычно помещается именно восемьдесят слайдов. Я сама не раз огорченно вздыхала, когда лектор просил помощника поставить вторую кассету.)

Трудность задачи обычно влияет на размер подкрепления. В парке «Си Лайф» за «олимпийские» достижения (прыжки на высоту двадцати двух футов) выдавали каждому из наших китов по большой макрели. Животные просто отказывались делать это за обычное подкрепление, состоявшее из двух маленьких снетков. У людей же вознаграждение за тяжелую работу не всегда бывает более высоким. И как же нам это не нравится, когда тяжелую работу приходится выполнять именно нам.

Джекпот

Одним из самых полезных приемов пищевого или иного положительного подкрепления в отношении людей или животных является джекпот.

Джекпот – это значительное подкрепление, порой раз в десять больше обычного, которое является для субъекта полным сюрпризом.

Когда-то я работала в рекламном агентстве. На Рождество у нас устраивалась вечеринка, а, кроме этого, мы в неформальной обстановке отмечали завершение большого проекта или заключение контракта с новым важным клиентом. Но наш президент имел обыкновение устраивать в течение года пару неожиданных вечеринок. В разгар рабочего дня он появлялся в офисе, кричал, чтобы все бросали работу. Приемная закрывалась, и в конференц-зал чередой тянулись музыканты, бармены, официанты, несли шампанское и копченую семгу. Все это устраивалось для сотрудников без всякого повода. Это был настоящий джекпот для пятидесяти человек. И такая политика приносила плоды. Я думаю, что замечательным моральным климатом наше агентство было обязано именно своему президенту.

Джекпот можно использовать для стимулирования неожиданного прорыва. Так поступил один мой знакомый тренер. Когда молодая лошадь впервые выполнила сложный маневр, наездник соскочил с нее, снял седло и уздечку и выпустил лошадь на манеж. Джекпотом стала полная свобода, и это способствовало закреплению нового поведения.

Удивительно, но один джекпот может оказаться весьма эффективным в работе с недоверчивым, пугливым и сопротивляющимся субъектом, который вообще не демонстрирует желательного поведения. В парке «Си Лайф» мы использовали результаты исследований, проводящихся на военно-морском флоте. Мы пытались обучить дельфина новым реакциям вместо уже усвоенных. Мы работали с очень послушным дельфином по кличке Хоу, который очень редко демонстрировал новые реакции. Не получая подкрепления за проделанный трюк, он переставал работать. Во время одного из сеансов он двадцать минут ничего не делал. В конце концов тренер выдал ему две рыбки просто так. Впечатленный такой щедростью дельфин начал работать очень активно. Очень скоро он сделал движение, которое нужно было подкрепить. На следующих сеансах мы достигли огромного прогресса.

То же самое произошло и во время моей работы с дельфинами. Когда мне было пятнадцать, то наибольшее удовольствие мне доставляли уроки верховой езды. В конюшне, где я занималась, продавали абонементы на десять занятий. На свои карманные деньги я могла себе позволить только один абонемент в месяц. Тогда я жила со своим отцом, Филиппом Уайли, и мачехой, Рикки. Хотя они были очень добры ко мне, в переходном возрасте я была не самой послушной дочерью. Однажды вечером мои любящие и терпеливые родители сказали, что ужасно устали от моего поведения и поэтому решили вознаградить меня.

Они подарили мне новый абонемент в школу верховой езды. Они не пожалели сил и времени, чтобы съездить и купить его. Надо же! Незаслуженный джекпот! Насколько я помню, я исправилась тут же. И Рикки Уайли подтвердила, что это действительно было так (я беседовала с ней, когда писала эту книгу).

Почему незаслуженный джекпот оказывает такое резкое и длительное воздействие, я толком не понимаю. Может быть, кто-нибудь когда-нибудь защитит докторскую диссертацию на эту тему и объяснит нам этот феномен. Я помню, что абонемент в школу верховой езды избавил меня от чувств тоски и обиды. Мне кажется, что дельфины чувствовали то же самое.

Условное подкрепление

В работе, и особенно в работе с пищевыми подкреплениями, часто случается так, что дать подкрепление в момент желательного поведения просто невозможно. Уча дельфина прыгать, я не имею возможности дать ему рыбу, когда он находится в воздухе. Если после каждого прыжка, то есть после неизбежной задержки, кидать ему рыбу, он сумеет связать прыжки и получение пищи и станет прыгать чаще. Но животное не может понять, какой именно аспект прыжка мне понравился. Высота? Траектория? Может быть, погружение с брызгами? Потребуется немало повторений, прежде чем животное поймет, какой именно прыжок мне нужен. Чтобы решить эту проблему, мы стали использовать условные подкрепления.

Условное подкрепление – это первоначально бессмысленный сигнал (звук, вспышка, движение), который подается перед или во время подкрепления.

В работе с дельфинами мы использовали в качестве условного подкрепления полицейский свисток. Его легко услышать даже под водой, и при его использовании руки остаются свободными для подачи других сигналов и бросания рыбы. С другими животными я часто пользовалась «сверчком», маленькой игрушкой, которая при нажатии издает звук «клик-клик». Иногда я использовала конкретную похвалу, приберегаемую только для условного подкрепления. «Хорошая собака». «Хороший пони». Школьные учителя тоже часто пользуются некими ритуализованными и тщательно подобранными похвалами («Хорошо», «Очень хорошо»), и дети ожидают подобных слов.

Условные подкрепления окружают нас постоянно. Мы с радостью слышим телефонный звонок и видим новые письма в почтовом ящике, хотя очень часто звонки не доставляют нам удовольствия, а большая часть писем оказывается обычным спамом. Но в нашей жизни было немало случаев, которые помогли нам связать звонки и конверты с чем-то приятным. Нам нравится рождественская музыка, нас пугает запах в приемной дантиста. Мы украшаем свой дом картинами, тарелками и сувенирами не только потому, что они красивы или полезны, но и потому, что они напоминают нам о счастливых временах или дорогих людях. Все это – условные подкрепления.

Практическая дрессировка с использованием положительного подкрепления почти всегда должна начинаться с определения условного подкрепления. Перед началом выработки конкретного поведения, хотя животное еще не сделало ничего особенного, вы должны научить его понимать значимость условного подкрепления, сочетая его с пищей, лаской или иным реальным подкреплением. Вы сразу поймете (по крайней мере, при работе с животными), когда субъект начинает распознавать ваш одобрительный сигнал. Животное воспринимает условное подкрепление и начинает искать подкрепление реальное. После усвоения условного подкрепления у вас есть реальный способ дать понять животному, что именно вам нравится в его поведении. Так что вовсе не обязательно быть доктором Дулиттлом, чтобы уметь разговаривать с животными. Усвоенным подкреплением вы можете «сказать» очень многое.

Условные подкрепления могут быть очень значимыми. Я видела, как морские млекопитающие даже после насыщения долго работали ради условного подкрепления. Лошади и собаки работали более часа при наличии очень малого количества первичных (то есть реальных) подкреплений. Люди, конечно, могут бесконечно работать ради денег, которые по сути своей являются обычными условными подкреплениями – жетонами, на которые можно купить товары. Много работают даже те, кто уже заработал денег больше, чем сможет потратить. Такие люди впадают в настоящую зависимость от условного подкрепления.

Можно сделать условное подкрепление еще более сильным, сочетая его с несколькими реальными подкреплениями. Предположим, что в данный момент ваш объект не хочет еды. Но если тот же самый подкрепляющий звук или слово сознательно связывается с едой или другими удовольствиями, он сохраняет свою полезность. Мои кошки слышат фразу: «Хорошая девочка!», когда я насыпаю им еду, глажу их, впускаю или выпускаю из дома, когда они выполняют маленькие трюки и получают за них вознаграждение. Следовательно, я могу использовать ту же фразу в качестве подкрепления, сгоняя кошку с кухонного стола. И при этом мне не потребуются подкрепления реальные.

Деньги потому являются для нас таким сильным подкреплением, что их можно совместить с чем угодно. Это исключительно обобщенное условное подкрепление.