Биология добра и зла. Как наука объясняет наши поступки

Награда, удовольствие и радость тесно взаимосвязаны, эта связь существует, по крайней мере в урезанной форме, у многих видов. Центральную роль тут играет нейромедиатор дофамин.

Ядра, входы и выходы

Дофамин синтезируется во многих областях мозга. Одна из них заставляет начать движение; ее повреждение служит причиной болезни Паркинсона. Другая отвечает за регуляцию гормона гипофиза. Но нас интересует та дофаминергическая (т. е. выделяющая дофамин, дофаминовая для краткости) система, которая работает на базе древней, эволюционно консервативной области рядом со стволом, т. н. вентральной области покрышки (далее просто покрышка).

Из нее нейроны идут к прилежащему ядру; это последняя часть мозга, с которой нужно познакомиться в этой главе. Сейчас ведутся ожесточенные споры, относить или не относить эту многофункциональную часть к лимбической системе, но в любом случае прилежащее ядро в высшей мере пролимбическое.

Нам на первых порах нужно кое-что узнать о его организации[92 - D. Carr and S. Sesack, “Projections from the Rat Prefrontal Cortex to the Ventral Tegmental Area: Target Specificity in the Synaptic Associations with Mesoaccumbens and Mesocortical Neurons,” J Nsci 20 (2000): 3864; M. Stefani and B. Moghaddam, “Rule Learning and Reward Contingency Are Associated with Dissociable Patterns of Dopamine Activation in the Rat Prefrontal Cortex, Nucleus Accumbens, and Dorsal Striatum,” J Nsci 26 (2006): 8810.]:

а) От покрышки нейроны идут к прилежащему ядру и (другим) участкам лимбической системы, в их числе миндалина и гиппокамп. Все они вместе именуются «мезолимбический дофаминовый путь».

б) Покрышка также посылает нейроны в ПФК (важно, что в другие области коры нейроны оттуда не приходят). И эти нейронные проекции получили название «мезокортикальный дофаминовый путь». На мой вкус, было бы полезно объединить эти два пути в одно целое, в дофаминовую систему, несмотря на то что они не всегда активируются синхронно[65 - У людей активность дофаминовой системы обычно исследуется по томографическим снимкам, например с помощью функционального магнитно-резонансного сканирования, которое отслеживает изменение метаболизма в разных участках мозга напрямую. Активация (выделяющих дофамин) нейронов предполагает скачок их потенциалов действия, а на это требуется энергия, в результате увеличиваются метаболические траты, что и регистрирует фМРТ. Но для корректного описания уточним, что между увеличением метаболизма и выделением дофамина связь не совсем прямая. Однако для простоты я буду в качестве синонимов использовать термины «увеличение скорости метаболизма дофаминовой системы», «увеличение активности дофаминовых путей», «увеличение выделения дофамина».].

в) Нейроны прилежащего ядра посылают отростки (проецируются) в области мозга, связанные с движением.

г) Понятно, что многие области, в которые приходят нейроны от покрышки и прилежащего ядра, посылают свои нейроны в обратном направлении. Наиболее интригующий путь – от миндалины и ПФК обратно к покрышке и прилежащему ядру.

Награда

Для начала отметим, что дофаминовая система – это система награды: различные приятные стимулы возбуждают нейроны покрышки, а они в ответ выделяют дофамин[93 - T. Danjo et al., “Aversive Behavior Induced by Optogenetic Inactivation of Ventral Tegmental Area Dopamine Neurons Is Mediated by Dopamine D2 Receptors in the Nucleus Accumbens,” PNAS 111 (2014): 6455; N. Schwartz et al., “Decreased Motivation During Chronic Pain Requires Long-Term Depression in the Nucleus Accumbens,” Nat 345 (2014): 535.]. Вот некоторые факты в поддержку этого. Алкоголь и наркотики, такие как кокаин и героин, вызывают выделение дофамина в прилежащем ядре. Если приостановить выделение дофамина в покрышке, то приятные прежде вещества станут вызывать отвращение. При хроническом стрессе или болях дофамина перестает хватать, а также снижается чувствительность дофаминергических нейронов к стимуляции; в результате развивается один из показательных симптомов – ангедония, невозможность получать удовольствие.

Некоторые награды, такие как секс, вызывают выделение дофамина у всех видов, изученных на этот предмет[94 - J. Cloutier et al., “Are Attractive People Rewarding? Sex Differences in the Neural Substrates of Facial Attractiveness,” J Cog Nsci 20 (2008): 941; K. Demos et al., “Dietary Restraint Violations Influence Reward Responses in Nucleus Accumbens and Amygdala,” J Cog Nsci 23 (2011): 1952.]. Людям даже мысли о сексе приносят удовольствие[66 - Заглянув на секундочку в мир половых различий между мужчинами и женщинами, увидим и разницу в зрительных стимулах, возбуждающих больше мужчин, чем женщин. Но это различие свойственно не только людям. Так, испытывающие жажду самцы макаки-резуса не бегут к источнику с водой, если им показать на экране изображение… э-э-э… промежности самки, а смотрят как приклеенные; если же им включить любую другую картинку, то отправляются пить.][95 - Сноска: R. Deaner et al., “Monkeys Pay per View: Adaptive Valuation of Social Images by Rhesus Macaques,” Curr Biol 15 (2005): 543.]. У любого голодного животного выброс дофамина вызывает еда – с некоторыми чисто человеческими фокусами. Покажите человеку булочку после того, как он уже одну сжевал, – и никакого дофаминового возбуждения не будет: так выглядит насыщение. Но у того, кто сидит на диете, вид второй булочки вызовет еще большее выделение дофамина. Поэтому так тяжело соблюдать диету – первая булочка только усиливает желание съесть следующую.

Мезолимбический дофаминовый путь активируется в ответ на эстетическое удовольствие[96 - V. Salimpoor et al., “Interactions Between the Nucleus Accumbens and Auditory Cortices Predicts Music Reward Value,” Sci 340 (2013): 216; G. Berns and S. Moore, “A Neural Predictor of Cultural Popularity,” J Consumer Psych 22 (2012): 154; S. Erk et al., “Cultural Objects Modulate Reward Circuitry,” Neuroreport 13 (2002): 2499.]. В одном исследовании людям давали слушать новую музыку. И чем больше возбуждалось прилежащее ядро, тем с большей вероятностью люди потом покупали диски с этой музыкой. Есть еще и некоторые «искусственные» культурные изобретения, эксплуатирующие дофаминовую активацию, например мужчины любят рассматривать картинки спортивных машин.

В условиях социальных взаимодействий картина дофаминовой активации становится еще интереснее[97 - A. Sanfey et al., “The Neural Basis of Economic Decision-Making in the Ultimatum Game,” Sci 300 (2003): 1755. Также см. работы: J. Moll et al., “Human Front-Mesolimbic Networks Guide Decisions About Charitable Donation,” PNAS 103 (2006): 15623; W. Harbaugh et al., “Neural Responses to Taxation and Voluntary Giving Reveal Motives for Charitable Donations,” Sci 316 (2007): 1622.]. А некоторые из исследований прямо согревают душу. В одном из них двое людей играли в экономическую игру, правила которой предполагали двоякий путь получения награды. Можно было выиграть, если игроки сумели бы скооперироваться; в этом случае сумма выигрыша обоих оказывалась одинаковой, но довольно скромной. Можно было также, предав соперника, вырваться вперед, тогда собственный выигрыш получался существенно больше, а второй игрок не получал ничего. В обоих случаях активировались дофаминергические нейроны, но активация оказывалась выше в случае кооперации[67 - Здесь важно отметить, что участниками этого исследования были исключительно женщины.].

В другом исследовании рассматривалась дофаминовая активация при назначении наказания[98 - D. De Quervain et al., “The Neural Basis of Altruistic Punishment,” Sci 305 (2004): 1254; B. Knutson, “Sweet Revenge?” Sci 305 (2004): 1246.]. Тоже экономическая игра и тоже два игрока. Но в этом случае игрок Б может, подложив свинью игроку А, получить значительный выигрыш. Обнаружив обман, игрок А в разных раундах игры мог, во-первых, ничего не делать, во-вторых, лишить Б части денег безо всяких для себя потерь, в-третьих, заплатить свои деньги, чтобы Б оштрафовали в двойном размере. Наказание как таковое активирует дофаминовую систему А, но у тех, кто играл раунд с третьей стратегией, активация оказалась самой высокой. Чем выше был уровень активности дофаминовой системы во время второго раунда (наказание другого без потерь для себя), тем больше игрок был готов заплатить за наказание соперника в третьем раунде. Так что наказание нарушителей общественных норм тоже приносит удовлетворение.

Еще в одном превосходном исследовании изучался феномен переплаты на аукционах, когда люди отдают больше, чем изначально планировали; оно было выполнено Элизабет Фелпс из Нью-Йоркского университета[99 - M. Delgado et al., “Understanding Overbidding: Using the Neural Circuitry of Reward to Design Economic Auctions,” Sci 321 (2008): 1849; E. Maskin, “Can Neural Data Improve Economics?” Sci 321 (2008): 1788.]. Переплата интерпретируется как ситуация с получением дополнительной награды за победу в соревновании, если рассматривать именно состязательную сторону аукциона. Ведь выигрыш лота в аукционе, в отличие от выигрыша в лотерею, является примером социальной конкуренции. В обоих победных случаях – и в лотерее, и на аукционе – активируется дофаминовая система. При этом пустой лотерейный билет не вызывает ответной реакции, а при перехвате лота соперником выделение дофамина немедленно прекращается. Пустой билетик это не более чем «не судьба», тогда как потерянный лот – признак социальной второсортности.

И вот перед нами открывается весь спектр зависти. Так, в одном из исследований с использованием нейросканирования испытуемые читали об академических, финансовых, социальных, физических успехах других[100 - H. Takahasi et al., “When Your Gain Is My Pain and Your Pain Is My Gain: Neural Correlates of Envy and Schadenfreude,” Sci 323 (2009): 890; K. Fliessbach et al., “Social Comparison Affects Reward-Related Brain Activity in the Human Ventral Striatum,” Sci 318 (2007): 1305.]. При этом, по их собственным оценкам, они испытывали зависть. Сканирование одновременно показало возбуждение в участках коры, связанных с восприятием боли. Затем следовали описания проявлений злого рока, настигшего тех изначально успешных личностей (к примеру, как их увольняли с должности). На этот раз сканирование мозга демонстрировало активацию дофаминовой системы: чем выше было возбуждение в центрах боли при чтении об успехах, тем больше активировались дофаминергические пути при известии о неудачах. Так срабатывает дофаминергическая система, когда мы злоехидничаем в адрес попавшего в немилость у судьбы предмета нашей зависти.

А вот результаты еще одного исследования – касающегося ревности, негодования и неправомерности. Оно сфокусировано на роли дофаминовой системы, и результаты его для нас малоприятны[101 - W. Schultz, “Dopamine Signals for Reward Value and Risk: Basic and Recent Data,” Behav and Brain Functions 6 (2010): 24.]. Обезьян научили нажимать на рычаг 10 раз, и тогда они получали в награду изюминку. При каждом нажатии в прилежащем ядре выделялась порция дофамина – таков был нейрологический результат обучения. А теперь обезьяна нажимает на рычаг те же 10 раз, но получает – сюрприз-сюрприз! – две изюминки. Ура! У обезьяны выделилось 20 порций дофамина. Обезьяна продолжает получать по две изюминки, однако порций дофамина уже опять только 10. Все вернулось на круги своя. Но теперь при получении всего одной изюминки вместо двух уровень дофамина у нее снижается.

Почему? Да потому, что мы уже в мире привычек, а в нем ничто не радует нас так, как это было в первый раз.

К сожалению, все должно работать именно так. И дело здесь в диапазоне возможностей самой награды[102 - J. Cooper et al., “Available Alternative Incentives Modulate Anticipatory Nucleus Accumbens Activation,” SCAN 4 (2009): 409; D. Levy and P. Glimcher, “Comparing Apples and Oranges: Using Reward-Specific and Reward-General Subjective Value Representation in the Brain,” J Nsci 31 (2011): 14693.]. Наша система вынуждена предусматривать удовольствие и от решения математической задачи, и от оргазма. Дофаминовый ответ в результате выражается не в абсолютных единицах, а в относительных, поскольку системе приходится сравнивать возможное удовольствие от разных поведенческих следствий. То есть система вынуждена постоянно масштабировать удовольствия, чтобы адекватно реагировать на интенсивность различных стимулов – равно как решенной задачки, так и оргазма. При повторении стимула ответ становится привычным, и теперь система со всеми своими возможностями обращается к новым стимулам.

Привыкание системы награды было красиво показано в исследовании Вольфрама Шульца из Кембриджского университета[103 - P. Tobler et al., “Adaptive Coding of Reward Value by Dopamine Neurons,” Sci 307 (2005): 1642.]. Оно было выполнено на обезьянах: их натренировали в зависимости от обстоятельств получать либо две, либо 20 единиц награды. Если они вдруг получали четыре или 40 единиц, то в обоих случаях уровень дофамина подскакивал до одинакового уровня. А если им давали одну или 10 соответственно, то он сходным образом снижался. Мы видим, таким образом, не абсолютную, а относительную величину «дофаминового» удивления, которое единообразно проявляется в десятикратном диапазоне выигрыша.

Из этих исследований становится понятно, что дофаминовая система отвечает на стимул двояким образом[104 - W. Schultz, “Dopamine Signals for Reward Value and Risk: Basic and Recent Data,” Behav and Brain Functions 6 (2010): 24; J. Cohen et al., “Neuron-Type-Specific Signals for Reward and Punishment in the Central Tegmental Area,” Nat 482 (2012): 85; J. Hollerman and W. Schultz, “Dopamine Neurons Report an Error in the Temporal Prediction of Reward During Learning,” Nat Nsci 1 (1998): 304; A. Brooks et al., “From Bad to Worse: Striatal Coding of the Relative Value of Painful Decisions,” Front Nsci 4 (2010): 1.]. Ее ответ несоразмерно увеличивается, если поступают хорошие новости, и уменьшается, если новости плохие. Шульц продемонстрировал, что дофаминовая система реагирует на несоответствие между размером награды и ожиданиями: дай ожидаемое – и дофаминовая система останется на прежнем месте. Но если дать больше или быстрее – она тут же встрепенется и выбросит увеличенную порцию. А если дать меньше или позже, то выброс дофамина снизится. Некоторые нейроны покрышки возбуждаются при положительных несоответствиях, а другие – при отрицательных. В последнем случае речь идет о нейронах, выделяющих тормозящий нейромедиатор ГАМК (гамма-аминомасляную кислоту). Именно они и принимают участие в процессе привыкания, когда прежде опьяняющая награда возбуждает все меньше и меньше[68 - Любопытно, что при азартных играх, когда возбуждают оба результата – и выигрыш, и проигрыш, привыкание срабатывает своеобразно: начинает выделяться больше дофамина в ответ на менее волнующий исход.].

Ясно, что в область покрышки и прилежащего ядра, где базируются эти типы нейронов, должны приходить отростки из лобной коры. Это то место, где просчитываются ожидания и полученные итоги: «Надеялся получить 5, а у меня тут 4,9; и как мне расценивать это безобразие?»

Для ответа подключаются дополнительные, взвешивающие, отделы мозга. В одном из исследований людям показывали некий товар и параллельно, по активности в прилежащем ядре, предсказывали, какую сумму человек готов за него заплатить[105 - B. Knutson et al., “Neural Predictors of Purchases,” Neuron 53 (2007): 147.]. А затем сообщали настоящую цену. Если она была меньше, чем испытуемые были готовы заплатить, то активировалась вмПФК, а если больше – то область островка, связанная с отвращением. Сравните результаты нейросканирования – и вот у вас готовый ответ, купит человек предложенный товар или нет.

Мы увидели, что у млекопитающих дофаминовая система бурно отвечает на самый различный новый опыт, как положительный, так и отрицательный, но потом постепенно привыкает, переводя переживания в каждодневную привычку. Но у людей есть кое-что в запасе. Мы изобрели удовольствия гораздо более яркие, чем все, что может предложить нам природа.

Сидя однажды на концерте церковной органной музыки, я, охваченный восторгом, вдруг подумал: «А как этот ураган звуков действовал на средневекового крестьянина?» Он ведь никогда не слышал в своей повседневной жизни таких громких звуков, они должны были внушать ему поистине благоговейный, уже непонятный нам трепет. Неудивительно, что подобные ему немедленно обращались в ту религию, которую им предлагали. А сегодня на нас все время обрушиваются звуки, своей громкостью оставляющие далеко позади старомодный орган. В давние времена охотники-собиратели, в кои-то веки найдя дикий улей, бурно радовались вкусу меда. А теперь перед нашим взором в магазинах выставляется красиво оформленная еда на любой вкус, которая возбуждает гораздо больше, чем скромный натуральный продукт. Когда-то человеческая жизнь была полна опасностей и лишений, но в ней также имелись источники удовольствия – правда, скупые и труднодоступные. А теперь у нас есть наркотики, вызывающие мощный всплеск удовольствия, при котором выброс дофамина тысячекратно превышает ответ на любой естественный стимул в том прежнем, свободном от наркотиков мире.

Но после приходит опустошение. Оно неизбежно – вспомним о неизбежности привыкания к чрезмерным наградам. Неестественная сила синтетического удовольствия вызывает неестественно сильную степень привыкания[106 - P. Sterling, “Principles of Allostasis: Optimal Design, Predictive Regulation, Pathophysiology and Rational Therapeutics,” in Allostasis, Homeostasis, and the Costs of Adaptation, ed. J. Schulkin (Cambridge, MA: MIT Press, 2004).]. Отсюда вытекают два следствия. Во-первых, теперь мы едва замечаем тихий шепот прежних удовольствий, красота золотой осени уже не восхищает, симпатичный человек не притягивает взгляда, не манит решение трудной интересной задачи. А во-вторых, даже к такой буре искусственного восторга привыкаешь. Если бы нас по-умному спроектировали, то при увеличенном потреблении наши желания снижались бы. Но наша человеческая трагедия как раз в том, что чем больше нам дают, тем больше мы желаем. Еще больше, еще быстрее, еще сильнее…

И то, что вчера неожиданно доставило нам удовольствие, сегодня уже покажется само собой разумеющимся, а завтра и этого будет мало.

Предвкушение награды

Мы увидели, что за быстрое привыкание и умаление ожидаемой награды отвечает дофамин. Но его роль на самом деле гораздо интереснее. Вернемся к нашим обезьянам, ожидающим награды. Вот в лаборатории включается свет, и эксперимент по ее получению начинается: обезьяна подходит к рычагу, 10 раз нажимает на него и получает изюминку. Если опыт повторяется много раз, то выделение дофамина с каждой изюминкой становится все меньше.

Но! Когда включается свет, обозначая начало эксперимента, уровень дофамина резко подскакивает. Этот всплеск регистрируется до того, как обезьяна начинает нажимать на рычаг. Иными словами, когда животным уже понято и воспринято все, что так или иначе может произойти при получении награды, дофамин отвечает не столько на саму награду, сколько на ее ожидание. Мой коллега Брайан Кнутсон из Стэнфордского университета показал, что у людей, ожидающих денежного вознаграждения, активируется дофаминовый путь[107 - B. Knutson et al., “Anticipation of Increasing Monetary Reward Selectively Recruits Nucleus Accumbens,” J Nsci 21 (2001): RC159.]. Мастерство, уверенность, ожидания – здесь и нужен дофамин. «Я знаю, как тут все работает, все будет отлично» – вот что он говорит нам. Для нас удовольствие заключается в ожидании удовольствия, а сама награда уже не так важна (если, конечно, не происходит задержки в ее получении, в противном случае она становится самым главным на свете). Если вы знаете, что вас, голодного, накормят, то удовольствие не в самом насыщении, а в хорошем аппетите[69 - Мне припоминается в связи с этим довольно циничное замечание одного моего бедолаги-однокашника, который все время влипал в несчастные любовные истории: «Близость – это та цена, которую приходится платить за ее предвкушение».]. И это исключительно важно.

Ожидание требует обучения[108 - G. Stuber et al., “Reward-Predictive Cues Enhance Excitatory Synaptic Strength onto Midbrain Dopamine Neurons,” Sci 321 (2008): 1690; A. Luo et al., “linkcing Context with Reward: A Functional Circuit from Hippocampal CA3 to Ventral Tegmental Area,” Sci 33 (2011): 353; J. O’Doherty, “Reward Representations and Reward-Related Learning in the Human Brain: Insights from Neuroimaging,” Curr Opinions in Neurobiol 14 (2004): 769; M. Cador et al., “Involvement of the Amygdala in Stimulus-Reward Associations: Interaction with the Ventral Striatum,” Nsci 30 (1989): 77; J. Britt et al., “Synaptic and Behavioral Profile of Multiple Glutamatergic Inputs to the Nucleus Accumbens,” Neuron 76 (2012): 790; G. Stuber et al., “Optogenetic Modulation of Neural Circuits That Underlie Reward Seeking,” BP 71 (2012): 1061; F. Ambroggi et al., “Basolateral Amygdala Neurons Facilitate Reward-Seeking Behavior by Exciting Nucleus Accumbens Neurons,” Neuron 59 (2008): 648.]. Например, вы учите второе имя Уоррена Г. Гардинга[70 - Уоррен Гамалиел Гардинг (1865–1923) – 29-й президент США. Его второе имя действительно нелегко выучить. – Прим. ред.] – и синапсы в гиппокампе становятся более возбудимыми. Обучаетесь ли последовательности свет – награда – и нейроны в гиппокампе и лобной коре, связанные с дофаминергическими нейронами, возбуждаются все сильнее и легче.

Обучение объясняет контекстную зависимость желаний у тех, кто пристрастился к пагубным привычкам[109 - S. Hyman et al., “Neural Mechanisms of Addiction: The Role of Reward-Related Learning and Memory,” Ann Rev of Nsci 29 (2006): 565; B. Lee et al., “Maturation of Silent Synapses in Amygdala-Accumbens Projection Contributes to Incubation of Cocaine Craving,” Nat Nsci 16 (2013): 1644. Обсуждение навязчивых поведенческих актов как одного из видов болезненной зависимости: S. Rauch and W. Carlezon, “Illuminating the Neural Circuitry of Compulsive Behaviors,” Sci 340 (2013): 1174; S. Ahmari et al., “Repeated Cortico-Striatal Stimulation Generates Persistent OCD-like Behavior,” Sci 340 (2013): 1234; E. Burguiere et al., “Optogenetic Stimulation of Lateral Orbitofronto-Striatal Pathway Suppresses Compulsive Behaviors,” Sci 340 (2013): 1243.]. Представим себе алкоголика, который по-честному завязал много лет назад. Но вот он возвращается туда, где некогда пил – на ту улицу или в тот бар. И что же? Те синапсы, которые обучились сигнализировать обо всем, что связано с употреблением алкоголя, радостно возбуждаются, за этим следует дофаминовое предвкушение – и волна желания охватывает несчастного.

Может ли сигнал о скорой награде сам стать в итоге наградой? Этот вопрос изучала Худа Акил из Мичиганского университета. В ее эксперименте свет в левой стороне клетки давал крысе понять, что, нажав на рычаг, она получит награду в правой кормушке. В результате, что примечательно, крысы старались держаться левой стороны клетки – потому, что им там больше нравилось. Просто световой сигнал слева позаимствовал «дофаминовую» силу той пищевой награды, на которую он указывал. В принципе крысы начинают крутиться около того указателя, который обозначает возможность хоть какой-нибудь награды, неважно какой. Именно так работают фетиши, будь то сексуальные или племенные символы[110 - S. Flagel et al., “A Selective Role for Dopamine in Stimulus-Reward Learning,” Nat 469 (2011): 53; K. Burke et al., “The Role of the Orbitofrontal Cortex in the Pursuit of Happiness and More Specific Rewards,” Nat 454 (2008): 340.].

В лаборатории Шульца было показано, что уровень повышения дофамина при предвкушении зависит от двух параметров. Во-первых, от размера ожидаемой награды. Обезьяна выучивает, что свет сигнализирует об одной изюмине, а звук – о 10, конечно, если в обоих случаях 10 раз нажать на рычаг. И вскоре при звуке у нее выделялось заметно больше «обнадеживающего» дофамина, чем при включении света. Как будто дофаминовая система в одном случае сообщала «Сейчас произойдет кое-что потрясающее», а в другом – «Сейчас произойдет кое-что потрясающее!»

А во-вторых… Второй параметр вообще замечательный. Представим обычный эксперимент: включается свет, нажимается рычаг, выпадает награда. Теперь изменим правила: включается свет, нажимается рычаг и… награда выпадает только в половине случаев. И когда этот новый сценарий усваивается – вот чудо! – выделение дофамина увеличивается. Почему? Потому что ничто не подогревает выброс дофамина сильнее, чем все эти перебои в закреплении награды, все эти «может быть»[111 - P. Tobler et al., “Adaptive Coding of Reward Value by Dopamine Neurons,” Sci 307 (2005): 1642; C. Fiorillo et al., “Discrete Coding of Reward Probability and Uncertainty by Dopamine Neurons,” Sci 299 (2003): 1898.].

Когда новый сценарий с перебоями тоже выучивается, то дофамин начинает выделяться в неожиданный момент. За световым сигналом в ответ на перспективу награды следует закономерный всплеск дофамина. Затем нажимается рычаг – мы все еще в том предсказуемом времени, когда сигнал обозначал конкретную обязательную награду, – уровень дофамина на прежнем уровне, а затем, при получении награды, он чуточку увеличивается. Но теперь, с усвоением 50 % вероятности, после нажимания на рычаг уровень дофамина резко подскакивает – это ответ на неопределенность, на то самое «получу или нет?».

Изменим условия эксперимента еще больше: теперь вероятность награды не 50:50, а 25:75. Сдвиги с 50 к 25 % и с 50 к 75 % противоположны, если посмотреть с точки зрения вероятности получения награды. ПФК это хорошо понимает, как было показано в лаборатории Кнутсона: чем выше вероятность получения награды, тем выше активация ПФК[112 - B. Knutson et al., “Distributed Neural Representation of Expected Value,” J Nsci 25 (2005): 4806; M. Stefani and B. Moghaddam, “Rule Learning and Reward Contingency Are Associated with Dissociable Patterns of Dopamine Activation in the Rat Prefrontal Cortex, Nucleus Accumbens, and Dorsal Striatum,” J Nsci 26 (2006): 8810.]. Но при этом сдвиг к 25 % или к 75 % сходным образом уменьшает неопределенность. И в таком случае подъем дофамина на промежуточном этапе оказывается ниже, чем при 50:50. Из вышеизложенного следует, что дофаминовый пик «предвкушения» зависит от неопределенности получения награды[71 - Как-то, обсуждая со мной эту тему, Грин иронично заметил, что бюджетное прогнозирование Гарвардского университета имеет в виду эти ожидания: они откуда-то ведь берут значение 50 %, когда прогнозируют, какая часть хорошо работающих молодых преподавателей получит постоянные позиции.]. В таких условиях добавочный дофамин выделяется в основном в мезокортикальном пути, в мезолимбическом же пути этот добавочный дофаминовый ответ существенно меньше. Следовательно, удовольствие от неопределенности усложнено рассудочным элементом – в отличие от привычного удовольствия.

Поклон психологам, изучавшим феномен Лас-Вегаса, – для них все это уже давно не новость. С точки зрения логики игра не должна провоцировать «дофаминовое» ожидание, ведь шансы выиграть астрономически ничтожны. Но здесь срабатывает поведенческое манипулирование – тут тебе и оживленная круговерть вне времени и пространства, тут тебе и настоянное на практически бесплатном алкоголе лобно-сознательное здравомыслие, тут тебе и исходящие отовсюду уверения, что как раз сегодня твой счастливый день. В результате оценка шансов на успех искажается, попадая в тот диапазон, когда дофамин начинает играть вовсю, и вот уже – ого-го! – почему бы снова не попытать удачу?!

Взаимосвязь между «может быть» и склонностью к игре становится понятной в исследовании ситуации «почти получилось!», когда, например, в игровом автомате в линию собираются два из трех предметов. В контрольной группе при недостаче любого рода выделяется минимальное количество дофамина, а у заядлых игроков, если не хватает одного последнего предмета, дофамин подскакивает как сумасшедший. В другом исследовании рассматриваются две похожие ситуации с одинаково вероятным выигрышем. Но в одной из них вероятность выигрыша точно просчитывается, а в другой эта вероятность определяется недостатком информации о выигрыше. То есть во втором случае речь идет не столько о риске, сколько о неопределенности. И в этом случае миндалина активируется и тормозит дофаминергические нейроны. Таким образом, тем, что ощущается как взвешенный риск, формируется зависимость, а неопределенность всего лишь бодрит[113 - R. Habib and M. Dixon, “Neurobehavioral Evidence for the “Near-Miss” Effect in Pathological Gamblers,” J the Exp Analysis of Behav 93 (2010): 313; M. Hsu et al., “Neural Systems Responding to Degrees of Uncertainty in Human Decision-Making,” Sci 310 (2006): 1680.].

Стремление

Мы увидели, что дофамин обслуживает, скорее, ожидание награды, чем саму награду. Теперь пришло время поставить на место еще один кусочек мозаики. Опять вернемся к обезьяне, которой включают свет, после чего она нажимает на рычаг и получает награду. Когда обезьяну натренировали, выделение дофамина, как мы уяснили, достигает максимальных значений в предвкушении животным награды сразу после включения света.

А что случится, если после этого дофамин не выделится?[114 - A. Braun et al., “Dorsal Striatal Dopamine Depletion Impairs Both Allocentric and Egocentric Navigation in Rats,” Neurobiol of Learning and Memory 97 (2012): 402; J. Salamone, “Dopamine, Effort, and Decision Making,” Behavioral Nsci 123 (2009): 463; I. Whishaw and S. Dunnett, “Dopamine Depletion, Stimulation or Blockade in the Rat Disrupts Spatial Navigation and Locomotion Dependent upon Beacon or Distal Cues,” BBR 18 (1985): 11; J. Salamone and M. Correa, “The Mysterious Motivational Functions of Mesolimbic Dopamine,” Neuron 76 (2012): 470; H. Tsai et al., “Phasic Firing in Dopaminergic Neurons Is Sufficient for Behavioral Conditioning,” Sci 324 (2009): 1080; P. Phillips et al., “Sub-second Dopamine Release Promotes Cocaine Seeking,” Nat 422 (2003): 614; M. Pessiglione et al., “Dopamine-Dependent Prediction Errors Underpin Reward-Seeking Behavior in Humans,” Nat 442 (2008): 1042.] Тогда обезьяна не нажмет на рычаг. Например, крысы с разрушенным прилежащим ядром будут совершать беспорядочные действия вместо того, чтобы нацелиться на предполагаемую отложенную награду. А обезьяны, у которых вместо включения света напрямую стимулируют электродами выделение дофамина в покрышке, поспешат нажать на рычаг. Получается, что дофамин не просто обслуживает ожидание награды, он подпитывает целенаправленное поведение, необходимое для ее получения. Он увязывает размер вознаграждения с требуемыми действиями. Здесь и рождается мотивация: ее начало – в дофаминергических нейронах, идущих в ПФК, на долю которой выпадает самое трудное (т. е. работать).

Иными словами, дофаминовая радость касается не самой награды. Это удовольствие от стремления к вознаграждению, когда имеются хорошие шансы его получить[72 - Превосходным примером радости стремления, формирующей мотивацию, является проявление материнской заботы у крыс. Тут ключевую роль играет мезолимбическая система, определяя выделение дофамина равно как во время действий, так и по их результативному завершению.][115 - К сноске: M. Numan and D. Stoltzenberg, “Medial Preoptic Area Interactions with Dopamine Neural systemsin the Control of the Onset and Maintenance of Maternal Behavior in Rats,” Front Neuroendo 30 (2009): 46.].

Таким образом, становится понятна природа мотивации или ее отсутствия (как это бывает во время депрессии, когда из-за стресса тормозится выделение дофамина, или при переживании тревожных состояний, когда это торможение обусловлено нейронами, приходящими из миндалины)[116 - S. McClue et al., “Separate Neural Systems Value Immediate and Delayed Monetary Rewards,” Sci 306 (2004): 503; J. Jennings et al., “Distinct Extended Amygdala Circuits for Divergent Motivational States,” Nat 496 (2013): 224.]. Также становится понятен источник силы воли, которую нам организует лобная кора. Если в экспериментах приходится выбирать между немедленным удовольствием и отсроченным, сиюминутное желание возбуждает дофаминовые центры в лимбической системе (мезолимбический путь), а обдумывание отложенной награды активирует центры в лобном отделе (мезокортикальный путь). Чем больше активация в последнем, тем с большей вероятностью предпочтение будет отдано отложенному удовольствию.

Для подобных заключений потребовались исследования сценария с чередой коротких рабочих периодов, за которыми следует быстрая награда[117 - M. Howe et al., “Prolonged Dopamine Signaling in Striatum Signals Proximity and Value of Distant Rewards,” Nat 500 (2013): 575; Y. Niv, “Dopamine Ramps Up,” Nat 500 (2013): 533.]. А что если сценарий другой: долгая работа, да еще с отсроченным на значительное время вознаграждением? В этом случае наблюдался дополнительный подъем дофамина, медленный и постепенный, он подпитывал выполнение работы. Амплитуда подъема зависит определенным образом[73 - В дальнейших рассуждениях под величиной награды будет подразумеваться наклон прямой, т. н. штраф за отсрочку. Если отодвигать время получения награды, то наклон будет быстро становиться все более пологим; величина наклона в зависимости от отсрочки меняется не пропорционально, а более сложным образом. – Прим. пер.] от времени отсрочки и от размера вознаграждения.

Эксперименты прояснили, как дофамин обеспечивает отложенное удовольствие. Если ждать награды, допустим, время Х, то она будет иметь для нас условную «дофаминовую» ценность Z. А если той же награды ждать в два раза дольше, то можно предположить, что и ценность ее уменьшится вдвое. Но нет, она уменьшится вчетверо, до 1/4 Z: у нас есть ограничения по времени, мы не любим ждать.

В основе этого явления – сговор лобной коры и дофамина. Штраф за длительность – 1/4 Z вместо 1/2 Z – организуется в прилежащем ядре, тогда как длПФК и вмПФК определяют саму длительность[118 - W. Schultz, “Subjective Neuronal Coding of Reward: Temporal Value Discounting and Risk,” Eur J Nsci 31 (2010): 2124; S. Kobayashi and W. Schultz, “Influence of Reward Delays on Responses of Dopamine Neurons,” J Nsci 28 (2008): 7837; S. Kim et al., “Prefrontal Coding of Temporally Discounted Values During Intertemporal Choice,” Neuron 59 (2008): 161; M. Roesch and C. Olson, “Neuronal Activity in Orbitofrontal Cortex Reflects the Value of Time,” J Neurophysiology 94 (2005): 2457; M. Bermudez and W. Schultz, “Timing in Reward and Decision Processes,” Philosophical Trans of the Royal Soc of London B 369 (2014): 20120468; B. Figner et al., “Lateral Prefrontal Cortex and Self-Control in Intertemporal Choice,” Nat Nsci 13 (2010): 538; K. Jimura et al., “Impulsivity and Self-Control During Intertemporal Decision Making linkced to the Neural Dynamics of Reward Value Representation,” J Nsci 33 (2013): 344; S. McClure et al., “Time Discounting for Primary Rewards,” J Nsci 27, 5796.].

Все это порождает сложные взаимовлияния. Например, активируя длПФК или, наоборот, приглушая вмПФК, можно сдвинуть предпочтение к быстрой награде. В одном отличном исследовании Кнутсон показал с помощью нейросканирования, что у нетерпеливых людей этот штраф за отсрочку (снижение уровня дофамина в зависимости от времени отсрочки) заметно больше. У них, когда соответствующие центры возбуждены, прилежащее ядро недооценивает размер награды, а длПФК переоценивает длительность отсрочки[119 - K. Ballard and B. Knutson, “Dissociable Neural Representations of Future Reward Magnitude and Delay During Temporal Discounting,” Neuroimage 45 (2009): 143.].

Весь этот ансамбль – дофаминергическая система, лобная кора, миндалина, островок и другие участники хора – определяет различные аспекты награды: ее размер, отсрочку, вероятность получения. И в итоге со своей долей неточности влияет на наше решение – стоит ли совершать более затратный, но правильный поступок[120 - A. Lak et al., “Dopamine Prediction Error Responses Integrate Subjective Value from Different Reward Dimensions,” PNAS 111 (2014): 2343.].