21 урок для XXI века

Чувствами руководствуются не только избиратели, но и политические лидеры. В 2016 году в процессе подготовки референдума по Брекзиту кампанию за выход из ЕС возглавляли Борис Джонсон и Майкл Гоув. После отставки Дэвида Кэмерона Гоув поначалу поддерживал кандидатуру Джонсона, но в последний момент заявил, что тот не подходит для должности премьер-министра, и объявил о намерении самому бороться за этот пост. Действия Гоува, лишившие Джонсона шансов стать главой кабинета, были расценены как политическое убийство в стиле Макиавелли[45 - Steven Swinford, ‘Boris Johnson’s allies accuse Michael Gove of “systematic and calculated plot” to destroy his leadership hopes’, Telegraph, 30 June 2016, http://www.telegraph.co.uk/news/2016/06/30/boris-johnsons-allies-accuse-michael-gove-of-systematic-and-calc/ (http://www.telegraph.co.uk/news/2016/06/30/boris-johnsons-allies-accuse-michael-gove-of-systematic-and-calc/), accessed 3 September 2017; Rowena Mason and Heather Stewart, ‘Gove’s thunderbolt and Boris’s breaking point: a shocking Tory morning’, Guardian, 30 June 2016, https://www.theguardian.com/politics/2016/jun/30/goves-thunderbolt-boris-johnson-tory-morning (https://www.theguardian.com/politics/2016/jun/30/goves-thunderbolt-boris-johnson-tory-morning), accessed 3 September 2017.]. Но Гоув оправдывал свой поступок чувствами, объясняя: «Перед каждым шагом в своей политической жизни я задавал себе вопрос: „Как я должен поступить? Что мне подсказывает сердце?“»[46 - James Tapsfield, ‘Gove presents himself as the integrity candidate for Downing Street job but sticks the knife into Boris AGAIN’, Daily Mail, 1 July 2016, http://www.dailymail.co.uk/news/article-3669702/I-m-not-great-heart-s-right-place-Gove-makes-bizarre-pitch-Downing-Street-admitting-no-charisma-doesn-t-really-want-job.html (http://www.dailymail.co.uk/news/article-3669702/I-m-not-great-heart-s-right-place-Gove-makes-bizarre-pitch-Downing-Street-admitting-no-charisma-doesn-t-really-want-job.html), accessed 3 September 2017.] Вот почему, если верить Гоуву, он так яростно сражался за Брекзит, а затем счел необходимым нанести удар в спину своему верному союзнику Борису Джонсону, чтобы самому претендовать на статус альфа-самца: так подсказывало ему сердце.

Возможно, именно эта зависимость от веления сердца – ахиллесова пята либеральной демократии. Если кто-то (неважно, в Пекине или в Сан-Франциско) получит технологическую возможность «проникать в человеческое сердце» и манипулировать им, демократическая политика превратится в театр эмоциональных марионеток.

Прислушивайтесь к алгоритму

Либеральная вера в чувства и свободный выбор индивидов не являются ни естественными, ни древними. Тысячелетиями люди верили, что источник власти – божественные законы, а не человеческое сердце, а потому нужно благословлять слово Божие, а не свободу человека. Только в последние несколько веков источник власти переместился от богов, обитающих на небесах, к людям из плоти и крови.

Вскоре мы снова можем стать свидетелями передачи власти – но уже от людей к алгоритмам. Точно так же, как легитимацией божественной власти служила религиозная мифология, а власти людей – либеральная концепция, грядущая технологическая революция утвердит власть алгоритмов Big Data, подорвав саму идею индивидуальной свободы.

Как я уже отмечал в предыдущей главе, научные исследования функционирования нашего мозга и тела указывают на то, что чувства не являются уникальным духовным качеством человека и следствием «свободы воли». Скорее чувства представляют собой биохимические механизмы, которые используют все млекопитающие и птицы для быстрого вычисления шансов на выживание и продолжение рода. Чувства основаны не на интуиции, вдохновении или свободе – в их основе лежат вычисления.

Когда обезьяна, мышь или человек видит змею, чувство страха возникает из-за того, что миллионы нейронов в мозгу быстро обрабатывают соответствующие данные и приходят к заключению, что вероятность гибели велика. Чувство полового влечения возникает тогда, когда другие биохимические алгоритмы вычисляют, что находящийся рядом индивид обещает высокую вероятность успешного партнерства, социальных связей или какую-либо другую желанную цель. Нравственные чувства, такие как негодование, вина или прощение, обусловлены нейронными механизмами, отвечающими за групповое сотрудничество. Все эти биохимические алгоритмы совершенствовались миллионами лет эволюции. Если чувства одного из наших древних предков приводили к фатальной ошибке, то гены, сформировавшие эти чувства, не передавались следующему поколению. Таким образом, чувства не противоположны рациональности – они суть воплощение эволюционной рациональности.

Нам непросто осознать, что наши чувства представляют собой результат вычислений, поскольку быстрый вычислительный процесс протекает далеко за порогом нашего сознания. Мы не ощущаем, как миллионы нейронов мозга просчитывают вероятности выживания и продолжения рода, и поэтому ошибочно полагаем, что боязнь змей, выбор полового партнера или отношение к Евросоюзу определяются некой таинственной «свободой воли».

Теоретики либерализма ошибаются, полагая, что наши чувства отражают свободу воли, однако вплоть до недавнего времени руководствоваться чувствами было вполне разумно. В наших чувствах нет никакой магии, и все же именно они лучше всего помогают понять, чему нам учиться, на ком жениться, за какую партию голосовать. Никакая внешняя по отношению ко мне система никогда не поймет мои чувства лучше, чем я сам. Даже если бы испанская инквизиция или советский КГБ следили за мной каждую минуту каждого дня, у них не хватило бы биологических знаний и вычислительных мощностей, чтобы вмешаться в процессы, определяющие мои желания и мой выбор. С практической точки зрения было разумно считать, что мы обладаем свободой воли, потому что наша воля определяется в основном взаимодействием внутренних сил, невидимых снаружи. Я могу наслаждаться иллюзией контроля над своим внутренним миром, тогда как внешние наблюдатели никогда не поймут, что происходит у меня в мозгу и как я принимаю решения.

Так что либералы правы, когда советуют людям поступать по велению сердца, а не подчиняться диктату священника или партийного аппаратчика. Но по мере того как на место испанской инквизиции и КГБ будут заступать Google и Baidu, «свобода воли», скорее всего, превратится в миф, и тогда либерализм может лишиться своих практических преимуществ.

На наших глазах происходит слияние двух масштабных революций. Биологи проникают в тайны человеческого тела, мозга и чувств. Одновременно специалисты в области вычислительных систем открывают беспрецедентные возможности обработки данных. Когда биотехнологическая революция сольется с революцией в ИТ, появятся алгоритмы Big Data, способные следить за нашими чувствами и понимать их гораздо лучше, чем мы. И тогда власть перейдет от людей к компьютерам. Иллюзия свободы воли, скорее всего, развеется, если я каждый день буду сталкиваться с институтами, корпорациями и госучреждениями, которые манипулируют тем, что я до недавних пор считал своим внутренним миром, недоступным для других.

Для краткости воспользуемся следующей формулой:

б ? в ? д = ввч, где

б – биологическое знание,

в – вычислительная мощность,

д – объем данных.

Их произведение – ввч – возможность взломать человека.

Мы уже видим, как это работает в медицине. Самые важные медицинские решения опираются не на наше самочувствие, и даже не на компетентные прогнозы врача, а на вычисления компьютера, который понимает наше тело лучше, чем мы. Через несколько десятилетий алгоритмы больших данных, обрабатывающие непрерывный поток биометрической информации, смогут следить за нашим здоровьем ежедневно, 24 часа в сутки. Они выявят грипп, рак или болезнь Альцгеймера на самой ранней стадии – задолго до того, как мы почувствуем, что с нами что-то не так. Затем они порекомендуют необходимое лечение, диету и режим, разработанные с учетом наших физических данных, ДНК и особенностей личности.

Люди получат лучшее здравоохранение в истории, но именно поэтому они, вероятно, будут постоянно болеть. В нашем организме всегда есть неполадки и всегда есть что улучшить. В прошлом человек ощущал себя совершенно здоровым, пока не чувствовал боль или не начинал страдать от нарушения каких-то функций, например от хромоты. Но к 2050 году благодаря биометрическим датчикам и алгоритмам больших данных болезни будут диагностироваться и лечиться задолго до появления боли или нарушения функций. В результате вы всегда будете считаться «больным» и выполнять те или иные рекомендации алгоритма. А отказавшись лечиться, вы можете лишиться страховки или даже работы – зачем работодателю платить за ваше упрямство?

Одно дело – не отказываться от сигарет, несмотря на статистические данные, связывающие курение с раком легких. Совсем другое – продолжать курить, вопреки категорическому предупреждению биометрического датчика, который обнаружил в верхней доле левого легкого 17 раковых клеток. А если вы решите проигнорировать предупреждение, что будет, когда датчик сообщит информацию вашей страховой фирме, вашему начальнику и вашей матери?

Но где взять время и силы, чтобы бороться со всеми этими болезнями? Скорее всего, мы научимся так программировать следящий за нашим здоровьем алгоритм, чтобы он сам справлялся с большинством выявленных проблем. В идеале он будет периодически слать отчеты нам на смартфон, сообщая, что «обнаружены и уничтожены 17 раковых клеток». Ипохондрики, конечно, расстроятся, но большинство людей просто проигнорируют эти сообщения точно так же, как сегодня мы игнорируем сообщения антивирусной программы на компьютере.

Драматизм принятия решений

То, что уже происходит в медицине, по всей видимости, будет распространяться и на другие сферы человеческой деятельности. Главное изобретение – биометрический датчик на поверхности или внутри тела, который преобразует биологические процессы в электронную информацию для компьютерной обработки и хранения. Достаточное количество информации и достаточная вычислительная мощность позволят внешним системам обработки данных вызнать все о ваших желаниях, решениях и мнениях. Они смогут точно определить, кто вы.

Большинство людей плохо себя знает. Я сам только в 21 год, после нескольких лет отрицания, наконец понял, что я гей. И мой случай не исключение. В подростковом возрасте многие геи сомневаются в своей сексуальной ориентации. Теперь представьте себе ситуацию: в 2050 году алгоритм точно подскажет подростку, в какой части спектра ориентации (гомосексуальной или гетеросексуальной) он находится и насколько гибка эта позиция. Возможно, алгоритм покажет вам фотографии или видео привлекательных мужчин и женщин, проследит за движением ваших глаз, кровяным давлением и активностью мозга, и уже через пять минут определит ваше положение на шкале Кинси[47 - В 2017 году исследователи из Стэнфорда разработали алгоритм, который якобы определяет сексуальную ориентацию человека с точностью 91 % только на основе нескольких фотографий его лица (https://osf.io/zn79k/ (https://osf.io/zn79k/)). Но алгоритм разрабатывался на основе фотографий, которые люди выбирали сами для загрузки на сайты знакомств, и поэтому он мог идентифицировать различия в культурных идеалах. Это не значит, что выражение лица геев обязательно отличается от выражения лица у людей традиционной ориентации. Скорее геи, размещающие свои фото на сайте знакомств для геев, пытают соответствовать другому культурному идеалу, чем люди традиционной сексуальной ориентации, публикующие свои фотографии на соответствующих сайтах знакомств.]. Подобное изобретение могло бы избавить меня от нескольких лет фрустрации. Возможно, сами вы не испытываете желания проходить такой тест, но однажды на чьем-нибудь дне рождения кто-то из друзей предложит всем проверить себя с помощью нового крутого алгоритма (а все остальные будут стоять и смотреть, комментируя результаты). Вы откажетесь и уйдете?

Но даже если вы скрываете свою сексуальную ориентацию от себя и друзей, у вас не получится скрыть ее от Amazon, Alibaba или тайной полиции. Пока вы бродите по интернету, смотрите YouTube или листаете социальные сети, алгоритмы будут внимательно следить за вами, изучать вас и сообщать компании Coca-Cola, что, если она хочет продавать вам свои напитки, ей лучше использовать рекламу с полуобнаженным парнем, а не с полуобнаженной девушкой. Сами вы об этом даже не узнаете. Но они – будут знать, и ценность такой информации будет исчисляться миллиардами.

С другой стороны, нельзя исключить, что люди сами будут с готовностью делиться личными данными, чтобы получать наилучшие рекомендации, а то и вовсе просить алгоритм принимать решения вместо них. Начнется все с самого простого, например с выбора фильма для просмотра. Когда вы усаживаетесь с друзьями перед телевизором, сначала нужно решить, что все будут смотреть. Полвека назад у вас не было выбора, но сегодня, с развитием интерактивного телевидения, в вашем распоряжении – тысячи названий. Договориться непросто, потому что вы, например, любите научно-фантастические триллеры, Джек предпочитает романтические комедии, а Джилл обожает французский артхаус. В итоге компромиссом станет, скорее всего, бездарный малобюджетный фильм, который разочарует всех.

В подобной ситуации на помощь придет алгоритм. Вы сообщите ему, какие из ранее просмотренных фильмов понравились каждому из вас, и он, покопавшись в огромной базе данных, найдет идеальное решение для всей группы. К сожалению, слишком грубый алгоритм может ошибиться, особенно из-за того, что сведения, которые люди сообщают о себе, не всегда точно отражают их истинные предпочтения. Например, мы слышим, как многие хвалят фильм, называя его шедевром, чувствуем себя обязанными его посмотреть, засыпаем на середине, но все равно говорим, что восхищены, не желая выглядеть профанами[48 - David Chan, ‘So Why Ask Me? Are Self-Report Data Really That Bad?’ in Charles E. Lance and Robert J. Vandenberg (eds.), Statistical and Methodological Myths and Urban Legends (New York, London: Routledge, 2009), 309–336; Delroy L. Paulhus and Simine Vazire, ‘The Self-Report Method’ in Richard W. Robins, R. Chris Farley and Robert F. Krueger (eds.), Handbook of Research Methods in Personality Psychology (London, New York: The Guilford Press, 2007), 228–233.].

Такого рода проблемы легко решить, если просто позволить алгоритму не полагаться на наши сомнительные самоотчеты, а собирать данные о нас в реальном времени, во время просмотра фильмов. Для начала алгоритм просто запомнит, какие фильмы мы досмотрели до конца, а какие бросили на середине. Даже если мы говорим всем и каждому, что «Унесенные ветром» – лучший из когда-либо снятых фильмов, алгоритм будет знать, что мы ни разу не продержались больше получаса и никогда не видели горящей Атланты.

Но алгоритм способен и на более глубокий анализ. В настоящее время разрабатывается программное обеспечение, умеющее распознавать эмоции человека по движению глаз и лицевых мышц[49 - Elizabeth Dwoskin and Evelyn M. Rusli, ‘The Technology that Unmasks Your Hidden Emotions’, Wall Street Journal, 28 January 2015, https://www.wsj.com/articles/startups-see-your-face-unmask-your-emotions-1422472398 (https://www.wsj.com/articles/startups-see-your-face-unmask-your-emotions-1422472398), accessed 6 September 2017.]. Дополните телевизор хорошей камерой, и программа будет знать, какие сцены заставляют вас смеяться, какие вызывают грусть, а какие скуку. Затем предоставьте алгоритму доступ к показаниям биометрических датчиков, и он определит, как разные кадры влияют на частоту сокращений вашего сердца, на кровяное давление и активность мозга. Когда, например, мы смотрим «Криминальное чтиво» Тарантино, алгоритм может отметить, что сцена изнасилования вызывает у нас едва заметный импульс сексуального возбуждения, что случайный выстрел Винсента в лицо Марвину заставляет нас виновато рассмеяться, а шутку про бургер мы вообще не поняли – но все равно засмеялись, просто чтобы не выглядеть глупо. Когда вы заставляете себя смеяться, работают не те цепи нейронов в мозгу и не те лицевые мышцы, которые приходят в действие при искреннем смехе. Люди, как правило, не видят этих различий – но алгоритм их улавливает[50 - Norberto Andrade, ‘Computers Are Getting Better Than Humans at Facial Recognition’, Atlantic, 9 June 2014, https://www.theatlantic.com/technology/archive/2014/06/bad-news-computers-are-getting-better-than-we-are-at-facial-recognition/372377/ (https://www.theatlantic.com/technology/archive/2014/06/bad-news-computers-are-getting-better-than-we-are-at-facial-recognition/372377/), accessed 10 December 2017; Elizabeth Dwoskin and Evelyn M. Rusli, ‘The Technology That Unmasks Your Hidden Emotions’, Wall Street Journal, 28 June 2015, https://www.wsj.com/articles/startups-see-your-face-unmask-your-emotions-1422472398 (https://www.wsj.com/articles/startups-see-your-face-unmask-your-emotions-1422472398), accessed 10 December 2017; Sophie K. Scott, Nadine Lavan, Sinead Chen and Carolyn McGettigan, ‘The Social Life of Laughter’, Trends in Cognitive Sciences 18:12 (2014), 618–620.].

Слово «телевизор» образовано от греческого корня tele, что означает «далеко», и латинского visio – «вижу». Изначально это было устройство, которое позволяло нам видеть издалека. Но вскоре с его помощью издалека будут видеть нас. Как предсказывал Джордж Оруэлл в романе «1984», телевизор будет наблюдать за нами, пока мы его смотрим. Возможно, мы быстро забудем все фильмы Тарантино. Но Netflix, Amazon или любой другой владелец телевизионного алгоритма не забудет, какой у нас тип личности и как управлять нашими эмоциями. Такие данные позволят им не только с невероятной точностью выбирать для нас фильмы, но и принимать за нас самые важные решения в жизни – чему учиться, где работать, на ком жениться.

Разумеется, иногда Amazon будет ошибаться. Это неизбежно. Ошибки будут возникать из-за недостатка данных, несовершенства программы, нечетко поставленных целей и хаотичного характера самой жизни[51 - Daniel First, ‘Will big data algorithms dismantle the foundations of liberalism?’, AI & Soc, 10.1007/s00146-017-0733-4.]. Но программа Amazon и не должна быть идеальной. Достаточно, чтобы в среднем алгоритм превосходил человека. А это не так уж трудно, потому что большинство людей плохо себя знают и, принимая самые важные в своей жизни решения, совершают ужасные ошибки. Люди страдают от недостатка данных, несовершенства программы (генетической и культурной), нечетких определений и хаоса жизни намного больше алгоритмов.

Можно перечислить множество проблем, с которыми сталкиваются алгоритмы, и прийти к выводу, что люди никогда не будут им доверять. Но это сродни составлению списка недостатков демократии с последующим заключением, что ни один здравомыслящий человек не поддержит такую систему. Широко известны слова Уинстона Черчилля о том, что демократия – худшая политическая система, если не считать всех остальных. Люди могут прийти к таким же выводам (справедливым или не очень) об алгоритмах больших данных: у них масса недостатков, но лучшей альтернативы у нас нет.

Ученые все яснее понимают природу процессов, связанных с принятием человеком решений, и соблазн довериться алгоритмам, скорее всего, будет усиливаться. Знания о процессе принятия решений мозгом не только повысят надежность алгоритмов больших данных, но и сделают менее надежными человеческие чувства. Когда правительства и корпорации взломают операционную систему человека, на нас обрушится шквал точно выверенных манипуляций, рекламы и пропаганды. Манипулировать нашим мнением и эмоциями станет так легко, что мы будем вынуждены довериться алгоритмам – подобно тому, как пилот самолета, у которого закружилась голова, должен игнорировать свои ощущения и довериться приборам и автоматике.

В ряде стран и в некоторых ситуациях у людей, возможно, просто не останется выбора: им придется подчиняться решениям алгоритмов больших данных. Но алгоритмы могут захватить власть даже в предположительно свободных обществах, поскольку мы на личном опыте научимся доверять им все больше и больше дел, постепенно утрачивая способность самостоятельно принимать решения. Задумайтесь: всего за два десятка лет миллиарды людей научились доверять алгоритму Google решение одной из самых важных задач: поиска достоверной информации. Мы больше не ищем информацию – мы «гуглим». И пока мы раз за разом полагаемся на Google, наша способность к самостоятельному поиску информации ослабевает. Уже сегодня «правдой» считается то, что попадает в верхние строки поисковой выдачи Google[52 - Carole Cadwalladr, ‘Google, Democracy and the Truth about Internet Search’, Guardian, 4 December 2016, https://www.theguardian.com/technology/2016/dec/04/google-democracy-truth-internet-search-facebook (https://www.theguardian.com/technology/2016/dec/04/google-democracy-truth-internet-search-facebook), accessed 6 September 2017.].

Нечто подобное происходит и с физическими возможностями, в частности с ориентацией на местности. Люди спрашивают дорогу у Google. Например, интуиция подсказывает водителю повернуть на перекрестке налево, но навигатор в Google Maps говорит: «Поверните направо». Поначалу водитель прислушивается к интуиции, поворачивает налево, попадает в пробку и пропускает важную встречу. В следующий раз он следует указанию Google, поворачивает направо и приезжает вовремя. Опыт приучает его доверять Google. Через год или два он уже слепо выполняет любые рекомендации Google Maps, а при поломке смартфона становится совершенно беспомощным.

В марте 2012 года в Австралии три японских туриста решили осмотреть маленький остров недалеко от берега и заехали на машине прямо в Тихий океан. Водитель, двадцатиоднолетний Юдзу Нода, впоследствии объяснил, что просто следовал указаниям системы GPS: «Она сказала нам, что мы можем ехать прямо туда. Навигатор говорил, что покажет нам дорогу. Мы чуть не утонули»[53 - Jeff Freak and Shannon Holloway, ‘How Not to Get to Straddie’, Red Land City Bulletin, 15 March 2012, http://www.redlandcitybulletin.com.au/story/104929/how-not-to-get-to-straddie/ (http://www.redlandcitybulletin.com.au/story/104929/how-not-to-get-to-straddie/), accessed 1 March 2018.]. В нескольких аналогичных случаях люди въезжали в озеро или падали с разрушенного моста – вероятно, следуя инструкциям GPS-навигатора[54 - Michelle McQuigge, ‘Woman Follows GPS; Ends Up in Ontario Lake’, Toronto Sun, 13 May 2016, http://torontosun.com/2016/05/13/woman-follows-gps-ends-up-in-ontario-lake/wcm/fddda6d6-6b6e-41c7-88e8-aecc501faaa5 (http://torontosun.com/2016/05/13/woman-follows-gps-ends-up-in-ontario-lake/wcm/fddda6d6-6b6e-41c7-88e8-aecc501faaa5), accessed 1 March 2018; ‘Woman Follows GPS into Lake’, News.com.au, 16 May 2016, http://www.news.com.au/technology/gadgets/woman-follows-gps-into-lake/news-story/a7d362dfc4634fd094651afc63f853a1 (http://www.news.com.au/technology/gadgets/woman-follows-gps-into-lake/news-story/a7d362dfc4634fd094651afc63f853a1), accessed 1 March 2018.]. Способность ориентироваться в пространстве подобна мышце – без тренировки она атрофируется[55 - Henry Grabar, ‘Navigation Apps Are Killing Our Sense of Direction. What if They Could Help Us Remember Places Instead?’ Slate, http://www.slate.com/blogs/moneybox/2017/07/10/google_and_waze_are_killing_out_sense_of_direction_what_if_they_could_help.html (http://www.slate.com/blogs/moneybox/2017/07/10/google_and_waze_are_killing_out_sense_of_direction_what_if_they_could_help.html), accessed 6 September 2017.]. То же относится и к способности выбирать супруга или профессию.

Каждый год миллионам юношей и девушек приходится выбирать, какие предметы изучать в университете. Это очень важное и очень непростое решение. Вы испытываете давление родителей, друзей и преподавателей, у каждого из которых свой интерес и свое мнение. А у вас собственные страхи и фантазии. На ваше решение влияют голливудские блокбастеры, низкопробные романы и изощренные рекламные кампании. Разумное решение особенно трудно принять еще и потому, что вы не знаете, что требуется для успеха в разных профессиях, и у вас не всегда реалистичные представления о своих достоинствах и недостатках. Что нужно, чтобы стать успешным адвокатом? Как я буду реагировать на стресс? Получится ли у меня работать в команде?

Допустим, студентка выбирает юридический факультет, неверно оценив свои способности и имея искаженное представление о работе юриста (которая не сводится к прочувствованным речам и выкрикам: «Возражаю, ваша честь!»). А ее подруга полна решимости осуществить детскую мечту и стать профессиональной балериной, несмотря на неподходящее телосложение или трудности с самодисциплиной. По прошествии многих лет обе будут горько сожалеть о сделанном выборе. В будущем в подобных случаях мы сможем опереться на Google. Алгоритм подскажет, что я зря потрачу время на юридическом факультете или в балетной школе, но стану успешным (и очень счастливым) психологом или водопроводчиком[56 - Joel Delman, ‘Are Amazon, Netflix, Google Making Too Many Decisions For Us?’, Forbes, 24 November 2010, https://www.forbes.com/2010/11/24/amazon-netflix-google-technology-cio-network-decisions.html (https://www.forbes.com/2010/11/24/amazon-netflix-google-technology-cio-network-decisions.html), accessed 6 September 2017; Cecilia Mazanec, ‘Will Algorithms Erode Our Decision-Making Skills?’, NPR, 8 February 2017, http://www.npr.org/sections/alltechconsidered/2017/02/08/514120713/will-algorithms-erode-our-decision-making-skills (http://www.npr.org/sections/alltechconsidered/2017/02/08/514120713/will-algorithms-erode-our-decision-making-skills), accessed 6 September 2017.].

Когда искусственный интеллект начнет принимать оптимальные решения о выборе карьеры (а возможно, и об отношениях с другими людьми), наше представление о человеческой природе и о жизни должно будет измениться. Люди обычно думают, что жизнь – это драма принятия решений. Либеральная демократия и капитализм со свободным рынком рассматривают индивида как независимого агента, постоянно принимающего решения, касающиеся окружающего мира. Произведения искусства – будь то пьесы Шекспира, романы Джейн Остин или пошлые голливудские комедии – обычно фокусируются на герое, который должен сделать непростой выбор. Быть или не быть? Последовать совету жены и убить короля Дункана – или прислушаться к голосу совести и пощадить его? Выйти замуж за мистера Коллинза или за мистера Дарси? В фокусе и христианской, и исламской теологии находится драма принятия решения: спасение души зависит от правильного выбора.

Что случится с подобным взглядом на жизнь, если мы будем все больше полагаться на искусственный интеллект, предоставляя ему право решать за нас? Сегодня мы доверяем Netflix выбирать для нас фильмы и спрашиваем у Google Maps, куда поворачивать. Но как только мы начнем полагаться на искусственный интеллект в выборе образования, места работы и супруга, человеческая жизнь перестанет быть драмой принятия решений. Демократические выборы и свободный рынок потеряют смысл – а с ними и большинство религий и произведений искусства. Представьте себе, что Анна Каренина достает смартфон и спрашивает алгоритм Facebook, что ей делать: остаться с Карениным или сбежать с красавцем графом Вронским. Или вообразите пьесу Шекспира, в которой жизненно важные решения принимает алгоритм Google. Несомненно, жизнь Гамлета и Макбета стала бы более комфортной – но на что она стала бы похожа? Есть ли у нас модель, позволяющая наполнить такую жизнь смыслом?

По мере того как власть будет переходить от людей к алгоритмам, наш мир перестанет быть местом, в котором действуют независимые индивиды, стремящиеся сделать правильный выбор. Вместо этого мы будем воспринимать Вселенную в виде потока данных, а организмы – в виде биохимических алгоритмов, и верить, что космическая миссия человечества заключается в создании всеобъемлющей системы обработки данных и последующем слиянии с ней. Уже сегодня мы превращаемся в крошечные элементы внутри гигантской системы обработки данных, которую никто до конца не понимает. Каждый день я получаю поток битов информации из электронной почты, твитов и статей. На самом деле я не знаю, каково мое место в этой гигантской структуре и как мои биты данных связаны с другими, исходящими от миллиардов других людей и компьютеров. И у меня нет времени это выяснять, поскольку я занят отправкой ответов на электронные письма.

Философствующий автомобиль

Мне могут возразить, что алгоритмы не будут принимать за нас важные решения, поскольку такие решения обычно имеют этический аспект, а этика алгоритмам недоступна. Однако нет никаких причин полагать, что алгоритмы не смогут превзойти среднего человека даже в области этики. Уже сегодня смартфоны и беспилотные автомобили принимают такие решения, монополия на которые всегда принадлежала человеку. Они начинают сталкиваться с теми же этическими проблемами, которые тысячелетиями не давали покоя людям.

Предположим, например, что два ребенка в погоне за мячом выскакивают на дорогу прямо перед беспилотным автомобилем. Алгоритм, управляющий автомобилем, мгновенно определяет, что единственный способ избежать наезда на детей – выехать на встречную полосу, рискуя столкнуться с приближающимся грузовиком. Алгоритм вычисляет, что в этом случае вероятность гибели владельца автомобиля, крепко спящего на заднем сиденье, – 70 %. Как должен поступить алгоритм?[57 - Jean-Francois Bonnefon, Azim Shariff and Iyad Rawhan, ‘The Social Dilemma of Autonomous Vehicles’, Science 352:6293 (2016), 1573–1576.]

Философы с незапамятных времен спорят о «проблеме вагонетки» (в классическом примере речь идет не о беспилотном автомобиле, а о вагонетке, движущейся по рельсам)[58 - Christopher W. Bauman et al., ‘Revisiting External Validity: Concerns about Trolley Problems and Other Sacrificial Dilemmas in Moral Psychology’, Social and Personality Psychology Compass 8:9 (2014), 536–554.]. До недавнего времени эти дискуссии, к сожалению, почти не влияли на реальные поступки людей, поскольку в критические моменты они обычно забывают о своих философских взглядах и руководствуются эмоциями и интуицией.

Один из самых жестоких в истории социальных наук экспериментов был поставлен в декабре 1970 года над группой студентов Принстонской семинарии, которые готовились стать священниками пресвитерианской церкви. Каждого студента попросили прийти в другое здание и сделать краткий доклад на тему притчи о добром самаритянине. Эта библейская история повествует о еврее, которого по пути из Иерусалима в Иерихон ограбили и избили разбойники, а затем бросили умирать у дороги. Через некоторое время мимо прошли священник и левит, но не обратили на него внимания. В отличие от них самаритянин (член секты, презираемой иудеями) остановился, помог несчастному и спас ему жизнь. Мораль притчи в том, что о достоинствах людей нужно судить по их делам, а не по религиозным убеждениям.

Энергичные юные семинаристы поспешили в лекционный зал, размышляя на ходу, как лучше объяснить мораль притчи о добром самаритянине. Но экспериментаторы посадили на их пути человека в лохмотьях: он сидел в дверном проеме, опустив голову и закрыв глаза. Завидев студента, «жертва» начинала кашлять и жалобно стонать. Большинство семинаристов даже не остановились, чтобы спросить, все ли с ним в порядке, не говоря уже о том, чтобы предложить помощь. Эмоциональный стресс, вызванный необходимостью спешить в лекционный зал, заглушил моральное обязательство помочь страдающему незнакомцу[59 - John M. Darley and Daniel C. Batson, ‘“From Jerusalem to Jericho”: A Study of Situational and Dispositional Variables in Helping Behavior’, Journal of Personality and Social Psychology 27:1 (1973), 100–108.].

Человеческие эмоции оказываются сильнее философских теорий и во многих других ситуациях. Это делает этическую и философскую историю мира довольно грустным рассказом о прекрасных идеалах и поведении, далеком от идеального. Сколько христиан на самом деле подставляют вторую щеку, сколько буддистов сумели подняться над эгоистическими страстями, сколько иудеев любят своих соседей как самих себя? Такими представителей вида Homo sapiens сделал естественный отбор. Подобно всем млекопитающим, для быстрого принятия решений, связанных с жизнью и смертью, Homo sapiens использует эмоции. Мы унаследовали свой гнев, страх и вожделение от миллионов предков, каждый из которых прошел чрезвычайно строгий контроль качества – естественный отбор.

К сожалению, то, что было полезно для выживания и продолжения рода миллион лет назад в африканской саванне, не обязательно будет способствовать ответственному поведению на шоссе в XXI веке. Из-за отвлекающихся, раздраженных или нервных водителей в автомобильных авариях ежегодно гибнет более миллиона человек. Мы можем направить всех философов, пророков и священников учить водителей этике, но на дороге все равно возобладают эмоции млекопитающего и сформировавшиеся в саванне инстинкты. Поэтому спешащие семинаристы будут игнорировать страждущих, а водители в критической ситуации – наезжать на несчастных пешеходов.

Подобный разрыв между семинарией и дорогой – одна из главных практических проблем в этике. Иммануил Кант, Джон Стюарт Милль и Джон Ролз могут днями напролет обсуждать теоретические вопросы в уютной университетской аудитории. Но учтут ли их выводы водители – в опасной ситуации, когда решение нужно принять за долю секунды? Возможно, Михаэль Шумахер, чемпион «Формулы-1», которого иногда называют лучшим гонщиком в истории, обладает способностью обдумывать философские проблемы, одновременно управляя автомобилем, но большинство из нас все же не Шумахеры.