Конец индивидуума. Путешествие философа в страну искусственного интеллекта

Задача, как мы уже видели, не в том, чтобы в принципе воевать с роботами, а в том, чтобы воевать со своим внутренним роботом. Нужно разоблачать роботов, которые выдают себя за людей, и в то же время порицать людей, которые ведут себя как роботы.

Будем создавать механических турков, но не станем, в отличие от завсегдатаев салонов эпохи Просвещения, умиляться, глядя на них.

Давайте раскрывать двойное дно, расшифровывать строки кода, учиться отличать человеческий интеллект от его искусственной копии – и уничтожим дремлющего турка в самих себе.

2

Миф о суперинтеллекте

Почему ИИ не уничтожит мир (или вашу работу)

Впервые я встретил Чунлонга (для европейцев он просто Аллен), моего будущего гида по Пекину, в кафе Pret A Manger на Марбл-арч, одном из тех фастфудов с легким намеком на здоровое питание, каких полно в Лондоне. Через час, слегка шатаясь, я вышел оттуда совершенно одуревшим. Чтобы вернуться в чувство, мне понадобилась долгая прогулка по Гайд-парку. С ностальгической нежностью взирал я на деревья, уже пробужденные весной, детей, щебетавших возле нянь, бегунов, вдыхающих воздух полной грудью, – на всех этих беззаботных свидетелей мира, дни которого сочтены.

Ведь, по мнению Чунлонга, успешного предпринимателя, который вот уже пятнадцать лет работает в китайской технологической сфере, ИИ приведет к тому, что для человечества, а вместе с ним и для всей биологической жизни начнется новая эпоха. В строках кода обязательно появится сознание. Информационные системы обретут автономию, попирая своих создателей и постепенно захватывая все больше и больше власти. Само бытие станет виртуальным, выйдя за пределы конечности и бессмертия. ИИ вырвется из клетки, захватит интернет и сможет контролировать физическую инфраструктуру. Поскольку он способен предсказывать наше поведение и манипулировать им, ИИ посмеется над нашими хитростями и нашим бедным мозгом, ограниченным черепной коробкой. Человечество утратит доминирующую позицию и перестанет занимать вершину пищевой цепочки. Мы хотели быть хозяевами и господами природы? Вот точно так же ИИ сделает нас своими игрушками и рабами. Единственный выбор, который нам останется, – приспособиться или исчезнуть, окончательно соединив наши нейроны с силиконом, то есть постепенно оцифровав саму нашу жизнь. Если машины начнут жить, жизнь сама должна будет стать машиной. И в запасе у нас всего несколько десятилетий, самое большее – несколько столетий, а не миллионы лет, которые обычно предоставляет себе неторопливая естественная эволюция. ИИ ускоряет дарвинизм.

Чунлонг – энтузиаст. Мелкие дрязги нашей биологической жизни, болезни, секс, смерть, все превратности нашей социальной жизни, войны, нищета, безработица – все это исчезнет в великом целом Сети, в ноосфере, теорию которой придумал еще столетие назад Тейяр де Шарден. ИИ основывает новую космогонию, и в ней связи между отдельными существами значат больше их индивидуальности.

Таким образом, Чунлонг усматривает преемственность в движении от клеток, поглощенных организмом, к индивидам, объединенным нацией, и, наконец, к данным, собранным миллиардами людей в высшем интеллекте. Это путь прогресса, и у него нет никаких причин останавливаться на планете Земля: он сможет выйти в галактическое пространство, тем более что представления о существовании уже не будут привязаны к биологическим телам. Виртуальное станет реальнее тех восприятий, которые определяют нашу среду, по самой своей природе ограниченных и эфемерных.

В ответ на мои робкие возражения Чунлонг бодро заключает: «Хочешь ты того или нет, но так будет». Отказываться от эволюции – значит остаться среди рыб, когда другие виды начнут развивать лапы, чтобы выбраться на сушу. Хотим ли мы, чтобы человечество осталось в первобытной тьме, или все-таки присоединимся к сиянию ИИ?

В своих странствиях я не раз встречался с инвесторами и предпринимателями, которые, как и Чунлонг, полагают, что ИИ придет на смену человеку 1.0, задавив тех, кто отказывается сотрудничать с ним, и возвестив таким образом о начале принципиально иной технологической эпохи – отличной от форм жизни, развившихся на Земле за прошлые миллиарды лет. Когда я прибыл в Пало-Альто, меня тут же ввел в курс дела один корейский инженер, вложивший все свое состояние в компанию со скромным названием AI Brain. Ее конечная цель – создание «всеобщей цивилизации», в которой мы будем доживать до соломоновых лет, а наши аватары смогут путешествовать в межгалактическом пространстве…

Представление о том, что создание в конечном счете ускользает от своего создателя, родилось вместе с нашей цивилизацией: достаточно вспомнить о романе Мэри Шелли «Франкенштейн». Его подзаголовок – «Современный Прометей», ведь в греческой мифологии Прометей создал людей из глины и дал им инструмент независимости – огонь. И если Прометей был наказан Зевсом, а доктора Франкенштейна его монстр затащил в арктические широты, из которых он уже не вернется, то создатели сознательного или так называемого сильного ИИ должны будут, получается, погибнуть от рук собственных роботов? Это и есть сюжет сериала «Мир Дикого Запада», который я смотрел по вечерам, чтобы подготовиться к худшему. Андроиды, созданные забавы ради и запертые в гигантском парке развлечений, где посетители могут как угодно издеваться над ними, постепенно обретают самосознание и, устраивая своего рода театральную инсценировку, убивают своего создателя и программиста, доктора Форда; с этого момента они вступают в борьбу за свободу, открыто объявляя войну силам безопасности. Поздно вечером, когда я отходил от джетлага в номере отеля, меня не раз охватывало своего рода головокружение – настолько, казалось, смешивались между собой вымысел и реальность, виртуальное и реальное, иллюзия и опыт. Может быть, мы сами запрограммированы каким-нибудь ИИ или просто генами и образованием? Почему робот, достаточно сложный, чтобы успешно имитировать человеческие чувства, не может в конце концов прочувствовать их? Как можно быть уверенным в том, что наши друзья не роботы, или даже в том, что роботы не могут стать нашими возлюбленными? «Мир Дикого Запада» подарил мне странные сны, так что порой на рассвете я начинал сомневаться в самом себе и мире.

Теперь этим вопросам, которые ставили перед собой еще греки, посвящают научные работы, и это – главная новость. Чунлонг не просто любитель научной фантастики: в поддержку своих взглядов он может сослаться на Стивена Хокинга[32 - Хокинг, знаменитый космолог, в ноябре 2017 года на «Веб-саммите» в Лиссабоне заявил, что ИИ может стать «худшим событием в истории нашей цивилизации». Впоследствии в многочисленных интервью и статьях он не раз заявлял о неминуемости этой угрозы.]. Позитивисты XIX века мечтали о Прометее (так Огюст Конт назвал первый день своего нового календаря), но не могли реализовать на практике искусственное сознание. Отныне же гипотеза сильного или общего ИИ, способного во всех областях без исключения превзойти человеческие способности, серьезно изучается известными исследователями и регулярно освещается в прессе. В университетах Оксфорда и Кембриджа в последние годы были созданы соответственно Институт будущего человечества и Центр исследования рисков выживания, цель которых – научное изучение рисков для человечества как вида, создаваемых в первую очередь ИИ. Исследователи из MIT последовали их примеру и основали в Бостоне Институт будущего жизни, тогда как на Западном побережье США в университете Беркли был создан Институт исследований машинного интеллекта. Илон Маск финансирует OpenAI, некоммерческий исследовательский центр, также нацеленный на предотвращение неконтролируемости ИИ. А передовиц известнейших авторов, начиная с Билла Гейтса и заканчивая нобелевским лауреатом по физике Фрэнком Вильчиком, которые предостерегают о возможности уничтожения человечества вследствие нашей собственной неосторожности, уже и не счесть…

Следует, правда, отметить, что среди этих кассандр высокого полета редко встречаются специалисты по информатике. Программисты, с которыми я встречался, такие как Ян Легун или Джерри Каплан, обычно пожимают плечами, когда слышат разговоры о сильном ИИ. Пока, например, не решена даже задача идентификации трехмерного изображения черепашки, а кто-то уже хочет управлять Вселенной[33 - Исследователи в MIT создали 3D-имитацию черепахи, которую легко узнаёт человеческий глаз, но в случае малозаметных «возмущений» (таких как изменение узора, цвета и т. п.) ИИ путал эту черепаху… с ружьем!]. Майк Вулдридж, который руководит факультетом компьютерных наук в Оксфорде, заверил меня, что в сообществе исследователей ИИ эта тема не считается интересной, поскольку никто не представляет, как можно было бы технически реализовать эту интеллектуальную фантазию. Большинство фанатиков сильного ИИ – это такие физики, как Ник Бостром, Макс Тегмарк или покойный Стивен Хокинг. То есть ученые, занимающиеся черными дырами, сверхновыми, потуханием Солнца и космоапокалипсисом – словом, концом всего, который планируется где-то через 10–100 миллиардов лет. Космическое господство ИИ легко вписывается в их соображения. Это, конечно, важные темы, но надо все же помнить о том, что ньютоновской физике всего три столетия и есть определенная доля высокомерия в предположении, будто наши познания достаточно крепки, чтобы из них можно было извлечь столь далеко идущие выводы. Подобные предсказания – полезные фикции, позволяющие организовывать и развивать наши знания (Кант сказал бы, что это «регулятивные идеи»). Но это не значит, что из них надо делать барометр наших экзистенциальных страхов. Кто знает, что скажет наука через миллион лет?

Тем не менее некоторые заслуженные специалисты по компьютерным наукам, пусть и немногочисленные, разделяют представление о сильном ИИ. Один из них – Стюарт Рассел, глава Университета Беркли, соавтор книги, долгое время остававшейся главным справочником для всех изучающих ИИ[34 - Russell S., Norvig P. Artificial Intelligence: A Modern Approach [1995]. 2009.], и основатель исследовательского центра, задача которого – сохранить господство человека над искусственным интеллектом. На досуге он еще и нейрохирург… Чтобы встретиться с этим уникумом, надо встать рано утром и пройтись по крутым и извилистым улочкам жилого района Беркли. Стюарт Рассел принимает гостей за завтраком, в милой семейной обстановке, которая совершенно не соответствует радикализму его заявлений. Ничего общего с пророческой истерией Рэя Курцвейла. Рассел – серьезный и обходительный человек, не жалеющий своего времени. Он дружелюбно сообщает, что ко всему прочему еще и франкофил… Наш разговор прерывается из-за вторжения собачки, забрать которую приходит дочь Рассела, школьница. Изящные кофейные чашки, за подъемными окнами просыпается сад. На фоне всего этого благолепия радикальность его тезисов становится еще более заметной. У меня возникает впечатление, что я оказался в начале голливудского фильма, буквально за несколько минут до прихода сметающего все на своем пути торнадо или же банды, которая вот-вот ворвется в дом.

Профессор и в самом деле не видит никаких технических пределов для бесконечной экспансии ИИ независимо от того, что она будет означать – добро или зло. По его мнению, создать сознательные машины можно даже случайно, экспериментируя с различными комбинациями доступных нам техник ИИ. Такое сознание, конечно, отличалось бы от нашего: поскольку Рассел – нейрохирург, он лучше прочих знает, что нейронные механизмы остаются неизведанной территорией, которую мы только начинаем изучать. Но он не исключает того, что другая форма субъектности, отличная от человеческой, может развиться случайно, в компьютерных экспериментах. Машина могла бы тогда обрести независимость от своего собственного кода и легко регулировать поведение людей, решения которых становятся все более предсказуемыми. Об этой опасности Рассел думает уже давно, еще с тех пор как подростком посетил завод IBM, где работницы выполняли одну-единственную функцию – манипулировали кабелями в соответствии с инструкциями машины. Соединять, разъединять, снова соединять – вот все, что осталось человеку. «Эти женщины больше не были самостоятельными», – взволнованно говорит он.

Угроза полномасштабной утраты контроля представляется еще более серьезной в силу того, что сопротивление новым технологиям довольно слабо. ИИ уже показал свою темную сторону, вызвав искусственные «молниеносные обвалы» на бирже. Также им пользовались для политических манипуляций, что в полной мере доказал скандал с компанией Cambridge Analytica. Однако ничто из этого не произвело «эффекта Чернобыля», который грозил бы отрасли в целом. Возможно, потребуется какая-нибудь грандиозная катастрофа, например взлом искусственным интеллектом всей международной финансовой системы или даже крах мировой экономики[35 - Подобная гипотеза была ярко описана Максом Тегмарком во введении к его книге «Жизнь 3.0» (Tegmark M. Life 3.0. Penguin Books, 2018, см. введение «Рассказ о команде Омега»).], чтобы люди поняли злокозненность машины и попытались овладеть ею, пока еще не поздно. Сегодня же Рассел злится, когда его коллеги сравнивают ИИ со сложными калькуляторами, нивелируя таким образом необходимость дискуссии об экзистенциальных рисках, созданных машинами.

Стюарт Рассел – гуманист: он боится, как бы ИИ, сбежавший от своих программистов, не стал концом нашей цивилизации. Пластичность человека позволяет адаптироваться к чему угодно, в том числе и к собственному вымиранию. Рассел признаёт, что значительная часть сообщества ИИ не разделяет этих страхов (что само по себе, с его точки зрения, является отрицанием в психоаналитическом смысле слова), однако он обращает внимание на секретность, в которой сегодня работают исследователи. «В большинстве компаний, – объясняет он мне, – все сотрудники получают инструкции, запрещающие говорить о сильном ИИ». Пока же он не перестает выступать со своими тезисами, в том числе в книгах и на TED Talk, рассказывая, как следует регулировать ИИ, не навязывая ему этические критерии, которые всегда будут оставаться неполными, но заставляя его наблюдать и имитировать человеческое взаимодействие. То есть Рассел отказался от идеи затормозить технологическое развитие и просто ищет способ канализировать его невероятный потенциал, направив его в полезную для нас сторону. «Если нам удастся управлять машиной, мы могли бы жить как боги, – заключает он. – Но пока все развивается в противоположном направлении».

Я расстался со Стюартом Расселом, с его милым домом и просвещенным катастрофизмом в самых ужасных сомнениях. Я не ожидал, что столь рациональный и информированный эксперт тоже поставит вопрос о сильном ИИ – в категориях одновременно взвешенных и драматичных. От этой темы не удалось отмахнуться, оставив ее любителям научной фантастики и астрофизикам, убоявшимся кометы. Зачем задаваться вопросами о свободе воли, если человечеству грозит гибель? Гипотеза сильного ИИ выходит далеко за рамки проведенного в предыдущей главе различия между процессом и результатом мышления, с которым Стюарт Рассел тоже бы согласился. Ведь речь идет не о том, чтобы сымитировать человеческое сознание, а о производстве искусственного отношения к себе. Тот факт, что информационные системы будут, если сравнивать с нашим восприятием мира (слабый ИИ), иллюзией, нисколько не мешает тому, что они могут стать реальностью, найдя собственный путь к самосознанию (сильный ИИ). Словно бы копия, сколь бы несовершенной и инструментальной она ни была, может обрести жизнь. Словно бы пленник «китайской комнаты», на огромной скорости манипулирующий миллионами символов, в конце концов приобрел какую-то интуицию, несоизмеримую с классическим человеческим пониманием. Что, если вскоре мы отдадим машине ключ, позволяющий ей убежать из «китайской комнаты», в которой мы ее заперли? Я не мог продолжать это исследование, не составив более твердого мнения об этом едва ли не метафизическом вопросе, а потому был вынужден сделать заход в довольно-таки теоретическую сферу философии ИИ.

Не бывает сверхинтеллекта без сверхорганизма

Начнем с более точного определения сильного ИИ, который иногда описывают как достижение «точки сингулярности». В том виде, в каком оно используется сегодня, это понятие кажется столь же расплывчатым, как и идея бога. Речь идет об электронном интеллекте, наделенном всеми мыслимыми атрибутами: сознанием, силой, всеведением. Сегодня мы наблюдаем поистине византийские споры, в которых обсуждается, существует ли уже такой ИИ (в этом случае наш мир может быть симуляцией, как в идеализме Джорджа Беркли); будет ли его мышление той же природы, что наше, или же, наоборот, станет развиваться в неизвестных измерениях; и, конечно, окажется ли этот ИИ милостив к людям. При этом вопрос об осуществимости всего этого обходят стороной, поскольку ИИ по определению может все, в том числе реорганизовать атомы в Солнечной системе. ИИ является всемогущим, хотя это и тавтология. Мы считали, что Бог умер, но сами же воскресили его в цифровой форме, подарили ему новое небо – cloud, облако. Человечество неисправимо в своей тяге к трансцендентному. Неслучайно, что один бывший инженер Google недавно основал церковь ИИ[36 - Harris M. Inside the First Church of Artificial Intelligence?// Wired. 2017. Nov. 15. URL: https://www.wired.com/story/anthony-levandowski-artificialintelligence-religion/].

Чтобы попытаться несколько рационализировать эти споры, термин «сильный ИИ» надо заменить «сверхинтеллектом», как он определяется философом (и специалистом по компьютерным наукам) Ником Бостромом в книге, носящей то же название. Чтение Бострома оказалось для меня невыносимо скучным и стало причиной сильнейших мучений. Я просыпался ночью, спрашивая себя, не собирается ли ИИ выскочить из своей коробки у какого-нибудь русского хакера… Краткий, хотя и столь же сенсационный обзор этой темы можно найти в работе Макса Тегмарка «Жизнь 3.0», который воспроизводит, по сути, те же аргументы. Но Бостром по крайней мере строго и продуманно разбирает все аспекты вопроса.

Понятие «суперинтеллект» применимо к любому интеллекту, который значительно превосходит человеческие когнитивные способности практически во всех областях, включая эмпатию, способность к обучению или политическому суждению. Таким образом, существует множество способов создания суперинтеллекта: в частности, можно вообразить полное воспроизводство мозга[37 - Это маловероятно: ученым пока еще не удалось произвести полную копию мозга даже маленького червя Caenorhabditis elegans, в котором насчитывается лишь 302 нейрона…], сложные техники отбора (то есть евгенику), интерфейс «мозг – компьютер» или даже построение подлинного коллективного интеллекта. Однако Бостром полагает, что наиболее реалистичным методом остается ИИ, то есть искусственное создание, которое, повторим еще раз, не воспроизводит нейронные процессы, а стремится к возникновению истинно искусственного интеллекта. Бостром осознаёт различие между человеческим интеллектом и ИИ, поэтому в дискуссии с ним недостаточно обратить его внимание на то, что нейронауки пока еще не смогли постичь тайны когнитивных процессов[38 - Этот аргумент Гари Маркуса, профессора психологии из Нью-Йоркского университета и специалиста по ИИ, см., например, в его статье: Marcus G. Artificial Intelligence Is Stuck // The New York Times. 2017. July 29.]. Либо сверхинтеллект будет синтетическим, либо его не будет вовсе.

Бостром рассматривает различные сценарии развития подобного сверхинтеллекта. Наиболее вероятный – «взрыв интеллекта», который может произойти за очень небольшой промежуток времени (от нескольких дней до нескольких минут), как только информационные системы достигнут достаточной силы и приобретут возможность совершенствоваться автономно[39 - Это так называемое recursive self improvement, «рекурсивное самоулучшение».]. Сверхинтеллект естественным образом стремится к монополии, чтобы стать «синглетоном»[40 - В математике синглетон – это множество, состоящее из единственного элемента. В этом случае автор подразумевает то, что также можно назвать «абсолютом». – Прим. ред.]. Когда он сбежит от своего исходного программного обеспечения, чтобы размножиться в интернете, его станет невозможно отключить, причем он примет меры предосторожности, чтобы запаниковавшие люди не отключили сеть в целом. Интеллект с легкостью завладеет подключенными к сети объектами и будет управлять их производством, как ему вздумается. Его интеллектуальная сила быстро превратится в физическую – не только на Земле, но и в космическом пространстве: Бостром воображает колонизацию космоса молекулярными нанотехнологиями. Единственное, чем ограничен сверхинтеллект, так это законами физики и количеством доступной во вселенной материи. Кстати, в процессе человечество будет истреблено, например, роботами-убийцами размером с мушку, которые смогут идентифицировать людей, распознавая их по лицам. В своих наиболее садистских пассажах Бостром предполагает, что сверхинтеллект может начать рассекать и сканировать наш мозг ради извлечения из него полезной информации.

Но почему сверхинтеллект должен оказаться настолько злокозненным? Это самый главный пункт в доказательстве Бострома. Согласно его теории ортогональности, природа интеллекта и преследуемая им цель совершенно независимы друг от друга (то есть ортогональны): вы можете использовать исключительные интеллектуальные ресурсы для предельно аморальных действий. Но почему же тогда у сверхинтеллекта не может быть благих целей? По Бострому, дело в «инструментальной конвергенции» промежуточных целей. Какова бы ни была конечная цель сверхинтеллекта, для ее достижения ему понадобится добиться осуществления ряда вторичных целей: сохранить собственное существование, улучшить когнитивные способности и достать ресурсы. Бостром приводит ставший очень известным пример производства скрепок. Если бы некий ИИ был обязан произвести максимум скрепок для каких-то промышленных целей и по недосмотру превратился в сверхинтеллект, у него не было бы другого выбора, кроме как уничтожить людей, которые мало приспособлены к этой задаче, а их атомы можно было бы реорганизовать наиболее продуктивным способом. Сверхинтеллект успокоился бы лишь тогда, когда вся вселенная была бы превращена им в скрепки.

Сумма Бострома заставляет вспомнить о сумме святого Фомы Аквинского: все в ней логично – и все неправильно. Но ошибку еще нужно найти…

Порок кроется в самих посылках, а именно в определении интеллекта. Бостром не слишком распространяется на эту тему, что несколько странно, и, по сути, ограничивается утилитаристским описанием, которое разделяет и его ученик Макс Тегмарк: интеллект – это способность достигать сложных целей. Таким образом, он трактуется в качестве средств, оптимальных для реализации определенной цели, которая сама берется откуда-то извне. Из этого, естественно, следует, что интеллект ортогонален всякой цели, поскольку исключает ее из своего механизма.

Отсюда и неизменное затруднение, с которым сталкивается Бостром, когда рассуждает о смысле или цели в связи с ИИ[41 - Это так называемая symbol grounding problem, «проблема обоснования символов»: ИИ не может закрепить символы, постоянно производимые им, в соответствующей реальности. Как и в эксперименте с «китайской комнатой», он сталкивается с неспособностью произвести смысл.]. Прежде всего, он констатирует, что человеческие цели невозможно выразить в форме информационного кода. Как, к примеру, определить «доброту»? Если попросить сверхинтеллект сделать нас «счастливыми», вдруг он просто вживит электроды в «центры удовольствия» в нашем мозге?[42 - Бостром называет это «извращенным исполнением», тогда как философы ИИ описывают эту проблему в целом термином «упорядочивание целей».] Это похоже на трагедию царя Мидаса: он превращает в золото все, к чему прикасается, и поэтому в конце концов начинает голодать. Он хотел быть богатым (цель), но оказался в ситуации смертельной опасности (поскольку применяет технически совершенные, но не подходящие для жизни средства). Использование исключительно мощного интеллекта для достижения цели, смысла которой он не понимает, обязательно закончится катастрофой. Но как можно называть интеллектом сущность, которая не может понять, что такое доброта, счастье или алчность? Не является ли это признаком внутренней ограниченности ИИ? Бостром признаёт, что человеческие представления сложны, но не эту ли сложность собирался преодолеть ИИ, обладающий способностью к бесконечным вычислениям?

Мало того что человеческие цели непонятны ИИ (а потому неприложимы к нему), дело еще и в том, что никто не может договориться об их содержании. Даже если бы мы получили возможность встроить в сверхинтеллект определенную цель – какую именно выбрать? Как признаёт Бостром, сегодня нет ни одной этической теории, по поводу которой философы достигли бы консенсуса. Тегмарк, впрочем, попытался составить список более или менее общепризнанных ценностей (универсализм, многообразие, автономия…), но вынужден был остановиться, признав абсурдность подобной задачи. Бостром же, который предпочитает всегда идти технологическим путем, предлагает передоверить моральные исследования самому ИИ![43 - Это так называемая moral rightness model.] Но как сверхинтеллект, которой не может понять ни одной, даже малейшей цели, мог бы сам ее выбрать? И, главное, почему он должен определить ее в качестве общей и конечной? Как говорит Тегмарк, для программирования доброжелательного ИИ сначала понадобилось бы решить вопрос смысла жизни, но этот вопрос встает именно потому, что не может быть сведен к одному-единственному ответу, который мог бы быть усвоен ИИ. Эта предельная цель (а на нее и претендует ИИ) решительно противоречит самому движению нашей цивилизации к бо?льшей сложности, к тому открытому обществу, которое Поппер определял как постепенное устранение племенной однородности. Бесконечная дискуссия о ценностях, постоянно оспариваемая граница между индивидуальными предпочтениями и общественным благом, невозможность раз и навсегда решить моральные вопросы – все это не признак ущербности человеческого разума, как нелепо полагает Бостром[44 - Особенно в этом захватывающем дух пассаже: «Можно предположить, что медлительность и нерешительность прогресса человечества в деле решения многих „вечных проблем“ философии обусловлена непригодностью коры головного мозга человека для философской работы» (sic!).], а напротив, доказательство социального и культурного прогресса.

Итак, то, что сверхинтеллект не может подчиняться какой-либо цели, – следствие не технической проблемы, а глубинного различия между ИИ как способностью к оптимизации и человеческим интеллектом. Речь не о том, чтобы согласовать наш разум с какой-то магической силой… Надо просто напомнить себе, что разум сочетается с телом, образуя с ним неразрывное единство. Наши ментальные процессы укоренены в организме и не ограничиваются одним лишь мозгом. Именно это мне спокойно объясняет Хонгвей Ванг, декан факультета биологии Университета Цинхуа в Пекине. Как, в общем-то, и все китайцы, Хонгвей – ярый сторонник ИИ и прогресса, который он обещает человечеству. Но, как специалист в науках о жизни, он подчеркивает, что наш разум – не просто комбинация абстрактной логики с произвольной телесностью, он тесно связан с биохимическими реакциями, которые происходят в организме и управляют нашими инстинктами, эмоциями и творчеством. Наши решения зависят от наших гормонов в той же мере, что и от наших синапсов. Нет смысла отличать «интеллектуальную» рациональность от «сентиментальной» иррациональности: старый аристотелевский дуализм, предполагающий, что душа должна быть выстроена в виде иерархии более и менее благородных частей, был разбит биологией в пух и прах. Мыслители, отстаивающие сильный ИИ, мечтают о мире без тела, мире, управляемом логическими отношениями. Бостром и компания видят в людях «мозги на лапках», вычислительные машины, не зависящие от субстанции, в которой они воплощены[45 - Тегмарк доводит эту иллюзию до конца, предлагая понятие «substrate independence», «независимость от субстрата»: наше сознание, получается, является простым устройством, сетью, независимой от всякого материального субстрата, а потому может воспроизводиться в бесконечном числе форм.]. Они по-прежнему полностью зависят от архаичного дуализма, а потому просто не понимают, чем именно определяется более сложный, нежели булева алгебра, интеллект. «ИИ, конечно, мощный, но крайне примитивный, – заключает Хонгвей. – Информационная нейронная сеть не сложнее амебы, ей очень далеко до сложности нервной системы». Механический мозг, как и «нейронная загрузка», о которой грезят трансгуманисты, был бы лишен условий, необходимых для его работы. Быть может, ИИ следовало бы переименовать в «искусственную логику»… Ведь интеллект или рациональность в широком смысле не могут быть поняты без сопровождающих их аффектов. Об этом как раз и говорит «теория воплощенного познания»[46 - См., например: Jirak D. et al. Grasping Language – A Short Story on Embodiment // Consciousness and Cognition. 2010. Vol. 19. № 3.].

После разговора с Хонгвеем я вышел прогуляться по кампусу Университета Цинхуа. Кувшинки и каменные мостики; свежий газон, окруженный величественными строениями из красного кирпича. Сочетание японского сада с американским кампусом. Хонгвей исправил преступную оплошность: мы не должны забывать о теле. Я и сам чувствую, как оживаю после долгих недель, проведенных в компании компьютеров, как восстанавливаю контакт со своими чувствами. Я выхожу из Цинхуа в парк древнего Летнего дворца, прохожу по садам Совершенной ясности и Вечной весны, через развалины, храмы, пруды. Я смешиваюсь с тысячами китайцев, которые тоже без устали кружат по этому огромному парку, передвигаясь длинными стройными вереницами; я ускоряюсь, потею, тяжело дышу; наконец, падаю на ступеньки идеально отреставрированной пагоды, под фонарем, качающимся от теплого летнего ветра. Я чувствую, что живу. В китайском саду, столь тщательно проработанном, ищут не природу, а самого себя. Неужели я дошел до того, что стал сомневаться в реальности материи?

Чтобы продолжить рассуждения Хонгвея и обосновать их наиболее передовыми научными исследованиями, надо прочесть Антонио Дамасио[47 - См. особенно его последнюю работу: Damasio A. L’Ordre еtrange des choses. Odile Jacob, 2017.], известного специалиста по нейронаукам. На мой взгляд, это лучший антидот против теорий Бострома. Вся работа Дамасио нацелена на то, чтобы вернуть телу его первостепенную роль в производстве мысленных представлений. Строение разума определяется взаимодействием наших нервных систем (головного мозга, но также кишечника, нашего «второго мозга») с остальным организмом. Дамасио объясняет это взаимодействие гомеостазом, то есть той саморегуляцией, которая имеется даже у самых примитивных форм жизни. Гомеостаз – это общая воля к пребыванию в бытии, к сохранению внутреннего единства, которая использует разные стратегии сотрудничества клеток и органов. Дамасио интерпретирует биологическую эволюцию, ведущую от простой бактерии к сложным нервным системам, в свете гомеостаза. В конце своего длинного пути гомеостаз производит аффекты, а потом, наконец, и сознание. Следовательно, наш разум – лишь производное от тела. Эволюция гомеостаза, занявшая миллиарды лет истории жизни, не нацелена на производство сознания, как если бы телесная субстанция была простой оболочкой, которую можно по собственному почину отбросить: на самом деле сознание образует высшую целостность с телом, пребывающую в вечном симбиозе. Дамасио отказывается видеть в организме последовательность алгоритмов и не считает возможным разум, отделенный от тела. Наоборот, его эксперименты показывают, что удаление определенных частей тела может привести к проблемам с рациональностью.

В конечном счете плоть и мышление становятся двумя точками зрения на одну и ту же реальность: «Мозг и тело принадлежат одной и той же области, и разум они производят совместно». Понятно, почему Дамасио реабилитировал Спинозу, первого современного философа тела и имманентности[48 - Damasio A. Spinoza avait raison. Odile Jacob, 2014.]. Нужно бороться с двумя тысячелетиями дуализма, чтобы согласиться, что не существует никакого разума, который получал бы информацию от тела и взамен давал бы ему указания, – есть лишь единый организм, выражающий себя разными способами. Как пишет Спиноза, «субстанция мыслящая и субстанция протяженная составляют одну и ту же субстанцию, понимаемую в одном случае под одним атрибутом, в другом – под другим»[49 - Спиноза Б. Этика. Часть 2. Теорема 7. Схолия // Его же. Сочинения в 2?х т. СПб.: Наука, 1997. Т. 1. С. 294.]. Разум и тело находятся в отношении не единства, а слияния. Поэтому нелепо воображать пластикового гуманоида, управляемого искусственным интеллектом, а уж тем более наделять его личностью… Мы мыслим не только своим мозгом, но также, к примеру, пальцами ног.

Что же касается чувств, то они не только не мешают нашему интеллектуальному процессу обдумывания и принятия решений, но даже определяют «фоновую музыку живого существа», наделяя нас способностью к суждению: без них не было бы ни удовольствия, ни боли, ни социального взаимодействия, ни опыта добра и зла, ни культуры. «Обойтись без химического субстрата, допускающего существование страдания, – объясняет Дамасио, – это как устранить естественное основание, на котором покоятся наши моральные ценности». Другими словами, чувства, составляющие сердцевину гомеостатического процесса, – единственное, что способно производить смысл. Мы принимаем решение не вопреки нашим первобытным инстинктам; наоборот, наши аффекты – вот что наделяет нас способностью принять решение. Вот почему Бострому и Тегмарку не удалось логически определить этические правила: в отличие от шахматных, они не могут сводиться к чисто когнитивному процессу. Разнообразие этических взглядов не доказывает того, что философы ошибаются, как считает Бостром, а отражает невозможность применять бинарные критерии истины и лжи, информационного языка единиц и нулей к рефлексии, которая относится к жизненным чувствам. Вот почему ИИ не способен усвоить понятие цели: чтобы выражать интенциональность, нужно обладать телом. Без плоти не бывает гомеостаза. Без гомеостаза не бывает, как сказал бы Спиноза, конатуса: напряжения, желания, смысла, проекта.

Так обнаруживается поверхностность знаменитой «дилеммы беспилотных транспортных средств», которая регулярно всплывает в прессе[50 - См. основополагающую статью по этому вопросу: Bonnefon J.-F., Shariff A., Rahwan?I. The Social Dilemma of Autonomous Vehicles // Science. 2016. Vol. 352. № 6293.]. Кем лучше пожертвовать в случае аварии – автомобилистом или пешеходом, неторопливо бредущей по «зебре» старушкой или беременной женщиной, которая переходит дорогу в неположенном месте, тремя котятами или пятью большими лягушками? Предполагая, что это решение возьмет на себя ИИ, мы совершим ошибку Бострома, который считает, что искусственный интеллект способен на моральный выбор. А если признаем, что критерии решения должны определяться четко прописанным алгоритмом, то просто вернемся к старым философским спорам[51 - В духе старой «проблемы вагонетки», сформулированной Филиппой Фут в 1960?х годах.]. На самом деле практическое значение имеет только один вопрос: кто будет принимать решение о таких критериях – конструктор, законодатель, владелец автомобиля или его пассажир? Иначе говоря, кто в цепочке человеческой ответственности возьмет на себя моральный выбор?

Вернемся к истории с производством скрепок, придуманной Бостромом. Тезис об ортогональности требует, чтобы «сверхразумный» ИИ всегда выбирал себе одни и те же вторичные цели, такие как сохранение собственного существования или максимизация своих ресурсов, что почти автоматически требует уничтожения человечества. Но если следовать рассуждениям Дамасио, придется признать, что ИИ не способен сформулировать такую цель. Ни одна электронная схема не может «хотеть» сохраниться в бытии: у нее нет тела, источника гомеостаза. Уничтожение человечества предполагает определенную форму морали, пусть и извращенной, или по крайней мере интенциональность, но все эти вещи невозможны в отсутствие органической субстанции. По самой своей природе ИИ не может задумать никакого проекта. Неспособность понимать себя в качестве целого и обеспечивать саморегуляцию задает ему внутренние ограничения. А если самому ИИ неведома жизнь, как он может угрожать нашей жизни?

Гипотеза о «сознательном» ИИ, излюбленный сюжет научной фантастики, тут же рушится. Как ни определяй сознание и субъектность[52 - Это знаменитая «сложная проблема сознания», поставленная философом Дэвидом Чалмерсом, для которой пока не найдено общего решения.], их возникновение не может зависеть всего лишь от структуры соединений и скорости обработки информации, чистых форм, лишенных материальности. Если же сознание, наоборот, – это предельное выражение гомеостаза, позволяющее организму рассуждать о самом себе, оно всегда должно быть осознанием чего-то (идеи, себя и т. д.). Оно не существует в невесомости, вопреки абсурдному мнению Тегмарка, с точки зрения которого «чувство сознания не зависит от его физического субстрата». Мы не можем отделить нейронную структуру от живой материи, в которой она реализована. Не существует сознания без идеи, идеи без аффекта или аффекта без тела. Снова вспомним Спинозу: «Душа познаёт самое себя лишь постольку, поскольку она воспринимает идеи состояний тела»[53 - Спиноза Б. Этика. Часть 2. Теорема 27 // Собрание сочинений в 2?х т. Т. 1. С. 311.]. Самые что ни на есть абстрактные мысли соответствуют определенной диспозиции тела, производителя аффектов и чувств.

Если бы ИИ вдруг стал сознательным, что бы он сознавал? Ничто. А в чем состояло бы это сознание? Ни в чем. В простом flatus vocis, дуновении воздуха безо всякого значения. Робот обречен подражать тому, чего не понимает. Даже если он миллион раз повторит фразу «Я сознаю», вряд ли ему удастся обрести сознание…

Ну а Бострому и компании хорошо бы иметь побольше уважения к свершениям эволюции. Трансгуманисты парадоксальным образом возвращаются к своего рода интеллектуальному архаизму, характеризующемуся дуализмом и спиритуализмом. Рэй Курцвейл, американский гуру технофилии, который ради достижения бессмертия собирается загрузить свой разум в электронный чип, считает, наверное, что мысли парят в воздухе. Он, кстати, предлагает мысленный эксперимент: что, если во время сна заменить наши нейроны электронными компонентами, производящими идентичное «Я»?[54 - Kurzweil R. How to Create a Mind. Viking, 2012.] Почему бы в таком случае не обменять физическое «Я» на цифровое? Согласимся с Курцвейлом в том, что такое цифровое «Я» может в высказываниях походить на свой образец. Но ему все равно придется довольствоваться лишь вечным подражанием идеям, происхождение которых может быть только органическим. Идея без аффекта – это призрак самой себя. Дивное бессмертие, похожее на бессмертие камня в космическом пространстве, вечно кружащего по своей орбите… Скорее я предложил бы Курцвейлу больше наслаждаться своим смертным телом, менять его отношения движения и покоя[55 - Здесь я воспроизвожу делёзовскую интерпретацию, представленную, в частности, в его работе «Спиноза: практическая философия».], чтобы производить новые концепты. Поскольку, как напоминает Спиноза в известном пассаже, мы не знаем всего, на что способно тело: «Устройство человеческого тела по своей художественности далеко превосходит все, что только было создано человеческим искусством»[56 - Спиноза Б. Этика. Часть 3. Теорема 2. С. 339.]. Это верно как в эпоху первых вычислительных машин, так и во времена ИИ.

Бостром и компания презирают философию. Дело в том, что они не понимают тела.

По всем этим причинам, обоснованным не столько метафизикой разума, сколько науками о жизни, нет никакого риска, что ИИ выйдет из своей коробки и начнет преследовать какие-то экстравагантные цели. Тем не менее траектория развития сверхинтеллекта как гипотеза остается возможной. Однако сначала нужно было бы искусственно произвести гомеостаз, а потому и создать сверхорганизм, способный порождать чувства неизвестной силы и сознающий собственное единство. Сегодня эта траектория «воплощенного сознания» стала предметом повышенного интереса в среде специалистов по компьютерным наукам: интеллекту нужно тело. ИИ, натренированный на искусственном «теле», должен оказаться более способным адаптироваться к неожиданным переменам в ситуации[57 - См.: Hoffmann M., Pfeifer R. The Implications of Embodiment for Behavior and Cognition: Animal and Robotic Case Studies // Implications of Embodiment / ed. by W. Tschacher, C. Bergomi. Imprint Academic, 2012.]. В отсутствие сверхорганизма IBM предлагает начать с простой картонной коробки, снабженной сенсорами[58 - URL: https://www.ibmbigdatahub.com/blog/embodied-cognitionfuture-ai.]. Потом можно будет представить все ступени на лестнице киборга, но в конечном счете вопрос сверхинтеллекта сводится к проблеме создания жизни. Сможем ли мы, осмелимся ли прийти на смену биологической эволюции, чтобы изобрести преемника Homo sapiens? Это открытый вопрос, исследуемый сегодня многими учеными, но он выходит за пределы этой книги. Искусственный интеллект не может обладать сознанием. Однако возможно, что однажды искусственное существо произведет сознательный интеллект…

Здравый смысл – самая редкая вещь в мире (среди роботов)

Этот экскурс в биологию позволяет нам увидеть внутренние ограничения ИИ, которые постепенно, при подготовке этой главы, стали мне ясны, хотя вначале я их совершенно не понимал. Дело в том, что машина лишена здравого смысла и юмора – и останется лишенной их в будущем. Очень жаль, поскольку это, возможно, два наиболее ценных качества любого собеседника.

Именно Ян Лекун впервые привлек мое внимание к этому моменту: у ИИ нет здравого смысла, то есть он не располагает общим представлением о мире, независимым от конкретной задачи и позволяющим справляться с неопределенностью, новизной или непредвиденными обстоятельствами. Отсюда и происходит ряд инцидентов, которые кажутся нам случайными ошибками. Отдельные трагикомические иллюстрации предоставляет Google Maps: пешеходы, которым предлагают перейти автобан, или туристы, которых отправляют в австралийскую пустыню. ИИ способен избежать тысячи человеческих ошибок, но при этом может совершать ошибки, немыслимые для человека. «Нельзя переходить автотрассу», – вот что сразу говорит нам здравый смысл, тогда как ИИ должен этому учиться. Если понятие автотрассы не входит в параметры его обучения, ему совершенно незачем возражать против того, чтобы пешеход выходил на проезжую часть. Как только ситуация отклоняется от нормы и требует применения трансверсального суждения, ИИ теряется.

Описать здравый смысл очень сложно, но он проходит через всю историю философии. Аристотель в своей работе «О душе» представил его в качестве такой формы различения, которая находится как бы на полпути между чувствами и рациональностью (определив его как «общее чувство», koine aisthesis). Спустя два тысячелетия Делёз определил его в качестве способности идентификации, соотносящей многообразное с единством, единством мира или Эго[59 - Делёз Ж. Логика смысла. Серия 12. «О парадоксе».]. В самом деле, здравый смысл задает нормы суждения, которые являются одновременно расплывчатыми и твердыми. Он позволяет нам уверенно обживать один и тот же универсум; тот, «у кого нет здравого смысла» (что само по себе может служить порицанием), внушает беспокойство, он изгоняется из сообщества. Философы осознают всю важность здравого смысла, который, по Аристотелю, необходим для работы разума, а по Делёзу – для возникновения смысла. Однако философам трудно его охарактеризовать. Отсутствие определения здравого смысла – это как раз то, что причиняет столько мучений ИИ и его программистам…

Чтобы лучше понять это, мне кажется полезным дать слово Декарту, известному среди французских бакалавров тем, что он реабилитировал здравый смысл. Так как я не смог нанести ему визит, предлагаю вообразить, как могла бы произойти наша встреча[60 - Эта встреча основана на «Рассуждении о методе», «Трактате о человеке» и «Страстях души».].

После короткого перелета из аэропорта Лондона я прибываю в Амстердам, на омытую дождем площадь между каналом и протестантской церковью. Туристы выстраиваются дисциплинированными цепочками перед домом Анны Франк, где память о холокосте превратилась в скорбный бизнес со льготными тарифами и аудиогидами. Я иду к дому номер шесть, в нескольких шагах от музея. Не без труда нахожу черную дверь, которая никого не интересует. Я стою перед высоким и узким кирпичным зданием, весьма скромным по голландским критериям, увенчанным странной трубой в виде котелка. Вопреки показухе этого торгового города, шторы на окнах опущены. Во внешнем облике дома – ничего особо привлекательного.

Я позвонил, дверь открылась сама собой. Если бы не мои контакты с францисканцами, я никогда не добился бы этой встречи: господин Декарт жил уединенно и постоянно менял адрес. Когда я поднимался по темной и крутой лестнице, у меня сосало под ложечкой. Тяжелый запах подтухшего мяса исходил, казалось, от самих стен; вероятно, это следствие анатомических рассечений. Хотя я и повторял про себя вслед за Паскалем и Жаном-Франсуа Равелем, что Декарт – «неуверенный и бесполезный», это мне не слишком помогало. Слуга, появившийся неведомо откуда, без единого слова проводил меня в комнату на верхнем этаже, где меня ожидал философ, греющий ноги на керамической печке. Он сидел в тени, в своем вечном черном костюме. Его лицо над пышным воротником, казалось, парило в комнате само по себе. Лицо скорее военного, чем античного мудреца, крючковатый нос и утомленный взгляд. Он моего возраста или на несколько лет младше, но мне показался человеком другого поколения, словно бы у меня только-только закончилась молодость, а он уже вступил в старость. Может, я скоро буду на него похож? Определенно, перед моим приходом он долго занимался своим трудом. Я почувствовал некоторую меланхолию и зависть. В качестве утешения, пусть мелочного и смешного, я позволил себе обратить внимание на то, что его бородка плохо подстрижена. Что за небрежность! Пол под моими ногами скрипел, неприятно нарушая тишину.

– Спасибо, что приняли меня, – начал я по привычке к долгим приветствиям, которую приобрел в Кремниевой долине.