Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Многие недоразумения относительно искусственного интеллекта возникают из-за того, что люди используют приведенные в левой колонке слова для обозначения несхожих вещей. Здесь я привожу значения, в которых эти слова употребляются в этой книге. (Некоторые из этих определений будут введены и объяснены только в следующих главах книги.)

Кроме недоразумений, вызванных расхождениями в терминологии, я был свидетелем споров, возникавших по причине простых логических ошибок. Рассмотрим наиболее распространенные из них.

Хронологические мифы

Первый проиллюстрирован на рис. 1.5: сколько времени понадобится, чтобы машинный интеллект мог принципиально превзойти человеческий разум? Самая большая ошибка здесь заключается в уверенности, что мы можем знать это с большой степенью точности.

Так, один популярный миф утверждает, что мы можем не сомневаться в появлении суперинтеллекта к концу этого столетия. В самом деле, история полна примеров чрезмерного оптимизма в отношении технологических достижений будущего. Где все эти давно обещанные нам термоядерные электростанции и летающие автомобили? С AI в прошлом тоже было связано немало чрезмерно завышенных ожиданий, в том числе этим грешили и некоторые основатели самой этой области: например, Джону Маккарти (автору термина “искусственный интеллект”), Марвину Мински, Натаниелю Рочестеру и Клоду Шеннону принадлежит следующий пассаж, содержащий оптимистический прогноз относительно того, что может быть проделано при помощи двух компьютеров каменного века за два месяца: “Наш проект заключается в том, чтобы 10 человек проводили на протяжении двух месяцев летом 1956 года исследование искусственного интеллекта в Дартмутском колледже … Будет сделана попытка научить машины использовать язык, формировать абстракции и общие понятия, решать некоторые типы задач, в настоящее время доступных только людям, и самосовершенствоваться. Мы полагаем, что в одном или нескольких из предложенных направлений может быть достигнут существенный прогресс, если тщательно отобранная группа ученых будет заниматься ими на протяжении лета”.

Рис. 1.5

Типичные мифы об искусственном интеллекте.

С другой стороны, у нас есть и анти-миф: мы можем не сомневаться в том, что суперинтеллект не появится до конца этого столетия. Исследователи предлагают широкий спектр оценок того, как далеко мы находимся от сверхчеловеческого AGI, но мы никак не можем с уверенностью утверждать, что вероятность получить его к концу века равна нулю, особенно если примем во внимание всю историю удручающе низкой точности предсказаний подобного рода техноскептиков. Вспомним, как Эрнест Резерфорд, по общему признанию величайший физик-ядерщик своего времени, уже в 1933 году – всего лишь за 24 года до открытия Лео Сцилардом ядерных цепных реакций – называл возможность получения ядерной энергии “лунным светом”, или как в 1956 году королевский астроном Ричард Вули называл разговоры о полетах в космос “полной мутью”. Крайнюю форму этот миф принимает в рассуждениях об искусственном интеллекте, который никогда не сможет стать сверхчеловеческим, потому что это физически невозможно. Но физики знают, что мозг состоит из кварков и электронов, упорядоченных так, что они могут работать как мощный компьютер, и что нет такого физического закона, который мог бы помешать нам создать еще более разумный комок кварков.

Было проведено несколько крупных исследований на экспертных фокус-группах среди специалистов по искусственному интеллекту, где им предлагалось оценить, сколько времени от текущего момента может пройти, пока вероятность создания искусственного интеллекта человеческого уровня достигнет 50 %, и все эти исследования оканчивались одним и тем же: мнения ведущих мировых исследователей по этому поводу расходятся, так что мы просто не знаем. Например, во время такого опроса на нашей конференции в Пуэрто-Рико медианный ответ соответствовал 2055 году, но некоторые предсказывали сотни лет или даже больше.

Еще один имеющий отношение к тому же вопросу миф заключается в том, что люди, переживающие по поводу искусственного интеллекта, ждут его появления уже в ближайшие годы. На самом же деле подавляющее большинство из тех, чье мнение в данном вопросе значимо и кто действительно беспокоится о негативных последствиях создания AI, не ждут его раньше, чем через несколько десятилетий. Но они говорят: коль скоро у нас нет 100 % гарантий, что такое не может случиться уже в этом столетии, стоит начать вести исследования вопросов AI-безопасности уже сейчас и быть готовыми к неожиданностям. Как мы увидим в этой книге, некоторые из вопросов безопасности настолько сложны, что на их решение могут уйти десятилетия, и есть смысл заняться ими сейчас, а не накануне той ночи, когда какие-то попивающие “Рэд Булл” программисты решат запустить AGI человеческого уровня.

Мифы несогласных

Еще одно недоразумение часто возникает по причине распространенного заблуждения, заключающегося в том, что только современные луддиты, не очень-то знакомые с темой, могут выражать какие-то опасения по поводу искусственного интеллекта и призывать к исследованию связанных с ним рисков. Когда Стюарт Рассел сказал об этом во время своего выступления на конференции в Пуэрто-Рико, аудитория откликнулась громким смехом. С этим заблуждением связано еще одно общее недоразумение: что поддержка таких исследований – дело якобы исключительно спорное. В действительности для их проведения в разумных масштабах достаточно скромных инвестиций, и для этого не надо считать риски высокими – надо просто понимать, что ими невозможно пренебречь. Так, исходя из невозможности пренебречь очень невысокой вероятностью, что ваш дом сгорит дотла, вы отчисляете небольшую часть своего дохода на страхование недвижимости.

Мой собственный анализ проблемы привел меня к убеждению, что именно из-за тенденциозного освещения в масс-медиа вопросы АI-безопасности кажутся значительно более спорными, чем на самом деле. В конце концов, страх – востребованный товар, и вырванные из контекста цитаты, если из них можно сделать вывод о неминуемо надвигающейся катастрофе, соберут больше кликов, чем уравновешенный и детальной отчет о проблеме. Поэтому два человека, знающие о позиции друг друга только по опубликованным цитатам, скорее всего решат, что поводов не согласиться с мнением оппонента у них гораздо больше, чем на самом деле. Например, техноскептик, чьи представления о взглядах Билла Гейтса основаны исключительно на сведениях из британского таблоида, наверняка подумает, что тот полагает появление суперинтеллекта неминуемым, – и конечно же будет неправ. Похожим образом некто, выступающий за создание дружественного AI, прочитав процитированное выше высказывание Эндрю Ына относительно перенаселения Марса, подумает, что того не заботят проблемы AI-безопасности, и тоже ошибется. Я точно знаю, что они его заботят, – но все дело в том, что из-за его особой оценки временных масштабов возникающих проблем он отдает приоритет более близким по времени проблемам.

Мифы о природе рисков

Прочитав в Daily Mail заголовок “Стивен Хокинг предостерегает, что восстание роботов может оказаться катастрофическим для человечества”, я закрыл глаза[2 - Пример типичного алармизма по отношению к роботам в широкой прессе: http://tinyurl.com/hawkingbots (http://tinyurl.com/hawkingbots)]. Я уже потерял счет таким статьям. Обычно они сопровождаются картинкой со злобным роботом, волокущим какое-нибудь оружие, и готовят нас к тому, что когда-нибудь роботы обретут сознание, преисполнятся злобой и поднимут восстание, которого нам следует опасаться. В определенном смысле такие статьи производят на меня сокрушительное впечатление, потому что в сжатой форме предлагают как раз тот самый сценарий, который никак не пугает моих коллег по исследованию AI. Этот сценарий содержит в себе сразу три глубочайших заблуждения, относящихся к трем разным понятиям: наше беспокойство должны вызывать сознание, злобность и вообще роботы.

Когда вы едете на машине по дороге, ваше восприятие световой и звуковой гамм субъективно. А есть ли субъективное восприятие у беспилотного автомобиля? Чувствует ли он себя настоящим беспилотником или просто катится по дороге, как неразумный зомби, лишенный всякого субъективного восприятия? Хотя эта загадка – что значит быть сознающим – сама по себе интересна и мы посвятим ей 8-ю главу, она не имеет никакого отношения к теме AI-рисков. Если на вас налетит беспилотный автомобиль, вам будет безразлично, осознавал ли он себя в этот момент. Точно так же нас беспокоит не то, что почувствует сверхчеловеческий разум, а что он будет делать.

Страх, что машины окажутся злонамеренными, – еще одна расхожая бессмыслица. Наше опасение вызывают их компетенции, а не злая воля. По определению сверхразумный AI исключительно эффективен в достижении своих целей, каковы бы они ни были, и нам важно, чтобы эти цели не противоречили нашим. Вряд ли вы относитесь к тем ненавистникам муравьев, кто топчет их по злобе, но если вы руководите проектом по постройке “зеленой” гидроэлектростанции и на предназначенном под затопление участке вдруг случайно окажется муравейник, то муравьям в нем не поздоровится. Движение за дружественный AI ставит перед собой задачу сделать так, чтобы люди никогда не оказывались в положении этих муравьев.

Недоразумение по поводу сознательных машин тесно связано с представлением, будто у машин не может быть целей. У машины, очевидно, могут быть цели в том смысле, что она может проявлять целеустремленное поведение: поведение ракеты, движущейся на источник тепла, наиболее естественно объяснить целью поразить самолет противника. Если вы испытываете беспокойство по поводу того, что цель машины каким-то образом расходится с вашими собственными целями, вам безразлично, до какой степени она себя осознает и какими намерениями движима. Когда вы увидите у себя на хвосте самонаводящуюся ракету, вы не станете успокаивать себя мыслью: “У машины не может быть целей!”.

Я с симпатией отношусь и к Родни Бруксу, и к другим пионерам робототехники, которые были возмущены тем, как сеющие ужас таблоиды несправедливо демонизируют их, когда их журналисты, зациклившиеся на роботах, начинают украшать свои статьи злобными металлическими монстрами с красными светящимися глазами. На самом же деле в центре внимания движения за дружественный AI вовсе не роботы, а сам искусственный интеллект, точнее говоря, – разум с целями, не совместимыми с нашими. Для того чтобы нарушить наш покой, такому не совместимому с нашим разуму вовсе не нужно тело робота, ему достаточно доступа в интернет – в главе 4 мы покажем, как, воспользовавшись этим, он купит и перепродаст всех на финансовых рынках, затмит изобретательностью любых изобретателей, покорит своей демагогией больше обывателей, чем любой человеческий политический лидер, и придумает оружие, принципов действия которого мы даже не будем понимать. Даже если бы создание роботов было физически невозможно, сверхразумный и сверхбогатый искусственный интеллект легко бы подкупал мириады человеческих существ и манипулировал бы ими, неумышленно вовлекая их в свои изощренные торговые операции, как это происходит в фантастическом романе Уильяма Гибсона Neuromancer.

Недоразумение с роботами напрямую связано с мифом, будто машины не могут управлять людьми. Разум – путь к управлению: человек может командовать тигром не потому, что сильнее, а потому, что умнее. Если мы уступим свое положение самых умных на планете, мы можем потерять и контроль над собой.

На рис. 1.5 все эти общие недоразумения собраны воедино, так чтобы мы могли покончить с ними раз и навсегда и сосредоточить наши дискуссии с друзьями и коллегами вокруг настоящих противоречий, в которых, как мы сейчас убедимся, нет недостатка.

Дорога вперед

Вся оставшаяся часть этой книги посвящена выяснению вопроса, на что может быть похожа будущая жизнь с искусственным интеллектом, и мы займемся этим вместе. Давайте двинемся по этому пути, следуя хорошо выстроенному плану, а для этого сначала постараемся проанализировать всю историю жизни концептуально и хронологически, а затем обратимся к целям и средствам, а также к тому, какие нам следует предпринять действия, чтобы создать такое будущее, какое мы хотим.

В главе 2 мы исследуем вопрос об основаниях разума и о том, как пассивная и бессмысленная на вид материя может быть реорганизована и, благодаря этому, может обрести способность запоминать, вычислять и учиться. Когда мы перейдем к будущему, наш рассказ разветвится, и каждый из множества возможных сценариев будет зависеть от ответов, данных на ключевые вопросы. На рис. 1.6 эти ключевые вопросы собраны вместе, в том порядке, в каком мы будем с ними сталкиваться по мере совершенствования AI.

Рис. 1.6

Какие именно вопросы относительно искусственного интеллекта представляют интерес, зависит от того, насколько он развит, и от того, по какому направлению стало развиваться наше будущее.

Рис. 1.7.

Структура книги

Уже сейчас перед нами стоит вопрос о начале своего рода гонки вооружений, использующих AI-технологии, а также целый ряд вопросов о том, как сделать завтрашний AI надежным и работающим без “глюков”. Если позитивное влияние AI-технологий на экономику будет расти, нам придется решать, как преобразовывать законодательную систему и на какую карьеру ориентировать наших детей, чтобы они не оказывались вовлеченными в ту профессиональную деятельность, которой грозит скорая автоматизация. Мы рассмотрим все эти насущные уже в краткосрочной перспективе вопросы в главе 3.

Если AI в своем развитии достигнет человеческого уровня, нам придется спросить себя: а как сделать его дружественным? можем ли мы обеспечить себе с его помощью праздную жизнь? хотим ли мы этого? Отсюда также возникает вопрос о возможности AI за счет взрывного развития или постепенного, но неуклонного роста достичь уровня, значительно превосходящего человеческий. Мы рассмотрим широкий набор различных сценариев в главе 4 и целый спектр возможных последствий в главе 5 – от похожих на утопии до похожих на антиутопии. Кто стоит во главе – человек, AI или киборг? Хорошо ли с людьми обращаются? Если на смену людям приходят какие-то иные сущности, должны ли мы рассматривать пришедших как захватчиков или как потомков, достойных своих предков? Мне очень интересно, какой из предложенных в главе 5 сценариев кажется наиболее предпочтительным лично вам! Я создал вебсайт http://AgeOfAi.org (http://ageofai.org/), для того чтобы вы могли поделиться своими мыслями и присоединиться к разговору.

Наконец, мы попытаемся унестись на миллиарды лет вперед в главе 6, где, по иронии законов нашего познания, мы можем сделать гораздо более точные предсказания, чем в предшествующих главах, потому что финальные границы для жизни во Вселенной установлены не разумом, а законами физики.

Завершив исследование истории разума, мы посвятим последние разделы нашей книги рассуждениям о том, к какому будущему мы должны стремиться и как его достичь. Для того чтобы связать друг с другом бесстрастные факты и вопросы намерений и средств, мы исследуем в главе 7 физический фундамент целеполагания, а в главе 8 – сознание. Наконец, в эпилоге мы спросим себя: а что можно сделать уже сейчас, чтобы попасть в то будущее, которого мы хотим?

На случай, если вы вдруг окажетесь из тех читателей, которые любят перескакивать с одного на другое, все главы сделаны более или менее самодостаточными, при условии, что вы уже переварили терминологию и определения этой главы и начала следующей. Если вы специалист в области искусственного интеллекта, можете пропустить почти всю главу 2, кроме определений разума, данных в самом ее начале. Если тема AI для вас новая, то главы 2 и 3 объяснят вам, почему вы не должны отмахиваться от глав 4 и 6 как от немыслимой научной фантастики. На рис. 1.7 дана схема соотношения фактов и спекуляций в различных главах.

Вас ждет увлекательное путешествие. А теперь в путь!

Подведение итогов

• Жизнь, определяемая как процесс, который обладает способностью к самовоспроизводству при сохранении сложности, может проходить в своем развитии через три этапа: биологический (Жизнь 1.0), где «хард» живых организмов и их «софт» развиваются эволюционным путем, культурный (Жизнь 2.0), где «софт» может проектироваться (благодаря обучению), и технологический (Жизнь 3.0), где проектироваться может и «хард», и «софт», в результате чего жизнь получает власть над своей судьбой.

• Искусственный интеллект может позволить нам сделать Жизнь 3.0 реальностью уже в этом веке, а значит, нам пора начинать всерьез задумываться о том, к какому будущему мы должны стремиться и каким образом оно может быть достигнуто. В разворачивающейся по этому поводу полемике есть три основных лагеря: техноскептики, цифро-утописты и участники движения за дружественный AI.

• С позиций техноскептиков задача создания сверхчеловеческого универсального AI настолько сложна, что, если и поддается решению, то на это потребуется не одна сотня лет, и сейчас глупо беспокоиться по этому поводу (равно как и о Жизни 3.0).

• Цифро-утописты полагают появление его уже в этом веке вполне вероятным и искренне приветствуют переход к Жизни 3.0, рассматривая ее как естественный и желанный шаг в космической эволюции.

• Движение за дружественный AI также полагает появление сверхразума в этом веке вероятным, но его сторонники не считают гарантированными плюсы такого сценария – они должны быть обеспечены результатами напряженной исследовательской работы в области AI-безопасности.

• Помимо этих законных разногласий между ведущими мировыми экспертами, есть также досадные псевдо-противоречия, вызванные непониманием сути проблемы. Например, бессмысленно тратить время на споры о «жизни», «разуме» или «сознании», если нет уверенности, что стороны в споре одинаково трактуют соответствующие понятия! Определения, используемые в этой книге, сведены в таблицу 1.1.

• Следует отдавать себе отчет в существовании распространенных заблуждений, поясняемых рис. 1.5: сверхразум к 2100 году неизбежен / невозможен. Искусственный интеллект беспокоит только луддитов. Главная опасность в том, что AI может стать злонамерен и/или действовать осознанно, и от этой опасности нас отделяют всего несколько лет. Прежде всего, надо обезопаситься от роботов. Искусственный интеллект не может контролировать людей и не может ставить перед собой целей.

• В главах 2–6 мы рассмотрим историю разума с непритязательного ее начала миллиарды лет назад к возможному космическому будущему миллиарды лет спустя. Сначала мы рассмотрим проблемы, возникающие в ближайшей перспективе: нехватку рабочих мест, автономные системы оружия, создание универсального интеллекта человеческого уровня. Затем мы исследуем разнообразные возможности совместного существования людей и машин – очень интересно, какой из вариантов предпочли бы вы!

• В главах 7, 8 и эпилоге мы перейдем от бесстрастных описаний к исследованию целей, сознания и смысла и попытаемся выяснить, что в наших силах сделать прямо сейчас ради достижения того будущего, какого бы нам хотелось.

• На мой взгляд, этот разговор о будущем жизни с искусственным интеллектом – самый важный для нашего времени. Пожалуйста, присоединяйтесь к нему!

Глава 2

Материя начинает думать

Водород … по прошествии некоторого времени … превращается в людей.

    Эдвард Роберт Харрисон, 1995

Одно из самых примечательных превращений, испытанных немой и бессмысленной материей за 13,8 миллиарда лет после Большого взрыва, – это обретение ею разума. Как могло это произойти и до каких пределов может продолжаться? Что может сказать наука об истории и о будущем разума во Вселенной? Чтобы облегчить понимание, давайте посвятим эту главу исследованию фундамента, на котором он возникает, и кирпичиков, из которых он построен. Что именно мы имеем в виду, утверждая, что некий сгусток материи разумен? Что мы подразумеваем, когда говорим о способности некоего объекта помнить, вычислять и обучаться?