2062: время машин

Для кого эта книга?

Эта книга написана для всех, кому интересно, куда приведет нас ИИ. Здесь действительно есть над чем задуматься. Лишит ли ИИ людей работы, даже такой, которая требует креативности? Будет ли он обладать сознанием? Что появление ИИ значит для концепции свободной воли? Какими этическими качествами будет (или должен) обладать ИИ? Поможет ли он обществу или навредит? Изменит ли наше представление о себе? Какое влияние окажет на саму суть человечества?

Ответы на эти вопросы я буду давать по мере обсуждения социальных и этических аспектов нашего перехода в цифровой мир. Частично я буду опираться на тренды, которые заметны уже сегодня, и экстраполировать свои выводы на будущую ситуацию. Однако настоящее не определяет будущее раз и навсегда. Только решения, которые мы принимаем сейчас, сформируют мир далекого будущего. Поэтому я буду рассматривать как хорошие, так и плохие возможные варианты развития событий. От нас зависит, какой итог мы получим.

Эта книга сосредоточена на 2062 годе. В следующей главе я буду ссылаться на мнение большинства экспертов в сфере ИИ, которое заключается в следующем: существует пятидесятипроцентный шанс, что к этому времени мы создадим машины, способные мыслить так же, как мы. Возможно, эта дата чересчур оптимистична и нам придется ждать этого до 2220 года. Большинство экспертов считают, что с вероятностью в девяносто процентов дело обстоит именно так. Вне зависимости от конкретной даты, самое интересное начнется, когда компьютеры нас превзойдут.

Эта книга предназначена для интересующегося читателя, который тем не менее не является экспертом в данной области. В ней содержится парочка графиков, но нет никаких уравнений. Я не рассказываю здесь ни что такое ИИ, ни в каком он состоянии на данный момент. Если вам это интересно, читайте мою предыдущую книгу «Оно живое!». В примечаниях вы найдете ссылки, дополнительные объяснения и просто забавные наблюдения, но если вы их пропустите, то ничего не потеряете[17 - Как я говорил в своей предыдущей книге, вы действительно можете игнорировать примечания!]. Однако если вы хотите побольше узнать о технической стороне вопроса, примечания снабдят вас дополнительными подробностями и списком литературы по теме.

Философ Ник Бостром предположил в 2015 году, что «искусственный интеллект будет иметь большое значение, являясь, возможно, самой важной вещью из когда-либо созданных человечеством». Если он прав, то необходимо изучить, к каким последствиям это приведет.

2. Наш конец

Столетиями мы привыкали к мысли о том, что машины могут быть лучше нас. В прошлом, однако, только наши мышцы проигрывали конкуренцию машинам, способным выполнить больший объем физической работы, чем человек. В последние пятьдесят лет речь идет уже о нашем мозге – как минимум, если рассматривать точечные интеллектуальные задачи. К 2062 году борьба, вероятно, будет окончена. Homo digitalis победят.

Тот факт, что первый чемпион мира проиграл компьютеру почти сорок лет назад, кажется удивительным. 15 июля 1979 года чемпион мира по нардам Луиджи Вилла был повержен программой Ханса Берлинера BKG 9.8 со счетом 7:1. По горькой иронии судьбы Вилла был чемпионом мира всего один день до своего проигрыша компьютеру. Самый недавний подобный случай произошел в 1997 году, когда действующий чемпион мира по шахматам Гарри Каспаров проиграл компьютеру Deep Blue от компании IBM. Описывая свое поражение, Каспаров так представил будущее, которое ждет человечество: «Я играл со многими компьютерами, но ничего подобного никогда не испытывал. Я понимал, я мог почувствовать, что передо мной новый вид интеллекта. И, хотя я играл на пределе своих возможностей, у меня не было шансов; компьютер показал прекрасную, безупречную игру и легко выиграл»[18 - Garry Kasparov, ‘The Day That I Sensed a New Kind of Intelligence’, Time, 25 March 1996.].

Так же, как и разгром Виллы, поражение Каспарова было жестоким итогом. Он считался многими одним из величайших шахматистов за всю историю игры. В 1985 году, когда он впервые стал чемпионом мира, он был самым юным спортсменом, который добивался таких результатов. Спустя двадцать лет он покинул шахматы, но остался самым высокооцениваемым игроком. То есть самым высокооцениваемым игроком-некомпьютером. Очень жаль, что некоторые могут запомнить Каспарова только как первого чемпиона мира по шахматам, проигравшего компьютеру.

Компьютеры для игры в шахматы с тех пор сильно изменились. Ни Каспаров, ни действующий чемпион мира Магнул Карлсен не способны соперничать с лучшими из доступных программ. Каспаров, конечно, постарался бы победить мобильное приложение Pocket Fritz 4. Рейтинг Эло этой программы составляет 2898, тогда как максимальный рейтинг Каспарова – 2851[19 - Рейтинг Эло описывает относительный уровень соревнующихся в играх, где участвуют двое игроков. Система была названа в честь ее создателя, Арпада Эло, американского профессора физики венгерского происхождения. Рейтинг обновляется всякий раз, когда игрок побеждает или проигрывает, а также меняется в зависимости от рейтинга соперника. Полагаться на тот рейтинг Эло, который присваивается компьютерным программам, однако, не всегда стоит, так как они часто играют совсем немного официальных игр. Тем не менее разрыв между ними и нашими лучшими шахматистами так велик, что человек практически не имеет шансов против компьютера.].

Когда программа пользуется бо?льшими вычислительными ресурсами, чем те, которые содержит мобильное устройство, у человека практически нет против нее шансов. Deep Fritz, который можно запустить на обычном компьютере, имеет рейтинг Эло 3150. Разница в триста очков между ним и Каспаровым означает, что вероятность победы российского шахматиста составляет один к пяти в отдельно взятой игре и стремится к нулю в длительном соревновании. Я как человек, обладающий гораздо более низким рейтингом Эло, не имею почти никаких шансов на победу в матче против Deep Fritz.

Но шахматы вовсе не пострадали от такого распределения сил. Наоборот, машины помогли развитию игры в нескольких направлениях. Теперь компьютеры дают профессиональные советы начинающим игрокам. Они также открыли нам новые ходы, о наличии которых мы, быть может, никогда бы и не догадались. Так что их господство в шахматах пошло на пользу самой игре.

Запуск всех систем

Март 2016 года – еще одна важная точка в истории ИИ. Именно тогда программа AlphaGo от компании DeepMind победила Ли Седоля, одного из лучших игроков в го на планете. Го – древняя и очень сложная китайская настольная игра, в которой нужно помещать черные или белые камешки на доску размером 19?19 так, чтобы захватить большую часть территории.

Го – гораздо более сложный случай, чем шахматы, по нескольким причинам. В шахматах существует двадцать возможных ходов в каждом отдельно взятом случае. В го таких ходов может быть около двухсот[20 - В го первый ход того, кто играет белыми, подразумевает триста шестьдесят один возможный вариант (размеры доски – 19?19). Тот, кто играет черными, может сделать триста шестьдесят разных ходов. Затем, когда игрок белыми делает второй ход, возможных вариантов остается уже триста пятьдесят девять и т. д.]. В шахматах часто не так сложно определить, кто побеждает: за каждую фигуру на столе можно начислить определенное количество очков, и игрок с наибольшим количеством очков, вероятно, лидирует. В го же все фигурки одинаковы. Для того, чтобы определить, кто побеждает, нужно внимательно следить за тем, какую территорию занимает каждый из участников. Человеку требуются годы практики, чтобы научиться хорошо играть в го.

В мае 2017 года DeepMind убедительно доказала, что победа над Седолем в 2016-м не была одержана AlphaGo случайно. В матче на 1,8 миллиона долларов[21 - Все суммы в долларах (за исключением тех мест, где это специально оговорено) приводятся в валюте США.] улучшенная версия программы победила китайскую легенду го Кэ Цзе, который впоследствии был назван лучшим игроком в мире.

Однако, несмотря на то что эти две победы значат очень много для развития ИИ, не стоит переоценивать их значимость. AlphaGo была специально разработана для игры в го. Потребовалось бы очень много усилий, чтобы приспособить ее для других игр, таких как, например, покер[22 - В октябре 2017 года DeepMind представили AlphaGo Zero. Это улучшенная версия AlphaGo, которую не учили играть в го вручную и не показывали игры лучших спортсменов. Ей были даны только правила игры. То есть ее познания не основывались на тысячах лет человеческого опыта в этой игре, а складывались из того, что она освоила самостоятельно. После трех дней практики программа уже играла на сверхчеловеческом уровне. Как и многие мои коллеги, я был впечатлен. Всего три дня требуется компьютеру, чтобы оказаться там, куда человечество шло тысячелетиями. Еще больше я был впечатлен, когда в декабре 2017-го компания представила AlphaZero, еще более универсальную версию, которая также смогла научиться играть в шахматы и сёги (японские шахматы) на сверхчеловеческом уровне только на основе знания правил. Однако есть определенные сомнения (по моему мнению, существенные) в том, что программа может научиться играть во что-то совсем другое. Шахматы, го и сёги – настольные игры для двух человек. Покер же, например, подразумевает не только большее число игроков, но и много новых факторов, таких как неопределенность и человеческая психология. Для того чтобы выиграть в покер, необходимо иметь дело с неполной информацией о картах соперников, тогда как в го все сведения о том, что происходит в игре, доступны обоим участникам. Кроме того, в покере приходится сталкиваться с психологическими трюками соперника, например блефом. Ни AlphaGo, ни AlphaZero не приспособлены для решения подобных задач. Чтобы доказать универсальность программы, DeepMind должны будут продемонстрировать ей способность побеждать в совершенно разных играх, таких как шахматы, покер или StarCraft. И даже тогда алгоритм AlphaZero будет ограничен только играми.]. Трудно представить, что те же техники, которые работают в AlphaZero (новейшая версия AlphaGo работает исключительно на основе знания правил игры), будут работать и в азартных играх. Разумеется, AlphaZero не способна водить машину, написать роман или перевести юридический документ.

Другое заблуждение может заключаться в том, что результат, которого достигла AlphaGo, появился ниоткуда, а потому указывает на некий «экспоненциальный» рост в сфере ИИ. На самом деле это не так. Это, несомненно, важное достижение DeepMind, привлекшее к себе столько внимания, заслуживает всяческих похвал. Однако, несмотря на то что AlphaGo предлагает некий новый способ соединения компонентов, сами компоненты остаются практически неизменными[23 - AlphaGo не была первой искусственной нейросетью, которая научилась играть во что-то на нашем уровне. TD-Gammon – программа для игры в нарды – была разработана в 1992 году в научно-исследовательском центре Томаса Дж. Уотсона в IBM. Она показывала уровень чуть ниже, чем у лучших игроков в нарды того времени. Программа использовала стратегии, которые людям и не приходили в голову, и помогла взглянуть на нарды с новой стороны. Так же, как и AlphaGo Zero, она знала только правила игры и научилась всему благодаря постоянной практике.].

До появления AlphaGo самой успешной компьютерной программой была CrazyStone, написанная Реми Куломом[24 - Реми Кулом – талантливый французский программист.]. В 2014 году Кулом сказал в интервью, что первая победа программы над профессиональным игроком состоится через десять лет. Однако AlphaGo потребовалось немногим больше года, чтобы победить Фэна Хуи, трехкратного чемпиона Европы, и еще один, чтобы победить Ли Седоля.

Так или иначе, DeepMind приложили больше всех усилий к решению этой задачи. Раньше программы для игры в го писались одним человеком; над AlphaGo работало около пятидесяти человек. Это заняло меньше одной десятой того времени, которое этот процесс должен был занять по мнению Кулома, но потребовало количество людей, превышающее предполагаемое более чем в десять раз.

DeepMind также имели доступ к обширным серверным фермам Google, которые позволили AlphaGo играть миллиарды раз против себя самой. Даже если бы человек всю жизнь не занимался ничем другим, кроме игры в го, он бы все равно не смог даже приблизиться к такому количеству партий. Из этого следует, что AlphaGo не так уж быстро учится. Люди, в отличие от подобных программ, могут научиться что-то делать, увидев это лишь единожды. Мы всё еще пытаемся создать ИИ, который мог бы учиться на основе такого маленького количества данных. Так что, несмотря на то что победы AlphaGo стали важным символическим моментом для ИИ, они не были таким прорывным достижением, каким его представляет для вас PR-отдел Google[25 - Реклама, которую победа AlphaGo сделала для Google на китайском рынке, вероятно, окупила все многомиллионные затраты DeepMind на разработку программы. С другой стороны, это может выйти Google боком, так как все это подвигло китайцев на создание собственного ИИ. Если один из китайских гигантов вроде Baidu или Tencent выиграет гонку в сфере искусственного интеллекта, Ларри Пейдж и Сергей Брин могут проклясть тот день, когда они разбудили спящего дракона.].

Не только игры

Игры представляют для ИИ простую задачу. Обычно в них есть четкие правила, а победителя легко определить. Такие игры, как шахматы или го, обычно требуют от игрока незаурядных умственных способностей, а потому неудивительно, что для испытаний ИИ они подходят идеально.

Однако машины превзошли человека не только в играх. Мы наблюдаем, что компьютеры начинают работать эффективнее человека и в некоторых более прикладных областях. Например, в медицине компьютеры читают электрокардиограммы лучше врачей. В Стэнфордском университете команда под руководством Эндрю Ына, бывшего главы отдела исследований ИИ в Baidu, построила модель машинного обучения, которая может определить аритмию по электрокардиограмме лучше, чем квалифицированный врач.

Другой пример – рак. Команда Google применила машинное обучение для того, чтобы диагностировать рак груди по отчетам о патологии точнее, чем это способны сделать люди. Кроме того, это значительно ускоряет и удешевляет процесс. Третий пример: еще в 1980-е экспертная система PUFF диагностировала заболевания легких наравне с врачами в калифорнийской больнице. Искусственный интеллект уже делает наше здравоохранение лучше, быстрее и дешевле.

Компьютеры начинают обгонять людей и в деловой сфере. Возьмем, к примеру, фондовый рынок. BlackRock – самый крупный владелец активов в мире. Компания управляет более чем пятью триллионами долларов. Многие из активов уже контролируются алгоритмами. Компьютеры имеют серьезное преимущество в этом поле деятельности перед людьми: они могут проанализировать огромный объем данных. Способны выполнять задачи, которые не под силу нам: заниматься мониторингом спутниковых данных с парковок магазинов или анализировать интернет, чтобы предсказать объем продаж и экономический рост.

Другая область, которую подчиняют себе компьютеры, – страхование. В Японии компания Fukoku Mutual Life Insurance теперь обрабатывает выплаты с помощью Watson, искусственного интеллекта от IBM. Как только компания начала пользоваться ИИ, она сократила тридцать четыре сотрудника, которые раньше выполняли эту работу. Сейчас она рассчитывает с помощью ИИ экономить около миллиона долларов в год.

Теперь обратимся к юридической сфере. Различные стартапы вроде Luminance могут автоматически обрабатывать огромные и неупорядоченные объемы данных, чтобы помочь юристам проводить экспертизу по контрактам. Программа может найти несоответствия вдвое быстрее людей. Более того, благодаря программе отныне для выполнения этой задачи не нужно обладать такой высокой компетенцией.

Подобные случаи применения ИИ уже меняют многие профессиональные области. Сложно представить, что какой-то сектор экономики останется нетронутым к 2062 году.

Общий искусственный интеллект

Все ИИ, которые мы обсуждали до этого, были способны решить только одну конкретную задачу. Играть в го. Читать маммограммы. Анализировать акции. Цель разработки общего искусственного интеллекта (ОИИ) – написать программу, которая может делать все так же, как (или лучше, чем) человек. До осуществления этой цели нам все еще далеко, и, несмотря на те спекуляции, которые можно увидеть в прессе, выполнению этой задачи препятствуют серьезные факторы.

Во-первых, люди быстрообучаемы. Им приходится такими быть. У них это в ДНК. Нет времени учиться на собственных ошибках, когда за тобой гонится тигр. Системы ИИ же учатся не так быстро. Последние успехи в их обучении, связанные с игрой в го, переводом с китайского или распознаванием изображений, основываются на обработке огромного количества данных.

Существует множество условий, в которых мы не имеем такого количества данных, а также условия, в которых мы никогда их не будем иметь. К примеру, мой робот сломается, если упадет слишком много раз, когда будет учиться ходить. Мы также не обладаем большим количеством информации, если речь идет о каком-то редком заболевании. Или в случае, если фондовый рынок обрушится. Чтобы заполнить эти лакуны, нужно создать ИИ, который учится так же быстро, как человек.

Во-вторых, люди хорошо умеют объяснять свои решения. Это не менее важно, чем умение их принимать. Я могу не согласиться на операцию, если врач не сможет объяснить, почему она необходима. Ядерный реактор должен объяснить, почему он прекращает работу. Системы же ИИ всё еще остаются черными ящиками[26 - В авиации черный ящик (на самом деле он обычно красного или оранжевого цвета) записывает много внутренней информации о самолете. Черный ящик в ИИ – это система, где можно видеть только входные и выходные данные. Невозможно пронаблюдать, что происходит внутри и как входные данные превращаются в выходные. Противоположность черного ящика – стеклянный ящик, который позволяет следить за внутренними процессами.]. Они дают ответы, но не объясняют, как их получили. Алгоритм глубокого обучения может определить, что на фотографии кошка, но не сможет сказать, как он это определил. По наличию шерсти или четырем милым лапкам? Он также не может сказать, почему это не собака. Нам нужно создать такой ИИ, который будет способен объяснить свое решение.

В-третьих, люди хорошо понимают мир, в котором живут. Когда мы рождаемся, мы почти ничего не знаем о том, как он устроен. Вот яблоко падает на землю из-за гравитации. Вот дождь – выпаренная влага, капающая с неба. Вот Земля вращается вокруг Солнца, а Луна – вокруг Земли. Разумеется, Луна подчиняется тем же законам гравитации, что и яблоко. Мы выучили все это и многое другое. Мы собираем информацию и синтезируем ее в общее представление о том, как работает наша Вселенная.

Современные ИИ на такое не способны. Если вы предлагаете компьютеру перевести фразу «мужчина был беременным», он не поймет, что она звучит странно. Если показать ему картинку человека, выпускающего из руки яблоко, он не сможет определить, что яблоко впоследствии упадет на землю с ускорением в 9,8 м/с

. Нам все еще необходимо разработать ИИ, который будет иметь цельное представление о мире. Систему, которая обладала бы нашим здравым смыслом.

В-четвертых, люди хорошо умеют адаптироваться. Помести нас в новую ситуацию – мы тут же начнем приспосабливаться к ней. Когда на космическом корабле «Аполлон-13» взорвался бак с кислородом, весь мир затаил дыхание, пока астронавты и диспетчеры адаптировались к невозможным условиям и вернули экипаж на Землю невредимым.

Умение приспосабливаться и сделало нас доминирующим видом (и не только как в описанном выше случае) на планете.

Системы ИИ – довольно хрупкая вещь. Малейшие изменения в поставленной задаче нарушают ее работу. Существует специальная область изучения ИИ, занимающаяся поиском причин, по которым система работает некорректно. Какие изменения во внешнем виде знака «стоп» могут помешать ИИ его распознать? Какие похожие объекты он может принять за этот знак?

Нам еще предстоит создать такую систему ИИ, которая выходит из строя постепенно, как человек.

Сколько нам осталось?

С некоторыми узкими задачами машины справляются гораздо лучше человека. Однако мы все еще даже не приблизились к тому, чтобы построить ОИИ. Когда это произойдет? И как скоро после этого компьютеры станут умнее людей? Создаст ли это для нас проблемы? Или для наших детей и внуков? Учитывая миллионы лет, которые потребовались для возникновения человеческого разума, возможно, это произойдет не так скоро? Возможно, через века или даже тысячелетия? А может, вовсе никогда не случится?

На конференции 2017 года в «Асиломаре», посвященной будущему ИИ, Эндрю Макафи заметил: «Любой, кто уверенно озвучивает предсказания, связанные с будущим ИИ, врет либо вам, либо самому себе». Я постараюсь проигнорировать этот мудрый совет и все же попытаюсь сделать прогноз. Вообще-то, я не буду ничего предсказывать сам, за меня это сделает толпа экспертов в области ИИ. Понадеемся, что она кое-что смыслит в теме.

В январе 2017 года я попросил триста моих коллег, ученых, занимающихся искусственным интеллектом, дать оценку тому, сколько времени понадобится, чтобы преодолеть препятствия на пути к ОИИ. Я также опросил около пятисот человек, не являющихся экспертами в этой области, чтобы поместить утверждения моих коллег в контекст.

Люди, не имеющие отношения к ИИ, – читатели моей новостной статьи о программе Libratus, которая выиграла в покер у нескольких выдающихся игроков. В конце статьи я попросил читателей поучаствовать в небольшом опросе о противостоянии человека и машины. Я ожидал несовпадения между результатами этого опроса и мнением экспертов. И оказался прав.

Учитывая, что время, которое потребуется на создание ИИ, способного конкурировать с человеком, невозможно определить с точностью, опрос включал в себя три пункта. Когда вероятность того, что компьютер сможет заменить человека (хотя бы среднего специалиста) во всех профессиях, будет составлять десять процентов? Когда эта вероятность вырастет до пятидесяти процентов? А когда до девяноста? Это повторение вопросов из исследования 2012 года, опубликованного в книге Ника Бострома «Искусственный интеллект»[27 - Бостром Н. Искусственный интеллект. Этапы. Угрозы. Стратегии. М.: Манн, Иванов и Фербер, 2016.]. Я хотел посмотреть, стали ли люди называть более близкие даты по сравнению с 2012 годом по причине всей шумихи, которая создавалась вокруг ИИ в последнее время. Опрос, проведенный Бостромом, был одним из главных доказательств его теории, что ИИ представляет относительно близкую угрозу для человечества. Если создание ОИИ ожидается в скором будущем, нам придется воспринять его предупреждение всерьез.

Но все оказалось иначе. Эксперты оказались в своих прогнозах относительно создания человекоподобного ИИ гораздо более осторожны, чем неэксперты. В качестве даты, когда вероятность этого составит девяносто процентов, эксперты в среднем называли 2112 год, а неэксперты – 2060-й[28 - Средний прогноз – это год, к которому, как говорят опрошенные, компьютеры сравняются с человеком по уровню интеллекта. Основной прогноз отсылал к неопределенному количеству времени в будущем: небольшой процент экспертов и обычных людей предположили, что этого никогда не произойдет.].

Голливуд и текущая популярность темы ИИ – вот объяснение полувековой разницы между этими датами. Я часто шучу, что лучшее, что ИИ может сделать, чтобы успокоить людей и улучшить собственный имидж в их глазах, – основать сценарное агентство в Лос-Анджелесе.