Конец индивидуума. Путешествие философа в страну искусственного интеллекта

Тем более что искусственный интеллект должен быть мечтой всякого философа. Разве не удобно было бы создать мыслящую машину, которая избавила бы нас от логических ошибок, индивидуальных предрассудков, концептуальных заблуждений? Создать алгоритм, который посчитает истину и даст нам наконец, после тысячелетий однообразных споров, ответ на наши самые важные вопросы о смысле жизни? Концептуальное мышление – это, по сути, всего лишь приближение; тогда как полная система символов, управляемая научными законами, позволяет максимально подойти к истине. Первым об этом начал мечтать Лейбниц, гений математики и метафизики, который искал формулу машины для подсчета мыслей, «универсальной характеристики», ведущей к правильному рассуждению. Гигантская комбинаторная машина, которую Лейбниц назвал calculus ratiocinator, автоматически прогнала бы все химеры разума. В этом совершенно рациональном мире «больше не было бы нужды в дискуссии двух философов более долгой, нежели дискуссия двух математиков, поскольку им достаточно будет взять в руки перо, усесться за свои счетные доски и сказать друг другу: подсчитаем!»[7 - Leibniz W. Nova methodus pro maximis et minimis. 1668.]

Такой же идеал мы встречаем у всех великих предшественников искусственного интеллекта: Гильберта, Фреге и, конечно, Алана Тьюринга – все они поддерживали тесные отношения с логикой и аналитической философией[8 - Интеллектуальную историю ИИ см. в: Davis M. The Universal Computer. W.W. Norton, 2000.]. Если логическая точность – то, что позволит человеческому разуму лучше воспринимать реальность, тогда превращение реальности в цифровую комбинацию могло бы успешно заменить собой человеческий разум. Отсюда насмешливый ответ Deep Thought, суперкомпьютера из романа «Автостопом по Галактике»: когда его попросили решить «последний вопрос жизни, Вселенной и всего остального», он сказал: «42». Это число стало потом легендарным, оно продолжает то и дело всплывать в разговорах гиков. Разве не наступил бы покой, если бы все смыслы, пронизывающие наши жизни, удалось свести к ничего не значащей цифре?

Это родство информатики и логики сохраняется и сегодня, навязчиво преследуя посетителя причудливого здания департамента компьютерных наук в MIT: войдя в кабинет Лесли Келблинг, ветерана исследований в области ИИ, я обнаружил ее в окружении книг по аналитической философии – она увлекается Уиллардом Куайном. Этот подход весьма далек от интеллектуальной традиции континентальной Европы. В конце прошлого века Делёз довел это противопоставление до предела, определив философию в качестве «производства концептов», то есть деятельности, связанной скорее с творческим процессом, чем с научной строгостью. Концепт невозможно свести к последовательности единиц и нулей: он проецирует на наш мир новый смысл, дополнительную перспективу. Такой благодатный момент часто наступает, когда, заново прорабатывая какой-нибудь сухой трактат по метафизике, мы внезапно «понимаем» его смысл. Все концепты тогда естественным образом складываются воедино, и глаз начинает скользить по странице с неожиданной легкостью. Словно бы аргументы, разрабатываемые на протяжении многих глав, были не столько этапами одного логического пути, сколько линзами, постепенно меняющими наше восприятие вещей. Мы напрягаемся изо всех сил и рвем волосы на голове, стремясь понять положения «Этики» Спинозы, сражаемся с ними, пытаясь проанализировать их цепочку, и вдруг без фанфар и предупреждений наступает такой момент, когда тезис Deus sive Natura, «Бог или Природа», предстает перед нами во всей своей концептуальной глубине. Тогда можно перечитать положения, которые казались столь загадочными, – и они окажутся на удивление очевидными. В этом феномене задействуется не только разум, но и – каким-то непонятным образом – все наше тело. «Модификация его отношений движения и покоя», – сказал бы Делёз.

И наоборот, мне вспоминается замешательство, которое я испытал, когда проходил курс философии в Колумбийском университете, где меня просили разбить фразы на уравнения, отыскивая «истину» высказывания в игре предпосылок и выводов: как эти школьные упражнения могут иметь хоть какое-то отношение к мышлению? С другой стороны, американцы на то, что они сами назвали «французской теорией», смотрят с изрядным скептицизмом, поскольку часто видят в ней лишь поэтическое фанфаронство. Вполне возможно, что неприятие европейцами аналитической философии в какой-то мере позволяет объяснить их инстинктивное недоверие к ИИ. Так или иначе, следует помнить о том, что ИИ – не только промышленная технология, но и прежде всего философский проект, нацеленный на понимание мира.

Но для того чтобы отправиться в это долгое путешествие, у меня были причины и более личного свойства. Я либерал и защищаю идею автономного индивида, свободного в своих решениях и ответственного за свои действия, то есть такого индивида, который должен применять свободу воли в той или иной ее форме. В основании наших обществ еще с эпохи Просвещения лежит эта идея, оправдывающая несколько вещей сразу: индивидуальные права, рыночные механизмы, право голоса и уголовную юстицию. Верховный суд США нисколько не ошибся, когда увековечил свободу воли в качестве самого условия правовой системы, позволяющего человеку делать выбор между добром и злом, желаемым и порицаемым, дозволенным и запрещенным.

Но сегодня это разумное здание трещит по швам. В своем бестселлере «Homo deus» историк Юваль Харари выдвигает головокружительный прогноз: промышленное приложение искусственного интеллекта ускорит и конкретизирует исчезновение свободы воли, ставшее предметом современных наук. «В начале третьего тысячелетия либерализму угрожает не философская идея, отрицающая существование свободных индивидуумов, а конкретные технологии. В самом скором времени нас ожидает нашествие чрезвычайно полезных устройств, приспособлений и структур, которые не оставят места свободной воле индивидов. Выживут ли в этих условиях демократия, свободный рынок и права человека?» Харари, который требует полностью переопределить наши идеологии и институты, считает, что нет, не выживут. Таким образом, контролируя наше поведение и руководя самыми тайными нашими помыслами, ИИ сможет подорвать либеральное основание наших обществ, разрушив само понятие индивидуальности. Если алгоритм знает меня лучше, чем я сам, и предлагает мне более рациональные решения, чем я мог бы принять самостоятельно, если мириады объединенных в сеть объектов делают мою способность к решению излишней, предлагая мне жизнь комфортную и предопределенную, если я постепенно перестаю быть движущей силой собственных действий, зачем мне понадобится право голоса и буду ли я подлежать хотя бы малейшей уголовной ответственности? ИИ может добить свободу воли, а вместе с ней и кантовский идеал автономии субъекта. Триумф благополучия означал бы тогда отречение от свободы – свободы выбора, свободы восстания, свободы ошибаться, «свободы заблуждаться», о которой говорил Джон Стюарт Милль[9 - Эту изящную формулу – «the right to err» – ввел Исайя Берлин, когда комментировал работы Дж. С. Милля.].

Этот вывод, поспешный и радикальный, стал для меня как отправной точкой, так и пунктом назначения, поскольку мои путешествия окончились дискуссией с Харари в его святилище в Тель-Авиве. Не рискует ли либерализм, прославляя чудеса технологий, потерять самого себя? Мне кажется, что апологеты индивидуальной свободы настолько устали от векового сражения с луддитами самых разных мастей, настолько ослеплены своей страстью к инновациям, что просто отказываются видеть ту фундаментальную опасность, которую ИИ представляет для самого понятия индивида. Заметным исключением выступает лишь Питер Тиль, знаменитый предприниматель и открытый либертарианец, который охотно заявляет, что «ИИ – штука коммунистическая», поскольку требует централизации и нормативов. Если ИИ предвосхищает, регулирует мое поведение, манипулирует им и даже моими самыми тайными помыслами, если он способен, как воображает Юваль Харари, «хакнуть людей», нельзя ограничиться классическим аргументом о свободном рынке. Как потребитель может оставаться прав, если сами основания его решений сфабрикованы алгоритмом? Как мы можем быть ответственными взрослыми людьми, если самые главные наши решения определяются нашей включенностью в сеть? Какая разница между Google и Коммунистической партией Китая, если они используют одни и те же техники nudge, преследуя одни и те же утилитаристские цели?

За свою неспокойную жизнь либерализм пережил множество кризисов. Оправившись от краха 1929 года, он был вынужден отказаться от слишком радикальной позиции laissez-faire и допустить необходимость регулирования[10 - Таковы были плоды коллоквиума Липпмана 1938 года, который в значительной степени определил неолиберальное мышление послевоенного периода. Об этом историческом моменте см. работу: Audier S. Le Colloque Lippmann. Aux origines du «nеolibеralisme». Le Bord de l’eau, 2008.]. Сегодня же ИИ должен подвести нас к вопросу о примате индивидуальной рациональности: возможно, не всякий добровольный (то есть свободный от принуждения) выбор является «свободным». Если не изучить этот вопрос, рухнуть может все здание либерализма, построенное за три столетия.

Грозит ли нашим свободам запрограммированное моральное устаревание?

1

Механический турок

Почему ИИ – это иллюзия

«Это просто магия…» – вот все, что мне удалось сказать, когда основатель одного израильского стартапа показал мне свою программу аудиораспознавания эмоций. Мы сидим не в гараже в Кремниевой долине, здесь нет настольного футбола и колы без сахара по первому требованию. Мы где-то в Тель-Авиве, между автотрассой и недостроенным зданием. Вход найти нелегко: он прячется за магазином дешевой бытовой техники. Комната для переговоров пустая и пыльная, на столе пластиковые стаканчики – все это больше похоже на контору по экспорту-импорту, чем на современную инновационную компанию. Однако же Юваль Мор, основатель стартапа, только что показал мне, как его алгоритмы могут воспринимать всю палитру чувств, содержащихся в той или иной фразе, тональности, даже в шепоте. Пруст больше не нужен: приложение в реальном времени выдает все нюансы разочарования, одиночества или тайного удовольствия. Более того, недавний эксперимент позволил установить корреляцию между тембром голоса и симптомами сердечной недостаточности. На основе нескольких звуков ИИ может проинформировать вас как о любовных тайнах, так и о рисках остановки сердца. А поскольку нужно еще и деньги зарабатывать, он может рассказать специалистам по телемаркетингу о настроении их клиентов. А что, если вскоре появится сервис для выявления лицемерия? Жить в обществе станет куда сложнее…

Трудно не восхищаться чудесами ИИ. Ежедневно нам объявляют о том, что роботы превзошли самых опытных врачей в диагностике рака или же что был автоматизирован труд журналистов. Исследовательские институты выпускают один доклад за другим, в более или менее катастрофическом тоне рассказывая нам о том, что нет такой области деятельности, которую пощадит разгул технологии[11 - Например, в 2017 году Центр исследований экономической политики (Center for Economic Policy Research) в Лондоне определил процент внедрения ИИ в разных секторах экономики – от 42 % в телекоммуникациях до 18 % в туризме.]. Ярлык «ИИ» стал волшебным словом, паролем, позволяющим продать любую идею инвесторам, которые не поспевают за скоростью этих преобразований. Мне недавно рекомендовали упомянуть ИИ в научном труде по философии, чтобы повысить свои шансы на успех. Что же касается настоящих специалистов, знатоков deep learning и нейронных сетей, то компании дерутся за них, а их годовые зарплаты нередко переваливают за миллион долларов. В Китае муниципалитеты обещают золотые горы молодым инженерам-программистам. Двадцать лет назад царский путь к богатству требовал способности придумывать экзотические финансовые продукты; сегодня же нужно уметь писать код.

В США ИИ перестал быть особой темой, привлекательной или отталкивающей, поскольку он полностью интегрирован в повседневную жизнь: о нем говорят так же, как об электричестве или интернете. В «мозговых центрах», которые я посетил в Вашингтоне, ИИ не составляет предмета отдельного исследования, он проник в самые разные области, от экономики до политики и военного дела. На автотрассе, связывающей Кремниевую долину с Сан-Франциско, можно увидеть рекламные щиты, расхваливающие ИИ-компании так, словно речь идет о последней модели барбекю: «Brighterion: искусственный интеллект для критических задач»; «Darktrace: мировой лидер в кибер-ИИ». Мода на ИИ захватила всех: Шахид, водитель Uber, который вез меня ранним утром в Беркли в офис Стюарта Рассела, знаменитого специалиста по информатике, поведал мне, что сам ходит на курсы программирования, поскольку «ИИ – это будущее». С ИИ знакомы дети: в первом эпизоде мультфильма «Суперсемейка» герой вынужден сражаться с самообучающейся боевой машиной. И даже рестораны смотрят в эту сторону: в заведении Situ в Сан-Франциско мне довелось отведать суп из карамелизированной моркови по рецепту Натана Мирвольда, одного из бывших руководителей Microsoft, который теперь применяет науку о данных в кулинарии.

Конечно, есть интеллектуалы, которые борются с технологическим капитализмом, эдакие пережитки калифорнийских 1960?х. Их труды можно найти в знаменитой независимой библиотеке Сан-Франциско City Lights, где царит изысканная атмосфера легкого запустения. Вот, к примеру, книги, которые стоят на самом первом стеллаже, в тесном строю, словно бойцы старой гвардии: «Интернет как оружие. Что скрывают Google, Tor и ЦРУ»[12 - Левин Я. Интернет как оружие. Что скрывают Google, Tor и ЦРУ. М.: Individuum, 2019.], «Новые Темные века: технология и конец будущего», «Habeas Data: распространение технологий надзора», «Тюремщики интернета» и т. д. Иными словами, рассуждения, часто довольно однообразные, о надзоре – понятии, позаимствованном из трудов французского философа Фуко, – никуда не делись… Однако в целом американское общество, похоже, не разделяет опасений прогрессистской элиты. В Музее де Янга, стоящем посреди парка «Золотые ворота» в Сан-Франциско, в экспозиции, посвященной «культу машины», картины прецизионистов 1930?х, прославлявших паровую машину, выставили рядом с цитатами из современных трансгуманистов. Газетные статьи межвоенных лет напоминают о том, что страх машины существовал всегда: «Г-н Робот превзойдет своего хозяина», – вот о каких ужасах рассказывали тогда в передовицах. Идея выставки оказалась как нельзя более прозрачной: нынешние страхи цифровизации сравнимы с прежней боязнью механизации, которая сегодня кажется нам смешной. После осмотра экспозиции посетителям Музея де Янга предлагали выбрать для описания технологии три слова из тридцати. Вот что пришло им в голову: креативность, революционность, эффективность, прогресс. А вот слова, которые остались неиспользованными: надзор, загрязнение, неравенство, отчуждение. Похоже, что ИИ следует естественным путем неумолимой инновации. Завтра, опутав всю нашу жизнь тысячами подключенных друг к другу объектов, он станет привычным и невидимым.

Итак, общество сначала изумляется, возмущается, впадает в панику, бунтует, а потом привыкает и теряет интерес. Выступления на TED, в которых пророки нового поколения объясняют нам, почему мы стали бесполезны или как нам будет скучно, когда мы сможем жить по сто лет, даже не развлекают нас: все это уже было. Общество вскоре полностью «переварит» ИИ.

Мы свыклись с магией. Нужно быть въедливым занудой, чтобы все еще стремиться разгадать этот фокус.

А это как раз мой случай…

От барона фон Кемпелена до компании Amazon

В этом тумане искусственного интеллекта, окутавшем весь мир, компания Amazon подала нам ценный сигнал, назвав свою платформу микрозадач Amazon Mechanical Turk – «Механический турок Amazon». Сотни тысяч внештатных работников, называемых «турками», получают вознаграждение за выполнение в интернете простейших задач (например, за сортировку изображений), результаты которых поступают в исследовательские или производственные системы ИИ. Почему в наше время, когда малейший культуралистский намек жестко подавляется, было выбрано это странное название – «Механический турок»?

Дело в том, что в 1769 году именно так венгерский изобретатель Вольфганг фон Кемпелен назвал свой шахматный автомат – марионетку, одетую в турецкий костюм. Этот механический турок сумел поставить шах и мат многим известным шахматистам того времени, а также некоторым историческим личностям, в частности Марии Терезии, Наполеону Бонапарту и Бенджамину Франклину. Механический турок, сидевший за своим внушительным ящиком-столом с шахматной доской, перемещал фигуры резкими движениями и мог даже проявлять во время партии определенные эмоции, например таращить глаза, качать головой или шевелить пальцами. Блестящий тюрбан, суховатые черты лица, длинные османские усы – все это дополняло драматическое напряжение. Механический турок прославился по всей Европе; впоследствии он достался Иоганну Мельцелю (изобретателю метронома), который уехал с ним сначала в Лондон, а потом в США. На заре промышленной эпохи, когда в обществе вдруг возникла повальная мода на автоматы, а математик Чарльз Бэббидж только-только представил свои революционные счетные машины с перфокартами, люди спрашивали себя, не изобрел ли фон Кемпелен механическое мышление. Если человек – это просто машина, как утверждали Ламетри и многие другие философы Просвещения, почему машина не может стать человеком? Вопрос о «сингулярности», который мучает нас сегодня, далеко не нов. Еще два столетия назад он привлекал к себе неподдельное внимание. Механический турок, с точки зрения современников, был первым искусственным интеллектом.

Конечно, дело в трюке, причем весьма простом. Внутренняя часть ящика перед представлением всегда открывалась, и зритель видел там лишь сложный механизм из шестеренок и приводов. Однако ловкая игра зеркал и двойное дно позволяли скрыть профессионального шахматиста из плоти и крови, который, сидя в ящике, выполнял сложные движения, передвигая фигуры. То есть первый ИИ был грубым обманом, и сегодня можно только удивляться, почему он почти целый век пользовался таким оглушительным успехом. Amazon вдохновился этой историей, чтобы остроумно напомнить нам о том, что за магией алгоритмов скрывается значительный человеческий труд, позволяющий собирать, обрабатывать и извлекать данные. Возможно, аудиораспознавание эмоций однажды покажется нам такой же грубой уловкой, как и трюк фон Кемпелена. Неужели мы относимся к новым технологиям с той же наивностью, что и светские дамы XVIII века, которые млели перед деревянным автоматом? Гуманоиды выступают сегодня на конференциях, а робот София получил гражданство в Саудовской Аравии, но действительно ли они намного совершеннее своего общего предка – механического турка?

Мне захотелось разобраться в этом вопросе. Исходный шахматный автомат сгорел в 1854 году во время пожара в музее Филадельфии, но существует его точная копия, которую крайне редко показывают публике. Я отправился ее исследовать. Не мог же я изучать вселенную ИИ, не пожав руку механическому турку?

Северный пригород Лос-Анджелеса, между Адамс-хилл и Гриффит-парком. Район представляет собой редкое сочетание промышленных зон, одноэтажных домов в самых разных стилях и магазинов органических продуктов; повсюду растут пальмы, а вдали возвышаются пустынные холмы. Трудно представить что-либо более американское: каждый в этом открытом пространстве создает свое маленькое царство. Демократия увенчала короной голову каждого гражданина. Я вступаю в одно из таких княжеств – обширный ангар, в котором рабочие что-то делают под визг электропил. Меня встречают картонные роботы: Пьеро, сидящие на Луне, головы Микки-Мауса, светящиеся рекламы выступлений фокусников и расположенные в шахматном порядке зеркала – в них отражается мое помятое лицо. Я пробираюсь в маленькую комнату, где неожиданно царит полная тишина. Это кабинет настоящего антиквара, элегантный и обшитый деревом. Здесь кучи бильбоке, черепов, коробок с игральными костями, кожаных чемоданов, вееров, подзорных труб и карточных колод. Но вот настоящее сокровище – целая толпа автоматов в натуральную величину: Гудини дает автограф своей гипсовой рукой, Вильгельм Телль потрясает луком, павлин протягивает мне в клюве даму пик. В кресле красного бархата посреди всех этих созданий восседает иллюзионист Джон Гуган, который уже многие годы воспроизводит химеры прошлого и изобретает химеры будущего. Рядом с ним – главный экземпляр: турок, абсолютно бесстрастный в своей белой меховой шубе, готовый начать игру.

Вот уже сорок лет, как Джон Гуган пытается вернуть жизнь турку, обшаривая библиотеки Берлина, Парижа и Лондона, чтобы среди сотен книг того времени найти сведения, позволяющие восстановить исходный механизм. Это стало делом всей его жизни, о котором он периодически рассказывает на конференциях специалистов по компьютерным наукам. Джон, с его глухим голосом и запавшими глазами под густыми бровями, настолько похож на волшебника, что так и хочется спросить: не сделан ли он сам из шестеренок, приводных ремней и силикона?

Правда ли, что внутри ящика находился человек? А как он мог поместиться в таком узком пространстве? Джон следует этическому кодексу своей профессии: он отказывается рассказывать о том, как действует иллюзия. Он сомневается даже в том, стоит ли доверять свои открытия тексту; возможно, секрет турка исчезнет вместе с ним, разве что потом какой-нибудь его последователь будет исследовать Джона Гугана так же, как он сам изучал Вольфганга фон Кемпелена… Я стою перед турком, трогаю его, открываю дверцы ящика, но он все равно остается для меня непостижимым. Однако нужно как-то сохранить ту ничтожно малую иррациональную долю сомнения, допускающего, что машина и впрямь могла думать… Ведь парадокс в том, что именно это сомнение, эта потребность в магии и составляют нашу человечность.

«В моем ремесле, – рассказывает Джон, – меня поражает то, насколько первобытным остается человеческий разум». Как легко обмануть публику, отвлекая ее внимание довольно простыми сигналами. На самом деле сегодня это еще проще: в нашей цифровой среде полно постоянных отвлекающих факторов, все больше и больше снижающих способность к концентрации. «Но это не относится к детям», – уточняет Джон. Они менее чувствительны к кодексам нашего повседневного взаимодействия и еще не до конца прошли социальную дрессуру, поэтому не так доверчивы Фокусник показывает голубя, который взлетает с правой руки, но ребенок продолжает смотреть на левую, не обращая внимания на спектакль, а следуя лишь собственному размышлению. Чем старше ребенок, тем проще им манипулировать.

И что же тогда можно сказать об ИИ? «Это иллюзия, то есть моя вселенная». Полезная иллюзия. Да и, по словам Джона, разве турок не дал импульс промышленной революции? Машина порождает машину, магия питает прогресс.

Покидая кабинет Джона Гугана, я снова погружаюсь в истому калифорнийского лета: одинокий пешеход в городе, созданном исключительно для машин. Теперь я лучше понимаю ставки, сделанные на ИИ. Это иллюзия. Задача не в том, чтобы досконально понять, как он работает, а в том, чтобы вопреки всем бредовым идеям, которые он пробуждает, сохранить холодный рассудок. Рассудок ребенка, который смотрит в другую сторону…

Machine learning, deep learning, reinforcement learning, unstructured learning[13 - Базовые определения этих терминов словаря машинного обучения см. здесь: https://developers.google.com/machine-learning/glossary/] – все эти термины смешивались в головокружении небоскребов Нью-Йорка, где я начал свои странствия. Кроме того, прибыв на самолете в Бостон, я слишком смело сразу полез купаться и заработал отит, что не упрощало мне задачу понимания ИИ. Беспрестанный гул Нью-Йорка заглушала канонада в моем левом ухе; я ходил на встречи, опустошая запасы анальгетиков и пытаясь поворачиваться к собеседникам здоровым ухом. Все, что я понял, свелось к тому, что пресловутый «ИИ» или, по крайней мере, последнее поколение алгоритмов может более или менее автономным образом копаться в массе данных, извлекая из них определенные закономерности и делая прогнозы. Говорите громче, пожалуйста.

Смехотворность моей задачи и абсурдность самого моего положения стали особенно ясны по дороге в офис IBM Watson на Астор-Плейс, где на входе меня поджидал огромный кролик Джеффа Кунса. Пытаясь сформулировать вопросы по информатике, которые преследовали меня, но никак не давались, я вдруг заметил, что забыл запонки, а потому рукава моей рубашки болтались как кружевные манжеты версальских маркизов. Мой горячечный разум принялся изо всех сил решать этот важнейший вопрос. У меня нет строгих привычек в одежде, но должен признаться, что обычно я иду против среды, то есть на встречу с предпринимателями из технологических компаний прихожу в костюме, а на встречу с банкирами – в футболке. (Спустя несколько недель в салат-баре в Сан-Франциско основательница одного стартапа похвалила меня за старомодный имидж: «Как же приятно видеть человека в пиджаке…») До встречи в IBM у меня оставалось пять минут. Я заскочил в большой супермаркет, но ничего там не нашел, а потом в прачечную, где хозяйка придумала гениальный и совершенно нью-йоркский выход – просто зашить рукава. Мы поговорили о Румынии, откуда она родом и где живет семья моей жены. Я тепло обнял ее на прощание, а потом отправился в IBM в более или менее приличном виде, радуясь столь хитрому решению. Пусть подкладка и не в порядке, но форму я, по крайней мере, сохранил.

IBM – гигант программного обеспечения, прославившийся тем, что его суперкомпьютер Deep Blue победил Гарри Каспарова. Watson – последний продукт их программы ИИ, способный выиграть в общекультурной телевикторине Jeopardy![14 - Напоминает игру «Сто к одному». – Прим. ред.]. Сегодня программисты IBM готовят свою машину к риторическим сражениям с людьми. Причем Watson внедряется и в виде коммерческих продуктов, которые продаются разным компаниям, желающим улучшить обработку данных. Он использует несколько слоев анализа: публичный ИИ, обрабатывающий сетевую информацию (например, из «Википедии»), специфичный для каждой конкретной области ИИ (например, финансов), затем частный и специфичный для каждого клиента ИИ (например, для компании J.P. Morgan). Подобная комбинация позволяет производить все более экспертный и независимый ИИ, способный накапливать и синтезировать знания и опыт, приобретенные в определенной сфере деятельности. Например, Watson управляет переносом знаний о нефтяных платформах, отвечая на технические вопросы новичков. Вы спрашиваете, каким должен быть максимальный вес вертолета при приземлении? Нет нужды обращаться к более опытным коллегам, вам ответит наш компьютер![15 - High R. The Era of Cognitive Systems: An Inside Look at IBM Watson and How It Works. IBM Corporation. Redbooks, 2012.]

Все эти практические примеры, утопающие в многословии коммерческого пиара, не слишком помогли мне понять природу подобных технологических достижений. Но, наконец, появилась мадонна ИИ – Франческа, известная специалистка по компьютерным наукам из Падуанского университета, сегодня она работает в исследовательском подразделении IBM. Может быть, ее объяснения показались мне настолько прозрачными лишь потому, что Франческа – рыжая элегантная итальянка, выгодно отличающаяся своей человечностью в этом мире нердов – ботаников, помешанных на технологиях? Так или иначе, краткий курс, прочитанный мне в конференц-зале IBM, где Франческа по старинке писала своим округлым почерком на белой доске, позволил четко организовать в уме все те загадочные понятия, которые я долго собирал в чтении и обсуждениях. Наконец-то все стало обретать смысл… А потому я поделюсь здесь этим безупречным уроком, который специалистам, возможно, покажется слишком упрощенным, но для меня в моем долгом странствии стал непреложным ориентиром. Кстати, нижеследующие строки покажутся менее сухими, если вы будете читать их с итальянским акцентом.

Вначале было логическое правило. Термин «искусственный интеллект» существует с 1950?х годов[16 - Термин был изобретен Джоном Маккарти в 1955 году. В следующем году на знаменитой конференции в Дартмут-колледже были заложены основания ИИ как академической дисциплины.] и в той или иной степени смешивается с понятием информатики как науки. Цель его проста: создать неорганическую копию человеческого интеллекта. За свою не слишком долгую историю ИИ пережил немало приключений и несколько «зим», когда его считали умершим[17 - Краткое введение см. в: Wooldridge M. Artificial Intelligence. Penguin, 2018.]. Долгое время он мог действовать только по правилам, созданным людьми, то есть по пресловутым алгоритмам, которые всегда не более чем сложные руководства. Всем известный Deep Blue, выигравший в конце концов у Каспарова в шахматы в 1997 году, использовал брутфорс, то есть перебирал миллионы возможных комбинаций за несколько секунд. Такой ИИ представляет ту или иную ситуацию в символьном виде, а затем строит рассуждение, которое может завершиться тем или иным решением. По сути, это способ индустриализации логических умозаключений, идеально подходящий для таких закрытых систем, как шахматы. Сегодня такой ИИ называют GOFAI, good old-fashioned AI, «старый добрый ИИ».

В своем минимальном варианте ИИ сводится, таким образом, к сумме наших знаний в области информатики. В максимальном – это сам человеческий интеллект, то есть все, что компьютерная программа пока делать не умеет; и наоборот, «как только она начинает работать, это больше не называется ИИ», – объяснял Джон Маккарти. Но между двумя этими крайностями в обыденном языке ИИ стал обозначать вполне определенную технику, а именно machine learning, машинное обучение.

Собственно, настоящий прорыв, объясняющий массовое распространение технологий ИИ и популярность этого термина, произошел в самом начале текущего столетия, когда информационные системы приобрели возможность обучаться самостоятельно, не следуя заранее установленным правилам. Эта цель была поставлена с самого начала информатики, однако добиться удовлетворительных результатов не удавалось. Успешное решение этой задачи объясняют три фактора: внезапно возникшее благодаря интернету изобилие данных, стремительное увеличение мощности компьютеров и открытие заново «нейронных сетей», то есть определенного способа конструирования информационных связей, при котором точки обработки данных в значительной мере независимы друг от друга, напоминая этим в какой-то степени нейроны нашего мозга.

Машинное обучение, в свою очередь, подразделяется на несколько техник в соответствии с уровнем вмешательства человека: «обучение с учителем» (supervised learning, под контролем программиста), «обучение с подкреплением» (reinforcement learning, когда машина «вознаграждается» в зависимости от качества ее результатов, а потому учится на собственных ошибках, что позволяет создавать базы систем «рекомендаций» книг, фильмов и т. п.) и «обучение без учителя» (unsupervised learning, когда машина в целом предоставлена сама себе). Что же касается «глубокого обучения» (deep learning), то речь идет о применении нейронных сетей для реализации трех упомянутых техник. Например, для идентификации кота на изображении можно применить контролируемое глубинное обучение[18 - Об этой классификации см.: Gеron A. Hands-on Machine Learning With Scikit-Learn and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems. O’Reilly Media, 2017.].

Общая черта всех этих методов машинного обучения состоит в том, что полученные результаты нельзя полностью объяснить. Машина поглощает значительное количество данных, как-то по-своему «переваривает» их (на этом этапе человек более или менее ее контролирует и настраивает), а потом приходит к выводу, следуя при этом траектории, которую никто не мог бы воссоздать во всех подробностях. Поэтому всегда следует помнить о компромиссе между эффективностью и прозрачностью (explainability). Некоторые выдающиеся исследователи полагают, что машинное обучение означает устаревание всех традиционных алгоритмов, основанных на явных критериях, а также человеческих экспертных знаний[19 - См.: Sutton R. The Bitter Lesson. 2019. March 13. URL: http://www.incompleteideas.net/IncIdeas/BitterLesson.html].

Теперь вернемся к нашему примеру: как дать компьютеру инструкцию распознать кота на изображении, которое состоит из миллионов пикселей? Если мы попытаемся «описать» кота, то быстро выясним, что прийти к точному определению практически невозможно. Предположим, что у кота четыре лапы, но как определить лапу? Как прямоугольную форму относительно однородного цвета, которая заканчивается звездчатой структурой? Но как в таком случае отличить лапу от куска дерева, заканчивающегося веткой? Какое среднее расстояние следует заложить между четырьмя прямоугольниками, чтобы предположить наличие кота? А что делать с котами без ног, которых двухлетний ребенок мог бы идентифицировать с первого взгляда? Нужно ли потом дать определения всего остального, что есть у кота, начиная с усов и заканчивая хвостом?

Здесь-то и вмешивается машинное обучение, которое я по примеру большинства комментаторов и в целях удобства буду далее в этой книге отождествлять с ИИ. Вместо того чтобы определять кота, программист предоставляет своему ИИ тысячи, миллионы изображений с кошками, но не дает ему никакой другой информации. Эти изображения предварительно «маркируются» людьми, которые сортируют их в зависимости от того, есть на таких изображениях кот или нет. «Натренированная» таким образом машина сможет выделять характерные формы (паттерны) и приписывать каждому новому изображению вероятность того, что на нем есть кот. Такие формы не могут быть выражены в явном виде, то есть множеством логических правил; они отражаются определенной комбинацией миллионов «весов» – параметров, выработанных нейронными сетями в процессе обучения. Машина не способна произвести идею, под которую подводятся частные случаи, поэтому нуждается в бесконечном числе примеров, словно ей необходимо исчерпать все возможные ситуации. В итоге для развития техник машинного обучения понадобились огромные базы данных, отсюда создание ImageNet в начале 2010?х годов по инициативе исследовательницы из Стэнфорда Фей-Фей Ли, которая привлекла к этому проекту десятки тысяч участников. Они описывали миллионы изображений, распределяемых по 20 тысячам разных категорий. Так у ИИ появился свой арсенал.

«ИИ не производит общих понятий», – делает вывод Франческа, и это возвращает нас к вопросу о понятии, который мучил Платона на заре философии. Ведь понятие не сводится к определению. Способность давать определения является, конечно, условием языка и мышления: нужно, как говорит Сократ в «Федре», уметь разрезать понятия, соблюдая их естественные сочленения; тогда как софист, наоборот, разрывает логические связи, а потому он просто «дурной мясник». Но в то же время Платон может лишь констатировать недостаточность определения в объяснении реальности, а потому в «Государстве» обращается к своим знаменитым Идеям, которые должны управлять нашим чувственным восприятием: соответственно, кота можно распознать потому, что в каких-то чисто умопостигаемых сферах познания есть Идея Кота. Чтобы идентифицировать кота, ИИ, таким образом, не может удовлетвориться позицией хорошего мясника, подобного GOFAI; но не располагает он и таинственной Идеей, понятием, к которому человеческий мозг может, судя по всему, получить доступ уже после нескольких примеров[20 - Кант называл этот процесс «подведением» под общее понятие.]. Если наш невероятно ловкий разум способен распознать любых котов, увидев одного-единственного, то ИИ, отличающийся чрезвычайным трудолюбием, может распознать кота, лишь просмотрев изображения всех котов.

Один из блестящих молодых инженеров компании Google Блез Агуэра-и-Аркас попытался проникнуть в эту тайну, попросив ИИ вывести на основе накопленных данных понятие – в той или иной форме. Словно бы компьютер должен был найти то, чего ему не хватало… В визуальном плане результат оказался просто поразительным, поэтому Блез превратил его в художественный проект (в частности, основал программу «Художники и машинный интеллект» в Google[21 - ami.withgoogle.com]). Понятие «кот», полученное на основе миллионов изображений котов, похоже не на кота, а на плотную комбинацию с трудом узнаваемых черт и потому чем-то напоминает коллажи Франсиса Пикабии. Пара раскоординированных усов наложена на то, что, возможно, похоже на хвост. Может быть, именно так, по сути, и работает наш мозг? Что, если Блезу удалось визуально представить те самые платоновские Идеи? На самом деле все наоборот. Эти симпатичные коллажи показывают, что методы ИИ остаются довольно грубыми и приблизительными, если сравнить их с нашей способностью к концептуализации, которая пока в значительной мере остается непонятной[22 - Книга Кёнига вышла на французском в 2018 году. За последние пять лет нейросети, генерирующие картинки, далеко шагнули вперед – и способны уже на создание фотореалистических изображений (см. результаты работы таких алгоритмов, как Stable Diffusion, DALL-E 2, Midjourney и других). – Прим. ред.]. По контрасту они высвечивают механизмы наших когнитивных процессов, не сводящихся к чистому перцептивному эмпиризму. Мы не просто складываем изображения в голове. Понятие сопротивляется искусственному интеллекту. Как признал во время нашего разговора Александр Лебрен, один из лучших французских специалистов по машинному обучению, тот факт, что человек может сделать обобщение на основе весьма ограниченного числа случаев, по-прежнему трудно объяснить. Александр удивляется не возможностям придуманного им носителя искусственного интеллекта, а способностям естественного интеллекта, который при рождении был дан ему самому. По сути, мы представляем собой намного более впечатляющую загадку, чем машина.

Теперь пора вернуться к «механическому турку» компании Amazon, или к MTurk. Как турок Вольфганга Кемпелена скрывал в себе человека, наделенного биологическим интеллектом, так и системы машинного обучения должны, чтобы правильно работать, опираться на производительную деятельность тысяч «турков» из плоти и крови. Никто не изучил этот феномен лучше Сиддхартха Сури, с которым мы встретились в нью-йоркском исследовательском центре Microsoft. Я думал, что попаду в огромный комплекс из гигантских компьютеров, в котором ученые жонглируют трехмерными экранами. Но, наверное, я слишком долго зачитывался комиксом «Блейк и Мортимер»: на самом деле офис Microsoft похож на обычный опенспейс, в котором аспиранты-постдоки во вьетнамках маринуются в индивидуальных боксах. Один из них – Сиддхартх, специалист по компьютерным наукам. Он уже много лет занимается «этнографией „турков“», но при этом ни разу не общался с представителями Amazon, что само по себе многое говорит о культуре секретности, которая царит в гигантах цифровой революции. Что представляют собой те, кто работает на искусственный интеллект? Да что угодно… Они не учились в Стэнфорде и не рассуждают о технологиях. Это, например, индийские матери, сидящие дома с детьми, маломобильные инвалиды из Европы, американские безработные – короче говоря, все те, кто хотят или вынуждены работать из дома, чтобы получать минимальный доход. Они выполняют разные задачи, от маркировки простых изображений (того же кота) до решения математических задач или анализа вибраций. Это и есть сердце цифрового пролетариата, независимые друг от друга представители которого берутся за эфемерные задания: по оценкам Сиддхартха, за полгода на MTurk меняется около половины всей рабочей силы.

В социальном отношении в MTurk отражаются все двусмысленности так называемого отказа от посредников (больше известного под названием «уберизация»). С одной стороны, платформа предоставляет как нельзя более демократичные возможности, устраняя все входные барьеры. Перечисляя рабочие места, уничтоженные тем или иным ИИ, обычно забывают оценить все множество мини-работ на рынке принципиально иной занятости, которые были созданы теми же причинами, – чрезвычайно текучее и динамичное множество. С другой стороны, MTurk эксплуатирует рабочую силу, лишенную возможностей вести переговоры, а ее вознаграждение (в среднем два доллара в час) несоизмеримо с производимой ею ценностью. Те, кого Сиддхартх называет «призрачными работниками», составляют люмпен-пролетариат XXI века. В попытках организовать сообщество «турков» стихийно появилось несколько форумов, на которых люди стали писать обращения к работодателям и делиться тарифами оплаты своего труда: Turkopticon, потом Turker View, TurkerNation, MTurk Crowd, TurkerHub. Будем надеяться, что они станут зародышем цифровых профсоюзов, действующих на глобальном уровне и представляющих интересы их членов независимо от страны, из которой они работают.

В технологическом отношении MТurk преподносит нам очень важный урок: природа микрозадач, предлагаемых «туркам», постоянно меняется, и вряд ли они когда-нибудь будут исчерпаны. Иначе говоря, технология ставит все новые и новые вопросы, на которые должно отвечать относительно небольшое число людей. Именно это Сиддхартх и назвал «парадоксом автоматизации последней линии» (the paradox of automation’s last mile). Как только решается одна проблема, тут же появляется другая. Например, развитие объединенных в сеть объектов потребует огромного количества человеческих знаний, благодаря которым можно будет конфигурировать и тренировать ИИ, знакомя его со всевозможными обстоятельствами. Таким образом, фронтир автоматизации постоянно отступает, как мираж горизонта прогресса, и при этом тянет за собой караван призрачных работников.

Не нужно путать реальные социальные вызовы, создаваемые автоматизацией, с мифом об автономном роботе. Прежде чем заменить людей, роботы должны быть ими придуманы. Искусственный интеллект – это оптимизированная и размноженная комбинация миллионов человеческих интеллектов. Мне кажется ошибкой утверждать в стиле газетных заголовков лета 2018 года, что «один ИИ в диагностике опухолей головного мозга показал лучшие результаты, чем пятнадцать китайских врачей». Скорее следовало бы писать, что один ИИ позволил наладить беспрецедентное сотрудничество тысяч врачей, которые, опираясь на собственные знания, занимались маркированием тысяч изображений с опухолями. Разве может быть что-то удивительное или чудесное в том, что десять тысяч врачей, работая вместе, достигли лучших результатов, чем пятнадцать их коллег?

Эту интерпретацию подтвердил мне Сяовей Динг, основатель и генеральный директор VoxelCloud – стартапа с офисами в Шанхае и Лос-Анджелесе, занимающегося медицинской визуализацией. Я встретился с Сяовеем в кампусе Калифорнийского университета в Лос-Анджелесе (UCLA), где он параллельно занимается академической карьерой в области компьютерных наук. Кафе одного из самых престижных государственных университетов США похоже не столько на студенческую столовую, сколько на холл пятизвездочного отеля из красного кирпича, с изящной архитектурой и кипарисовой аллеей. Я увидел, как к моему столу подходит не безжалостный капиталист, за два года получивший около 30 миллионов долларов от крупнейших фондов венчурного капитала, которого я представлял по его резюме, а молодой, несколько неловкий человек, одетый в спортивные штаны и футболку с ярким рисунком. Все-таки я никак не могу привыкнуть к тому, что наши новые хозяева – постаревшие подростки…

Врачи отправляют в VoxelCloud медицинские сканы, снабженные описанием симптомов, а ИИ возвращает им возможный диагноз с рекомендациями по лечению. Человек в бо?льшей или меньшей мере контролирует машину, в зависимости от сложности случая. Однако VoxelCloud так или иначе должен собрать значительное число сканов, размеченных американскими или китайскими врачами, которые получают за это определенное вознаграждение (китайские врачи, по словам Сяовея, «работают быстрее и дешевле, они больше открыты технологии, но качество у них хуже»). То есть задача не в том, чтобы заменить врачей, а в том, чтобы использовать их профессиональные знания для усовершенствования процедур: «Данные по самой своей сути ограничены». ИИ довольствуется обнаружением корреляций между заболеваниями и изображениями; он воздерживается от самостоятельного определения той или иной медицинской причинной связи. В каком-то смысле он «делает грязную работу». Поэтому Сяовей не слишком ценит все эти фиктивные «соревнования» роботов и врачей, устраиваемые скорее с рекламными целями, которые вводят широкую общественность в заблуждение, скрывая от нее реальный способ работы ИИ.

Реальность и ее копия