Искусственный интеллект – надежды и опасения

Действующая динамическая эмерджентная система

С первой встречи в Вашингтоне, штат Коннектикут, и по сей день я организовал ряд заседаний и дискуссий в Лондоне и Кембридже, штат Массачусетс, а также публичное мероприятие в лондонской мэрии. Среди присутствовавших были выдающиеся ученые, историки науки и теоретики коммуникаций, причем все они размышляли о проблемах ИИ на протяжении всей своей научной карьеры.

Я обратился за комментариями к широкому кругу авторов, не ограничивая их необходимостью ссылаться на Винера (это осталось на усмотрение каждого участника проекта). В итоге 25 человек прислали мне свои очерки, и все эти люди обеспокоены тем, что происходит сегодня в области ИИ. Настоящая книга – не моя; скорее, это наша книга, авторов которой я с удовольствием перечисляю: Сет Ллойд, Джуда Перл, Стюарт Рассел, Джордж Дайсон, Дэниел К. Деннет, Родни Брукс, Фрэнк Вильчек, Макс Тегмарк, Яан Таллинн, Стивен Пинкер, Дэвид Дойч, Том Гриффитс, Анка Драган, Крис Андерсон, Дэвид Кайзер, Нил Гершенфельд, У. Дэниел (Дэнни) Хиллис, Венки Рамакришнан, Алекс (Сэнди) Пентленд, Ханс-Ульрих Обрист, Элисон Гопник, Питер Гэлисон, Джордж М. Черч, Кэролайн А. Джонс, Стивен Вольфрам.

Я рассматриваю проект «Глубокое осмысление» как непрерывно развивающуюся динамическую эмерджентную систему, как репрезентацию идей сообщества искушенных мыслителей, которые на основании своего опыта и эрудиции бросают вызов сложившемуся цифровому нарративу ИИ и делятся мыслями друг с другом. Цель сборника состоит в том, чтобы предложить читателю мозаику взглядов, которая поможет разобраться в этой быстро развивающейся области.

Я попросил авторов учесть два фактора:

(а) Дзенское по духу стихотворение Уоллеса Стивенса «Тринадцать способов увидеть черного дрозда»[16 - На русском (в переводе Г. Кружкова) это стихотворение американского поэта У. Стивенса обычно называют «Тринадцать способов нарисовать дрозда»; уже первая строфа этого стихотворения показывает, что, собственно, подразумевается в данном случае под определением «дзенское по духу стихотворение»: «Среди гор, засыпанных снегом, // Единственной движущейся точкой // Был глаз черного дрозда».], которое, как он сам настаивал, «призвано служить набором не эпиграмм или идей, но ощущений». Это упражнение в «перспективизации», состоящее из коротких разделов, в каждом из которых так или иначе упоминается черный дрозд. Стихотворение посвящено воображению поэта, оно имеет непосредственное отношение к творчеству.

(б) Притча о слепцах и слоне. Подобно слону, область ИИ слишком велика для общей оценки, не говоря уже о том, что не найдется двух людей, которые будут смотреть на мир одинаково.

Чего мы хотим от этой книги? Стюарт Брэнд отмечал, что «изучение мышления первопроходцев безусловно полезно. Оно задает долгосрочную перспективу, которая побуждает мыслить десятилетиями и столетиями. Все современные дискуссии, к сожалению, быстро устаревают и утрачивают смысл без длительной перспективы».

Дэнни Хиллис хочет, чтобы работники сферы ИИ поняли, каким образом их «запрограммировала» книга Винера. «Вы следуете его дорожной карте, – говорит он, – и сами того не замечаете».

Дэн Деннет хотел бы «позволить Винеру появиться этаким призраком на пиру. Считайте его источником гибридной энергии, источником беспокойных мыслей, способных опрокинуть устоявшийся образ мышления».

Нил Гершенфельд утверждает, что «негласное корректирующее образование для людей, оперирующих Большой пятеркой[17 - В психологии модель человеческой личности, отражающая восприятие и опирающаяся на предрасположенности (экстравертность, доброжелательность, сознательность, эмоциональная нестабильность, интеллект).], стало бы отличным результатом».

Джон Дайсон Фримен[18 - Джон Дайсон Фримен – американский физик-теоретик, один из пионеров квантовой термодинамики.], один из немногих живущих ныне людей, кто знал Винера лично, считает «Человеческое применение человеческих существ» одной из лучших книг, написанных за всю историю человечества. «Винер почти все изложил правильно. Будет любопытно посмотреть, что ваша компания чародеев сможет с этим сделать».

Развивающийся нарратив ИИ

Все изменилось – и осталось таким, каким было. Теперь ИИ везде. У нас есть интернет. У нас есть смартфоны. Состояние основателей ныне доминирующих компаний – тех самых, что держат «плетку, которой нас хлещут», – оценивается в 65 миллиардов долларов США (или 90 миллиардов долларов, или 130 миллиардов долларов). Выдающиеся люди, например Илон Маск, Ник Бостром, Мартин Рис, Элиезер Юдковски и покойный Стивен Хокинг[19 - Этот авторский список объединяет философов (Бостром как теоретик трансгуманизма, Юдковски как поборник «дружественного ИИ»), инженеров-практиков (Маск) и ученых «физической» направленности (физик Хокинг и космолог Рис); вероятно, присутствие И. Маска, а не какого-то другого инженера в данном списке объясняется – помимо того что он, наряду с перечисленными учеными, публично высказывает опасения относительно будущего человечества – его нынешней популярностью в обществе.], изрекают страшные прогнозы насчет ИИ, что заставляет создавать исправно финансируемые институты, призванные всюду пропагандировать «хороший ИИ». Но сможем ли мы, как вид, контролировать полноценный, не подлежащий и не поддающийся надзору, самосовершенствующийся ИИ? Предупреждения и предостережения Винера в «Человеческом применении человеческих существ» внезапно сделались чрезвычайно актуальными. Исследователям на передовой изучения перспектив ИИ стоит заново их оценить. Снова процитирую Дайсона:

«Винер все больше разочаровывался в «поклонниках гаджетов», чей корпоративный эгоизм породил «мотивы к автоматизации, которые выходили за рамки законного любопытства и были греховными сами по себе». Он знал, что опасность не в машинах, которые становятся все больше похожими на людей, а в людях, с которыми обращаются как с машинами. «Мир будущего окажется непрекращающейся и все более упорной борьбой с ограничениями нашего интеллекта», – предупреждал он в работе «Корпорация «Бог и голем», опубликованной в 1964-м, в год его смерти; это будет вовсе «не удобный гамак, в который мы возляжем в ожидании роботов-рабов».

Пришло время изучить эволюционирующий нарратив ИИ, определить ведущих представителей дисциплинарного сообщества заодно с «диссидентами» и предоставить всем возможность высказаться.

Если коротко, очерки этой книги суть столь необходимое для публики обновление наших взглядов.

Джон Брокман,

Нью-Йорк, 2019

Глава 1

Ошибочно, зато актуальнее, чем когда-либо

Я познакомился с Сетом Ллойдом в конце 1980-х годов, когда повсюду возникали новые способы мышления: значимость принципов биологической организации, вычислительный взгляд на математику и физические процессы, пристальное внимание к параллельным сетям, важность нелинейной динамики, новое понимание хаоса, идеи коннекционистов, нейронные сети, параллельная распределенная обработка… Развитие в области вычислений в указанный период предоставило нам новый способ мышления о знаниях.

Сет любит называть себя квантовым механиком. Он известен во всем мире своими исследованиями в области квантовых вычислений, где предпринимаются попытки использовать экзотические свойства квантовой теории, такие как суперпозиция и запутанность, для решения задач, которые придется решать несколько столетий на классических компьютерах.

В своем очерке он прослеживает историю теории информации от пророческих видений Норберта Винера до предсказаний технологической «сингулярности», которая, как хотелось бы кое-кому нас убедить, будто бы вытеснит человеческий род. Его взгляд на относительно новый метод программирования, так называемое глубинное обучение, состоит в том, чтобы призывать к более трезвой оценке перспектив; он отмечает, что, несмотря на огромные успехи ИИ, роботы «до сих пор не в состоянии завязать себе шнурки».

Мне трудно говорить о Сете, не ссылаясь на его отношения с другом и наставником, покойным физиком-теоретиком Хайнцем Пагельсом из Университета Рокфеллера. Вместе студент (Сет) и профессор (Пагельс) в немалой степени способствовали интеллектуальному развитию друг друга.

Летом 1988 года я навестил Хайнца и Сета в физическом центре в Аспене. Их совместная работа по сложности должна была выйти в свежем выпуске журнала «Сайентифик америкен»; оба безудержно радовались. Мы встретились всего за две недели до трагической гибели Хайнца при спуске с пика Пирамида; в горы они, разумеется, отправились вместе с Сетом и по дороге говорили о квантовых вычислениях.

В работе «Человеческое применение человеческих существ» (1950), где Норберт Винер в популярной форме излагал основные идеи своей чрезвычайно влиятельной книги «Кибернетика, или Управление и связь в животном и в машине» (1948), исследуется взаимодействие человеческих существ и машин в мире, в котором машины становятся все более мощными и способными к вычислениям. Это удивительно пророческая книга – и удивительно ошибочная в своих выводах. Написанная в разгар холодной войны, она, помимо прочего, содержит холодящее кровь напоминание об опасностях тоталитарных организаций и обществ, а также об угрозах демократии, которая пытается бороться с тоталитаризмом тоталитарным оружием.

В «Кибернетике» Винера тщательно изучаются и научно описываются подробности управления посредством обратной связи. (Само слово «кибернетика», производное от древнегреческого слова «кормщик», послужило этимологической основой позднего слова «губернатор»[20 - Английское слово governor («губернатор») восходит через латынь к древнегреческому kybernan («управлять, направлять»), как и предложенное Н. Винером слово «кибернетика».]; Джеймс Уатт именно так назвал свое новаторское устройство управления с обратной связью, которое преобразило область применения паровых двигателей.) Поскольку он плотно занимался задачами управления, Винер рассматривал мир как совокупность комплексных и взаимосвязанных контуров обратной связи, где датчики, сигналы и исполнительные механизмы, наподобие двигателей, взаимодействуют через сложно организованный обмен сигналами и информацией. Для инженерии «Кибернетика» оказалась необычайно полезной и эффективной, эти идеи позволили конструировать ракеты, роботов, автоматизированные сборочные линии и разработать множество прецизионных инженерных методов – иными словами, она, можно сказать, заложила фундамент современного индустриального общества.

Впрочем, Винер лелеял более честолюбивые замыслы в отношении кибернетических концепций; в «Человеческом применении человеческих существ» он рассуждает об их применимости к столь разнообразным предметам, как демон Максвелла, человеческий язык, мозг, метаболизм насекомых, правовая система, роль технологических инноваций в государственном управлении и религии. Эти более широкие применения кибернетики обернулись почти безоговорочным провалом. Шумиха вокруг кибернетики длилась с конца 1940-х до начала 1960-х годов (во многом напоминая шумиху в области компьютерных и коммуникационных технологий, завершившуюся крахом доткомов в 2000–2001 годах); можно сказать, что кибернетика породила спутники и системы телефонной коммутации, но практически не повлияла на социальную организацию и общество в целом.

Зато почти семьдесят лет спустя работа «Человеческое применение человеческих существ» может научить современных людей много большему, чем могла научить первых читателей. Быть может, замечательнее всего в этой книге то, что она предлагает к обсуждению большое количество тем по взаимодействию человека и машины, во многом сохраняющих актуальность по сей день. Мрачная по своей тональности, книга прогнозирует ряд катастроф второй половины XX столетия, и многие ее предсказания едва ли не идентичны нынешним пророчествам относительно второй половины XXI столетия.

Например, Винер предвидел в 1950 году такой момент в ближайшем будущем, когда люди передадут управление обществом кибернетическому искусственному интеллекту, который впоследствии причинит человечеству немалый урон. Винер предсказывал, что автоматизация производства чревата как значительным повышением производительности труда, так и ростом безработицы; данную последовательность событий мы действительно наблюдаем в последующие десятилетия. Винер предупреждал, что революция неизбежна, если только общество не сумеет подыскать новые продуктивные занятия этим безработным.

Но Винер оказался не в состоянии предугадать важные технологические разработки. Подобно почти всем «технологистам» 1950-х годов, он не предвидел компьютерной революции. По его мнению, компьютеры в конечном счете должны были подешеветь с сотен тысяч долларов (в ценах 1950-х годов) до десятков тысяч долларов; ни он сам, ни его соратники и соперники не ожидали того колоссального прорыва, который случился в компьютерных технологиях благодаря применению транзисторов и интегральных схем. Кроме того, будучи одержим задачами управления, Винер не смог вообразить технологический мир, где инновации и самоорганизация передаются по цепочке снизу вверх, а не навязываются сверху.

Сосредоточившись на пороках тоталитаризма (политического, научного и религиозного), Винер воспринимал происходящее глубоко пессимистически. Его книга предрекала катастрофу, которая непременно произойдет, если мы не исправимся, причем как можно быстрее. Современный мир людей и машин более полувека спустя после публикации книги Винера гораздо сложнее и богаче и содержит намного больше политических, социальных и научных систем, чем он мог себе представить. Впрочем, предупреждения относительно того, что может случиться, если мы ошибемся, – например, если некий глобальный тоталитарный режим установит полный контроль над интернетом, – ничуть не утратили актуальности по сравнению с 1950 годом.

В чем Винер был прав

Наиболее известные математические работы Винера были посвящены проблемам анализа сигналов и воздействия шума. В годы Второй мировой войны он разработал методику управления стрельбой зенитной артиллерии на основании моделей, позволяющих предугадывать траекторию движения летательных аппаратов через экстраполяцию характеристик полета. В «Кибернетике» и «Человеческом применении человеческих существ» Винер отмечает, что такой предыдущий опыт подразумевал в том числе прихоти и привычки людей-пилотов, поэтому механизированное устройство способно предсказывать поведение людей. Подобно Алану Тьюрингу, чей знаменитый тест допускал, что вычислительные машины могут давать ответы на вопросы, неотличимые от человеческих ответов, Винер всем сердцем верил в возможность описания человеческого поведения математическими уравнениями. В 1940-х годах он стал сопоставлять теоретические знания о контурах управления и обратной связи с нервно-мышечной обратной связью в живых системах – и лично пригласил в Массачусетский технологический институт Уоррена Маккаллока и Уолтера Питтса[21 - Американский нейролингвист и математик, вместе с У. Маккаллоком исследовал возможности «компьютеризации» нейронов.], которые приступили к новаторским исследованиям в области искусственных нейронных сетей.

Главная идея Винера заключалась в том, что мир следует понимать с точки зрения информации. Сложные системы, будь то живые организмы, мозг или человеческое общество, состоят из взаимосвязанных контуров обратной связи, где обмен сигналами между подсистемами порождает комплексное, но стабильное поведение. Когда целостность контура обратной связи нарушается, система утрачивает стабильность. Винер нарисовал убедительную картину функционирования сложной биологической системы – картину, в целом общепринятую сегодня.

Восприятие информации как центрального звена управления поведением сложных систем было замечательным открытием своего времени. Ныне, когда автомобили и холодильники битком набиты микропроцессорами, а бо?льшая часть человеческого общества в своей деятельности опирается на компьютеры и сотовые телефоны, подключенные к интернету, подчеркивать важнейшую роль информации, вычислений и связи кажется банальностью. Но в эпоху Винера первые цифровые компьютеры только-только появлялись, а об интернете никто даже не задумывался.

Замечательное прозрение Винера – что не только сложные инженерные системы, но какие угодно сложные системы опираются в работе на циклы сигналов и вычислений – обеспечило несомненный прорыв в области разработки комплексных систем, создаваемых человеком. Например, те методы, которые Винер и его соратники разрабатывали для управления ракетами, впоследствии получили применение при конструировании лунного корабля «Сатурн-V»[22 -

Американская сверхтяжелая ракета-носитель, использовалась для вывода в космос кораблей проекта «Аполлон» и космической станции «Скайлэб».], одного из главных технических достижений XX столетия. А кибернетические выкладки Винера относительно человеческого мозга и компьютеризированного восприятия можно по праву посчитать «прародителями» современных систем глубинного обучения на основе нейронных сетей, а также искусственного интеллекта как такового. Однако текущее развитие ситуации в этих областях не совпадает с нарисованной им картиной, и не исключено, что в дальнейшем это скажется на человеческом использовании как человеческих существ, так и машин.

В чем Винер ошибался

Именно применительно к людям кибернетические идеи Винера оказались ошибочными. Оставляя в стороне его достаточно дилетантские размышления о языке[23 - Вероятно, имеется в виду стремление Н. Винера обнаружить «язык» у животных и насекомых и приписывание человеку «врожденной» способности к шифрованию/дешифрованию сигналов.], законодательстве и человеческом обществе, рассмотрим более скромную, но потенциально полезную инновацию, внедрение которой он считал неизбежным в 1950 году. Винер отмечал, что протезы станут намного эффективнее, если их владельцы обретут способность напрямую общаться с этими устройствами посредством нервных сигналов, получать информацию о давлении и местоположении от протезированных конечностей и направлять их последующие движения. Как выяснилось, на самом деле все куда сложнее, чем предполагал Винер: семьдесят лет спустя протезы с «нервической» обратной связью не продвинулись дальше грубых, по сути, прототипов. Сама концепция Винера превосходна, но дело в том, что крайне непросто сопрячь нейронные сигналы с механико-электрическими устройствами.

Что еще важнее, Винер (как и практически всё поколение 1950-х) сильно недооценивал потенциал цифровых вычислений. Как уже отмечалось, в области математики Винер занимался анализом сигналов и шума, его аналитические методы применимы к постоянно меняющимся – аналоговым – сигналам. Да, он участвовал в разработке методов цифровых вычислений в годы войны, но не предвидел (и вряд ли мог предвидеть) экспоненциальный рост вычислительных мощностей в результате внедрения и устойчивой миниатюризации полупроводниковых схем. Не будем винить Винера: транзистор тогда еще не изобрели, электронные лампы в знакомых ему цифровых компьютерах не отличались надежностью, а сама технология их использования не масштабировалась для более крупных устройств. В дополнении к изданию «Кибернетики» 1948 года он предполагал появление шахматных компьютеров и предсказывал, что они смогут мыслить на два-три (всего) хода вперед. Наверняка он несказанно удивился бы, доведись ему узнать, что за полстолетия компьютер сумеет одолеть чемпиона мира по шахматам среди людей.

Технологическая переоценка и экзистенциальные риски сингулярности

Когда Винер писал свои книги, рождался показательный пример переоценки технологических возможностей. В 1950-х годах предпринимались первые попытки разработать искусственный интеллект; речь о таких исследователях, как Герберт Саймон, Джон Маккарти и Марвин Минский, которые начали программировать компьютеры на выполнение простых задач и конструировать примитивных роботов. Успех первоначальных усилий побудил Саймона заявить, что «машины в ближайшие двадцать лет смогут выполнять любую работу, которую способен выполнить человек». Подобные прогнозы с треском провалились. Последовательно наращивая свою мощность, компьютеры все лучше и лучше играли в шахматы, поскольку могли систематически генерировать и оценивать широкий выбор потенциальных будущих ходов. Но большинство предсказаний в сфере ИИ, будь то горничные-роботы или что-то еще, оказались пустыми фантазиями. Когда суперкомпьютер DeepBlue победил Гарри Каспарова в шахматном матче 1997 года, наиболее «продвинутым» роботом-уборщиком считалась «Румба», которая беспорядочно металась по помещению с пылесосом и пищала, застревая под диваном.

Технологические прогнозы весьма проблематичны, учитывая, что технологии развиваются через усовершенствования, сталкиваются с препятствиями и форсируются инновациями. Многие препятствия и отдельные инновации выглядят ожидаемыми, но к большинству тех и других это не относится. В моей собственной области экспериментов по созданию квантовых компьютеров я обычно наблюдаю, как отдельные технологические этапы, казалось бы вполне реализуемые, оказываются невозможными, тогда как другие задачи, нерешаемые, как мне думается, легко осуществляются на практике. В общем, не узнаешь, пока не попробуешь.

В 1950-х годах Джон фон Нейман, отчасти вдохновляясь беседами с Винером, ввел понятие «технологической сингулярности». Технологии имеют тенденцию улучшаться в геометрической прогрессии, скажем удваивать мощность или чувствительность приборов за некоторый интервал времени. (Например, с 1950 года компьютеры удваивали мощность примерно каждые два года – это наблюдение известно как закон Мура.) Фон Нейман экстраполировал наблюдаемый экспоненциальный технический прогресс и допустил, что «технический прогресс станет непостижимо быстрым и сложным», опережая человеческие возможности в уже не слишком отдаленном будущем. Действительно, если отталкиваться исключительно от наращивания вычислительных мощностей, выраженных в битах и битовых переходах, и прогнозировать будущее на основании текущих темпов, мы вправе утверждать, что компьютеры сравняются по возможностям с человеческим мозгом в ближайшие два-три-четыре десятилетия (в зависимости от того, как оценивать сложность процессов обработки информации в человеческом мозге).

Провал первоначальных, чрезмерно оптимистичных прогнозов относительно создания полноценного ИИ на несколько десятилетий заглушил разговоры о технологической сингулярности, но после публикации работы Рэя Курцвейла «Сингулярность рядом» (2005) идея технического развития, ведущего к появлению суперинтеллекта, снова обрела силу. Кое-кто, включая самого Курцвейла, стал рассматривать эту сингулярность как возможность прорыва: мол, люди смогут объединить свои сознания со сверхразумом и тем самым обрести вечную жизнь. Стивен Хокинг и Илон Маск высказали опасения, что этот суперинтеллект окажется злонамеренным, и расценивали его как величайшую из нынешних угроз существованию человеческой цивилизации. Третьи, в том числе некоторые из авторов настоящей книги, полагают, что подобные опасения преувеличенны.

Труды Винера и то обстоятельство, что он не сумел предугадать последствия развития кибернетики, неразрывно связаны с представлением о приближении технологической сингулярности. Его деятельность в сфере нейробиологии и первоначальная поддержка, которую он оказывал Маккаллоку и Питтсу, позволили разработать современные, поразительно эффективные методы глубинного обучения. За последнее десятилетие, особенно в последние пять лет, такие методы глубинного обучения наконец-то привели к возникновению, если воспользоваться одним из терминов Винера, гештальта: машина, например, способна распознавать в круге круг, даже если он наклонен и выглядит как эллипс. Винеровские концепции управления вкупе с изучением нейромышечной обратной связи имели большое значение для развития робототехники и послужили основой для разработки нейронных интерфейсов «человек/машина». Однако однобокость его технологических прогнозов побуждает воспринимать идею технологической сингулярности с немалой осторожностью. Общие затруднения технологического прогнозирования как такового и проблемы, свойственные разработке суперинтеллекта, удерживают меня от избыточного энтузиазма в отношении как вычислительной мощности, так и эффективности обработки информации.

Аргументы в пользу скептиков

Никакое экспоненциальное развитие не длится бесконечно. Атомный взрыв распространяется по экспоненте, но только пока не кончится его «топливо». Точно так же экспоненциальный прогресс по закону Мура начинает сталкиваться с пределами, налагаемыми физикой. Тактовая частота компьютеров достигла максимума в несколько гигагерц полтора десятилетия назад, далее чипы начали плавиться от нагрева. Миниатюризация транзисторов столкнулась с квантово-механическими проблемами вследствие туннелирования[24 - В данном случае речь идет о т. н. туннельном эффекте в квантовой механике, когда частицы преодолевают энергетический барьер, величина которого превышает энергию этих частиц.] и утечек тока. Рано или поздно различные экспоненциальные улучшения памяти и обработки информации по закону Мура достигнут предела. Впрочем, возможно, что нескольких десятилетий окажется достаточно для того, чтобы вычислительные мощности машин сравнялись с мощностью человеческого мозга – по крайней мере, по грубым показателям количества битов и битовых переходов в секунду.