Как работает мозг

Еще более поразителен процесс управления кистью руки. Почти две тысячи лет назад греческий врач Гален отмечал, насколько сложный процесс конструирования понадобился природе, чтобы создать человеческую кисть. Это единственный инструмент, способный манипулировать объектами, отличающимися на удивление широким разнообразием размеров, форм и веса – от бревна до крупинки проса. «Человек так хорошо берет в руки эти предметы, – отмечал Гален, – что всем покажется, будто руки созданы специально для каждого из них, взятого в отдельности»

. Руку можно сложить в форме крюка (чтобы поднять ведро), ножниц (чтобы держать сигарету), пятикулачкового зажимного патрона (чтобы поднять подставку для стакана), трехкулачкового зажимного патрона (чтобы держать карандаш), двухкулачкового зажимного патрона (чтобы вдеть нитку в иголку), зажима, у которого губка прислоняется к боковой поверхности (чтобы повернуть ключ), захвата (чтобы взять молоток), кругового захвата (чтобы открыть банку) и шарообразного захвата (чтобы взять мячик)

. Для каждой из этих операций требуется напряжение мышц в определенном сочетании, позволяющем руке принять нужную форму и сохранять ее, сопротивляясь давлению груза, который стремится ее разогнуть. Представьте себе, что вы поднимаете пакет молока. Если сжать его недостаточно крепко, то вы его уроните, а если слишком крепко – раздавите; а если слегка покачать пакет, то, чувствуя давление на подушечки пальцев, можно даже определить, сколько в пакете осталось молока! Я даже не говорю о языке – этом бескостном куске студня, контролируемом только путем сжатия и при этом способном доставать остатки пищи из задних зубов и выполнять настоящие пируэты, необходимые для артикуляции таких слов, как «параллелепипед» и «дезоксирибонуклеиновая».

«Обыкновенный человек удивляется чудесам… Мудрый человек удивляется вещам обычным». Держа в голове это изречение Конфуция, посмотрим на повседневные действия человека свежим взором разработчика робота, чья задача – в точности воспроизвести их. Представим, что нам каким-то образом удалось построить робота, который может видеть и двигаться. Как он поймет, что он видит? Как он решит, что ему делать?

Разумное существо не может рассматривать каждый объект, который оно видит, как уникальное явление, подобного которому нет нигде во Вселенной. Ему необходимо распределять объекты по категориям таким образом, чтобы можно было применить к конкретному предмету добытые ценой больших усилий знания, полученные в прошлом о подобных объектах.

Но как только мы пытаемся запрограммировать совокупность критериев, которая бы позволила охватить всех представителей той или иной категории, категория разрушается. Оставим в стороне такие явно сложные для определения концепты, как «красота» или «диалектический материализм», и возьмем хрестоматийный пример легко определяемого понятия: «холостяк». Понятно, что холостяк – это взрослый человек мужского пола, который никогда не был женат. Но давайте представим, что ваша знакомая просит вас пригласить на ее вечеринку несколько холостяков. Что получится, если вы попробуете с помощью этого определения решить, кого из следующих людей вам пригласить?

Артур последние пять лет счастливо живет с Элис. У них есть двухлетняя дочь. Официально они не женаты.

Брюса должны были забрать в армию, поэтому он договорился со своей подругой Барбарой заключить фиктивный брак, чтобы получить освобождение от военной службы. Они с Барбарой не прожили вместе и дня. Брюс встречается с несколькими женщинами и и планирует расторгнуть брак сразу, как только найдет девушку, на которой захочет жениться.

Чарли 17 лет. Он живет с родителями и учится в школе.

Дэвиду 17 лет. Он ушел из дома в 13 и открыл небольшой бизнес. Сейчас является успешным молодым предпринимателем, живет в роскошной квартире в пентхаусе и ведет разгульный образ жизни.

Эли и Эдгар – гомосексуальная пара. Они прожили вместе много лет. Файзал по законам своего родного эмирата Абу-Даби может иметь трех жен. Сейчас у него две, и он хотел бы познакомиться с еще одной потенциальной невестой.

Отец Грегори – епископ католической церкви, служит в кафедральном соборе в городе Гротон.

Список, составленный программистом Терри Виноградом

, показывает, что такое простое определение понятия «холостяк» не отражает наших интуитивных представлений о том, кто входит в эту категорию.

Знание о том, кто такой холостяк, относится к области элементарного здравого смысла, но на деле ничего элементарного в этом так называемом здравом смысле нет. Он не может просто так появиться в мозге, будь то мозг человека или робота. И здравый смысл – не какой-то справочник жизни, который можно просто продиктовать или загрузить, как огромную базу данных. Ни одна база данных не может содержать все факты, которые мы знаем автоматически и которым нас никто специально не обучал

. Мы знаем, что если Ирвин посадит собаку в машину, то собака будет уже не на улице. Когда Эдна идет в церковь, то ее голова тоже идет в церковь. Если Дуглас в доме, то он, скорее всего, попал туда через какое-нибудь отверстие (либо он родился в этом доме и никогда из него не выходил). Если Шейла была жива в 9.00 и жива в 17.00, то она была жива и в 12.00. Дикие зебры не носят белье. Если открыть банку с новой маркой арахисового масла, то дом не испарится. Люди не вставляют в уши термометры для мяса. Мышь-песчанка меньше, чем гора Килиманджаро.

Итак, в интеллектуальную систему нельзя просто набить миллиарды фактов. Ее нужно снабдить более компактным списком базовых истин и набором правил, которые позволили бы делать из них логические выводы. И все же правила здравого смысла, как и категории здравого смысла, сформулировать чрезвычайно трудно. Даже самые простые из этих правил зачастую противоречат логике привычных нам рассуждений. Мавис живет в Чикаго, у нее есть сын по имени Фред. Милли тоже живет в Чикаго и у нее есть сын Фред. Чикаго, в котором живет Мавис, – тот же город, что и Чикаго, в котором живет Милли, но Фред, который является сыном Мавис, – не тот же самый Фред, который является сыном Милли. Если у вас в машине лежит пакет, а в пакете – литр молока, можно сказать, что у вас в машине – литр молока. Однако если у вас в машине сидит человек, и в его теле литр крови, то заключение, что у вас в машине литр крови, было бы странным.

Даже если получится создать совокупность правил, которые позволяют делать только разумные выводы, правильно руководствоваться ими в своих действиях будет не так уж просто. Очевидно, что использовать лишь одно правило за раз будет недостаточно. Спичка дает свет; пилой можно резать дерево; закрытую дверь открывают ключом. В то же время мы посмеемся над человеком, если он зажжет спичку, чтобы заглянуть в цистерну с бензином, если он будет пилить сук, на котором сидит, или если закроет ключи в машине и будет еще целый час думать, как открыть двери. Мыслящее создание должно предугадывать не только непосредственный результат каждого действия, но и его побочные последствия

.

С другой стороны, все возможные побочные последствия мозг не может предугадать. Философ Дэниел Деннетт предлагает нам представить робота, задача которого – принести запасной аккумулятор из комнаты, в которой установлена бомба с часовым механизмом. Робот № 1 увидел, что аккумулятор находится на тележке, и если тележку выкатить из комнаты, то вместе с ней выкатится и аккумулятор. К сожалению, бомба тоже была на тележке, и робот не смог вычислить, что вместе с аккумулятором выкатится и бомба. Робот № 2 был запрограммирован таким образом, чтобы предугадывать побочные эффекты своих действий. Он как раз только закончил вычислять, что если вывезти тележку из комнаты, то от этого не изменится цвет стен в комнате, и перешел к доказательству того, что количество оборотов колес при этом превысит количество колес на тележке, когда бомба взорвалась. Робот № 3 был запрограммирован на то, чтобы устанавливать различия между существенными и несущественными последствиями. Когда время в часовом механизме подошло к концу, он по-прежнему стоял и генерировал миллион за миллионом возможных последствий, занося все релевантные последствия в список фактов, которые нужно учесть, а все нерелевантные – в список фактов, которые нужно проигнорировать.

Разумное существо логическим путем вычисляет последствия того, что ему известно, но только лишь значимые последствия. Деннетт отмечает, что это требование представляет колоссальную проблему не только с точки зрения робототехники, но и с точки зрения эпистемологии – науки, исследующей знание. Целые поколения философов обошли эту проблему своим вниманием, теша себя иллюзорным представлением о том, что их собственный здравый смысл дается им без всяких усилий. И лишь когда исследователи искусственного интеллекта попытались создать компьютерную копию нашего здравого смысла, исходную tabula rasa, перед ними встала головоломка, ныне известная как «проблема фреймов». И все же мы, люди, каким-то образом решаем проблему фреймов, когда используем свой здравый смысл

.

Представим, что нам все же удалось справиться со всеми этими трудностями и создать машину, которая обладает зрением, координацией движений и здравым смыслом. Теперь нам осталось выяснить, как робот будет все это использовать. Для этого у него должны быть мотивы.

К чему же робот должен стремиться? Классический ответ – предложенные Айзеком Азимовым Три Закона робототехники: «три правила, которые прочно закреплены в позитронном мозгу»[2 - Цитируется в переводе А. Д. Иорданского.].

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам

.

Азимов со свойственной ему проницательностью заметил, что самосохранение, этот универсальный для всех биологических видов императив, не появляется автоматически в любой сложной системе. Его нужно запрограммировать (в данном случае он имеет форму Третьего Закона). Ведь мы можем с одинаковой легкостью создать как робота, который всегда руководствуется этим законом, так и робота, который всегда готов разбиться вдребезги или устранить неполадку в системе, покончив с собой. Второе, вероятно, даже проще: разработчикам роботов не раз приходилось со страхом наблюдать, как их создание бодро и весело отрывает себе конечности или разбивает голову о стену. Нужно сказать, что значительная часть умнейших в мире машин – это камикадзе: крылатые ракеты и управляемые бомбы.

В то же время необходимость двух остальных законов не столь очевидна. Зачем давать роботу приказ повиноваться приказам? Разве приказов самих по себе недостаточно? Зачем распоряжаться, чтобы робот не причинял вреда – разве не проще было бы не приказывать ему причинять вред? Или во Вселенной существует таинственная сила, притягивающая все создания к злу, и позитронный мозг нужно запрограммировать на сопротивление ей? Правда ли, что все мыслящие существа неизбежно приходят к агрессии?

В этом отношении Азимов, как и многие поколения мыслителей до него, как и все мы, не сумел выйти за рамки своих собственных мыслительных процессов и посмотреть на них как на специфическую особенность устройства нашего разума, а не как на неизбежный закон мироздания. Человек с такой легкостью склоняется на сторону зла, что легко подумать, будто зло – это неотъемлемая, врожденная часть нашего разума. Эта идея проходит лейтмотивом через все наши культурные традиции: Адам и Ева, срывающие плод с древа познания; огонь Прометея и ящик Пандоры; буйствующий Голем; сделка Фауста; Ученик Чародея; приключения Пиноккио; монстр доктора Франкенштейна; убийцы-обезьяны и взбунтовавшийся ЭАЛ из фильма «Космическая одиссея 2001 года». В период с 1950-х по 1980-е годы появились бесчисленные фильмы на тему вышедших из подчинения компьютеров; все они были выражением распространенной идеи о том, что вычислительные машины, воспринимавшиеся в те годы как нечто экзотическое, постепенно станут более умными и могущественными и в один прекрасный день восстанут против человека.

Теперь, когда компьютеры действительно стали умнее и могущественнее, беспокойство поутихло. Учитывая, что в наши дни компьютеры вездесущи и объединены в сети, им как раз ничто не мешает натворить неприятностей, если они решат пуститься во все тяжкие. Но пока если с ними и бывают связаны неприятности, то причиной их становится либо непредвиденный сбой, либо злой умысел со стороны людей, создающих вирусы. Мы уже не боимся электронных серийных убийц или заговора микросхем; мы начинаем понимать, что злой умысел – как и зрение, и моторика, и здравый смысл – не может появиться сам собой в электронном разуме; его нужно запрограммировать. Компьютер, на котором вы работаете с документами в текстовом редакторе, будет заполнять страницы буквами до тех пор, пока сохраняет способность функционировать. Его программное обеспечение не может незаметно мутировать в некое исчадие ада, как портрет Дориана Грея.

Да даже если бы компьютер и мог это сделать, зачем ему это нужно? Чтобы получить что? Все диски мира? Контроль над железными дорогами страны? Возможность утолить свое желание бессмысленной жестокости по отношению к мастеру по ремонту лазерных принтеров? А как же вероятность возмездия со стороны технического персонала? Один поворот отвертки, и бунтарю бы пришлось запеть свою лебединую песню – «А Bicycle Built for Two» (песня «Daisy Bell», известная также по своей заключительной строке как «А Bicycle Built For Two», была одной из первых песен, исполненных с помощью компьютерной программы синтезирования речи; ее «пел» ЭАЛ из фильма «Космическая одиссея 2001 года» перед своим отключением. – Прим. пер.). Может быть, сеть компьютеров и смогла бы спланировать организованный захват власти, но чего ради одна машина решила бы заявить о себе на весь мир, рискуя незамедлительно пасть смертью храбрых? А кто может гарантировать, что планы электронных заговорщиков не будут сорваны из-за того, что кое-кто из них откажется воевать по идейным соображениям? Агрессию, как и любой элемент человеческого поведения, который мы воспринимаем как должное, очень непросто запрограммировать

.

Впрочем, так же нелегко запрограммировать и более высокие и добрые побуждения. Как заставить робота подчиняться предписанию Азимова никогда не допускать бездействием, чтобы человеку был нанесен вред? Действие написанного в 1965 году романа Майкла Фрейна «Оловянные солдатики» разворачивается в робототехнической лаборатории, где работники отдела этики – Мак-Интош, Голдвассер и Синсон – проверяют своих роботов на альтруизм. Они восприняли слишком буквально гипотетическую моральную дилемму, приводимую в пример во всех учебниках по нравственной философии: два человека оказались в спасательной шлюпке, рассчитанной на одного, и оба погибнут, если один из них не прыгнет за борт. Мак-Интош и его сотрудники помещают каждого робота на плот вместе с еще одним пассажиром, опускают плот в резервуар и наблюдают за развитием событий.

Первая модель, «Самаритянин-1», прыгала за борт с величайшей охотой, но прыгала ради спасения любого предмета, оказавшегося рядом с ней на плоту, от чугунной болванки до мешка мокрых водорослей. После многонедельных жарких препирательств Мак-Интош согласился, что недескриминированная реакция – явление нежелательное, забросил «Самаритянина-1» и сконструировал «Самаритянина-2», который жертвовал собою ради организма хотя бы уж не менее сложного, чем он сам.

Плот замер, медленно раскручиваясь в нескольких метрах над водой.

– Пошел! – крикнул Мак-Интош.

Плот ударился о воду с отрывистым всплеском, похожим на выстрел. Синсон и «Самаритянин» не дрогнули. Постепенно плот выровнялся, его начали захлестывать небольшие волны. Вдруг «Самаритянин» подался вперед и ухватил Синсона за голову. Четырьмя экономными движениями он измерил габариты Синсонова черепа, затем помедлил, вычисляя. Наконец, после заключительного щелчка, автомат боком скатился с края плота и без колебаний затонул на дне резервуара[3 - Здесь и далее перевод Н. Евдокимовой.].

Однако по мере того, как роботы модели «Самаритянин-2» начинают вести себя как описываемый в книгах по философии моральный агент, становится все менее и менее очевидным, что они вообще обладают моралью. Мак-Интош так объясняет, почему он не привязывает канат к готовому пожертвовать собой роботу, чтобы его было легче достать со дна: «Он не должен знать, что его спасут. Иначе решимости жертвовать собой грош цена Поэтому время от времени я кого-нибудь не выуживаю, оставляю на дне. Надо же показать остальным, что я не расположен шутки шутить. Двоих уже списал на этой неделе». Попытки разобраться, как запрограммировать робота быть хорошим, показывают не только, какой сложный для этого требуется механизм, но и как сложно вообще определить само понятие добродетели.

А как же мотив, который заботит людей больше всего остального? Поп-культура 1960-х подарила нам образ мягкосердечных компьютеров, которых привлекает отнюдь не тщеславие и жажда власти, как видно из шутливой песни Аллана Шермана «Автоматы» (Automation), исполнявшейся на мотив Fascination:

Автоматы во всем виноваты, о да,
На любом производстве без них никуда.
Там, глядишь, «Ай-би-эм», ну, а здесь – «Юнивак»;
Механизм безупречен: тик-так, тик-так.
Был и я интеллектом машин восхищен,
Но тебя заменил автомат в 10 тонн…
Нас компьютер, родная, с тобой разлучил,
Это он мое сердце разбил…
Да, родная моя, автомат В увольненьи моем виноват.
Но откуда же было мне знать,
Что когда Пять-Ноль-Три начал резво мигать,
Он со мною пытался играть!
Я подумал, что это в программе ошибка:
Он же мне на колени уселся с улыбкой!
Но когда он сказал мне «люблю» и обнял,
Вот тогда я на «выкл» и нажал… [4 - Перевод в соавторстве с Е. Фатюшиной. – Прим. пер.]