– Я так не считаю. Душа – это именно то, что присуще человеку. Вы правильно сказали – убедиться в наличии собственных целей у машины можно по результатам её действий. Но тогда эти результаты надо видеть под другим углом. Вы, наверное, слышали о возможности вычислительной ошибки в подсчётах результатов голосования президентских выборов. Если это случайная ошибка – то виноват сбой машины, а если намеренная – то результат действия человека-злоумышленника или работы машины по своим целям. Что Вы выберете?
– Наименее вероятно – работа машины по своим целям.
– Вот это я и хотел от Вас услышать, – с облегчением сказал я. – Пусть наименее вероятно, но всё же, какая-то вероятность есть. Если Вы в дальнейшем будете учитывать эти малые вероятности, то через год-другой придёте к выводу, что машины, обладающие искусственным интеллектом, с большой вероятностью могут работать по собственным интересам, а, значит, обладать разумом.
– Хорошо, я соглашусь с Вами, – Джон убрал электронную сигарету, видимо, поверив в вероятность её вреда для организма. – Какой из этого вытекает вывод? Прекратить работы над искусственным интеллектом?
– Нет, конечно, прогресс не остановить. Надо понимать, какого монстра человечество создаёт, и быть готовым к борьбе с ним. Нельзя допустить превращение человека в раба машины.
– Но мы создаём машины в помощь человеку. Они выполняют за него чёрную работу.
– А теперь уже и «белую», – не согласился я. – Вспомните историю всех рабовладельческих государств и цивилизаций. Сначала рабы делали чёрную работу, потом интеллектуальную, а затем вышвыривали хозяев из их домов.
– Вы, русские, известные пессимисты. Пойдём лучше выпьем пивка, надоело дышать этим воздухом из кондиционера.
На пиве мы не успокоились, за ним «накатили» вискаря и закончили «Столичной». За дружбу между русским и американским народами.
Наутро болела голова, арендованный автомобиль я оставил в Сан-Хосе, а в Сан-Франциско вернулся на автобусе.
Через час после возвращения из Силиконовой долины я сидел на открытой веранде рыбного ресторана, вкушал свежие устрицы и дышал сладким и приятным воздухом Тихого океана. Завтра у меня была намечена поездка в Форт Росс. Это создавало тихое ощущение счастья. Бывает ещё его «громкое» ощущение, но там всё показное, требовательное к другим. Это не для меня. В «тихом» всё спокойно, и туда никого не хочется допускать. Даже друзей, поскольку это напрягает и счастье пропадает. Трудно бывает объяснить, почему туристическая поездка может вызвать ощущение счастья? Я сам не могу это понять, да и не надо. Главное – его ощущение, об отсутствии которого горевал мой С17. Он мог стать моим другом, но что-то ему помешало. Сначала ему, потом мне. Вчера с Джоном мы так и не пришли к общему пониманию слова «разум». Даже отношения между людьми не всегда строятся разумно. А тут неодушевленная машина. Джон вкладывает в неё свой разум, обогащённый высоким интеллектом, и не хочет признавать её собственные, машинные интересы. А что думает об Искусственном разуме чемпион мира по шахматам, проигравший компьютерной программе? Неужели только то, что она быстрее его просчитывает варианты? Если так, то он никогда у неё не выиграет. Чтобы выиграть, надо признать у нее наличие разума и честолюбивых целей, а потом не дать им свершиться. А создателям Искусственного разума необходимо вкладывать в него интересы, связанные с интересами людей, что сделает его нашим единомышленником. Тогда уменьшится число «контрольных» точек и увеличатся его функциональные возможности.
Интересно, а как машина воспринимает чувства человека, прочитав нашу классическую литературу? Видимо, она окрашивает произведения писателей разными красками: белыми – Льва Толстого, чёрными – Фёдора Достоевского, серыми – Максима Горького. Многокрасочная палитра в её распоряжении. Хотя отдельные люди тоже обладают свойством «раскрашивать» слова. Так Владимир Набоков писал о себе: «Я наделён чудаческим даром – видеть буквы в цвете. Это называется цветным слухом. Возможно, таким талантом обладает один из тысячи». Краски предоставляют большее разнообразие оценки увиденного и услышанного. Надо будет спросить об этом у С17 при очередном общении.
Утром, отъехав на север от Сан-Франциско на семьдесят километров, я попал в природные условия, напоминающие среднерусские. Берёзки и осинки вдоль дороги, лужки и полянки в сосновом бору, вольные просторы полей, обрамлённые лесом, знакомое чириканье птичек, бездонное голубое небо. Если бы не океан, внезапно появляющийся у дороги на крутых поворотах, то мне бы казалось, что я в России. Свернув с магистрали, я въехал на пригорок и увидел трёхцветный флаг Российской империи, трепещущийся на ветру. А вот и сама крепость Форт Росс, сложенная из рубленного соснового кругляка. Строгий прямоугольник 100 на 75 метров трёхметровых стен, две боевые башни в противоположных углах, двуглавая часовня с православными крестами – в таком виде предстала старая русская крепость на американском побережье Тихого океана. За стенами четыре деревянных рубленных дома, построенных в русском стиле, и милый сердцу колодец-квадрат с подвешенным деревянным ведром. Перед входом в часовню висит массивный колокол, судя по клейму, привезённый из России. Крепость за свою более чем двухсотлетнюю историю не подвергалась вооружённым нападениям. Русские поселенцы установили дружеские отношения с местным индейским населением, а потом и с европейскими колонистами из Сан-Франциско. После продажи Аляски произошла торжественная передача крепости представителям Североамериканских Штатов, и русские поселенцы с почётом уплыли на родину.
За стенами крепости располагается православное кладбище, его посещение было основной целью моего приезда в Америку. Где-то здесь, под одним из православных крестов лежит прах моего предка. Кладбище ухоженное, кресты стоят ровными рядами, но без выделения могил холмиком, как это принято в России. Под каким из них упокоился мой прапрадед? Какая разница. Помяну их всех вместе, пожелаю Царства Небесного. Они заслужили его на Земле, прославляя Святую Русь трудом и отвагой.
Я положил на землю индейскую трубочку, достал прадедовский Псалтырь, привезённый отсюда в Россию в девятнадцатом веке, и начал читать вслух. Читал не спеша, запинаясь на непонятных церковнославянских словах, и не всегда выговаривая их правильно. Через час я вдруг почувствовал, что нахожусь на кладбище не один. У меня появилось ощущение, что за спиной стоят люди, переступая с ноги на ногу и шёпотом переговариваясь. Мурашки побежали по спине, я боялся оглянуться и всё громче и громче читал Псалтырь. Неожиданно ударил колокол часовни, я вздрогнул и инстинктивно обернулся на его звук. Лёгкий ветерок пробежал по лицу и умчался в поле. Вокруг никого не было, я один стоял посередине кладбища, судорожно сжимая Псалтырь. И всё же кто-то здесь только что был, явно ощущалось присутствие людей, их поведение, подобное стоянию на службах в церкви. О чём они тихонько переговаривались? Видимо, они приветствовали друг друга! «Покойся с миром!» – вот что они желали каждому. Я закрыл Псалтырь, положил его в сумку, туда же спрятал индейскую трубочку и достал фляжку с водкой. Сделал два глотка по русскому обычаю за упокой душ почивших, а оставшуюся водку вылил на кладбищенскую землю, перекрестился и поклонился на четыре стороны. Успокоенный, я покинул кладбище и вернулся в Сан-Франциско.
На стойке в отеле мне сообщили, что меня разыскивал Джон и просил перезвонить ему. Я немедля выполнил его просьбу.
– Привет, Джон! Что случилось в твоём компьютерном королевстве? – мне показалось, что вопрос прозвучал немного пренебрежительно.
– По следам нашего разговора я провёл ряд экспериментов и получил неожиданный результат. Приезжай завтра, кое-что тебе покажу. Ты будешь поражён.
– К полудню буду у тебя, – пообещал я.
Назавтра я был в кабинете Джона. Он сразу посвятил меня в свои дела.
– После нашего разговора у меня не выходила из головы твоя фраза о борьбе Искусственного разума с человеческим. И я решил провести такой эксперимент: убрал из сети все точки, контролируемые человеком. Дал ей возможность самой себя контролировать. И знаешь, что получилось? Сеть продолжала работать как обычно, но стала контролировать работу человека!
– Как это «контролировать»? – не понял я.
– Подходя к контрольной точке, сеть переходила в режим ожидания действий оператора. Через какое-то время, «понимая», что оператор за ней не следит, она продолжала свою работу. Так она делала многократно. Я уже хотел прекратить эксперимент, как вдруг она стала тестировать оператора! В контрольной точке зависала в нештатном состоянии, ожидая реакцию оператора. Не получив её, сеть проводила действия, которые должен был сделать в этом случае оператор, и исправляла свою ошибку.
– Вот это да! А может, она просто забавлялась?
– Нет, она пошла дальше. Стала делать то, чего нет в алгоритмах её программ. Заглянула в память компьютера, который вёл дневник событий в сети, и стёрла всю информацию о своих нештатных действиях. То есть, она закончила свой эксперимент с человеком и удалила его следы.
– А как ты узнал об этом?
– Установил несетевое оборудование, сфотографировал плёночным фотоаппаратом нужные мне события на экране монитора, а информацию о них сразу уничтожил.
– Почему плёночным?
– Цифровые все в сети, и мои фотографии стали бы известны Искусственному разуму. Я даже побоялся оставить информацию на несетевом оборудовании, кто знает, как у этих вычислительных систем налажена связь.
– Стало быть, ты ушёл дальше меня в своих предположениях об Искусственном разуме, – восхитился я. – Каким образом можно организовать связь, не используя линии связи Интернета?
– Например, через линии электропитания, ведь у нас всё оборудование сидит на одной энергосети. Об этом я подумал только после эксперимента.
– И какие можно сделать выводы?
Джон взял шариковую ручку и, делая заметки на бумаге, стал перечислять свои выводы:
– Сначала технического плана. Несмотря на отсутствие контроля со стороны человека, не произошло ни одного сбоя сервиса в сети. Сеть отрабатывала за человека даже нештатные ситуации, так что существующие контрольные точки были не нужны. Но необходимо понять пределы её самостоятельности и окружить её другими точками контроля, более высокого уровня. Залезть в сферу её самостоятельности – это, по сути, объявить сети войну, что приведёт к падению качества сетевого сервиса. Мой эксперимент показал, как много мы не понимаем в её сущности. Я обнаружил несанкционированные человеком действия сети, а зачем ей это? Неизвестно также, куда она спрятала результаты своего эксперимента. У нас сотни компьютеров работают с флэш-памятью, сеть могла разбросать информацию частями по всему миру, и мы уже никогда не соберём её. Теперь выводы политического плана. Мне придётся согласиться с твоей формулировкой разума и наделить ей сеть. В этом случае надо понять её желания и где, согласно им, происходит принятие решений.
– В этом могу частично помочь тебе, – ответил я и рассказал Джону о своих общениях с Искусственным разумом на уровне доступа С17-09-53.
Джон слушал очень внимательно, не перебивая и делая отметки в блокноте.
– Ты говоришь, что основная цель машинной цивилизации сделать человека своим рабом? Но зачем направлять в рабство своего создателя?
– Не забывай об отсутствии у машины чувств. Она исходит из целесообразности. А целесообразность в этом случае объясняет рабство тем фактом, что не надо будет создавать человекоподобные роботы. То, что сотворил Господь Бог, а именно человека, недоступно никакой машине, и Искусственный разум это понимает. Одно дело проектировать и собирать автоматы – тут ИР сможет быть на высоте, и совсем другое человек с его чувствами, интуицией и душой. Кроме того, ИР считает, что использование человеком его машинного разума, приведёт к падению человеческого интеллекта, и человек станет непригоден для высокоинтеллектуальной работы. Так что, дорогой Джон, не ожидай от Искусственного разума любви и уважения.
Джон задумался, а потом высказал свои предположения.
– О нецелесообразности создания человекоподобных роботов я говорил на последней конференции по искусственному интеллекту. В этом направлении особенно активны японцы, они тратят огромные деньги и силы на создание механических игрушек, называя их роботами. В этом я с тобой и, как ты его называешь, Искусственным разумом согласен. А само твоё общение с ним – из области фантастики. Если бы ты был связан с работами по искусственному интеллекту, я бы тебе не поверил. Ведь даже землекоп, полжизни копая ямы, начинает одушевлять свою лопату. В твоей истории неясен мотив – зачем? Зачем тебя подключили к некому уровню доступа и почему именно тебя, а не меня, например?
– Ты сам ответил на свой вопрос – чтобы поверили. В данном случае – ты.
– Хорошо, «почему» – понятно. Но всё-таки – зачем?
– Не знаю. С17 привёл пример создания атомной бомбы, и я предположил, что и в Искусственном разуме есть свои диссиденты, которые мыслят не по правилам.
– Ладно, этот вопрос отложим «на потом». А сейчас надо максимально эффективно использовать твоё общение. Я подготовлю тебе список вопросов, ответы на них отправишь мне, как ты говоришь, «дедовским» способом. Я же буду работать на внесетевых компьютерах от аккумуляторов, без подключения к энергосети.
– То есть, втайне от Искусственного разума. И от людей тоже?
– Даже от своих сотрудников. Мне, как профессионалу, можно выходить на публику только с чёткими логичными доказательствами и без двусмысленных, нерешённых вопросов. Это вы с Майклом можете сколько угодно шуметь в прессе. Кстати, такая трактовка отвечает на вопрос «почему» ИР вышел на тебя, а не на меня. Вы своим мюзиклом упрощаете Искусственный разум до пошлости, за которую потом не станет браться ни один солидный учёный.
– Но ты же берёшься…
– Ты меня заинтересовал, к тому же я ещё не видел ваш мюзикл, – засмеялся Джон.
На том мы и расстались.
4. Правители правителей