Квантовый переход. Книга первая. Техническая сингулярность

– Действительно, нейросеть, ответственная за ходьбу, обучается довольно медленно, – согласился он.

Девушка на экране тем временем беспорядочно дрыгала ногами, руками и наконец, она поползла по-пластунски, как партизан во время войны.

– У нее что-то получается, – обрадовался программист.

– Рано еще об этом говорить, – сбавила его пыл Анна.

Тут пришел Леонид.

– Ну, как дела? – спросил он.

– Наш электронный младенец учиться ходить, – доложил Максим.

– Отлично! Рабочий день скоро заканчивается, так что переведи компьютер в режим сна, и пойдем на кухню попьем чайку, я расскажу тебе о том, к чему такие меры безопасности.

Сначала «мозговая» активность Синтии-2 затихла. Сама она при этом легла в расслабленной позе и закрыла глаза. Теперь можно было отключить основные компьютеры. Что Максим и сделал, а потом поднялся наверх.

– Ты смотрел фильм Терминатор? – спросил Леонид.

– Ну да, смотрел, – ответил Максим, – но это же просто фантастическое кино.

– Фантастика иногда может стать реальностью, – философски заметил босс, – несколько десятилетий назад возможность иметь доступ к огромный объемам информации из любой точки мира и беседовать друг с другом по видео – было фантастикой. А сейчас у нас есть Skype и Интернет.

– Так ты боишься, что Искусственный Интеллект поднимет бунт и нас всех убьет?

– Это слишком примитивное представление о том, что может произойти, если вдруг мы создадим нечто, что превзойдет нас по уровню интеллекта. Ты, конечно, очень умный, имеешь красный диплом и все такое, но, при всем уважении, со стратегическим мышлением у тебя туго. Синтия права. Тебе нужно научиться мыслить более глобально.

– В смысле?

– Ну, вот смотри. Представь себе, что у тебя есть умный робот, и ты ставишь ему задачу: «Сделай мне хорошо». Но не расшифровал ему, что ты имеешь в виду. И он интерпретировал это по-своему, а именно: усыпил тебя и сделал операцию – вживил в мозг электрод. В зону удовольствия. А когда ты очнулся, пустил ток. И тебе хорошо. Формально задача выполнена. Но ты же не этого хотел, верно?

– Значит, нужно просто правильно поставить задачу….

– А что значит «Правильно поставить задачу»? Расшифровать подробно понятие «сделать хорошо»? Задать ограничения?

– Ну да, например, сказать роботу, что нельзя производить хирургическое вмешательство.

– Тогда робот накормит тебя наркотиками. Тебе будет хорошо, и он бодро отрапортует о выполнении задачи.

– Хм, – Максим задумался.

– Да, действительно, ограничений придется вкладывать слишком много, – наконец сказал он, – Нельзя оказывать химическое воздействие на мой организм, еще что-то нельзя. И не дай Бог что-то забуду. Хотя… стоп. А как же три закона робототехники, придуманные Азимовым?

– Ну, хорошо. Робот не может причинить вред человеку. А что значит вред? Допустим, человеку потребовалась срочная операция на сердце. Но хирургическое вмешательство робот не может осуществить: вред же, повреждение тканей.

– Робот так же не может своим бездействием допустить, чтобы человек был причинен вред. То есть, он должен произвести операцию.

– А вот тут мы получаем конфликт мотиваций. Но, в принципе, разрешить данный конфликт мы можем сравнением, где больше вреда. Врачи, кстати, так и делают: оценивают риск от хирургического вмешательства и, исходя из опасности заболевания, выносят решение о том, показана ли операция. Да, искусственный интеллект может принимать решения по такой же методике. Но проблема не в этом. А в том, что умная машина может принять решение, которое нас не устроит. И последствия могут быть довольно плачевными.

– Ну, значит нужно тщательно тестировать. Выявить все возможные подводные камни.

– Чем мы, собственно и занимается….

– Это-то я понимаю. Но не понимаю одного: зачем держать Синтию-2 в подвале обитым фольгой? Как она может вырваться из отключенного от сети компьютера?

– А ты в курсе, что специальным оборудованием можно снять изображение с мониторов, находящихся за стеной?

– А… так ты опасаешься шпионов? … Но я все равно не вижу смысла обивать комнату фольгой, если любой сотрудник запросто может вынести информацию на флешке.

Леонид улыбнулся.

– Нет, вовсе не шпионов я опасаюсь, – сказал он, – вот представь себе, что искусственный интеллект исследует виртуальное пространство, в котором он живет. Как ты думаешь, до чего он может дойти, если применит научный метод?

– Сначала он откроет все законы виртуального мира. Возможно, доберется до «первокирпичиков». Захочет заглянуть, что у них «внутри». Естественно не сможет, так как внутри ничего нет.

– И что будет дальше? К каким выводам он придет?

– Ну, возможно, догадается, что он в «матрице».

– Вот именно. А может и не догадается, а будет думать, что он просто еще не все изучил и будет пытаться дальше изучать. Но не суть. А себя он будет изучать, как ты думаешь?

– Думаю, да.

– И к чему придет? Сможет он догадаться, что он компьютерная программа?

– Не представляю, как он может об этом догадаться. Но исключать такую возможность нельзя.

– Вот именно.

Максим посмотрел на начальника непонимающим взглядом и спросил:

– Ну хорошо, догадалась наша Синтия, что она всего лишь программа? А дальше-то что?

– А ты подумай….

– Ну, может быть, попробует переписать свой код. Правда, для этого ей придется взломать компьютер, на котором она запущена. Что само по себе уже несколько фантастично.

– Тем не менее, мы не можем полностью отрицать подобный исход.

– Ну хорошо, пусть даже мы примем и это фантастическое допущение. Но какую опасность может представлять программа, запущенная на изолированном от всех сетей компьютере? Разве что если она захочет самоубиться, отформатировав винчестер.

– Как вариант, искусственный интеллект может попытаться влиять на другие компьютеры, посредством наведения радиопомех в проводах.

– Ну это уже вообще сверх фантастика какая-то! – воскликнул программист, – может, тогда стоит и шапочку из фольги надеть, а то вдруг она на мои мозги начнет влиять…

Леонид усмехнулся.

– Ладно, – сказал он, – время покажет, на что способен искусственный интеллект. Прими пока мои слова как пищу для размышлений….