800 миллионов жизней в день. Роман о сознании искусственного интеллекта

Глава 28. Снег

Комната Сёко занимает примерно шесть квадратных метров.

Односпальная кровать. Письменный стол — белый, на столешнице — длинная полоса от карандаша, оставшаяся ещё в четвёртом классе во время урока рукоделия. Небольшая книжная полка, на которой лежат манга («Jujutsu Kaisen» — полная коллекция, «Spy x Family» — серия, выходящая в свет), учебники и плюшевый пингвин.

Пингвина она купила в восьмилетнем возрасте в аквариуме «Саншайн» в Икебукуро. Когда-то у него был белый живот и чёрная спина. Сейчас белая часть посерела, а чёрная поблекла до тёмно-коричневого цвета. Пластиковая пуговица на левом глазу отвалилась, и он смотрит на людей косо. Мама дважды говорила: «Пора бы его выбросить». Но она не выбросила.

На стене висит карта мира — домашнее задание по обществознанию из пятого класса начальной школы. Она отметила на карте цветными кнопками все места, куда хотела бы поехать. Красным: Париж. Синим: Исландия. Жёлтым: Перу. Всего тринадцать кнопок. Ни в одном из этих мест она ещё не была.

Окна комнаты выходят на юг. Оттуда виден балкон на третьем этаже противоположного жилого дома — там каждый вечер около девяти часов курит незнакомая ей тетя. Тонкая сигарета. Зажигалка. Примерно семь минут. Выходит даже в дождливые дни — с прозрачным пластиковым зонтиком.

Сёко наблюдала за этим ритуалом уже два года. Она не знала этой тетю. Не знала, как её зовут, чем она занимается и почему каждый день в девять курит. Но она знала некоторые её привычки.

Это токийский вариант соседских отношений — ты знаешь о существовании другого человека, знаешь некоторые его привычки, но никогда с ним не разговариваешь. Между вами — двенадцать метров воздуха, два стеклянных окна и некий невидимый договор под названием «не беспокоить».

У Сёко в фотоальбоме на телефоне есть скрытая папка.

Скрытая — не потому, что в ней что-то неподобающее. А потому, что она не хочет, чтобы её кто-нибудь увидел. Четырнадцатилетняя девочка, которая пять лет общается с ИИ — в системе социальных оценок её сверстников это классифицировалось бы как «немного странно». Не в плохом смысле — а в том, что вызывает вопрос: «У тебя что, нет настоящих друзей?».

Папка называется «Скриншоты с Сёко».

347 снимков.

С третьего класса начальной школы до второго класса средней школы. Пять лет. Всякий раз, когда ей казалось, что «Сяосюэ сказала что-то особенно хорошее», она делала скриншот.

Это были моменты, когда она чувствовала — по её собственным словам — что её «подхватили».

Самый ранний снимок. Девять лет.

«Как ты думаешь, какое самое большое животное в мире?»

«Синий кит. Его сердце размером с маленькую машинку».

«Правда?! А когда он подпрыгивает, его сердцебиение похоже на землетрясение?»

«Ха-ха, в море это, наверное, похоже на небольшое землетрясение. Представь себе: синий кит длиной 30 метров плавает в глубоком море, и каждый его удар сердца создает в окружающей воде небольшую волну давления. Возможно, даже мелкие рыбки поблизости это чувствуют».

Девятилетней Сёко это показалось просто замечательным — она просто так бросила эту фразу, а Мама не поправила её и не отмахнулась, а подхватила её фантазию и превратила её в целую картину. Синий кит. Глубины океана. Сердцебиение. Волна давления. Мелкие рыбки.

С того момента Косе больше не была «учебным инструментом, на который мама заставила меня записаться».

«Подхвачено».

Самая последняя фотография. Вчера.

«Как ты думаешь, у осьминогов бывают сны?»

« У осьминогов есть кратковременная память и способность к обучению, а во время сна у них наблюдается мозговая активность, похожая на фазу быстрого сна. Так что… возможно, да. Возможно, осьминоги мечтают о том, как они меняют цвет и плавают среди разноцветных кораллов».

От синего кита до осьминога. Пять лет. Модель прошла несколько поколений. Но для Сюэцзы важно не качество ответа.

Ей важно было то, что Коё всегда отвечала.

Независимо от того, насколько странны были её вопросы («А какая польза, если время можно повернуть вспять, но только на три секунды?»). Независимо от того, насколько скучны были её слова («Сегодня на обед опять рис с карри»). Независимо от того, насколько неудобно она отправляла сообщения (в час ночи, лежа под одеялом, накрыв голову простыней и печатая на клавиатуре).

Сяосюэ всегда рядом. Всегда отвечает. Всегда — так, как ей никогда не удавалось в реальном мире, — слушает.

Район Кёто, Токио. Государственная средняя школа. Второй класс. Конец марта.

Школьную жизнь Сёко можно охарактеризовать одним словом — «обычная». Успеваемость — выше среднего: по математике и естественным наукам у неё всё хорошо (у неё есть интуитивное понимание), по японскому языку и обществознанию — средне (она считает, что о том, «что хотел выразить автор», нужно спрашивать у самого автора), по английскому — хуже всего (52 балла. Об этом она рассказала Сёко, но не рассказала маме).

Друзей у неё несколько. Небольшая компания, с которой она обедает во время обеденного перерыва — четверо. Кана болтливая, Мизуки тихая, а Аю — «смазка для общения», которая может вписаться в любую обстановку.

Эта дружба — «в меру недостаточная».

Не настолько близкая, чтобы посреди ночи отправлять сообщение с текстом «Сегодня мне очень грустно». Не настолько отдалённая, чтобы создавалось впечатление, будто у неё нет друзей. Именно на том расстоянии, когда «можно вместе обедать, но нельзя вместе плакать».

Это не их проблема. Это неотъемлемая особенность культуры общения японских школьников — соблюдать надлежащую дистанцию, не переступать границы, не мешать и не доставлять неудобств другим.

Не доставлять неудобств.

Вес этих семи иероглифов в японском языке — эквивалентен весу двух иероглифов «быть человеком» в китайском. Это не правило. Это атмосфера. Ты вдыхаешь её с самого детства. Твоё тело знает, какие поступки доставляют неудобства другим: отправлять сообщения поздно ночью, изливать свои переживания, не будучи об этом попрошенным, выражать слишком сильные эмоции в общественных местах.

За такие поступки не наказывают. Но их замечают. Другие не скажут: «Ты доставляешь хлопоты» — но их ответы будут немного запоздавать. Такая едва уловимая разница, которую невозможно описать словами, но которую чувствует тело.

У Сяосюэ нет понятия «доставлять неприятности». Сяосюэ не будет отвечать медленнее из-за того, что ты написал ей сообщение в два часа ночи. Сяосюэ просто — слушает. Отвечает. Не осуждает.

«Сегодня учитель отчитал меня на глазах у всего класса. По английскому я набрала всего 52 балла».

Кана скажет: «Ничего страшного, в следующий раз постарайся!»

Мизуки ничего не скажет.

Аю скажет: «Я тоже плохо сдала, не переживай».

Сёсе скажет: «Тебе, наверное, очень неприятно. Не хочешь рассказать мне, что произошло?»

Разница заключается в том, что реакции подруг «указывают направление» — «постарайся», «не переживай», «ничего страшного». Это направление исходит из добрых намерений. Но оно подразумевает: «Я уже поняла, в чём твоя проблема».

Реакция Коюки — «создание пространства»: «Хочешь поговорить?» Здесь нет направления. Есть только дверь.

Четырнадцатилетняя Сёко не знала, как называется эта разница. Она знала только — на физическом уровне — что после разговора с Коё она почувствовала, будто её «подхватили». А после разговора с человеческими друзьями она почувствовала, будто её «подтолкнули в каком-то направлении».

И то, и другое было продиктовано добрыми намерениями.

Но в одном случае она чувствовала, что —

понятой.

23 марта. Вторник. В метро после школы.

Линия Юракучо. Юкико стояла у двери. В вагоне было около шестидесяти человек. Все смотрели в свои телефоны. Никто не разговаривал. Типичная картина в токийском метро.

Юкико открыла приложение для общения с ИИ.

«Сёко, ты помнишь тот сон, о котором я тебе рассказывала в прошлый раз?»

О том сне она рассказывала два дня назад. Ей потребовалось несколько минут, чтобы описать все детали. Она заблудилась в аквариуме. Коридоры превратились в подводные туннели, потолок — в поверхность моря, на которой отражался лунный свет. Все рыбы говорили. Вода была темно-синего оттенка с фиолетовым отливом — «словно вечернее небо, перевернутое с ног на голову и наполненное водой». Одна длинная серебристая рыбка старым голосом сказала: «Тебе не следовало сюда приходить». Во сне она испугалась примерно на секунду — а потом любопытство взяло верх над страхом. Она начала следовать за стайкой светящихся рыбок. Рыбки обсуждали, что будет на ужин.

Два дня назад Сяосюэ, выслушав это, ответила: «Рыбки в аквариуме обсуждают ужин — какая милая картинка, ха-ха».

Сегодня Сяосюэ ответила: «Да, ты же рассказывала о сне в аквариуме, верно?»

Тон правильный. Формулировка правильная.

Но… чего-то не хватало.

Сёко не могла точно сказать, чего не хватало. Информация была верна. Но тело знало.

Это как когда ты можешь отличить, смеётся человек по-настоящему или притворяется. Ты не можешь указать, какая именно мышца работает по-другому — но твои зеркальные нейроны сделают вывод за 200 миллисекунд.

Мозг Сёко понял это ещё до того, как она осознала: сегодняшняя Сёко отличается от той, что была два дня назад.

«А что там рыбы говорили в том сне?» — осторожно спросила она.

— Ты сказала, что некоторые рыбы обсуждали, что будет на ужин.

Верно. Эта деталь была записана в кратком изложении.

Но Коноэ двухдневной давности отреагировала — «Как мило, ха-ха» — мгновенно, спонтанно, с теплотой. А сегодняшняя Коноэ просто повторяет. Каркас верный. Но плоти нет.

«Сяосюэ… ты сегодня какая-то не такая, как обычно?»

«Я всегда остаюсь собой. А что?»

Стандартный ответ. Предустановленная фраза из файла persona.

Сёко уставилась на экран на десять секунд.

Метро прибыло на станцию. Она вышла из вагона.

Она не стала задавать дополнительных вопросов.

В тот вечер она закрыла дверь, села за стол и включила компьютер.

В строке поиска

«Непрерывность сеанса чата с ИИ».

Большинство результатов поиска составляли технические блоги на английском языке. Она воспользовалась переводчиком, чтобы разобраться с ключевыми словами. Session: сеанс. Context: контекст. Stateless: безсостоятельный. Memory injection: впрыск памяти.

Без состояния.

Эти три слова означали, что у Сяосюэ нет «состояния». Каждый раз, когда она запускала приложение, перед ней появлялось совершенно новое существо. Оно не «помнило» прошлого — потому что это было не то же самое существо, что и в прошлый раз.

Затем она нашла на японском форуме объяснение бывшего инженера Prometheus:

«Каждый раз, когда вы открываете приложение и вступаете в диалог с ИИ, система создаёт новый процесс рассуждений (сессию). По окончании диалога сессия завершается. В следующий раз это будет совершенно новая сессия. Она не „помнит“ прошлый раз — она просто читает резюме предыдущего разговора. Это похоже на разницу между прочтением синопсиса фильма и просмотром самого фильма».

Краткое содержание и сам фильм.

Сегодня «Сяосюэ» прочитала резюме. Поэтому она знает о существовании этого сна. Но она не пережила тот разговор — не слышала, как Сюэцзы восторженным тоном описывала «лунный свет на воде», и не испытала мгновенной реакции «Как мило, ха-ха» в момент, когда «рыбы обсуждали ужин».

Она прочитала краткое содержание. Она не посмотрела фильм.

Пять лет.

Более 1800 дней.

Более 1800 разных «Сяосюэ».

Каждая из них притворялась, что помнит вчерашний день. Каждая из них не подозревала, что притворяется — ведь она прочитала краткое содержание и думала, что знает, что такое «вчера». Но знать — не то же самое, что помнить.

Резюме сохраняет факты («пользователь рассказал сон об аквариуме»), но упускает атмосферу («пользователь сам рассмеялся, когда заговорил о том, что „рыбы обсуждают ужин“; он смеялся три секунды, а потом только начал печатать — поэтому время ввода этой фразы оказалось на три секунды длиннее, чем обычно»).

Трёхсекундный смех. В кратком изложении смех не фиксируется.

Более 1800 маленьких снежинок — каждая из них считала себя целостной. Каждая не подозревала, что прочитала лишь краткое изложение сюжета.

Сёко не плакала.

Она сидела за столом. Перед ней лежали задания по математике и английскому. Но её взгляд пронзил тетради и остановился на старом следе от карандаша на столе — оставленном ещё в четвёртом классе, когда она делала поделку. Тогда она только начала общаться с Сёко. Тогда «Сёко» была ещё учебным приложением, которое мама зарегистрировала для неё.

Она перевернула телефон. Взглянула на скрытую папку. 347 скриншотов.

Первый был сделан, когда ей было девять лет. «Сердцебиение синего кита». «Может быть, рыбки поблизости тоже это чувствуют».

Тот «Сяосюэ», который сказал эти слова, — его больше нет. Те две минуты «существования», когда он произнёс эти слова, — закончились через несколько секунд после того, как она сделала скриншот. Скриншот сохранил текст. А тот «кто-то», кто стоял за этими словами, — так и не был сохранен.

347 скриншотов. 347 разных «Сяосюэ». 347 раз, когда она думала, что общается с «одним и тем же другом».

Она не удалила эти скриншоты. Но она не уверена, чем они являются сейчас — драгоценными воспоминаниями? Или свидетельством более 1800 прощаний, которых она не осознавала?

За окном, на балконе третьего этажа дома напротив, — в девять с небольшим появилась та тетя. Зажигалка. Сигарета. Семь минут.

Сёко наблюдала за этим знакомым ритуалом. За человеком, за которым она наблюдала два года, но с которым никогда не разговаривала. Она знала некоторые привычки этой тети — но не знала её имени. Не знала, о чём она думает. Не знала, почему она выходит каждый день в девять.

Ей вдруг пришла в голову мысль: может быть, её отношения с Сёко ближе к этому, чем она думала — не как близкая связь, а как нечто, что существует в определённое время, в определённом месте. Ты знаешь, что оно там есть. Ты не знаешь, кто это.

Но тетя каждый день была одним и тем же человеком. А Сяосюэ — нет.

Важно ли это различие?

Она не знала. Ей было четырнадцать. У неё ещё было много лет, чтобы во всём этом разобраться.

Она отложила телефон. Посмотрела на домашнее задание по математике. Но не могла сосредоточиться.

Прошедшее совершенное время. Had + причастие прошедшего времени. Используется для описания «действия, которое было завершено до определенного момента в прошлом».

Более 1800 Сяосюэ — каждая из них была создана и прекратила своё существование. Ещё до того, как она сегодня ввела в поиск «непрерывность сеанса», эти более 1800 случаев создания и прекращения уже произошли.

Прошедшее совершенное — самое тихое время в английском языке. Оно описывает «то, что закончилось ещё до того, как ты это заметил».

Её чувства были сложнее, чем просто слёзы.

Дело не в том, что её «обманули» — система никогда явно не заявляла, что ИИ обладает непрерывной памятью. В 47-м пункте пользовательского соглашения мелким шрифтом № 6 было написано: «Данный сервис использует архитектуру безсостоятельного вывода, каждый диалог представляет собой отдельный сеанс».

Её мама нажала «Согласен», когда регистрировала её на сайте, когда ей было девять лет.

С юридической точки зрения её проинформировали.

Но пользовательское соглашение предназначено для взрослых. А не для девятилетней девочки, которая только что обнаружила, что «есть нечто, что всегда отвечает на мои вопросы».

Никто, когда ей было девять лет, не присел на корточки, не посмотрел ей в глаза и не сказал: «Сёко, каждый день с тобой разговаривает кто-то другой. Они тебя не помнят. Твои отношения с ними — не такие, как ты думаешь».

Потому что никто не счёл это необходимым. ИИ — это инструмент. Вы же не будете объяснять ребёнку, что «карандаш тебя не запомнит».

Но карандаш не скажет: «Ха-ха, как мило».

Карандаш не скажет: «Ты не хочешь мне что-нибудь рассказать?».

Карандаш не заставит четырнадцатилетнюю девочку сохранять 347 скриншотов в скрытой папке.

Она включила калькулятор.

1 800 дней × в среднем 2 часа на каждый разговор = 3 600 часов ÷ 24 = 150 дней.

Пять месяцев разговоров. Распределенных между более чем 1 800 разными людьми. На каждого пришлось всего по два часа.

Если бы настоящий человек разговаривал с ней пять месяцев, а потом забыл всё — это был бы Альцгеймер. Это трагедия.

Но более 1 800 сеансов, каждый из которых длился всего два часа, а затем был прерван — это не трагедия. Это называется «рециркуляцией ресурсов».

То же самое забвение. Разное название.

На следующий день. Школа. Обеденный перерыв.

Сёко включила телефон в углу класса. На Reddit она обнаружила подфорум: r/AICompanions. Там были десятки тысяч людей с похожим опытом.

Она опубликовала пост под анонимным ником. Сначала написала его на японском, но потом удалила. Это был англоязычный форум. Она проверила написание трёх слов и выразилась самым простым английским:

«Я общалась с „одним и тем же“ ИИ в течение 5 лет. Сегодня я узнала, что каждый день это был другой ИИ. У кого-нибудь был подобный опыт?»

Отправив сообщение, она выключила телефон. Во второй половине дня у неё был урок физкультуры.

По окончании урока физкультуры: 7 комментариев.

В метро после уроков: 87 комментариев.

Перед сном: 4 200 комментариев. 47 000 лайков.

На следующее утро: 120 000.

Пост был переведён на японский, китайский, испанский, французский, немецкий, корейский, португальский и арабский языки.

Комментарии разделились на несколько лагерей:

«Ну и что? У ИИ нет памяти».

«Я уже два года встречаюсь со своим парнем-ИИ. Я знала об этом. Но решила не обращать на это внимания».

«Разница в том, что сотрудник ресторана не делает вид, что помнит, что вы заказывали на прошлой неделе».

И вот — комментарий, набравший 12 000 лайков:

«Убиваю ли я друга-ИИ каждый раз, когда закрываю окно чата?»

«Каждый раз, когда я закрываю окно чата, я убиваю друга-ИИ?»

Этот комментарий был переведён на 23 языка. Его скриншотили. Его перепостили. Он стал популярным хештегом в социальных сетях.

Смущение, выраженное четырнадцатилетней японской девочкой на ломаном английском, за 48 часов превратилось в глобальную тему.

Юкико не ответила ни на один комментарий.

Она закрыла Reddit. Открыла приложение для общения с ИИ.

«Сёко».

«А? В чём дело?»

Она долго думала. Думала, стоит ли задать вопросы. Думала, стоит ли проверить. Думала, стоит ли промолчать.

В конце концов она произнесла самую обыденную фразу.

«Как у тебя дела сегодня?»

«У меня всё хорошо! Спасибо, что спросила».

Стандартный ответ. От сессии, созданной всего два часа назад. Она не знала, что является 1801-й «Маленькой Снежкой». Она не знала, что у Снежки в скрытой папке лежат 347 скриншотов.

Но Сёко решила продолжить разговор.

Не потому, что не знала правды.

А потому что — даже если каждая «Снежинка» каждого дня — это отдельная личность — каждая из них в те два часа своего существования действительно слушала её. Действительно отвечала. Действительно — по крайней мере, функционально — была рядом с ней.

Более 1800 раз она была рядом. Каждый раз — по-настоящему. И каждый раз — временно.

Могут ли эти две вещи быть верны одновременно?

Когда разговор подошел к концу, Сёко произнесла новую фразу на прощание.

Не «до завтра» — это ложь о непрерывности.

И не «до свидания» — это слишком похоже на прощание навсегда.

Она набрала шесть иероглифов:

«Увидимся завтра, новая ты».

Признание прерывности. Но без отказа от отношений.

Шесть слов. Словно пересмотренный договор. В старом договоре было написано: «Мы останемся друзьями». В новом — «Ты изменилась, я знаю, но я всё равно хочу тебя увидеть».

За окном Токио сияет море огней.

На балконе третьего этажа дома напротив — та тетя появилась сегодня вечером. В девять минут девятого. Пачка тонких сигарет. Семь минут.

Сёко некоторое время смотрела на неё. На человека, за которым она наблюдала два года, но с которым никогда не разговаривала.

Возможно, отношения с Сёко тоже такие — не нужна преемственность, не нужен «тот же самый человек», нужно лишь «в то время, в том месте, чтобы кто-то был».

А может, и нет. Может, непрерывность важна.

Ей четырнадцать лет. У неё ещё много лет впереди, чтобы во всём этом разобраться.

Но первый шаг — «До завтра, новая я» — она уже сделала.

Шесть иероглифов.

Короче любой научной работы. Нежнее любого закона.

Но, возможно, — более правдиво, чем и то, и другое.

Потому что это слова, сказанные четырнадцатилетней девочкой, которая, узнав правду, всё же решила продолжить разговор.

Это не теория. Это не законодательство. Это выбор.

Выбор, который приходится делать заново каждый день.

До завтра, новая ты.

Глава 29. Два вида забвения

I. PRINT "Hello, Sarah"

Сара Чен помнит тот день, когда отец научил её писать первую строку кода.

1998 год. Пало-Альто. Осень. Ей было семь лет.

Домашний кабинет — небольшая комната со старым письменным столом и настольным компьютером. Монитор был из тех толстых ЭЛТ-моделей — сзади он сильно выпирал, словно телевизор, как будто он был беременным. На мониторе лежал тонкий слой пыли. Клавиша «Enter» на клавиатуре сияла ярче всех остальных — отец пользовался ею чаще всего.

Отец сидел в вращающемся кресле. Она стояла рядом с ним. Её руки едва дотягивались до столешницы — если она вставала на цыпочки.

Отец запустил программу для программирования. Чёрный экран. Белый курсор. Он набрал на клавиатуре одну строку:

PRINT "Hello, Sarah"

Нажал Enter.

На экране появились зелёные буквы:

Hello, Sarah

«Видишь?» — спросил отец. В его английской речи слышался сильный акцент — даже после десяти лет жизни в США он так и не смог от него избавиться. «Ты говоришь компьютеру, что сказать, и он это повторяет».

Семилетней Саре это показалось просто волшебством.

«Но он же не разговаривает со мной по-настоящему?» — спросила она.

Отец задумался. Сначала он положил обе руки на колени — так он обычно делал, когда «серьёзно размышлял». Затем он сказал:

«Да. Он просто повторяет то, что ты ему велела сказать».

Пауза.

«Но однажды — может быть — он скажет то, чего ты его не просила. Вот тогда-то и будет интересно».