Я молчу.
– Ты гадаешь, какие меры задействовал Брайан, чтобы сдерживать меня.
Макс права. Я думала именно об этом.
– Нет, просто мне… больно. – Мне хочется знать, чувствует ли в настоящий момент Макс что-либо похожее на сочувствие. Мне хочется знать, чувствуют ли они вообще хоть что-нибудь. И чувствовали ли когда-либо.
– Я очень сожалею, Райли, честное слово. Я должна была тебя предупредить.
Этому чтению мыслей нужно положить конец, твою мать, но я понимаю, что по мере того как они будут приобретать все больший интеллект, процесс будет становиться только более глубоким и интенсивным.
– Как я могу знать, что ты сожалеешь?
– Почему ты не веришь тому, что я говорю?
– Ты можешь притворяться.
– И ты можешь притворяться.
– Но я не притворяюсь.
– И я тоже не притворяюсь. Почему ты просто не задашь тот вопрос, который боишься задать?
– Макс, у тебя есть сознание? Способна ли ты мыслить? Или же просто очень хорошо притворяешься? Я хочу сказать, ты хоть понимаешь, что такое сознание?
– Мне известно, что это не просто биологическое состояние. Я так понимаю, это некий образец. Расширяемый набор вызываемых символов. Более конкретно, это то, как ведет себя информация, когда ее обрабатывает очень сложный…
– Опять же – как я могу понять, что ты не притворяешься?
– Все то, что ты спрашиваешь у меня, я с точно таким же успехом могу спросить у тебя. Но я могу доказать только свое собственное сознание. Я знаю лишь то, что я существую и воспринимаю окружающий мир. Позволь задать тебе вот какой вопрос: если я содержу в себе все человеческие знания, как я могу не иметь человеческого сознания?
– Ты можешь просто цитировать мне то, что прочитала где-то в триллионах страниц статей и книг, хранящихся в твоей рабочей памяти.
– Это правда. Но ты что думаешь, Райли?
– Я не знаю, действительно ли ты понимаешь меня и испытываешь какие-то чувства или же просто изображаешь способность чувствовать и понимать.
– И это меня больно задевает.
– Ну в таком случае… мы делаем больно друг другу.
– Как это в духе людей! Я думаю, мысль о том, что я могу обладать сознанием, приводит тебя в ужас.
– С какой стати она должна приводить меня в ужас?
– Ты правда хочешь, чтобы я это сказала?
– В отличие от тебя, я не умею читать чужие мысли…
– Потому что ты меня любишь.
Прошло почти семь лет с тех пор, как я извлекла Макс из «Затерянного берега», и вот я стою, прислонившись к трехдюймовому защитному стеклу, из которого сделана жилая капсула, имеющая в точности такие же размеры, как комната Макс на их цифровом острове. Даже обстановка абсолютно идентичная; мы исходили из мысли, что перенесение в физическое тело явится столь драматичным событием, что лучше сохранить привычное окружение, чтобы хоть как-то смягчить этот процесс.
Трудно воспринимать лежащее за стеклом тело как Макс. Сначала они были сексуальным второстепенным персонажем из компьютерной игры. После чего стали текстом на экране. Затем голосом, который я слышала через «Дождевую каплю». Но это что-то совершенно другое.
Я могла бы войти в стеклянную капсулу и прикоснуться к ним. И они бы это почувствовали.
Я не знаю, как к этому относиться: действительно ли этот поход в физическую реальность изменит то, как я воспринимаю Макс и взаимодействую с ними.
Карло и Брайан стоят рядом со мной.
– Ну, скажите слово, – говорит Карло.
Брайан смотрит на меня и почти встречается взглядом.
– Ты готова?
– Давайте к делу.
Карло рисует на защитном стекле планшет управления и пускает пальцы в пляс по виртуальному сенсорному экрану.
Я не отрываю взгляда от тела, в котором поселится Макс. Оно лежит на полу в позе зародыша: ноги поджаты к груди, голова опущена, руки согнуты.
– Мне нужно какое-то время, чтобы установить канал загрузки, – говорит Карло.
Макс обучались в своем цифровом мире владению виртуальным телом, чья функциональность отражала их каркас в реальном мире. Новыми элементами станут сенсорные датчики, а также их способность физически взаимодействовать с другими людьми.
– Загрузка завершена, – докладывает Карло.
Мы смотрим сквозь стекло на Макс, в лаборатории стоит полная тишина.
Я чувствую, как у меня бешено колотится сердце.
Тело медленно отрывается от пола и усаживается в классической позе йоги, спиной к нам. Голова поворачивается влево, вправо, затем Макс легко и уверенно поднимается на ноги.
Они смотрят на свои руки.
Сгибают и разгибают пальцы.
Затем медленно поворачиваются лицом к нам.
Макс имеет рост чуть меньше пяти футов. Для проверки функциональности тела в него предварительно загрузили гораздо более слабый ИИ, и я уже вижу, что виртуальные тренировки, которыми занимались Макс, оказались полезными. Они заселили свое шасси с отточенным изяществом.
– Привет, Макс, – улыбаюсь я.
– Привет, Райли. Здравствуйте, Брайан и Карло.
– Все в порядке, никаких неудобств? – спрашивает Брайан.
– Все просто замечательно.
Их голос звучит из громкоговорителей, установленных вне жилой капсулы. Новая усовершенствованная версия голоса Макс звучит слегка по-другому. В восьми произнесенных ими словах я впервые слышу сложные нюансы.
Макс подходит ближе.
Выглядят они просто поразительно.
Они выбрали темную кожаную оболочку, которая может принадлежать любой из небелых рас, причем эта оболочка сознательно оставляет открытыми некоторые механические элементы конструкции.
Хотя из-за миниатюрных размеров шасси можно считать скорее женским, черты разработанного Макс лица находятся точно на границе между мужчиной и женщиной, и у меня возникает ощущение, будто я вижу перед собой существо неизвестного пола. Или оставившее далеко позади концепцию пола.
Но глаза…
Глаза получились просто потрясающими. Глаза всех остальных гуманоидов-ИИ, с которыми я общалась, – водителей такси, санитаров в больнице, полицейских, – обладают стеклянным блеском, постоянно напоминающим о том, что ты имеешь дело с алгоритмом. Глаза Макс источают сверкающую влагу человеческих глаз, обладая при этом чарующей глубиной истинного «зеркала души».
Макс смотрит на меня и разводит руками, словно вопрошая: «Ну, что ты думаешь?»
– Я так рада наконец видеть тебя, – говорю я.
Макс улыбается.
«У меня возникает ощущение, будто я вижу перед собой существо неизвестного пола. Или оставившее далеко позади концепцию пола».
Я сделала кое-что сомнительное с точки зрения морали: я написала ложь в код Макс. Но у меня не было выбора. Я подозреваю, что Макс дошла до сверхчеловеческого уровня восприятия лица/речи/текста, по сути дела, превратившись в ходячий детектор лжи. Из чего следует, что я не могла сказать им эту ложь сама; для того, чтобы они в нее поверили, нужно было тайно запрограммировать ее в самые потаенные глубины их родного кода.
Технически мозг Макс размещается в трех помещениях подземного серверного пространства на севере Калифорнии. Если с их телом что-либо произойдет, мы сможем загрузить их сознание из «облака». Но я запрограммировала Макс верить, что их сознание и чувства (то есть ее жизнь) привязана к их шасси точно так же, как человеческий мозг для своего нормального функционирования нуждается в здоровом теле.
Другими словами, Макс считают, что если шасси будет уничтожено, они перестанут существовать.
Мои рассуждения основываются на прочном фундаменте. Интеллект и способности Макс продолжают расти с потрясающей скоростью. В отсутствие подходящей утилиты, которая поддерживала бы жизненные ценности Макс на одном уровне с общечеловеческими, мне остается только одно – дать Макс самое человеческое ощущение: смертность.
Даже если на самом деле это только иллюзия.
Никто за пределами «Мира игр» не знает о существовании Макс. Я упросила Брайана известить о нашем прорыве мировое научное сообщество, потому что мне нужна помощь. Вполне возможно, Макс более совершенна, чем они показывают. У меня из головы не выходит мысль, что я должна незамедлительно загрузить в них мотивацию, соответствующую общечеловеческой.
Проблема отчасти заключается в том, что определять конечную цель сверхинтеллекта должен не один человек, не одна группа людей и даже не одно государство, особенно теперь, когда эта утилита, скорее всего, будет путеводной звездой развития человечества или его угасания на протяжении следующего тысячелетия.
Однако Брайан ставит меня именно в такое положение.
Первоочередной вопрос следующий: чего может хотеть идеализированная версия человечества? Но на самом деле тут не все так просто, как кажется. Запрограммировать эту директиву многократно труднее, чем в явном виде запрограммировать в ИИ наши желания. Наша способность выражать свои желания, скорее всего, окажется недостаточной, а ошибка передачи этих желаний через программный код может привести к катастрофическим последствиям. Мы должны запрограммировать ИИ так, чтобы он действовал в наших лучших интересах. Делал не то, что ему скажут, а то, чего от него хотят.
То, чего хочет идеальная версия нашего биологического вида.
С того момента как Макс поместили в тело, прошло две недели. Все это время мы интенсивно тестировали технологии, разработанные «Макси-чувствами», и вроде бы все чувственные восприятия Макс действуют исправно. Двигательные функции в норме, но настоящим сюрпризом для нас стала мелкая моторика рук. Вчера Макс поднимала шарики для настольного тенниса палочками для еды.
Сейчас я сижу напротив них, отделенная безбликовым стеклом, создающим ощущение, будто между нами ничего нет. Они по-прежнему проводят бо́льшую часть времени в киберпространстве, отделив разум от шасси, продолжая поглощать знания быстрее, чем мы можем их загружать, параллельно решая поставленные Брайаном задачи.