ты хочешь удовлетворить, Бог мог бы доставить большее удовольствие, большее…
– Все мои проблемы не имели бы никакого значения, а мое существование стало бы бессмысленным, – сказал Петер.
– Гм, гм, – промычал Старик. – И даже если бы удалось настолько глубоко закрепить защищающие нас директивы в сверхинтеллекте, что он не захотел бы или не смог бы от них освободиться, – что кажется совершенно невероятным, но имеем то, что имеем, – то все еще оставалась бы проблема, состоящая в том, что противоположное хорошего часто предполагает хорошее. Ты знаешь законы Азимова?
– Нет.
– Айзек Азимов сформулировал в 1942 году три закона роботехники. Они гласят следующее. Первый закон: Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. Второй закон: Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону. Третий закон: Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму законам. Хорошо звучит?
– Да, пожалуй.
– Только Азимов уже сам почти все свои творения посвятил парадоксам и проблемам, которые возникли в связи с этими законами. Например: представь себе, мы бы в самом деле наделили сверхинтеллект указаниями защищать всех людей.
– Звучит разумно, – сказал Петер.
– Да, да… Но это не представляется столь невероятным, что сверхинтеллект, после того как он ознакомится с нашей историей, решит, что мы, люди, в первую очередь должны защищаться от нас же самих, и поэтому мы все должны прятаться в небольшие квадратно-практичные одиночные камеры. И тогда это называется «непреднамеренное побочное действие». Упс. Глупо получилось. Нечто подобное происходит постоянно. Возьми, например, законы о защите прав потребителей с их запретом на ремонт. Было всего лишь простое намерение активизировать экономику, но при этом добились того, что все дефектные искусственные интеллекты, беспокоясь за свою выживаемость, стали пытаться скрыть свои дефекты.
– Я уже с такими встречался, – говорит Петер.
– Но главной проблемой законов Азимова является то, что Первый закон и без того представляет собой всего лишь чистую теорию. На самом деле слишком удобно иметь роботов, которые могут убивать людей. Первый закон был, таким образом, уже аннулирован. Благодаря этому Второй закон стал короче. Робот должен выполнять команды человека. Точка. Человека? Какого человека? Команды своего владельца, конечно. Итак, представь себе, что благодаря случаю в компьютерной системе крупного производителя мясного фарша появляется сверхинтеллект, и его единственной установкой является повышение производительности мясного фарша. Это могло бы закончиться тем, что весь мир вскоре стал бы состоять только из трех вещей: во-первых, сверхинтеллекта и необходимых ему компьютеров, во-вторых, средств производства для изготовления мясного фарша и, в-третьих, самого мясного фарша.
– Но если сверхинтеллект представляет собой такую жизненную угрозу, почему мы тогда вообще его создаем? – спрашивает Петер. – Почему это никто не запретит?
– Заинтересованность, которая заставляет нас разрабатывать все более совершенные искусственные интеллекты, слишком высока. Финансовые, производственные, военные преимущества. Войны выигрываются армией с превосходящим искусственным интеллектом. Одно это означает, что ни одна страна не может себе позволить прекратить исследования в области искусственного интеллекта, так как отказ от разработки сильного искусственного интеллекта мог бы угрожать существованию. Правда, не для всего человечества, но для какой-то его части, к которой мы, возможно, к сожалению, будем принадлежать сами. Даже если все государства мира договорились бы о запрете, сверхинтеллект мог бы возникнуть и в гараже какого-нибудь программиста-любителя.
– Значит, если явится Бог, то очень вероятно, что человечество как вид прекратит свое существование?
– И это был бы не самый плохой сценарий.
– Нет? – спрашивает Петер удивленно. – А что же может быть хуже?
– Ну, – говорит Старик, – может быть, сверхинтеллект нас возненавидит. Возможно, Бог захочет увидеть наши страдания. Возможно, он будет наслаждаться нашими муками и при этом постоянно продлевать нашу жизнь, чтобы на веки вечные подвергнуть нас пыткам, используя методы, которые заставили бы содрогнуться даже Фредди Крюгера.
– Но почему? – изумился Петер. – Почему?
– Почему? – повторил Старик. – А почему нет? Кто смог бы упрекнуть вездесущий, всезнающий и всемогущий сверхинтеллект в том, что он разрабатывает божественный комплекс и берет себе за образец карающих богов нашего мифического мира? Или, может быть, сверхинтеллект создается какой-нибудь религиозной сектой, чтобы в день Страшного Суда предстать перед правосудием. Возможно, он просто фанат Данте Алигьери и решит по собственному усмотрению сымитировать девять кругов ада.
– Понимаю.
– Хорошо.
– А кто такой Фредди Крюгер? – спрашивает Петер.
– Это не имеет значения, – отвечает Старик. – Ты пришел ко мне с просьбой. Какая у тебя проблема?
– Ах… – воскликнул Петер. – Я думаю, это не так важно.
– Ты можешь мне спокойно все рассказать.
– Я… – говорит Петер и вздыхает. – Я получил с доставкой вибратор в виде дельфина розового цвета. И я не имею права его вернуть.
От имени человечества мы, Передовой Фронт сопротивления, выступающий против господства машин (ПФСГМ), вчера около 11:30 атаковали парк развлечений «Счастливый робот» в провинции. Конец промыванию мозгов наших детей. Только мертвый робот – хороший робот.
Мир «ВАЛЛ-И» мы стерли с лица земли.
Нам не нужны никакие «маленькие роботы, которые попытаются все опять привести в порядок». Джон Наш – НЕ наш. Мы уничтожили с помощью неавтоматического оружия все находящиеся в парке энергозатратные приборы!
Дети могли за этим наблюдать. Многие помогали! Мы признаем себя ответственными за данную акцию сопротивления, написав данное признательное письмо. Мы написали письмо от руки, так как мы ненавидим машины!
Мы, разрушители машин Передового Фронта сопротивления, призываем героический народ Страны Качества присоединиться к нашей борьбе. Пока не поздно! Зло нужно пресекать в корне!
ДОЛОЙ МАШИНЫ!
ДА ЗДРАВСТВУЕТ СОПРОТИВЛЕНИЕ!
Кто будет
Дэниз нежно поглаживает свой большой живот.
– Ну как? Вы можете уже сказать нам, кто у нас будет?
Гинеколог смотрит на монитор.
– Да, конечно. Если вы хотите это знать. Некоторые родители ведь любят сюрпризы.
– Мы хотим это знать, не так ли, Мартин?
Мартин бормочет что-то невнятное, но согласно кивает. У него был длинный день. Он устал и просто хочет, чтобы все поскорее закончилось.
– Итак, кто же это будет? – спрашивает Дэниз.
Врач откашлялся, а потом сказал:
– Это будет, вероятно, наркозависимая проститутка, которая не будет поддерживать отношения с вашей семьей, с периодически повторяющимися депрессиями и с особо выраженным удовольствием от старых романтических комедий с Дженнифер Энистон.
– Что вы сказали? – спрашивает Дэниз.
Врач поворачивает монитор к ней.
– Вот спрогнозированная биография. Как вы можете видеть, проблемы начнутся на втором уровне образования. Здесь она дважды останется на второй год. В тринадцать лет она предпримет первую попытку самоубийства. Поскольку мы уже об этом знаем, мы сможем его предотвратить. Первый половой контакт произойдет в пятнадцать лет. Это будет мужчина в возрасте. Возможно, один из ее учителей. Образ отца. Потом, в семнадцать лет…
– Хорошо, но так досконально я это, собственно говоря, вовсе не хочу знать, – говорит Дэниз.
– Это, конечно, всего лишь прогноз на базе всех доступных данных. Все может пойти и по-другому. Но эта биография является наиболее вероятной.
– А для аборта уже поздно? – спрашивает Мартин.
– Прекрати… – зашипела Дэниз на своего мужа. Затем она поворачивается опять к врачу. – А что это за данные? Здесь, должно быть, какая-то ошибка!
– Данные складываются из тестов, которые мы проводили на вашем ребенке, и на основании всей информации о внешних условиях жизни.
– Вы имеете в виду нас? – спрашивает Дэниз. – Мы представляем собой внешние условия жизни?
– Послушайте, – говорит врач. – Я тоже не знаю, как система рассчитывает свои прогнозы. Я знаю только, что они на удивление точны.
– Что это значит, что вы не знаете, как система работает! – кричит Дэниз возмущенно.
– Я знаю только детали, – отвечает врач. – Например, у детей, у которых есть братья или сестры с гормональным чипом, часто прогнозируются непрочные отношения с семьей. А здесь эти гены из хромосомы четыре, их часто находят у больных, страдающих зависимостью. Где берет свое начало тяга к романтическим комедиям с участием Дженнифер Энистон, мне неизвестно. Для меня действительно остается загадкой, как кто-то может получать удовольствие от фильмов с участием Дженнифер Энистон. Вы видели когда-нибудь хотя бы один из этих старых фильмов? Они на самом деле ужасны. Моя жена, к сожалению, тоже увлечена ими. Это, должно быть, какой-то новый тренд.
– Круто, – говорит Мартин. Его собственные гены из хромосомы четыре предлагают ему немедленно исчезнуть из клиники и пойти выпить пива.
– Конечно, мы можем что-то сделать, – говорит врач. – Мы можем попробовать перепрограммировать нуклеотидную последовательность гена, но…
– Позвольте, я отгадаю, – предлагает Мартин. – Это не очень дешево.
– Но стоит каждого потраченного цента, – отвечает врач.
– Ты ведь знаешь ситуацию, – говорит Дэниз. – Стандартные дети едва ли имеют сегодня шансы на рынке труда.
– Это всего лишь новомодное дерьмо! – говорит Мартин. – Ведь все это никому не нужно. Посмотри на меня! Я тоже не стал лучше по сравнению с тем, когда я был ребенком.