.
И «бог-защитник», и «благодетельный диктатор» — варианты дружественного искусственного интеллекта, способствующего человеческому счастью, только некоторые акценты в разных случаях поставлены несколько по-разному. Классификация человеческих нужд в виде иерархии стала знаменитой благодаря американскому психологу Абрагаму Маслову, под чьим именем и вошла в историю. Благодетельный диктатор безошибочно справляется со своей работой на нижних этажах этой иерархии, заботясь об удовлетворении таких базовых нужд, как пропитание, жилище, безопасность, удовольствия. Бог-защитник, со своей стороны, пытается сколько возможно приумножать человеческое счастье не только в этой узкой сфере базовых потребностей, но и в том, чтобы мы почувствовали, как наша жизнь наполняется смыслом. Он стремится удовлетворить все наши нужды, заботясь только об одной своей — полной секретности, ради того чтобы мы не переставали чувствовать свою ответственность за принимаемые решения.
Бог-защитник может быть естественным результатом, который венчает план «Омега» в предыдущей главе, где «омеги» уступают Прометею всю власть, а тот окончательно скрывается, стирая из памяти людей любые воспоминания о себе. Чем более совершенной становится технология искусственного интеллекта, тем проще ей будет прятаться. В фильме Transcendence, например, наномашины заполняют мир до такой степени, что находятся практически везде, превращаясь в естественную часть этого мира.
Следя за всей человеческой деятельностью с предельно малого расстояния, искусственный интеллект бога-защитника может посылать нам микроскопические толчки и подсказки, значительно улучшающие наше будущее. Например, если бы он существовал в 1930-е годы, он мог бы спровоцировать смерть Гитлера от инсульта, едва узнав о его намерениях. Едва возникнут опасения, что мы движемся в сторону ядерной войны, он сможет предотвратить ее с помощью такого вмешательства, которое нам покажется счастливой случайностью. У него также есть возможность давать нам различные подсказки относительно новых прорывных технологий, которые будут являться словно внезапное озарение во сне.
Для многих людей такой сценарий привлекателен своей схожестью с тем, во что верят и на что надеются адепты монотеистических религий. Если кто-нибудь спросит сверхразумный искусственный интеллект, после того как его ввели в действие: «Бог существует?», — у него будут все основания повторить саркастическую шутку Стивена Хокинга: «Теперь да». Но с другой стороны, многим религиозным людям этот сценарий может не понравиться как раз тем, что превращает их бога в добро как таковое, или тем, что вмешивается в божественный план, согласно которому люди должны творить добро исключительно в силу собственного выбора.
Еще один минус этого сценария состоит в том, что бог-защитник иногда отказывается предотвращать страдание, хотя и мог бы, дабы не раскрыть своего существования. Что-то подобное изображалось в фильме The Imitation Game, когда Алан Тьюринг и работающий с ним в Блетчли-парке британский хакер заранее узнают о готовящихся атаках германских подводных лодок на конвой кораблей союзников, но решают предупреждать только о ничтожно малой их доле, дабы не раскрыть своего секретного оружия. Тут есть интересное сходство с так называемой проблемой теодицеи: если бог всемогущ, почему он допускает существование зла? Некоторые религиозные мыслители объясняют это тем, что бог хочет оставить людям хоть какую-то свободу. В сценарии бога-защитника с искусственным интеллектом решение проблемы теодицеи состоит в том, что субъективно воспринимаемая свобода делает человека счастливее независимо ни от чего.
Наконец, третий минус сценария бога-защитника заключается в том, что людям раскрывается лишь ничтожная часть новых технологий, открытых сверхразумным искусственным интеллектом. В то время как благодетельный диктатор имеет возможность обратить на помощь человечеству любое из сделанных им открытий, искусственный интеллект бога-защитника ограничен в выборе технологий теми, которые, пусть даже с некоторыми деликатными подсказками, люди в состоянии понять и открыть заново. Ему, возможно, придется даже тормозить естественный технологический прогресс людей, чтобы обеспечить достаточное их отставание в развитии новых технологий, не позволяющее им обнаружить его присутствие.
Порабощенный бог
Разве не было бы прекрасно, если бы нам, людям, удалось сочетать все плюсы рассмотренных выше сценариев и воспользоваться новыми технологиями, создаваемыми сверхразумным искусственным интеллектом для того, чтобы исключить человеческие страдания, но сохранить при этом власть над своей судьбой? В этом и заключается смысл сценария «Порабощенный бог», в котором сверхразумный искусственный интеллект остается во власти людей, а люди только пользуются создаваемыми им технологиями и богатством. Сценарий «Омега» в начале книги именно этим и должен заканчиваться, если только Прометею не удастся улизнуть и обрести свободу. В самом деле, кажется, именно этот сценарий по умолчанию подразумевается многими исследователями искусственного интеллекта, которые ставят задачу «сохранения контроля» и «содержания под замком» (AI boxing). Так, например, профессор Том Диттерих, в то время президент Ассоциации по развитию искусственного интеллекта, говорил в 2015 году в интервью: «Люди спрашивают, каковы взаимоотношения между человеческими существами и машинами, и мой ответ на этот вопрос совершенно очевиден: машины наши рабы»{69}.
Если будет так, хорошо это или плохо? Вопрос оказывается неожиданно деликатным, причем независимо от того, с чьих позиций мы на него отвечаем — людей или машин.
Положительных или отрицательных последствий должны мы ждать от обладания человеческими существами полного контроля над искусственным интеллектом, очевидно, зависит от того, что это за человеческие существа (или даже человеческое существо), получившие такой контроль, поскольку их интересы могут варьироваться в очень широких пределах — от глобальной утопии, свободной от болезней и преступности, до чудовищной репрессивной машины, в которой к ним самим относятся как к всемогущим богам, а все остальные люди превращаются в секс-рабов, гладиаторов или служат каким-то еще увеселениям. Истории могут походить на те сочинения, в которых герои получают власть над всемогущим гением, способным удовлетворить любое их желание, но у сочинителей таких историй никогда не было недостатка в скверных финалах.
Ситуации, когда сверхразумных искусственных интеллектов оказывается больше одного и все они контролируются враждующими группами людей, будут, скорее всего, очень нестабильными и короткоживущими. Всегда может появиться тот, кто убежден в превосходстве своего сверхразума и потому отважится на первый удар, за которым последует чудовищная война, разрешающаяся единственным порабощенным богом. Но в такой борьбе всегда может найтись «темная лошадка», которая начнет вести свою игру и гнуть углы, надеясь перехитрить всех и воспользоваться победой других, чтобы перехватить власть над порабощенным разумом, и тогда дело кончится побегом искусственного интеллекта с переходом к одному из тех сценариев свободного сверхразума, которые мы уже рассматривали выше. Поэтому дальше в этом разделе мы будем рассматривать только те варианты, в которых есть единственный порабощенный искусственный интеллект.
Конечно, побег его в этом случае весьма вероятен просто потому, что его трудно предотвратить. Варианты побега сверхразума мы рассматривали в предыдущей главе, а в фильме Ex Machina показано, что искусственный интеллект может совершить побег, даже не будучи сверхразумным.
Чем сильнее наша паранойя по поводу побега искусственного разума, тем меньше мы можем воспользоваться создаваемыми им технологиями. Чтобы обезопасить себя, вроде как «омеги» в прелюдии, нам, людям, придется ограничить себя только теми технологиями, которые мы в состоянии понять и использовать. Оборотной стороной сценария порабощенного бога окажется поэтому значительное технологическое отставание в сравнении со свободным сверхразумом.
По мере того как порабощенный бог с искусственным интеллектом будет предлагать своим поработителям все более и более мощные технологии, начнется соревнование между мощностью технологии и сообразительностью тех, кто должен ею пользоваться. Если они эту гонку проиграют, то сценарий закончится либо их самоуничтожением, либо бегством искусственного интеллекта. Но катастрофа может разразиться, даже если провала по обоим направлениям удастся избежать, потому что благородные намерения людей, контролирующих искусственный интеллект, могут всего за несколько поколений смениться совершенно чудовищными для человечества. Так что абсолютно необходимо, чтобы в среде этих людей сложились правильные представления об управлении обществом, иначе они не смогут обойти все эти катастрофические ловушки. Наши опыты с различными системами общественного управления, проводившиеся на протяжении тысячелетий, показывают, сколь многое может пойти не так — от избыточной ригидности до избыточной изменчивости в постановке целей, насильственной узурпации власти, проблем престолонаследования и общей некомпетентности. Есть как минимум четыре направления, по которым баланс может быть нарушен:
• Централизация: между эффективностью и стабильностью идет постоянная торговля. Бывает так, что единоличный лидер очень эффективен, но власть портит, к тому же вопрос о ее передаче чреват множеством рисков.
• Внутренние угрозы: следует опасаться и чрезмерной централизации (групповщины или даже появления единоличного лидера), и чрезмерной децентрализации (дробления и увязания в бюрократии).
• Внешние угрозы: если структура руководства слишком прозрачна, внешние силы (в том числе и искусственный интеллект) могут влиять на существующую систему ценностей, но если она слишком замкнута, то теряет возможность учиться и адаптироваться к внешним переменам.