Альтернативным решением могли бы стать переговоры о распределении полномочий. Почувствовав близость победы, лидер гонки попытался бы убедить своих соперников пойти на уступки, пообещав им привилегированный доступ к сверхразуму. Но история не знает примеров, чтобы доверие – особенно к вчерашнему врагу – сохранялось долго. Даже если вопреки всему такое соглашение будет достигнуто – совершенно неясно, как обеспечить его выполнение.
Действительно, попытка просто собрать воедино высшие точки пиков воображаемого «острова познания», о котором мы говорили чуть ранее, лишь усугубила бы кризис, который изначально пытались предотвратить. Подобных попыток – тем боле успешных – человечество еще не предпринимало. Более того, такой проект потребовал бы коренного преобразования всей системы международных отношений. На протяжении веков стабильность мироустройства обеспечивалась хрупким паритетом противоборствующих центров силы. Здесь же государства окажутся перед необходимостью поддерживать гегемонистскую стабильность[92] – модель, чуждую историческому опыту человечества. Доминирующий блок государств, скорее всего, будет представлен изначальными создателями систем ИИ и поставщиками их наиболее критически важных компонентов, а также производителями кадров для разработки и совершенствования этих технологий. Недоминирующее большинство рискует оказаться в положении зависимых субъектов, поставляющих данные и другие ресурсы, а взамен получающих ограниченный доступ к открытиям ИИ, системам управления и средствам защиты.
Однако подобный сценарий нельзя считать ни желательным, ни даже наиболее вероятным. Скорее мир увидит возникновение не единого доминирующего ИИ, а множества конкурирующих систем высшего интеллекта. В этом случае открывается спектр новых возможностей: наши совершеннейшие создания, взяв на себя роль стабилизирующих сил, могут превзойти человеческие способности в поддержании глобального баланса, сохранив мудрость нашего опыта, но преодолев присущие нам когнитивные ограничения. Таким образом, искусственный разум потенциально способен автономно регулировать собственное развитие – как минимум в таких критически важных сферах, как национальная безопасность и геополитика.
Но способен ли ИИ создать устойчивую систему распределения сфер влияния? Теоретически – да. За внешним слоем людских эмоций и психологии дипломатические переговоры представляют собой разновидность прикладной теории игр, являющейся разделом математики. Если изначально дипломатия зарождалась как искусство (хотя и ограниченное человеческой природой), то постепенно она может трансформироваться в науку. Такой переход может помочь преодолеть ограничения традиционной дипломатии с ее неоднозначными результатами в поиске компромиссов. Первые западные разработки в области ИИ уже демонстрируют впечатляющие стратегические навыки – как минимум в рамках игровых симуляций. Китай продвинулся еще дальше, поручив системам ИИ выполнение отдельных дипломатических функций[93].
Сама идея дипломатии родилась из простого стремления людей обмениваться вестями без риска и обмана. Со временем посланцы, прибывшие издалека, стали пользоваться особым вниманием, тогда как нарушителей этих новых правил почти всегда ждала кара. Когда посланцы Ксеркса[94] потребовали, чтобы греческие полисы прислали им символы покорности, персидских посланников сбросили в колодцы. Геродот упоминает, что впоследствии боги покарали Спарту за это преступление[95]. Примерно семнадцать столетий спустя, после казни монгольского посла по приказу персидского шаха Чингисхан в отместку направил свои несокрушимые войска стереть с лица земли государство Хорезмшахов[96].
Тем не менее, сохранять каналы сообщения, особенно во время войны, стало обычаем. Со временем сложилось понимание: куда разумнее выслушать гонца, чем лишать его жизни.
Если бы системам ИИ предстояло выстраивать дипломатические отношения между собой, были бы возможны два пути: либо их изначально обучат соблюдать существующие протоколы, либо в процессе работы у них спонтанно выработается предпочтение к тем моделям поведения, где такие нормы заложены. Конечно, не обошлось бы без сбоев. Цифровые системы рубить головы, допустим, не стали бы, но методы борьбы за свои интересы разработали бы без труда. Именно эта бесстрастная логика искусственного разума, если человечество отважится принять ее, способна заложить основы принципиально более устойчивого мирового порядка.
Однако не будем забывать, что передача ИИ решения столь фундаментальных задач, как дипломатия и безопасность, неминуемо усилит нашу зависимость от его возможностей – зависимость, которую будет крайне трудно преодолеть, когда потребуется решительное, именно человеческое, участие в международных вопросах. Традиционная система международных отношений при всех ее недочетах хотя бы возлагала на нас ответственность за наши собственные решения. Добровольная же зависимость от ИИ грозит подорвать саму способность полагаться на суждение человека – ту опору, что неизменно поддерживала нас в более предсказуемом, хотя и примитивном, прошлом.
Зачем же идти на такой риск? Прежде всего – чтобы избежать гибельной дилеммы: либо взаимное уничтожение конкурирующих систем, либо гегемония зарождающегося сверхразума. Другая причина – защита от новых угроз, становящихся все более явными. С каждым годом и с каждой новой технологической революцией стереть человеческую цивилизацию с лица Земли становится все легче.
Скандинавская мифология повествует о Бальдре, сыне бога Одина и богини Фригг, встревоженных пророчествами о грядущей гибели их сына[97]. Стремясь защитить его жизнь от малейшей угрозы, Фригг объехала все девять миров, наложив заклятья на каждое животное, стихию, растения и даже чуму, чтобы ничто не могло стать оружием против любимого сына. Но коварный бог Локи, приняв облик старухи, выведал у богини, что ее защита не распространяется лишь на безобидную омелу. На пиру, устроенном в честь неуязвимого Бальдра, боги, демонстрируя силу заклятий, по очереди метали в него разное оружие. Тогда Локи подсунул своему слепому брату Хёду стрелу с наконечником из омелы, подговорив его шутки ради выпустить эту стрелу – единственный предмет, оставшийся без спасительного заклятья матери. Пронзив сердце Бальдра, стрела прервала его жизнь в тот же миг.
Смысл этого древнего мифа применительно к нашему времени прост и пугающе ясен: чем изощреннее становятся угрозы, тем надежнее должна быть защита – ведь малейший промах или упущение грозит катастрофой. И достичь такого совершенства, мы, вероятно, сможем только с помощью ИИ.
Таким образом, ключевая задача состоит в том, чтобы определить наименее опасный риск, который следует рассматривать в приоритетном порядке:
• угрозы, связанные с развитием ИИ;
• риски параллельных технологических революций (например, появление синтетической биологии);
• потенциальные катастрофические сценарии, включая радикальные климатические изменения.
Безусловно, менее совершенные системы ИИ могут непреднамеренно способствовать распространению опасных технологий. Даже при безупречном соблюдении регуляторных норм разработчиками в рамках строгого регулирования сохраняется риск, что другие участники процесса проявят халатность, нанеся серьезный ущерб. Однако более развитые машины способны нейтрализовать эти угрозы за счет беспрецедентной точности в принятии защитных решений.
Рассмотрим перспективу индивидуальной биологической защиты: наноботы с ИИ, циркулирующие в кровотоке человека, мгновенно уничтожают любые патогены, не соответствующие утвержденным параметрам данного организма.
Распознанная биосигнатура позволит реагировать на биологические угрозы гибче, чем наши прежние меры. Аналогично ИИ способен проектировать новые материалы и технологии для сокращения выбросов CO2, снижая риск климатических катастроф.
Безусловно, существует риск, что ИИ преждевременно возьмет на себя управление человеческой цивилизацией – той самой, что его породила. Однако полагаться только на то, что люди никогда не ошибаются, может быть еще опаснее. Наша стратегия должна быть простой: ИИ – это инструмент упреждающего противодействия, а не запоздалого реагирования на лавинообразный рост новых угроз[98]. И ключевой вопрос в этом контексте таков: как человечеству продвигать только полезные направления в развитии ИИ, одновременно сдерживая опасные?
Ведь ИИ по сути – это слепая разрушительная сила; его бесконтрольное развитие угрожает в равной степени как его создателям, так и пользователям. Именно это может вынудить даже непримиримых соперников пойти на соглашения, которые в других условиях казались бы немыслимыми. Мы убеждены, что в дипломатии, обороне и, возможно, в других сферах часть рисков, связанных с ИИ, цифровой разум может эффективно контролироваться только им самим. Ящик Пандоры уже распахнут настежь – но даже запертый, он не скрыл бы простой истины: польза ИИ перевешивает все его риски.
Мы убеждены: чтобы выжить в этом «хрупком мире» (по выражению Ника Бострома), человечеству, возможно, придется доверить ИИ управление угрозами, порожденными его же собственным технологическим прогрессом[99]. Остается вопрос: как существовать в будущем, где контроль одновременно необходим – и невозможен?
На протяжении почти всей своей истории человечество вело войны в ограниченном пространстве, где можно было с достаточной точностью оценить численность и расположение вражеских сил. Эта предсказуемость создавала ощущение некой стабильности и общих правил игры, сдерживая чрезмерную жестокость конфликтов. Когда мудрые правители приходили к согласию о том, по каким законам