До сих пор такие режимы возлагали свою веру на человеческие партии и лидеров и были рассадниками культов личности. Но в XXI веке эта тоталитарная традиция готовит их к ожиданию непогрешимости ИИ. Системы, способные поверить в безупречный гений Муссолини, Чаушеску или Хомейни, готовы поверить и в безупречный гений сверхразумного компьютера. Это может привести к катастрофическим последствиям для их граждан, а в перспективе и для всего остального мира. Что произойдет, если алгоритм, отвечающий за экологическую политику, допустит большую ошибку, а механизмов самокоррекции, способных выявить и исправить ее, не существует? Что произойдет, если алгоритм, управляющий государственной системой социального кредитования, начнет терроризировать не только население, но даже членов правящей партии и одновременно навешивать ярлык "враг народа" на всех, кто подвергает сомнению его политику?
Диктаторы всегда страдали от слабости механизмов самокоррекции и всегда подвергались угрозе со стороны могущественных подчиненных. Возникновение искусственного интеллекта может значительно усугубить эти проблемы. Таким образом, компьютерная сеть ставит диктаторов перед мучительной дилеммой. Они могут решить вырваться из лап своих подчиненных, доверившись якобы непогрешимой технологии, и в этом случае они могут стать ее марионеткой. Или же они могут создать человеческий институт для надзора за ИИ, но этот институт может ограничить и их собственную власть.
Если хотя бы несколько мировых диктаторов решат довериться ИИ, это может иметь далеко идущие последствия для всего человечества. Научная фантастика полна сценариев, в которых ИИ выходит из-под контроля и порабощает или уничтожает человечество. В большинстве научно-фантастических сюжетов эти сценарии рассматриваются в контексте демократического капиталистического общества. Это вполне объяснимо. Авторов, живущих в демократических странах, очевидно, интересует их собственное общество, в то время как авторы, живущие в диктаторских государствах, обычно не склонны критиковать своих правителей. Но самое слабое место в защите человечества от ИИ - это, пожалуй, диктаторы. ИИ легче всего захватить власть не путем побега из лаборатории доктора Франкенштейна, а путем сближения с каким-нибудь параноиком Тиберием.
Это не пророчество, а всего лишь возможность. После 1945 года диктаторы и их подчиненные сотрудничали с демократическими правительствами и их гражданами в деле сдерживания ядерного оружия. 9 июля 1955 года Альберт Эйнштейн, Бертран Рассел и ряд других выдающихся ученых и мыслителей опубликовали Манифест Рассела-Эйнштейна, в котором призвали лидеров как демократических, так и диктаторских государств к сотрудничеству в деле предотвращения ядерной войны. "Мы обращаемся, - говорится в манифесте, - как человеческие существа, к человеческим существам: помните о своей человечности и забудьте обо всем остальном. Если вы сможете это сделать, перед вами откроется путь в новый рай; если не сможете, перед вами встанет риск всеобщей гибели". Это справедливо и для ИИ. Было бы глупо со стороны диктаторов полагать, что ИИ обязательно изменит баланс сил в их пользу. Если они не будут осторожны, ИИ просто захватит власть в свои руки.
ГЛАВА 11.
Силиконовый занавес: Глобальная империя или глобальный раскол?
В предыдущих двух главах мы рассмотрели, как различные человеческие общества могут отреагировать на появление новой компьютерной сети. Но мы живем во взаимосвязанном мире, где решения одной страны могут оказать глубокое влияние на другие. Некоторые из самых серьезных опасностей, создаваемых ИИ, не являются результатом внутренней динамики отдельно взятого человеческого общества. Скорее, они возникают в результате динамики, охватывающей многие общества, что может привести к новым гонкам вооружений, новым войнам и новым имперским экспансиям.
Компьютеры еще не настолько мощны, чтобы полностью выйти из-под нашего контроля или самостоятельно уничтожить человеческую цивилизацию. Пока человечество сплочено, мы можем создать институты, которые будут контролировать ИИ, выявлять и исправлять ошибки алгоритмов. К сожалению, человечество никогда не было единым. Мы всегда страдали от плохих игроков, а также от разногласий между хорошими игроками. Таким образом, развитие ИИ представляет собой экзистенциальную опасность для человечества не из-за злобы компьютеров, а из-за наших собственных недостатков.
Так, параноидальный диктатор может передать неограниченную власть слабому ИИ, включая даже право наносить ядерные удары. Если диктатор доверяет своему ИИ больше, чем министру обороны, разве не имеет смысла поручить ему контроль над самым мощным оружием страны? Если ИИ допустит ошибку или начнет преследовать чужие цели, результат может быть катастрофическим, и не только для этой страны.
Точно так же террористы, сосредоточенные на событиях в одном уголке мира, могут использовать ИИ для провоцирования глобальной пандемии. Террористы могут быть более сведущи в мифологии апокалипсиса, чем в науке эпидемиологии, но им нужно только поставить цель, а все остальное сделает их ИИ. ИИ может синтезировать новый патоген, заказать его в коммерческих лабораториях или напечатать на биологических 3-D принтерах и разработать оптимальную стратегию его распространения по всему миру через аэропорты или цепочки поставок продовольствия. А что, если ИИ синтезирует вирус, который будет таким же смертоносным, как Эбола, таким же заразным, как COVID-19, и таким же медленно действующим, как СПИД? К тому времени, когда первые жертвы начнут умирать, а мир будет предупрежден об опасности, большинство людей на Земле уже будут заражены.
Как мы уже видели в предыдущих главах, человеческой цивилизации угрожает не только физическое и биологическое оружие массового поражения, такое как атомные бомбы и вирусы. Человеческую цивилизацию также может уничтожить оружие социального массового поражения, например истории, подрывающие наши социальные связи. ИИ, разработанный в одной стране, может быть использован для распространения фальшивых новостей, фальшивых денег и фальшивых людей, чтобы люди во множестве других стран потеряли способность доверять чему-либо или кому-либо.
Многие общества - как демократические, так и диктаторские - могут ответственно подходить к регулированию такого использования ИИ, пресекать действия плохих игроков и сдерживать опасные амбиции своих правителей и фанатиков. Но если даже горстка обществ не справится с этой задачей, этого может оказаться достаточно, чтобы поставить под угрозу все человечество. Изменение климата может опустошить даже те страны, где приняты отличные экологические нормы, потому что это глобальная, а не национальная проблема. ИИ тоже является глобальной проблемой. Странам было бы наивно полагать, что если они будут разумно регулировать ИИ в пределах своих границ, то эти правила защитят их от худших последствий революции ИИ. Соответственно, чтобы понять новую компьютерную политику, недостаточно изучить, как отдельные общества могут отреагировать на ИИ. Нам также необходимо рассмотреть, как ИИ может изменить отношения между обществами на глобальном уровне.
В настоящее время мир разделен на около двухсот национальных государств, большинство из которых получили независимость только после 1945 года. Не все они равноправны. В списке есть две сверхдержавы, несколько крупных держав, несколько блоков и альянсов, а также множество мелкой рыбы. Тем не менее, даже самые маленькие государства обладают некоторыми рычагами влияния, о чем свидетельствует их способность играть со сверхдержавами друг против друга. Например, в начале 2020-х годов Китай и США боролись за влияние в стратегически важном Южно-Тихоокеанском регионе. Обе сверхдержавы обхаживали такие островные государства, как Тонга, Тувалу, Кирибати и Соломоновы острова. Правительства этих небольших государств с населением от 740 000 (Соломоновы острова) до 11 000 (Тувалу) имели значительную свободу действий при выборе пути и смогли добиться значительных уступок и помощи.
Другие малые государства, такие как Катар, зарекомендовали себя как важные игроки на геополитической арене. Имея всего 300 000 граждан, Катар, тем не менее, преследует амбициозные внешнеполитические цели на Ближнем Востоке, играет огромную роль в мировой экономике и является домом для Аль-Джазиры, самой влиятельной телевизионной сети арабского мира. Кто-то может возразить, что Катар способен значительно превосходить свои размеры, потому что он является третьим по величине экспортером природного газа в мире. Однако в другой международной обстановке это сделало бы Катар не независимым игроком, а первым блюдом в меню любого имперского завоевателя. Показательно, что в 2024 году гораздо более крупные соседи Катара и мировые державы-гегемоны позволят крошечному государству Персидского залива удержать свои сказочные богатства. Многие называют международную систему джунглями. Если это так, то это джунгли, в которых тигры позволяют жирным цыплятам жить в относительной безопасности.
Катар, Тонга, Тувалу, Кирибати и Соломоновы острова - все они свидетельствуют о том, что мы живем в постимперскую эпоху. Они получили независимость от Британской империи в 1970-х годах, что стало частью окончательного распада европейского имперского порядка. То влияние, которое они имеют на международной арене, свидетельствует о том, что в первой четверти XXI века власть распределяется между относительно большим числом игроков, а не монополизируется несколькими империями.
Как подъем новой компьютерной сети может изменить форму международной политики? Помимо апокалиптических сценариев, таких как диктаторский ИИ, развязывающий ядерную войну, или террористический ИИ, провоцирующий смертоносную пандемию, компьютеры представляют собой два основных вызова для нынешней международной системы. Во-первых, поскольку компьютеры позволяют сконцентрировать информацию и власть в одном центральном узле, человечество может вступить в новую имперскую эру. Несколько империй (или, возможно, одна империя) могут взять весь мир под гораздо более жесткий контроль, чем Британская или Советская империя. Тонга, Тувалу и Катар превратятся из независимых государств в колониальные владения - точно так же, как это было пятьдесят лет назад.