система потрясающей сложности и масштаба.
Военным силам, вооруженным ИИ, очень важно научиться находить некое взаимопонимание и сдерживать друг друга. Поскольку цифровые системы легко и относительно незаметно изменяются путем доработки компьютерного кода, крупные державы имеют право предполагать, что их противники могли продвинуть стратегически важные разработки и внедрение ИИ несколько дальше, чем они признали публично или пообещали конфиденциально. В чисто техническом смысле ИИ не так сложно переключить с разведки и поиска целей на активные военные действия, поэтому задачу создания систем взаимного сдерживания и контроля нужно решить во что бы то ни стало.
В процессе поиска решения этой проблемы придется учитывать динамичную природу ИИ. Допустим, кибероружие, созданное ИИ, сможет самостоятельно адаптироваться и обучаться. Это означает, что по мере того, как ИИ реагирует на окружающую обстановку, будут меняться возможности оружия, включая выбор цели. Если вид оружия или сфера его применения окажутся иными, чем предполагали или предупреждали его создатели, будет бессмысленно пытаться просчитывать меры сдерживания или эскалации. Вот почему люди должны сохранять контроль над диапазоном действий, которые способен предпринять ИИ, – как на начальном этапе проектирования, так и путем сохранения контроля над системой, которая стала отклоняться в сторону нежелательных действий. Такие ограничения должны быть взаимными.
Ограничения на возможности ИИ и кибернетического потенциала будет сложно определить, а распространение оружия на базе ИИ – сложно остановить. Потенциал, созданный и используемый крупными державами, может попасть в руки террористов. Малые государства, не обладающие ядерным оружием, могут многократно усилить свое влияние, инвестируя в передовые арсеналы ИИ и кибероружия. Будут задействованы также оборонительные возможности кибер- и информационного пространства, такие как выявление вредоносного контента в цифровых медиа или кибернетическое управление оборонительными системами на базе ИИ[59]. В той мере, в какой подобные системы работают внутри страны или на сетевых платформах, ориентированных на гражданское население, их характеристики и проблемы будут аналогичны тем, которые мы рассматривали в главе 4.
Государства неизбежно будут делегировать алгоритмам ИИ (в том числе управляемым частными организациями) малые, не ведущие к человеческим жертвам задачи, включая обнаружение и предотвращение кибератак. Так называемая поверхность атаки цифрового общества, активно использующего компьютерные сети, слишком обширна, чтобы операторы-люди могли защищать ее вручную. С переходом многих аспектов человеческой жизни в онлайн и продолжением цифровизации экономики растет вероятность того, что ИИ-диверсии смогут нарушать работу целых секторов экономики. Чтобы уйти от такой опасности, странам, компаниям и даже отдельным людям придется вооружаться средствами кибербезопасности. Наиболее экстремальной (хотя все равно потенциально несовершенной) формой такой защиты будет разрыв сетевых соединений и отключение систем от сети, особенно для государств. Если не прибегать к таким крайним мерам, то некоторые жизненно важные функции киберзащиты будет способен выполнять только ИИ, отчасти из-за огромных размеров киберпространства и почти бесконечного множества возможных действий в нем. В подобной гонке вооружений противникам потребуются огромные объемы данных и вычислительные мощности, поэтому лидировать в этой области смогут лишь несколько стран.
За системами обороны с поддержкой ИИ скрывается самая сложная категория – смертоносные автономные системы вооружений. Обычно под ними понимают системы, которые после активации могут выбирать и поражать цели без дальнейшего вмешательства человека – в том числе со смертельным исходом[60]. Ключевой вопрос в этой области – человеческий надзор и возможность своевременного вмешательства человека.
Обычно системы, оснащенные ИИ, контролируются человеком, задача которого – предоставлять разрешение на определенные действия. Но если это не будет ограничено контролируемыми межгосударственными соглашениями, новейшие формы систем вооружений смогут выполнять самые широкие боевые задачи – такие как защита границ, уничтожение материальных или кибернетических объектов и т. п. – и без существенного участия человека. Обеспечить человеческий контроль применения силы в этих сферах крайне важно, но такие ограничения не будут иметь смысла, если они будут приняты в одностороннем порядке – одной страной или небольшой группой стран. Такие меры должны быть взаимными и подкрепленными принудительным контролем, в противном случае риск кризиса или внезапной эскалации, вызванных применением автономного оружия, будет расти[61].
Поскольку эти технологии не просто изучаются, а реально используются, существует риск преждевременного применения основанного на них оружия, за которым последует война. Например, страна, которая пытается упредить своего противника, может атаковать его – но чем оправдать такую атаку? Действительно ли противник создал потенциал, о котором подозревал нападающий, и был ли он использован? Соответственно, возможны две группы доктрин: одна – ориентированная на ограничение и сдерживание, другая – на соперничество и превосходство. Это неразрешимый спор. Обе стороны могут быть правы в том смысле, что технология должна развиваться (становясь более эффективной и более угрожающей), чтобы противостоять ожидаемым угрозам. В этом смысле и распространение, и сдерживание являются вполне логичными целями и в некоторых случаях могут быть совместимы – но только если крупные державы будут наращивать свои вооружения в рамках проверяемых ограничений. Переговоры должны быть направлены на ограничение этой гонки, при этом важно, чтобы обе стороны в общих чертах знали, что делает противник, и ни одна сторона не скрывала свои самые важные для безопасности секреты. Полного доверия не будет никогда – но, как показали переговоры по ядерному оружию времен холодной войны, нужно пытаться достичь определенного взаимного доверия.
Раньше военные и гражданские области было легко разделить по признакам технологической дифференциации, сосредоточения контроля и степени поражения. Технологическая дифференциация означает, что технология имеет либо исключительно военное, либо исключительно гражданское применение (в отличие от технологий двойного назначения). Сосредоточение контроля означает, что правительство может легко управлять технологией, которую оно контролирует, в отличие от технологий, распространение которых происходит вне контроля правительства. Наконец, степень поражения говорит о разрушительном потенциале технологии.
Многие технологии в истории человечества имели двойное назначение, или легко распространялись, или обладали огромным разрушительным потенциалом. Однако до сих пор ни одна из них не обладала всеми тремя качествами: двойным применением, легкостью распространения и значительным разрушительным потенциалом. Железные дороги имеют двойное назначение, они обеспечивают перевозки как промышленных товаров, так и военной силы – но не имеют разрушительного потенциала. Ядерные технологии часто имеют двойное назначение и могут создавать огромный разрушительный потенциал, но их инфраструктура слишком сложна, поэтому они подконтрольны правительству. Огнестрельное оружие легко распространяется и имеет двойное назначение, но не является оружием массового поражения.
ИИ ломает эту парадигму: он имеет двойное назначение, легко распространяется (это всего лишь код) и, как правило (за некоторыми примечательными исключениями), может работать на отдельных компьютерах или в небольших сетях, что означает неподконтрольность правительствам, и обладает значительным разрушительным потенциалом. Эта уникальная комбинация качеств в сочетании с широким кругом заинтересованных сторон порождает стратегические проблемы нового уровня сложности.
Благодаря оружию с поддержкой ИИ станут возможными исключительно быстрые цифровые атаки с использованием цифровых уязвимостей. У государств может фактически не остаться времени на оценку признаков готовящейся атаки, им придется реагировать немедленно, чтобы не потерпеть поражение, поэтому они будут создавать системы на базе ИИ, отслеживающие признаки атак и способные контратаковать до того, как произошла атака[62]. Как и в начале XX в., информация о существовании такой системы может послужить толчком к разработкам параллельной технологии или технологии, основанной на других алгоритмах. Стороны, вынужденные напасть первыми, могут сознательно пренебречь необходимостью действовать разумно – если человек вообще будет участвовать в принятии таких решений.
Известно, что новейшие «квантовые» алгоритмы ИИ, используемые на фондовом рынке, могут выявлять рыночные закономерности и реагировать на них со скоростью, превосходящей возможности самых искусных трейдеров. Компании, использующие такие алгоритмы, передали им контроль некоторых аспектов торговли ценными бумагами. Во многих случаях эти системы обеспечивают весьма значительные прибыли, но иногда они допускают грубые ошибки в расчетах – потенциально более серьезные, чем самая грубая человеческая ошибка.
Такие ошибки, происходящие в финансовом мире, все же относительно безопасны для жизни. Но аналогичный сбой в военной сфере может стать катастрофой. Если для защиты от цифровой атаки ИИ перейдет в наступление и проникнет в сеть противника, чтобы пресечь нападение на его территории, может быть непреднамеренно запущена эскалация.
Попытки использовать новые технические возможности в рамках некой стратегии и с сохранением международного равновесия осложняются тем, что знания, необходимые для технологического превосходства, больше не сосредоточены исключительно в правительственных или академических учреждениях. У новых стратегических технологий широкий круг создателей – от традиционных государственных подрядчиков до индивидуальных разработчиков, предпринимателей, стартапов и частных исследовательских лабораторий. Не все они будут считать себя обязанными работать исключительно ради поддержки национальных интересов, определенных федеральным правительством. Открытое взаимодействие промышленности, научных кругов и правительства может помочь преодолеть этот разрыв и обеспечить понимание стратегического влияния ИИ. Сегодняшние стратегические и технологические вызовы беспрецедентны – ведь у нас нет единого мнения ни о характере этих вызовов, ни даже о словаре для их обсуждения.