Критическая точка традиционной войны – психология противника, именно против нее направлены стратегические действия. Но у алгоритма нет психологии, морали или сомнений, у него есть только его инструкции и цели. Поскольку ИИ может развиваться и меняться в процессе использования, ни одна из сторон не сможет точно предвидеть, каковы будут результаты (и сопутствующий ущерб) от применения ИИ, – в лучшем случае у них будет приблизительное представление об этом. И тогда стратеги и инженеры будут стремиться создать оружие, рассчитанное на скорость, широту воздействия и степень поражения – параметры, которые могут сделать такие конфликты более обширными и интенсивными.
Мы не призываем к разоружению или стратегии одностороннего отказа от вооружений – такое крайне редко возможно на практике. Как и в других стратегических областях, гарантия безопасности в случае с ИИ – сильная защита. Но, вооружаясь, потенциальные противники обязаны тщательно разобраться в том, что произойдет с внедрением ИИ в военное дело. Какой станет война – более гуманной и точной или более жестокой?
ИИ и машинное обучение меняют стратегические и тактические возможности сторон, расширяя действие существующих классов оружия. ИИ делает обычное оружие не просто более точным – теоретически он может нацелить оружие на конкретного человека или объект[56]. Если военные или террористические группы будут использовать такие возможности для нападения на отдельных военных, политических, деловых или общественных лидеров, характер войны существенно изменится. Наступательный ИИ может научиться проникать в систему защиты без традиционной кибератаки, путем изучения огромных массивов информации. Оборонительный ИИ может находить и устранять уязвимости защиты до того, как ими воспользуется противник.
Темп военных действий, проходящих под управлением ИИ, неминуемо вырастет. Это может привести к появлению полностью или почти полностью автоматизированных систем обороны и контратаки (считается, что советская сторона занималась разработкой таких систем еще во время холодной войны). Результат автоматической отработки функций таких систем может выглядеть аналогично выполнению взаимосвязанных мобилизационных планов и обязательств, которые привели к катастрофе Первой мировой войны, – но без участия или почти без участия человека.
Если страна столкнется в бою с противником, который внедрил ИИ, обученный управлять самолетами и принимать самостоятельные решения о применении оружия, – какие изменения в тактике, стратегии или готовности прибегнуть к эскалации (возможно, ядерной) это вызовет? Какую реакцию вызовет отказ державы подтвердить или опровергнуть применение боевого ИИ?
Если говорить не только о классических боевых действиях, ИИ открывает новые горизонты возможностей в информационном пространстве – как в области мониторинга, так и в области дезинформации и подрывной деятельности. Генеративный ИИ может создавать огромные объемы ложной, но правдоподобной информации – включая искусственно созданных личностей, изображения, видео и речь, что особенно критично для свободных обществ. В общем доступе могут оказаться выглядящие реалистичными фотографии и видеозаписи, на которых общественные деятели говорят то, чего они никогда не говорили. Теоретически ИИ можно использовать для определения наиболее эффективных способов доставки дезинформации и ее адаптации к предубеждениям и ожиданиям общественности. Если противник использует фальсифицированные видео и изображения национального лидера для разжигания розни или распространения ложной информации, сможет ли общественность, включая правительства и официальных лиц, вовремя распознать обман?
В отличие от ядерной сферы, для такого использования ИИ не существует четкой концепции сдерживания (или степени эскалации при применении). Оружие с поддержкой ИИ (как физическое, так и кибернетическое) активно разрабатывается и, возможно, уже применяется[57]. Державы, обладающие ИИ (как государства, так и негосударственные субъекты), будут развертывать машины и системы, использующие быструю логику, эмерджентное и эволюционирующее поведение для нападения, защиты, наблюдения, распространения дезинформации, а также выявления и уничтожения ИИ противников. Некоторые достижения будут засекречены или использованы неожиданно, другие, напротив, будут широко пропагандироваться в качестве меры сдерживания. И когда ИИ столкнутся друг с другом во время военных действий, это приведет к результатам, которые трудно предсказать.
По мере развития и распространения трансформационных возможностей ИИ ведущие страны будут стремиться к достижению и сохранению превосходства[58]. Следует ожидать, что противники будут стремиться к тому же, не ограничиваясь полумерами. Важно понимать, что распространение ИИ, как во благо, так и во вред, обязательно произойдет: любые новые функции ИИ будут распространяться быстро и неподконтрольно правительствам.
Поскольку ИИ имеет двойное (гражданское и военное) назначение и может легко копироваться, распространение этих технологий будет крайне сложно контролировать. Попытки контроля будут подавляться наступательным оружием, кроме того, средства контроля будут естественным образом устаревать по мере технологического прогресса. Кроме того, новые пользователи ИИ будут адаптировать базовые алгоритмы к совершенно новым целям. Коммерческий ИИ можно легко перепрофилировать с гражданского использования на военное – например, для целей безопасности или информационной войны. Поскольку разработчиками ИИ по большей части будут негосударственные субъекты, обладающие специальными навыками и знаниями, – университеты, исследовательские лаборатории, операторы сетевых платформ, о которых мы говорили в главе 4, правительства не всегда смогут определять стратегически важные аспекты развития передовых ИИ в соответствии с их концепциями национальных интересов.
Определить «кибербаланс сил» или осуществить «сдерживание ИИ» сейчас очень трудно, если вообще возможно, – хотя бы потому, что эти понятия пока не определены, а планирование будет носить абстрактный характер. Это значит, что стороны будут стремиться сдержать противника угрозой оружия, последствия применения которого не очень хорошо известны. В таком случае менее технологически развитые страны, столкнувшись с державой, обладающей оружием с поддержкой ИИ, о возможностях которого, по сути, ничего не известно, могут не выдержать психологического воздействия такой ситуации и либо постараются вооружиться аналогичными средствами, либо применят непредусмотренные виды оружия и тактики.
Самый революционный и непредсказуемый эффект может вызвать взаимодействие ИИ и человеческого интеллекта. Раньше военные, планируя боевые действия, всегда могли в той или иной степени понять доктрину, тактику и стратегию своего противника. Основываясь на общих для всех людей возможностях и подходах, военные разрабатывали стратегию и тактику противодействия, а также символический язык демонстративных военных действий, таких как перехват самолета, приближающегося к государственной границе, или ввод кораблей в спорные воды. Но если военные будут использовать для планирования или ведения военных действий ИИ – даже как вспомогательное средство во время патрулирования или военного конфликта, – знакомые концепции и символы потеряют смысл, поскольку речь идет о взаимодействии с интеллектом, методы и тактика которого неизвестны. В тех случаях, когда военные будут передавать ИИ определенные функции, очень важно будет уметь прогнозировать и описывать ожидаемые последствия.
Переход к ИИ и системам вооружений с поддержкой ИИ означает как минимум частичную зависимость от интеллекта с огромным аналитическим потенциалом и принципиально иной парадигмой опыта, а в крайних случаях – передачу ему полномочий. В самом мягком случае ИИ будет способствовать обучению военнослужащих, помогая им оттачивать навыки и обнаруживать закономерности, которых люди ранее не замечали. Но даже такой способ использования ИИ может быть рискованным. Программное обеспечение для распознавания лиц на базе ИИ уже приводило к ошибочным арестам – подобные сбои военного ИИ могут привести к тому, что обычные действия сил противника будут идентифицированы как признаки готовящегося вторжения. Это значит, что операторы-люди обязательно должны отслеживать и контролировать действия ИИ, которые могут привести к непоправимым последствиям. Даже если это не позволит избежать всех ошибок, то, по крайней мере, у человека останутся моральная ответственность и подотчетность – те самые ограничения, которые предотвращают беспричинный ущерб и позволяют наказывать злоумышленников.
Однако самый глубокий вызов может быть философским. Чем больше ИИ будет задействован в концептуальных и аналитических аспектах стратегии, недоступных человеческому разуму, тем менее понятными для человека будут его процессы, влияние и результаты деятельности. Если политики придут к выводу, что помощь ИИ необходима для выяснения возможностей и намерений противника (который может иметь собственный ИИ) и своевременного реагирования на них, может оказаться неизбежным делегирование машинам критически важных решений и функций. Скорее всего, каждая страна самостоятельно нащупает свой предел подобного делегирования и соответствующих рисков и последствий. Ведущие державы не должны ждать войны, чтобы начать диалог о последствиях – стратегических, доктринальных и моральных – всех этих перемен.
Управление ИИ
Эти практические и философские вопросы необходимо рассмотреть и понять до того, как ИИ отправится на войну. Их актуальность растет, поскольку военные действия с участием кибернетики и ИИ уже не ограничены полями сражений, они в некотором смысле возможны везде, где есть цифровая сеть. Сегодня программное обеспечение управляет весьма обширной сферой физических систем, многие из которых – иногда вплоть до дверных замков и холодильников – объединены в сеть. Благодаря элементарной возможности цифровых схем передавать информацию и команды другим схемам возникла