[470]. Однако эти скрытые подходы столкнулись с новым политическим противодействием после разоблачений Сноудена. В 2015 году Конгресс принял Закон о свободе США, который ввел некоторые ограничения на доступ АНБ к данным Кремниевой долины в режиме реального времени. При этом возможность создания более крупного военно-промышленного комплекса вокруг данных и ИИ оставалась маняще близкой. Кремниевая долина уже создала и монетизировала логику и инфраструктуру ИИ, необходимые для новой компенсации. Но сначала нужно было убедить технологический сектор в том, что партнерство в создании инфраструктуры ведения войны будет стоить того, чтобы не оттолкнуть сотрудников и не усугубить недоверие общества.
В апреле 2017 года Министерство обороны опубликовало служебную записку, объявив о создании межфункциональной группы по алгоритмической войне под кодовым названием Project Maven[471]. «Министерство должно более эффективно интегрировать искусственный интеллект и машинное обучение во все операции, чтобы сохранить преимущества перед все более способными противниками и конкурентами», – написал заместитель министра[472]. Целью программы являлось быстрое внедрение лучших алгоритмических систем на поле боя, даже если они были готовы лишь на 80 процентов[473]. При этом она входила в гораздо более масштабный план – облачный проект «Объединенная инфраструктура оборонного предприятия» или JEDI – грандиозная перестройка всей ИТ-инфраструктуры Министерства обороны, от Пентагона до поддержки на местах. Проект Maven представлял собой лишь небольшой фрагмент этой большой картины, и его целью было создание системы искусственного интеллекта, которая позволила бы аналитикам выбрать цель, а затем просмотреть все существующие видеозаписи с беспилотников, на которых изображен тот же человек или транспортное средство[474]. В конечном итоге, Министерство обороны хотело получить автоматизированную поисковую систему по видеозаписям с беспилотников для обнаружения и отслеживания вражеских комбатантов.
Официальный логотип межфункциональной команды Algorithmic Warfare под кодовым названием Project Maven. Латинский девиз переводится как «Наша работа – помогать». Предоставлено Министерством обороны США
Технические платформы и навыки машинного обучения, необходимые для Project Maven, сосредоточились в коммерческом технологическом секторе. Министерство обороны решило заплатить технологическим компаниям за анализ военных данных, собранных со спутников и боевых дронов в местах, где не действуют внутренние законы США о конфиденциальности. Благодаря такому подходу военные и финансовые интересы американского технологического сектора в области ИИ смогли бы сблизить свои интересы, не вызывая при этом конституционных споров о неприкосновенности частной жизни, как это делало Агентство национальной безопасности. Среди технологических компаний, которые хотели получить контракт на Maven, началась война торгов, включая Amazon, Microsoft и Google.
Первый контракт по проекту Project Maven достался компании Google. Согласно договору, Пентагон должен был использовать инфраструктуру ИИ TensorFlow компании Google для просмотра отснятого беспилотниками материала и обнаружения объектов и отдельных лиц в процессе их перемещения между точками.[475]. Фей-Фей Ли, в то время главный научный сотрудник отдела ИИ/МЛ в Google, уже стала экспертом в создании наборов данных для распознавания объектов, учитывая ее опыт создания ImageNet и использования спутниковых данных для обнаружения и анализа автомобилей[476]. Но она была непреклонна в том, что проект следует держать в секрете. «Избегайте любых упоминаний или намеков на ИИ», – написала Ли в электронном письме коллегам из Google, которое позже попало в сеть. «Оружейный ИИ – это, вероятно, одна из самых чувствительных тем в данной области – если не самая. Это „красная тряпка“ для СМИ, и она найдут любые способы в попытке навредить Google»[477].
Впрочем, в 2018 году сотрудники Google узнали о масштабах роли компании в проекте. Их взбесил тот факт, что их работа используется в военных целях, особенно после того, как стало известно, что цели проекта Maven по идентификации изображений включают такие объекты, как транспортные средства, здания и людей[478]. Более 3100 сотрудников подписали письмо протеста, где заявили, что Google не должна заниматься военными делами, и потребовали аннулировать контракт[479]. Под растущим давлением Google официально прекратила работу над проектом Project Maven и вышла из конкурса на десятимиллиардный контракт Пентагона JEDI. В октябре того же года президент Microsoft Брэд Смит заявил в блоге: «Мы верим в сильную оборону Соединенных Штатов и хотим, чтобы люди, которые ее защищают, имели доступ к лучшим технологиям страны, в том числе от Microsoft»[480]. В конечном итоге контракт достался Microsoft, которая перебила цену Amazon[481].
Вскоре после внутреннего восстания компания Google опубликовала Принципы искусственного интеллекта, которые включали раздел о «приложениях ИИ, разработкой которых мы не будем заниматься»[482]. К ним относилось создание «оружия или других технологий, основной целью или применением которых является причинение или прямое содействие причинению вреда людям», а также «технологий, которые собирают или используют информацию для слежки с нарушением международно признанных норм».[483] Хотя обращение к этике ИИ сняло некоторые внутренние и внешние опасения, возможность применения и параметры этических ограничений остались неясными[484].
В ответ бывший генеральный директор Google Эрик Шмидт охарактеризовал реакцию на проект Maven как «общую озабоченность технологического сообщества тем, что военно-промышленный комплекс использует наши разработки для неправильного убийства людей, если там можно сказать»[485]. Этот переход от дебатов о том, стоит ли вообще использовать ИИ в военных действиях, к дебатам о том, может ли ИИ помочь «правильно убивать людей», оказался весьма стратегическим[486]. Он переместил фокус с фундаментальной этики ИИ как военной технологии на вопросы точности и технической аккуратности. Люси Сачман, однако, утверждает, что проблемы автоматизированной войны выходят далеко за рамки точности или «правильности» убийства[487]. В частности, в случае обнаружения объектов, спрашивает Сачман, кто создает обучающие наборы и какие данные он использует?[488] Каким образом объекты классифицируются как угроза? Что является достаточно аномальной активностью, чтобы вызвать законную атаку беспилотника? И почему мы должны оправдывать приписывание последствий для жизни и смерти этим нестабильным и по своей сути политическим классификациям?
Эпизод с Maven, а также появившиеся принципы ИИ указывают на глубокие разногласия в индустрии ИИ по поводу отношений между военной и гражданской сферами. Война ИИ, как реальная, так и воображаемая, насаждает политику страха и незащищенности, которая создает климат, используемый для подавления внутреннего несогласия и беспрекословной поддержки националистической повестки дня[489]. После того, как Maven исчез с горизонта, главный юридический директор Google Кент Уокер заявил, что компания стремится получить более высокие сертификаты безопасности и тесно сотрудничать с Министерством обороны. «Я хочу внести ясность, – сказал он. – Мы – гордая американская компания»[490]. Ставя патриотизм на уровень политики, технологические компании все чаще заявляют о своей приверженности интересам национального государства, даже когда их платформы и возможности превосходят традиционное государственное управление.
Отношения между государством и индустрией ИИ выходят далеко за рамки национальных вооруженных сил. Технологии, которые раньше предназначались для военных зон и шпионажа, теперь используются на местном уровне управления, от агентств социального обеспечения до правоохранительных органов. Этому сдвигу способствовал аутсорсинг ключевых функций государства технологическим подрядчикам. На первый взгляд, это не сильно отличается от обычного аутсорсинга государственных функций в частный сектор такими компаниями, как Lockheed Martin или Halliburton. Но теперь милитаризованные формы выявления шаблонов и оценки угроз переходят в масштабах муниципальных служб и учреждений[491]. Значительным примером этого явления является компания, названная в честь волшебных камней из «Властелина колец»: Palantir.
Компания Palantir была основана в 2004 году, ее соучредителем стал миллиардер из PayPal Питер Тиль, который также выступал советником и финансовым сторонником президента Трампа. Позже Тиль в своей статье утверждал, что ИИ – это прежде всего военная технология: «Забудьте о фантастике; что является мощным в реально существующем ИИ, так это его применение к относительно обыденным задачам, таким как компьютерное зрение и анализ данных. Хотя эти инструменты и менее жуткие, чем монстр Франкенштейна, они, тем не менее, ценны для любой армии, например, для получения преимущества в разведке… Несомненно, инструменты машинного обучения имеют и гражданское применение»