Хотя Тиль признает невоенное применение машинного обучения, он особенно верит в промежуточное пространство: когда коммерческие компании производят инструменты военного образца и предоставляются всем, кто хочет получить преимущество в разведке и готов за это платить. И он, и генеральный директор Palantir Алекс Карп называют Palantir «патриотической», а Карп обвиняет другие технологические компании, которые отказываются работать с военными ведомствами, в «пограничном безрассудстве»[493]. В своем проницательном эссе писательница Мойра Вайгель изучила университетскую диссертацию Карпа, которая раскрывает его ранний интеллектуальный интерес к агрессии и веру в то, что «желание совершить насилие является постоянным основополагающим фактом человеческой жизни»[494]. Диссертация Карпа называлась «Агрессия в мире под названием Жизнь».
Первоначальными клиентами Palantir являлись федеральные военные и разведывательные ведомства, включая Министерство обороны, Агентство национальной безопасности, ФБР и ЦРУ[495]. Как показало расследование, после вступления Трампа в должность президента сумма контрактов Palantir с американскими ведомствами превысила миллиард долларов[496]. Однако компания Palantir не считалась типичным оборонным подрядчиком в духе Lockheed Martin. Она приняла характер стартапа из Кремниевой долины, базируясь в Пало-Альто и собрав в штат преимущественно молодых инженеров, и была поддержана In-Q-Tel, фирмой венчурного капитала, финансируемой ЦРУ. Помимо первых клиентов из разведывательных служб, Palantir начала работать с хедж-фондами, банками и такими корпорациями, как Walmart[497]. Но при этом ее ДНК формировалась в процессе работы на оборонное сообщество и внутри него. Она использовала те же подходы, о которых говорится в документах Сноудена, включая извлечение данных с устройств и проникновение в сети для отслеживания и оценки людей и активов. Palantir быстро стала предпочтительным поставщиком услуг слежения, включая разработку баз данных и программного обеспечения для управления механикой депортации для Иммиграционной и таможенной полиции (ICE)[498].
Бизнес-модель Palantir основана на сочетании анализа данных и выявления закономерностей с помощью машинного обучения в сочетании с более общим консалтингом. Palantir направляет инженеров в компанию, которые извлекают широкий спектр данных – электронную почту, журналы звонков, социальные сети, когда сотрудники входят и выходят из зданий, когда они заказывают билеты на самолет, все, чем компания готова поделиться, – а затем ищут закономерности и дают советы о том, что делать дальше. Одним из распространенных подходов является поиск действующих или потенциальных «плохих агентов» – недовольных сотрудников, которые могут слить информацию или обмануть компанию. Мировоззрение, лежащее в основе инструментов Palantir, напоминает АНБ: собирайте все, а затем ищите аномалии в данных. Однако если инструменты АНБ созданы для наблюдения и нацелены на врагов государства в обычной или тайной войне, то подход Palantir направлен против гражданских лиц. Как говорилось в масштабном расследовании Bloomberg в 2018 году, Palantir – это «разведывательная платформа, созданная для глобальной войны с террором», которая теперь «используется в качестве оружия против обычных американцев у себя дома»: Palantir работала на Пентагон и ЦРУ в Афганистане и Ираке… Министерство здравоохранения и социального обеспечения США использует Palantir для выявления мошенничества в программе Medicare. ФБР использует его при расследовании уголовных дел. Министерство внутренней безопасности использует его для проверки авиапассажиров и слежки за иммигрантами[499].
Вскоре слежка за работниками без документов переросла в отлов и депортацию людей в школах и на рабочих местах. Для достижения этой цели компания Palantir выпустила приложение для телефона под названием fAlCON, которое функционирует как огромный невод, собирая данные из многочисленных правоохранительных и государственных баз данных, где указаны иммиграционные истории людей, семейные отношения, информация о работе и учебных заведениях. В 2018 году агенты ICE использовали fAlCON для проведения рейда против почти сотни компаний 7-Eleven по всей территории США, что было названо «крупнейшей операцией против одного работодателя в эпоху Трампа»[500].
Несмотря на усилия Palantir по сохранению тайны о разработках и принципах работы систем, патентные заявки компании дают нам некоторое представление о ее подходе к ИИ. В заявке под безобидным названием «Системы баз данных и пользовательские интерфейсы для динамического и интерактивного анализа и идентификации мобильных изображений» Palantir хвастается способностью приложения фотографировать людей в короткие промежутки времени и, независимо от того, находятся ли они под подозрением или нет, сверять их изображения со всеми доступными базами данных. По сути, система использует распознавание лиц и обратную обработку для создания основы, на которой можно основывать арест или депортацию.
Изображение из патента компании Palantir US10339416B2. Предоставлено Ведомством по патентам и товарным знакам США
Хотя системы Palantir имеют структурное сходство с системами АНБ, они перешли на уровень местных сообществ, чтобы их продавали как сетям супермаркетов, так и местным правоохранительным органам. Это представляет собой сдвиг от традиционной полицейской деятельности к целям, которые больше ассоциируются с инфраструктурой военной разведки. Как объясняет профессор права Эндрю Фергюсон, «мы движемся к состоянию, когда прокуроры и полицейские будут говорить: „Алгоритм сказал мне сделать это, и я сделал, не имея ни малейшего представления о том, что я делаю“. И это будет происходить на повсеместном уровне при очень слабом надзоре»[501].
Социолог Сара Брейн является одним из первых ученых, непосредственно наблюдавших за тем, как платформы данных Palantir используются на деле, в частности, в полицейском управлении Лос-Анджелеса. Проведя более двух лет вместе с полицейскими во время патрулирования, наблюдая за их работой и проводя многочисленные интервью, Брейн пришла к выводу, что в некоторых областях эти инструменты просто усиливают прежнюю полицейскую практику, но в других случаях они полностью меняют процесс наблюдения. Короче говоря, полиция превращается в агентов разведки:
Переход от традиционного наблюдения к наблюдению с использованием объемных данных связан с миграцией правоохранительных операций в сторону разведывательной деятельности. Основное различие между правоохранительной и разведывательной деятельностью заключается в следующем: правоохранительные органы, как правило, начинают действовать после того, как произошел криминальный инцидент. По закону, полиция не может проводить обыск и собирать личную информацию до тех пор, пока не появится достаточное основание. Разведка, напротив, в основе своей имеет прогностический характер. Разведывательная деятельность включает в себя сбор данных, выявление подозрительных моделей, мест, деятельности и лиц, а также упреждающее вмешательство на основе полученных данных[502].
Хотя все подвергаются подобному наблюдению, некоторые люди сталкиваются с ним чаще, чем другие: иммигранты, люди без документов, бедные и цветные сообщества. Как заметила Брейн в своем исследовании, использование программного обеспечения Palantir воспроизводит неравенство, делая жителей преимущественно бедных, черных и латиноамериканских районов еще более подверженными слежке. Система баллов Palantir придает ауру объективности: это «просто математика», по словам одного полицейского[503]. Но она создает усиливающуюся логическую петлю. Брейн пишет:
Несмотря на заявленное намерение системы баллов избежать юридически оспоримой предвзятости в действиях полиции, она скрывает как преднамеренную, так и непреднамеренную необъективность и создает самоподдерживающийся цикл: если люди имеют высокий балл, они находятся под усиленным наблюдением и, следовательно, имеют большую вероятность быть остановленными, что еще больше увеличивает их балл. Такая практика затрудняет дальнейшее вовлечение в сеть наблюдения лиц, уже находящихся в системе уголовного правосудия, и одновременно затушевывает роль правоприменительной практики в формировании оценок риска[504].
Машинное обучение, применяемое Palantir и ему подобными, способно привести к возникновению обратной связи: лица, включенные в базу данных уголовного правосудия, с большей вероятностью окажутся под наблюдением, а значит, с большей вероятностью о них будет получена дополнительная информация, что оправдывает дальнейшую проверку со стороны полиции[505]. Неравенство не только углубляется, но и вымывается технологиями, оправдываясь системами, которые кажутся невосприимчивыми к ошибкам, но на самом деле усиливают проблемы чрезмерного полицейского контроля и расово предвзятого наблюдения[506]. Модели разведки, зародившиеся в национальных правительственных агентствах, теперь стали частью полицейской работы в местных районах. Внедрение АНБ в полицейские департаменты усугубляет историческое неравенство, радикально трансформирует и расширяет практику работы полиции.