[522]. Если «удар по цели» предполагает нападение на конкретное лицо, то «удар по сигнатуре» – это когда человека убивают из-за его метаданных; другими словами, его личность неизвестна, но данные указывают на то, что он может быть террористом[523]. Как показали документы Сноудена, в годы правления Обамы глобальная программа наблюдения за метаданными Агентства национальной безопасности геолокализировала SIM-карту или телефон подозреваемого, а затем американские военные наносили удары беспилотниками, чтобы убить человека, владеющего этим устройством[524]. «Мы убиваем людей на основе метаданных», – сказал генерал Майкл Хайден, бывший директор АНБ и ЦРУ[525]. Подразделение АНБ Geo Cell использовало более красочные выражения: «Мы их отслеживаем, а вы их убиваете»[526].
Сигнатурные атаки могут показаться точными и подразумевающими подлинную метку чьей-то личности. Однако в 2014 году юридическая организация Reprieve опубликовала доклад, где показала, что удары беспилотников, пытавшихся уничтожить 41 человека, привели к гибели примерно 1147 лиц. Беспилотники были проданы американской общественности под предлогом их «точности». Но они точны лишь настолько, насколько точны разведданные, которые их питают, – сказала Дженнифер Гибсон, возглавлявшая отчет[527]. Форма сигнатурного удара не связана с точностью: она связана с корреляцией. Как только в данных обнаруживается закономерность и она достигает определенного порога, подозрений становится достаточно для принятия мер даже при отсутствии окончательных доказательств. Такой способ вынесения решения путем распознавания образов встречается во многих областях – чаще всего в форме оценки.
Рассмотрим пример кризиса сирийских беженцев 2015 года. Миллионы людей спасались от широкомасштабной гражданской войны и вражеской оккупации в надежде найти убежище в Европе. Беженцы рисковали жизнью на плотах и переполненных лодках. 2 сентября трехлетний мальчик по имени Алан Курди утонул в Средиземном море вместе со своим пятилетним братом, когда их лодка перевернулась. Фотография его тела, выброшенного на пляж в Турции, попала в заголовки международных газет, став мощным символом масштабов гуманитарного кризиса: одно изображение заменяет весь ужас в целом. Но некоторые увидели в этом растущую угрозу. Примерно в это время к IBM обратились с предложением о новом проекте. Может ли компания использовать свою платформу машинного обучения для выявления данных беженцев, которые могут быть связаны с джихадизмом? Короче говоря, может ли IBM автоматически отличить террориста от беженца?
Эндрю Борен, руководитель стратегических инициатив в IBM, рассказал о причинах программы военному изданию Defense One: «Наша международная команда и некоторые из сотрудников в Европе получали сообщения о том, что среди голодных и обездоленных беженцев находились мужчины призывного возраста в крепком здоровье. Является ли это поводом для беспокойства в отношении ИГИЛ, и если да, то может ли такое решение быть полезным?»[528].
Находясь на безопасном расстоянии от своих корпоративных офисов, специалисты IBM по обработке данных рассматривали проблему как решаемую с помощью извлечения данных и анализа социальных сетей. Оставив в стороне множество переменных, существующих в условиях временных лагерей беженцев, и десятки предположений, используемых для классификации поведения террористов, IBM создала экспериментальный «рейтинг террористов», чтобы отсеять боевиков ИГИЛ от беженцев. Аналитики собрали множество неструктурированных данных, от Twitter до официального списка тех, кто утонул вместе с множеством перевернувшихся лодок у берегов Греции и Турции. Они также составили базу данных по образцу пограничников. Из разрозненных показателей они составили гипотетический балл угрозы: не абсолютный показатель вины или невиновности, отметили они, а глубокое «понимание» личности, включая прошлые адреса, места работы и социальные связи[529]. Между тем, сирийские беженцы не знали, что их личные данные собираются для испытания системы, которая может выделить их как потенциальных террористов.
Это лишь один из многих случаев, когда новые технические системы государственного контроля используют беженцев в качестве тестовых образцов. Эти военные и полицейские логики пропитаны одной из форм финансиализации: социально выстроенные модели кредитоспособности вошли во многие системы искусственного интеллекта, влияя на все – от возможности получить кредит до разрешения пересечь границу. В настоящее время по всему миру, от Китая до Венесуэлы и США, используются сотни таких платформ, поощряющих заранее определенные формы социального поведения и наказывающих тех, кто им не соответствует[530]. Этот «новый режим морализованной социальной классификации», по словам социологов Марион Фуркад и Кирана Хили, приносит выгоду «высокостоящим» представителям традиционной экономики, в то время как наименее привилегированные слои населения оказываются в еще более невыгодном положении[531]. Кредитный рейтинг, в самом широком смысле, стал местом, где сочетаются военные и коммерческие подписи.
Подобная логика оценки ИИ глубоко вплетена в правоохранительную деятельность и пограничный контроль, традиционные сферы деятельности государства, но кроме того она лежит и в основе другой государственной функции: доступа к общественным благам. Как показывает политолог Вирджиния Юбэнкс в своей книге «Автоматизация неравенства», когда системы ИИ внедряются в рамках государства всеобщего благосостояния, они используются в основном как способ наблюдения, оценки и ограничения доступа людей к государственным ресурсам, а не как способ обеспечения большей поддержки[532].
Ключевым примером этой динамики послужил случай, когда бывший губернатор-республиканец штата Мичиган Рик Снайдер, ранее занимавший пост председателя совета директоров компании компьютерного оборудования Computer Gateway, решил реализовать две алгоритмически управляемые программы жесткой экономии в попытке подорвать экономическую безопасность своих беднейших граждан под эгидой сокращения государственного бюджета. Во-первых, он распорядился использовать алгоритм подбора для реализации политики штата в отношении «беглых преступников», которая автоматически лишала людей права на получение продовольственной помощи на основании непогашенных штрафов. В период с 2012 по 2015 год новая система неточно сопоставила данные более чем девятнадцати тысяч жителей Мичигана и автоматически лишила каждого из них продовольственной помощи[533].
Вторая схема называлась Мичиганская интегрированная автоматизированная система данных (MiDAS) – система, созданная для вынесения «робо-решений» и наказания тех, кто, по ее мнению, обманывает государственное страхование по безработице. MiDAS была разработана таким образом, что практически любые несоответствия данных или противоречия в записях о человеке рассматривались как потенциальное доказательство незаконного поведения. Система неточно определила более сорока тысяч жителей Мичигана, подозреваемых в мошенничестве. Последствия оказались тяжелыми: изъятие возвращенных налогов, наложение ареста на заработную плату и наложение гражданских штрафов, которые в четыре раза превышали сумму долга, предъявленную людям. В конечном итоге обе системы оказались гигантскими финансовыми провалами и стоили Мичигану гораздо больше денег, чем удалось сэкономить. Пострадавшие смогли успешно отсудить у штата деньги за эти системы, но не раньше, чем тысячи людей пострадали, а многие из них стали банкротами[534].
Рассматривая в общем контексте государственные системы искусственного интеллекта, можно заметить последовательную логику между преследованием террористов или работников без документов и преследованием беглых преступников или подозреваемых мошенников. Несмотря на то, что продовольственная помощь и пособия по безработице создавались для поддержки бедных и содействия социальной и экономической стабильности, использование милитаристских систем командования и контроля для целей наказания и исключения подрывает общие цели этих систем. По сути, эти системы являются карательными, созданными по модели «угроза-цель». Мотивы оценки и риска глубоко проникли в структуры государственной бюрократии, а автоматизированные системы принятия решений, созданные в этих учреждениях, глубоко внедряют эту логику в то, как представляются, оцениваются и обслуживаются сообщества и отдельные люди.
Я уже почти закончила долгий день, просматривая архив Сноудена, когда вдруг наткнулась на слайд, описывающий планету как «стог информации», где желаемые сведения – это иголка, затерявшаяся где-то среди соломы. Он включает в себя веселый клип-арт, изображающий гигантский стог сена в поле с голубым небом над головой. Это клише сбора информации носит тактический характер: сено косят для блага фермы, собирают, чтобы получить прибыль. Это вызывает успокаивающий пасторальный образ сельского хозяйства данных – уход за полями для дальнейшего упорядоченного цикла добычи и производства. Фил Агре однажды заметил, что «технология в настоящее время – это скрытая философия; смысл в том, чтобы сделать ее открыто философской»[535]. Философия здесь заключается в том, что данные должны добываться в глобальном масштабе и структурироваться для поддержания гегемонии США. Однако мы уже видели, как эти истории распадаются при тщательном изучении.