Пересекающиеся сетки планетарных вычислений – это сложные, перекрещивающиеся корпоративные и государственные логики, выходящие за пределы традиционных государственных границ и пределов управления, и они гораздо беспорядочнее, чем может показаться. Как утверждает Бенджамин Браттон, «арматура вычислений планетарного масштаба имеет определяющую логику, которая является самоподкрепляющейся, если не самореализующейся, и которая благодаря автоматизации собственных инфраструктурных операций превосходит любые национальные проекты, даже если она также используется от их имени»[536]. Идея суверенного ИИ, надежно удерживаемого в пределах национальных границ, – это миф. Инфраструктура ИИ уже является гибридной, и, как утверждает Ху, рабочая сила, лежащая в ее основе, – от китайских рабочих, производящих электронные компоненты, до российских программистов, обеспечивающих работу в облаке, и марокканских фрилансеров, отбирающих контент и маркирующих изображения[537].
В совокупности ИИ и алгоритмические системы, используемые государством, от военного до муниципального уровня, раскрывают скрытую философию массового инфраструктурного командования и контроля с помощью комбинации методов извлечения данных, логики таргетинга и наблюдения. Эти цели были центральными для разведывательных служб на протяжении десятилетий, но теперь они распространились на многие другие государственные функции, от охраны правопорядка на местах до распределения льгот[538]. Это лишь часть глубокого переплетения государственной, муниципальной и корпоративной логики в рамках планетарных вычислений. Впрочем, эта сделка довольно неудобная: государства заключают сделки с технологическими компаниями, которые они не могут контролировать или даже полностью понимать, а технологические компании берут на себя государственные и внегосударственные функции, которые они не приспособлены выполнять и за которые в какой-то момент в будущем они могут быть привлечены к ответственности.
Архив Сноудена демонстрирует, насколько далеко простирается пересекающаяся и противоречивая логика слежки. В одном из документов отмечаются признаки того, что сотрудник АНБ описал как зависимость от «всевидящего ока»: «Альпинисты называют это явление „лихорадкой вершины“ – когда „человек становится настолько зациклен на достижении пика, что все остальное исчезает из сознания“». Я считаю, что SIGINT, как и альпинисты мирового класса, не застрахованы от лихорадки вершин. Достаточно легко потерять из виду плохую погоду и неустанно двигаться вперед, особенно после того, как вложил в какое-то дело много денег, времени и ресурсов[539].
Все деньги и ресурсы, потраченные на неустанную слежку, являются частью лихорадочной мечты о централизованном контроле, который был достигнут ценой других видений социальной организации. Разоблачения Сноудена стали переломным моментом, показавшим, насколько далеко может зайти культура извлечения информации при сотрудничестве государства и коммерческого сектора, хотя сетевые диаграммы и клип-арт PowerPoint могут показаться причудливыми по сравнению со всем, что произошло с тех пор[540]. Отличительные методы и инструменты АНБ проникли в классы, полицейские участки, на рабочие места и в бюро по трудоустройству. Это результат огромных инвестиций, фактических форм приватизации и секьюритизации риска и страха. Нынешнее глубокое переплетение различных форм власти представляло собой надежду Третьей Компенсации. Оно вышло далеко за рамки цели стратегического преимущества в операциях на поле боя и охватило все те стороны повседневной жизни, которые можно отследить и оценить, основываясь на нормативных определениях того, как хорошие граждане должны общаться, вести себя и тратить деньги. Этот сдвиг несет с собой иное видение государственного суверенитета, модулируемого корпоративным алгоритмическим управлением, и усиливает глубокий дисбаланс власти между представителями государства и людьми, которым они призваны служить.
ЗаключениеСила
Искусственный интеллект не является объективной, универсальной или нейтральной вычислительной техникой, которая принимает решения без участия человека. Его системы встроены в социальный, политический, культурный и экономический мир, формируются людьми, институтами и императивами, определяющими то, что они делают и как они это делают. Они предназначены для дискриминации, усиления иерархии и кодирования узких классификаций. Применяясь в таких социальных контекстах, как полиция, судебная система, здравоохранение и образование, они могут воспроизводить, оптимизировать и усиливать существующее структурное неравенство. Это не случайно: Системы ИИ создаются для того, чтобы видеть мир и вмешиваться в него таким образом, чтобы это было выгодно в первую очередь государствам, институтам и корпорациям, которым они служат. В этом смысле системы ИИ являются выражением власти, возникающей из более широких экономических и политических сил, созданных для увеличения прибыли и централизации контроля для тех, кто ими владеет. Но история искусственного интеллекта обычно рассказывается не так.
Стандартные описания ИИ часто основываются на своего рода алгоритмической исключительности – идее о том, что, поскольку системы ИИ способны совершать невероятные вычислительные подвиги, они должны быть умнее и объективнее, чем их несовершенные человеческие создатели. Рассмотрим диаграмму AlphaGo Zero, программу ИИ, разработанную DeepMind компании Google для стратегических игр[541]. Изображение показывает, как она «научилась» играть в китайскую стратегическую игру Го, оценивая более тысячи вариантов каждого хода.
AlphaGo Zero. Предоставлено компанией DeepMind
В статье, повествующей об этой разработке, авторы пишут: «Начав с tabula rasa, наша новая программа AlphaGo Zero достигла сверхчеловеческой производительности»[542]. Соучредитель DeepMind Демис Хассабис описал игровые движки как подобие инопланетного интеллекта. «Он не играет как человек, но и не играет как компьютерный механизм. Он играет третьим, почти инопланетным способом… Это как шахматы из другого измерения»[543]. Когда следующая итерация освоила игру Го за три дня, Хассабис описал это как «открытие заново трех тысяч лет человеческих знаний за 72 часа!»[544]
На диаграмме Го нет ни машин, ни людей, ни капиталовложений, ни углеродного следа, только абстрактная система, основанная на правилах, наделенная потусторонними способностями. Рассказы о магии и мистификации повторяются на протяжении всей истории ИИ, рисуя яркие круги вокруг впечатляющих демонстраций скорости, эффективности и вычислительного мышления[545]. Не случайно одним из знаковых примеров современного ИИ является игра.
С 1950-х годов игры являются предпочтительным полигоном для тестирования программ ИИ[546]. В отличие от повседневной жизни, игры предлагают закрытый мир с определенными параметрами и четкими условиями победы. Исторические корни ИИ уходят во Вторую мировую войну и берут начало в финансируемых военными исследованиях в области обработки сигналов и оптимизации, которые стремились упростить мир, сделав его более похожим на стратегическую игру. Появился сильный акцент на рационализации и прогнозировании, а также вера в то, что математические формализмы помогут нам понять человека и общество[547]. Вера в то, что точное прогнозирование в основном заключается в уменьшении сложности мира, породила неявную теорию социального: найти сигнал в шуме и создать порядок из беспорядка.
Такое эпистемологическое сглаживание сложности в чистый сигнал с целью предсказаний в настоящее время является центральной логикой машинного обучения. Мы с историком технологий Алексом Камполо называем это заколдованным детерминизмом: Системы ИИ рассматриваются как заколдованные, находящиеся за пределами известного мира, но при этом детерминированные, поскольку они обнаруживают закономерности, которые можно с предсказательной уверенностью применять в повседневной жизни[548]. При обсуждении систем глубокого обучения, где машинные методы расширяются путем наслаивания друг на друга абстрактных представлений данных, заколдованный детерминизм приобретает почти теологическое качество. То, что подходы глубокого обучения часто не поддаются интерпретации даже для инженеров, которые их создали, придает этим системам сложную и мощную ауру. Как заметил социальный антрополог Ф. Г. Бейли, техника «затушевывания путем мистификации» зачастую используется в публичной среде, чтобы доказать неизбежность того или иного явления.[549] Нам предлагают сосредоточиться на инновационном характере метода, а не на том, что является главным: назначении самой вещи. Прежде всего, зачарованный детерминизм затуманивает власть и закрывает возможность для информированного общественного обсуждения, критического анализа или откровенного неприятия.
Зачарованный детерминизм имеет два доминирующих направления, каждое из которых является зеркальным отражением другого. Одно из них – это утопизм, который предлагает вычислительные вмешательства как универсальные решения, применимые к любой проблеме. Другое – антиутопическая перспектива, обвиняющая алгоритмы в негативных результатах, как будто они являются независимыми агентами, без учета контекста. В крайнем случае, антиутопическое повествование о технологиях заканчивается сингулярностью, или сверхразумом – теорией о том, что может появиться машинный интеллект, который в конечном итоге будет доминировать над людьми или их уничтожит