[33].
И как же все эти данные используются? В четвертой главе мы рассмотрим практику классификации в системах искусственного интеллекта, то, что социолог Карин Кнорр Цетина называет «эпистемическим механизмом»[34]. Мы увидим, как современные системы используют ярлыки для предсказания человеческой личности, обычно используя бинарный пол, эссенциализированные расовые категории, проблематичные оценки характера и кредитоспособности. Знак заменяет систему, прокси заменяет реальность, а игрушечная модель заменяет бесконечную сложность человеческой субъективности. Рассматривая создание классификаций, мы увидим, как технические схемы навязывают иерархию и увеличивают неравенство. Машинное обучение представляет нам режим нормативных рассуждений, которые, когда они набирают силу, приобретают форму мощной управляющей рациональности.
Отсюда мы отправляемся в горные города Папуа-Новой Гвинеи, чтобы изучить историю распознавания аффектов – идею о том, что мимика лица является ключом к раскрытию внутреннего эмоционального состояния человека. В пятой главе рассматривается утверждение психолога Пола Экмана о том, что существует небольшой набор универсальных эмоциональных состояний, которые можно прочитать непосредственно по лицу. Технологические компании сейчас внедряют эту идею в системы распознавания аффектов, что является частью отрасли, стоимость которой, по прогнозам, превысит семнадцать миллиардов долларов[35]. Однако вокруг распознавания эмоций существует значительное количество научных противоречий, которые в лучшем случае неполны, а в худшем – вводят в заблуждение. И все же, несмотря на нестабильность предпосылок, эти инструменты быстро внедряются в системы найма, образования и охраны правопорядка.
В шестой главе мы рассмотрим, как системы искусственного интеллекта используются в качестве инструмента государственной власти. Военное прошлое ИИ и его настоящее сформировали практику наблюдения, сбора данных и оценки рисков. Глубокие взаимосвязи между технологическим сектором и военным сейчас сдерживаются, чтобы соответствовать сильной националистической повестке дня. Тем временем внеправовые инструменты, используемые разведывательным сообществом, перешли из военной сферы в коммерческий технологический сектор и используются в классах, полицейских участках, на рабочих местах и в бюро по трудоустройству. Военная логика, сформировавшая системы ИИ, теперь является частью работы муниципальных органов власти, и она еще больше искажает отношения между государствами и субъектами.
В заключительной главе оценивается, как искусственный интеллект функционирует в качестве структуры власти, объединяющей инфраструктуру, капитал и труд. От водителя Uber до иммигранта без документов и жильцов коммунальных квартир, которые сталкиваются с системами распознавания лиц в своих домах, системы искусственного интеллекта построены на логике капитала, охраны порядка и милитаризации, и эта комбинация еще больше усиливает существующую асимметрию власти. Способы видения зависят от двух шагов – абстрагирования и извлечения: абстрагирование от материальных условий создания и извлечение большего количества информации и ресурсов из тех, кто менее всего способен сопротивляться.
Однако эту логику можно оспорить, так же как можно отвергнуть системы, увековечивающие угнетение. По мере изменения условий на Земле призывы к защите данных, трудовых прав, климатической справедливости и расовому равенству должны звучать вместе. Когда взаимосвязанные движения за справедливость станут основой нашего понимания искусственного интеллекта, тогда и различные концепции планетарной политики станут возможными.
Итак, искусственный интеллект – это идея, инфраструктура, индустрия, форма осуществления власти и способ видения; это также проявление высокоорганизованного капитала, опирающегося на огромные системы добычи и логистики, с цепочками поставок, опоясывающими всю планету. Все эти вещи являются частью того, что представляет собой искусственный интеллект – двусловная фраза, на которую накладывается сложный набор ожиданий, идеологий, желаний и страхов.
ИИ может казаться призрачной силой – как развоплощенные вычисления, – однако эти системы не абстрактны. Это физические инфраструктуры, изменяющие Землю и одновременно меняющие представление о мире и его понимание.
Для нас важно разобраться с многочисленными аспектами искусственного интеллекта – его податливостью, беспорядочностью, пространственным и временным охватом. Неразборчивость ИИ как термина, его открытость к изменению конфигурации, также означает, что его возможно использовать по-разному: он может относиться ко всему, от потребительских устройств, таких как Amazon Echo, до безымянных систем обработки данных, от узких технических статей до крупнейших промышленных компаний в мире. Но и в этом есть своя польза. Широта термина «искусственный интеллект» дает нам право рассмотреть эти элементы и их глубокую связь: от политики интеллекта до массового сбора данных; от промышленной концентрации технологического сектора до геополитической военной мощи; от обездоленной окружающей среды до продолжающихся форм дискриминации.
Задача состоит в том, чтобы оставаться чуткими по отношению к обстановке и следить за изменчивыми и гибкими значениями термина «искусственный интеллект» (подобно контейнеру, куда помещают различные вещи, а затем вынимают), потому что это тоже часть истории.
Проще говоря, искусственный интеллект является игроком в формировании знаний, коммуникации и власти. Эти изменения происходят на уровне эпистемологии, принципов справедливости, социальной организации, политического выражения, культуры, понимания человеческих тел, субъективности и идентичности: какие мы есть и какими мы можем быть. Но мы можем капнуть дальше. Искусственный интеллект, в процессе перепланировки и вмешательства в мир, является политикой – хотя редко признается таковой. Эта политика управляется Великими домами ИИ, состоящими из полудюжины (или около того) компаний, которые доминируют в крупномасштабных планетарных вычислениях.
В настоящее время многие социальные институты находятся под влиянием инструментов и методов, формирующих ценности и способность принимать решения, создавая при этом сложный ряд последующих эффектов. Усиление технократической власти происходило уже давно, но сейчас этот процесс ускорился. Отчасти это связано с концентрацией промышленного капитала в период жесткой экономии и аутсорсинга, включая сокращение финансирования систем социального обеспечения и институтов, которые когда-то служили сдерживающим фактором для рыночной власти. Вот почему мы должны противостоять ИИ как политической, экономической, культурной и научной силе. Как отмечают Алондра Нельсон, Туй Линь Ту и Алисия Хедлам Хайнс: «Соревнования вокруг технологий всегда связаны с более масштабной борьбой за экономическую мобильность, политическое маневрирование и создание сообществ»[36].
Мы находимся на переломном этапе, который требует от нас сложных вопросов о создании и внедрении ИИ. Мы должны спросить: что такое ИИ? Какие формы политики он пропагандирует? Чьим интересам он служит, и кто несет наибольший риск ущерба? И где использование ИИ должно быть ограничено? Да, на эти вопросы не так просто дать ответы. Но они и не являются неразрешимой ситуацией или точкой невозврата. Антиутопические формы мышления способны воспрепятствовать принятию мер и предотвратить крайне необходимые вмешательства[37]. Как пишет Урсула Франклин: «Жизнеспособность технологии, как и демократии, в конечном итоге зависит от практики правосудия и соблюдения ограничений власти»[38].
В этой книге утверждается, что решение фундаментальных проблем ИИ и планетарных вычислений требует объединения вопросов власти и справедливости: от эпистемологии до трудовых прав, от добычи ресурсов до защиты данных, от расового неравенства до изменения климата. Для этого нам необходимо расширить наше понимание того, что происходит в империях ИИ, увидеть, что поставлено на карту, и принять лучшие коллективные решения о том, что должно произойти дальше.
Глава 1Земля
Boeing 757 заходит на посадку, направляясь в международный аэропорт Сан-Франциско. Левое крыло опускается, и самолет выравнивается со взлетно-посадочной полосой, открывая вид на самое знаковое место в технологическом секторе. Прямо под нами расположились великие империи Кремниевой долины. Гигантский черный круг штаб-квартиры Apple похож на незакрытый объектив камеры, сверкающий на солнце. А вот и главный офис Google, расположенный рядом с федеральным аэродромом НАСА. Когда-то, во время Второй мировой и Корейской войн, это была ключевая площадка для военно-морских сил США, но теперь Google арендует ее (на шестьдесят лет), и руководители высшего звена паркуют здесь частные самолеты. Рядом с Google находятся большие производственные корпуса Lockheed Martin, где аэрокосмическая и оружейная компания строит сотни орбитальных спутников, предназначенных для наблюдения за деятельностью Земли. Далее, у моста Думбартон, виднеется собрание приземистых зданий, окруженных массивными автостоянками рядом с сернистыми соляными прудами. Здесь располагается компания Facebook. С этой точки зрения ничем не примечательные пригородные улочки и индустриальные высотки Пало-Альто не выдают его истинного богатства, власти и влияния. Есть лишь несколько намеков на его центральное место в глобальной экономике и в вычислительной инфраструктуре планеты.
Я прибыла сюда, чтобы узнать об искусственном интеллекте и о том, из чего он состоит. Но для этого мне придется покинуть Кремниевую долину.