На уровне данных мы видим другую географию добычи. «Мы создаем зеркало реального мира, – сказал в 2012 году инженер Google Street View. – Все, что вы видите в реальном мире, должно попасть в наши базы данных»[556]. С тех пор добыча информации из реального мира только усилилась, чтобы проникнуть в пространства, которые раньше было трудно охватить. Как мы увидели в третьей главе, разграбление общественных мест широко распространено; лица людей снимаются для обучения систем распознавания лиц; ленты социальных сетей поглощаются для построения предиктивных моделей языка; сайты, где люди хранят личные фотографии или ведут онлайн-дебаты, обшариваются для обучения машинного зрения и алгоритмов естественного языка. Эта практика стала настолько распространенной, что мало кто из специалистов в области ИИ даже задается этим вопросом. Отчасти все объясняется тем, что от ИИ зависит много карьер и рыночных оценок. Менталитет «забрать все, что можно», который некогда являлся уделом разведывательных служб, не только нормализовался, но и морализировался – считается, что не собирать данные везде, где это возможно, – это расточительство.[557]
Как только данные извлекаются и упорядочиваются в обучающие наборы, они становятся эпистемической основой, с помощью которой системы ИИ классифицируют мир. Из эталонных обучающих групп, таких как ImageNet, MS-Celeb или коллекции NIST, изображения используются для представления идей, гораздо более реляционных и спорных, чем можно предположить по их обозначениям. В четвертой главе мы рассмотрели, как таксономии ярлыков распределяют людей по принудительным гендерным бинарам, упрощенным и оскорбительным расовым группам и весьма нормативным и стереотипным анализам характера, достоинств и эмоционального состояния. Эти классификации, неизбежно нагруженные ценностями, навязывают свой способ видения мира, претендуя при этом на научную нейтральность.
База данных в ИИ никогда не служит сырьем для алгоритмов: это по своей сути политические интервенции. Вся практика сбора данных, их категоризации и маркировки, а затем использования для обучения систем является формой политики. Она привела к переходу к так называемым оперативным образам – представлениям мира, созданным исключительно для машин[558]. Предвзятость – это симптом более глубокого заболевания: далеко идущей и централизованной нормативной логики, которая используется для определения того, как следует видеть и оценивать мир.
Центральным примером здесь служит детекция аффектов, описанная в пятой главе, которая опирается на спорные идеи о связи лиц с эмоциями и применяет их с редуктивной логикой теста на детекторе лжи. Эта наука остается глубоко спорной[559]. Институты всегда классифицировали людей по категориям идентичности, сужая личность и разбивая ее на точно измеренные ячейки. Машинное обучение позволяет достичь широких масштабов. От горных городов Папуа-Новой Гвинеи до военных лабораторий в Мэриленде были разработаны методы, позволяющие свести беспорядочные чувства, внутренние состояния, предпочтения и идентификацию к чему-то количественному, обнаруживаемому и отслеживаемому.
Какое эпистемологическое насилие необходимо для того, чтобы сделать мир читаемым системой машинного обучения? ИИ стремится систематизировать несистематизируемое, формализовать социальное и преобразовать бесконечно сложную и изменяющуюся вселенную в Линнеевскую систему таблиц, читаемых машиной. Многие достижения ИИ зависели от того, чтобы свести понятия к краткому набору формализмов, основанных на косвенных признаках: выявить и назвать некоторые характеристики, игнорируя или затушевывая бесчисленные другие. Говоря словами философа Бабетты Бабич, машинное обучение использует то, что оно знает, чтобы предсказать то, чего оно не знает: игра в повторяющиеся приближения. Наборы данных также являются прокси-стандартами того, что они, как утверждается, измеряют. Проще говоря, это преобразование различий в вычисляемое подобие. Такая схема знания напоминает то, что Фридрих Ницше назвал «фальсификацией многообразного и неисчислимого в идентичное, похожее и исчислимое»[560] Системы ИИ становятся детерминированными, когда косвенные признаки принимаются за базовую истину, когда фиксированные ярлыки применяются к изменчивой сложности. Мы наблюдали подобное в случае попыток ИИ предсказывать пол, расу или ориентацию по фотографии лица[561]. Эти подходы напоминают френологию и физиогномику в их стремлении эссенциализировать и навязать идентичность на основе внешнего облика.
Проблема достоверности данных, собираемых для систем ИИ, обостряется в контексте государственной власти, как мы увидели в шестой главе. Спецслужбы возглавили массовый сбор информации, где сигнатуры метаданных достаточно для смертоносных ударов беспилотников, а местоположение мобильного телефона становится косвенным признаком неизвестной цели. Даже здесь бескровный язык метаданных прямо противоречит непреднамеренным убийствам от ракет беспилотников[562]. Как спросила Люси Сачман: «Как определяются „объекты“, представляющие угрозу? Мы знаем, что „пикап ИГИЛ“ – это категория, основанная на помеченных вручную данных, но кто выбирает категории и идентифицирует автомобили?»[563] Мы видели эпистемологическую путаницу и ошибки обучающих наборов распознавания объектов, таких как ImageNet; военные системы ИИ и атаки беспилотников построены на той же нестабильной почве.
Глубокая взаимосвязь между технологическим сектором и военным ведомством стала обрамляться сильной националистической повесткой дня. Риторика о войне ИИ между США и Китаем стимулирует интересы крупнейших технологических компаний работать при большей государственной поддержке и минимальных ограничениях. Между тем, арсенал средств наблюдения, используемый такими агентствами, как АНБ и ЦРУ, теперь развертывается внутри страны на муниципальном уровне в промежуточном пространстве коммерческого и военного подряда такими компаниями, как Palantir. За нелегальными иммигрантами охотятся с помощью логистических систем тотального контроля и захвата информации, которые раньше были предназначены только для внелегального шпионажа. Системы принятия решений по социальному обеспечению используются для отслеживания аномальных моделей данных, чтобы лишить людей пособия по безработице и обвинить их в мошенничестве. Технология считывания номерных знаков применяется в системах домашнего наблюдения – широко распространенная интеграция ранее отдельных сетей наблюдения[564].
В результате началось глубокое и быстрое расширение системы наблюдения и размывание границ между частными подрядчиками, правоохранительными органами и технологическим сектором, подпитываемое откатами и тайными сделками. Это радикальная перекройка гражданской жизни, где центры власти укрепляются с помощью инструментов, согласующихся с логикой капитала, охраны правопорядка и милитаризации.
Если ИИ в настоящее время служит существующим структурам власти, то очевидным вопросом может быть следующий: а не должны ли мы стремиться к его демократизации? Разве не может существовать ИИ для людей, переориентированный на справедливость и равенство, а не на промышленную добычу и дискриминацию? Это может показаться привлекательным, но, как мы видели на протяжении всей этой книги, инфраструктуры и формы власти, которые обеспечивают и поддерживают ИИ, сильно перекошены в сторону централизации контроля. Предлагать демократизацию ИИ для уменьшения асимметрии власти – это все равно, что призывать к демократизации производства оружия во имя мира. Как напоминает нам Одре Лорд, инструменты хозяина никогда не разрушат свой же дом[565].
В технологическом секторе наступает время расплаты. На сегодняшний день общим ответом отрасли является подписание принципов этики ИИ. Как отметила парламентарий Европейского союза Мариетье Шааке, в 2019 году только в Европе было разработано 128 рамочных документов по этике ИИ[566]. Эти документы часто представляются как продукты «широкого консенсуса», однако в подавляющем большинстве они подготовлены экономически развитыми странами, в них практически не представлены страны Африки, Южной и Центральной Америки или Центральной Азии. Голоса людей, которым системы ИИ причиняют наибольший вред, в значительной степени отсутствуют в процессах их создания[567]. Кроме того, в этических принципах и заявлениях не обсуждается, как они должны быть реализованы, и редко подлежат исполнению или подотчетны общественности. Как отметила Шеннон Маттерн, в центре внимания чаще всего оказываются этические цели ИИ, без оценки этических средств его применения[568]. В отличие от медицины или права, у ИИ нет официальной структуры профессионального управления или норм – нет согласованных определений и целей для этой области или стандартных протоколов для обеспечения этической практики[569].
Саморегулирующиеся этические рамки позволяют компаниям выбирать, как внедрять технологии, и, соответственно, решать, что означает этичный ИИ для остального мира[570]. Технологические компании редко подвергаются серьезным финансовым санкциям, когда их системы ИИ нарушают закон, и еще меньше последствий, когда нарушаются их этические принципы. Кроме того, на публичные компании ок