Узкая классификационная схема UTKFace повторяет проблематичные расовые классификации двадцатого века, такие как система апартеида в Южной Африке. Как подробно описали Боукер и Стар, в 1950-х годах правительство Южной Африки приняло закон, который создал грубую схему расовой классификации для разделения граждан на «европейцев, азиатов, лиц смешанной расы или цветных, и „туземцев“ или чистокровных представителей расы банту»[324]. Этот расистский правовой режим управлял жизнью людей, в основном чернокожих южноафриканцев, передвижение которых было ограничено, и которые были насильно выселены со своей земли. Политика расовой классификации распространялась на самые интимные стороны жизни людей. Межрасовая сексуальность была запрещена, что привело к тому, что к 1980 году было вынесено более 11500 обвинительных приговоров, в основном в отношении небелых женщин[325]. Сложная централизованная база данных этих классификаций была разработана и поддерживалась IBM, но фирме часто приходилось перестраивать систему и переклассифицировать людей, поскольку на практике единых чистых расовых категорий не существовало[326].
Прежде всего, эти системы нанесли огромный вред людям, и концепция чистого «расового» обозначения всегда оставалась спорной. В своей работе о расе Донна Харауэй отмечает: «В этих таксономиях, которые, в конце концов, являются маленькими машинами для уточнения и разделения категорий, сущность, которая всегда ускользала от классификатора, была проста: сама раса». Чистый типаж, оживляющий мечты, науки и ужасы, постоянно проскальзывает сквозь все типологические таксономии и бесконечно их приумножает[327]. И все же в таксономиях наборов данных и в системах машинного обучения, которые на них обучаются, миф о чистом типаже возник снова, претендуя на авторитет науки. В статье об опасностях распознавания лиц исследователь медиа Люк Старк отмечает, что «внедряя различные классификационные логики, которые либо подтверждают существующие расовые категории, либо порождают новые, автоматизированные системы распознавания лиц, генерирующие шаблоны, не только воспроизводят системное неравенство, но и усугубляют его[328]».
Некоторые методы машинного обучения выходят за рамки прогнозирования возраста, пола и расы. Широко известны попытки определить ориентацию по фотографиям на сайтах знакомств, определить наличие судимости по фотографиям из водительских прав[329]. Подобные подходы глубоко проблематичны по многим причинам, не последней из которых является то, что такие характеристики, как «судимость», «раса» и «пол» – являются глубоко реляционными, социально обусловленными категориями. Это не врожденные фиксированные характеристики; они контекстуальны и меняются в зависимости от времени и места. Чтобы делать такие прогнозы, системы машинного обучения стремятся классифицировать полностью реляционные вещи в фиксированные категории и справедливо критикуются как научно и этически проблематичные[330].
Системы машинного обучения вполне реально моделируют расу и пол: они определяют мир в установленных ими терминах, что имеет долгосрочные последствия для людей, которых они классифицируют. Когда такие системы превозносят как научные инновации для предсказания личности и будущих действий, это стирает технические недостатки того, как эти системы были созданы, приоритеты того, зачем они были разработаны, и многочисленные политические процессы категоризации, которые их формируют. Исследователи в сфере проблем инвалидности уже давно указывают на то, как классифицируются так называемые нормальные тела и как это приводит к стигматизации различий[331]. Как отмечается в одном из отчетов, сама история инвалидности – это «рассказ о том, как различные системы классификации (т. е. медицинские, научные, юридические) взаимодействуют с социальными институтами и их системами власти и знаний»[332]. Акт определения категорий на многих уровнях создает внешнюю сторону: формы отклонений и различий. Технические системы осуществляют политические и нормативные интервенции, когда дают названия чему-то столь динамичному и реляционному, как идентичность, и они обычно делают это, используя редуктивный набор возможностей. Таким образом, ограничивается диапазон восприятия и представления людей, а также сужается горизонт распознаваемых образов.
Как отмечает Ян Хакинг, классификация людей – это имперский ход: подданные классифицировались империями, когда их завоевывали, а затем упорядочивались институтами и экспертами[333]. Эти акты именования представляли собой утверждение власти и колониального контроля, и негативные последствия таких классификаций могут пережить сами империи. Классификации – это технологии, которые производят и ограничивают способы познания, и они встроены в логику ИИ.
Так что же нужно делать? Если так много классификационных слоев в учебных данных и технических системах являются формами власти и политики, представленными в виде объективных измерений, как нам следует это исправить? Как разработчики систем должны учитывать рабство, угнетение и сотни лет дискриминации одних групп в пользу других? Другими словами, как системы искусственного интеллекта должны представлять социальный аспект?
Выбор информации, на основе которой системы ИИ создают новые классификации, является важным моментом принятия решений: но кто и на каком основании делает выбор? Проблема компьютерной науки заключается в том, что справедливость в системах ИИ никогда не будет чем-то, что можно закодировать или вычислить. Это требует перехода к оценке систем, выходящей за рамки оптимизационных показателей и статистического равенства, и понимания того, где рамки математики и инженерии вызывают проблемы. Это также означает понимание взаимодействия систем ИИ с данными, работниками, окружающей средой и людьми, на жизнь которых повлияет его использование, и принятие решения о том, где ИИ не должен использоваться.
Боукер и Стар делают вывод, что плотность столкновений классификационных схем требует нового подхода, чувствительности к «топографии таких вещей, как распределение двусмысленности; к текучей динамике столкновения классификационных систем[334]». «Но он также требует внимания к неравномерному распределению преимуществ и недостатков, поскольку „характер этого выбора и понимание невидимого процесса сопоставления составляют суть этического проекта“»[335]. Классификации без согласия представляют серьезные риски, как и нормативные предположения об идентичности, однако эти практики стали стандартными. Это должно измениться.
В этой главе мы рассмотрели, какие пробелы и противоречия содержит классификационная инфраструктура: она обязательно уменьшает уровень сложности и удаляет значимый контекст, чтобы сделать мир более вычислимым. Кроме того, они также распространяются в системах машинного обучения – в том, что Умберто Эко назвал «хаотическим реестром»[336]. На определенном уровне детализации похожие и непохожие вещи становятся достаточно соизмеримыми, так что их сходства и различия поддаются машинному чтению, но в действительности их характеристики не поддаются определению. В данном случае вопросы выходят далеко за рамки определения правильности или неправильности классификации. Мы наблюдаем странные, непредсказуемые повороты, когда машинные категории и люди взаимодействуют и меняют друг друга, пытаясь найти четкость в в трансформирующемся ландшафте, чтобы соответствовать нужным категориям и попасть в наиболее прибыльные каналы. В условиях машинного обучения эти вопросы не менее актуальны, поскольку их довольно трудно заметить. Речь идет не только об историческом любопытстве или странном ощущении несоответствия, но и о том, что каждая классификация имеет свои последствия.
История классификации демонстрирует, что самые вредные формы категоризации человека – от системы апартеида до патологизации гомосексуальности – не просто исчезают под воздействием научных исследований и этической критики. Скорее, изменения требовали политической организации, постоянного протеста и публичных агитационных кампаний на протяжении многих лет. Классификационные схемы вводят и поддерживают сформировавшие их структуры власти, и они не меняются без значительных усилий. По словам Фредерика Дугласа, «власть ничего не уступает без требования. Она никогда не уступала и никогда не уступит»[337]. В невидимых режимах классификации в машинном обучении труднее выдвигать требования и противостоять их внутренней логике.
Обнародованные обучающие наборы, такие как ImageNet, UTKFace и DiF, дают нам некоторое представление о видах категоризации, которые распространяются в промышленных системах ИИ и исследовательской практике. Но по-настоящему масштабными двигателями классификации являются те, которыми в глобальном масштабе управляют частные технологические компании, включая Facebook, Google, TikTok и Baidu. Эти компании работают без особого контроля за тем, как они классифицируют и нацеливают пользователей, и не предлагают значимых путей для публичного оспаривания. Когда процессы подбора ИИ действительно скрыты, а люди не знают, почему и как они получают преимущества или недостатки, необходим коллективный политический ответ – даже если это становится все труднее.