. Мортон допустил ошибки и просчеты, а также процедурные упущения, такие как игнорирование основного факта, что более крупные люди имеют более крупный мозг[275]. Он выборочно отобрал образцы, которые поддерживали его убеждение о превосходстве белых, и удалил те из них, которые отклонялись от средних показателей по группам. Современная оценка черепов в Пеннском музее не выявила существенных различий между людьми – даже при использовании данных Мортона[276]. Однако прежние предрассудки – способ видения мира – сформировали то, что Мортон считал объективной наукой, и это была замкнутая петля, которая повлияла на его выводы не меньше, чем сами черепа, наполненные свинцом.
Краниометрия являлась, как отмечает Гулд, «ведущей числовой наукой биологического детерминизма в девятнадцатом веке» и была основана на «вопиющих ошибках» с точки зрения основных исходных предположений: что размер мозга равен интеллекту; что существуют отдельные человеческие расы, которые являются отдельными биологическими видами; и что эти расы можно расположить в иерархии в соответствии с их интеллектом и врожденным характером[277]. В конечном итоге эта наука была развенчана, но, как утверждает Корнел Уэст, ее доминирующие метафоры, логика и категории не только поддерживали господство белой расы, но и делали возможными определенные политические идеи[278].
Наследие Мортона предвещает эпистемологические проблемы с измерением и классификацией в искусственном интеллекте. Соотнесение морфологии черепа с интеллектом и претензиями на законные права служит техническим алиби для колониализма и рабства[279]. Хотя и существует тенденция сосредоточиться на ошибках в измерениях черепа и на том, как их исправить, гораздо большая проблема кроется в мировоззрении, лежащем в основе этой методологии. Таким образом, цель должна состоять не в том, чтобы призвать к более точным или «справедливым» измерениям черепа для укрепления расистских моделей интеллекта, а в том, чтобы полностью осудить этот подход. Практика классификации, которую использовал Мортон, изначально была политической, а его ошибочные предположения об интеллекте, расе и биологии имели далеко идущие социальные и экономические последствия.
Политика классификации является основной практикой в искусственном интеллекте. Практика классификации определяет, как распознается и производится машинный интеллект – от университетских лабораторий до технологической индустрии. Как мы убедились в предыдущей главе, артефакты превращаются в данные путем извлечения, измерения, маркировки и упорядочивания, и это становится – намеренно или нет – скользкой базовой истиной для технических систем, обученных на этих данных. И когда системы ИИ показывают дискриминационные результаты по расовым, классовым, гендерным, инвалидным или возрастным категориям, компании сталкиваются со значительным давлением, заставляющим их реформировать свои инструменты или диверсифицировать данные. Однако в результате часто получается узконаправленный ответ, обычно представляющий собой попытку устранить технические ошибки и исказить данные, чтобы система ИИ выглядела более справедливой. При этом часто отсутствует более фундаментальный набор вопросов: как классификация функционирует в машинном обучении? Что стоит на кону? Каким образом она взаимодействует с классифицируемыми? И какие негласные социальные и политические теории лежат в ее основе?
В своем знаковом исследовании классификации Джеффри Боукер и Сьюзен Ли Стар пишут, что «классификации – это мощные технологии. Встроенные в рабочие инфраструктуры, они становятся относительно незаметными, не теряя при этом своей силы»[280]. Классификация – это акт власти, будь то маркировка изображений в обучающих наборах ИИ, отслеживание людей с помощью распознавания лиц или заливка свинцовой дроби в черепа. Тем не менее, классификации могут исчезать, как отмечают Боукер и Стар, «в инфраструктуре, в привычке, в чем-то само собой разумеющемся»[281]. Мы запросто можем забыть, что классификации, случайно выбранные для создания технической системы, способны играть динамическую роль в формировании социального и материального мира.
Стремление сосредоточиться на проблеме предвзятости в искусственном интеллекте отвлекает нас от оценки основных методов классификации в ИИ, а также от сопутствующей им политики. Чтобы рассмотреть этот вопрос в действии, в настоящей главе мы изучим некоторые обучающие наборы данных двадцать первого века и проследим, как их схемы социального упорядочивания натурализуют иерархии и увеличивают неравенство. Мы также рассмотрим границы дебатов о предвзятости в ИИ, где математический паритет часто предлагается для создания «более справедливых систем» вместо того, чтобы бороться с лежащими в основе социальными, политическими и экономическими структурами. Короче говоря, мы рассмотрим, как искусственный интеллект использует классификацию для кодирования власти.
Еще десятилетие назад предположение о том, что в искусственном интеллекте может существовать проблема предвзятости, считалось неординарным. Однако сейчас примеры дискриминационных систем многочисленны: от гендерной предвзятости в алгоритмах кредитоспособности Apple до расизма в программе оценки криминальных рисков COmpAS и возрастной предвзятости в таргетинге рекламы Facebook[282]. Инструменты распознавания изображений неправильно классифицируют лица темнокожих; чат-боты используют расистские и женоненавистнические выражения; программы распознавания голоса не различают женские голоса, а платформы социальных сетей показывают больше объявлений о высокооплачиваемой работе мужчинам, чем женщинам[283]. Как продемонстрировали такие ученые, как Руха Бенджамин и Сафия Ноубл, существуют сотни примеров во всей экосистеме технологий[284]. И многие из них никогда не были обнаружены или публично признаны.
Типичная структура одного из эпизодов в продолжающемся повествовании о предвзятости ИИ начинается с журналистского расследования или разоблачителя, раскрывающего, как система ИИ дает дискриминационные результаты. Эта история получает широкое распространение, и компания, о которой идет речь, обещает решить эту проблему. Затем либо система заменяется чем-то новым, либо производятся технические вмешательства в попытке получить результаты с большим паритетом. Эти результаты и технические усовершенствования остаются закрытыми и секретными, а общественность успокаивают тем, что болезнь предвзятости «вылечена»[285]. Гораздо реже проводятся публичные дебаты о том, почему эти формы дискриминации повторяются и не кроются ли здесь более фундаментальные проблемы, чем просто неадекватный базовый набор данных или плохо продуманный алгоритм.
Один из самых ярких примеров предвзятости в действии – это отчет Amazon. В 2014 году компания решила поэкспериментировать с автоматизацией процесса рекомендации и найма работников. Если автоматизация способствовала повышению прибыли при рекомендации товаров и организации склада, то, по логике, она могла бы повысить и эффективность найма. По словам одного инженера, «они буквально хотели создать механизм, который возьмет 100 резюме, выдаст пять лучших, а мы уже возьмем их на работу»[286]. Система машинного обучения предназначалась для ранжирования людей по шкале от одного до пяти, зеркально отражая систему рейтингов товаров Amazon. Для создания базовой модели инженеры Amazon использовали набор данных, состоящий из резюме сотрудников за десять лет, а затем обучили статистическую модель на пятидесяти тысячах терминов, которые там встречались. Вскоре система стала придавать меньшее значение широко используемым инженерным терминам, таким как языки программирования, поскольку их указывали все. Вместо этого модели стали ценить более тонкие признаки. Главное предпочтение отдавалось определенным глаголам. В качестве примера инженеры приводили «выполнил» и «запечатлел»[287].
Рекрутеры начали использовать эту систему в качестве дополнения к своей обычной практике[288]. Но вскоре возникла серьезная проблема: система не рекомендовала женщин. Она активно снижала рейтинг резюме кандидатов, которые учились в женских колледжах, а также любых резюме, где даже присутствовало слово «женщина». Даже после правки системы для устранения влияния явных ссылок на гендер, предубеждения никуда не исчезли. Показатели гегемонистской маскулинности продолжали появляться в гендерном использовании языка. Модель предвзято относилась к женщинам не только как к категории, но и к общепринятым гендерным формам речи.
По неосторожности компания Amazon создала диагностический инструмент. Подавляющее большинство инженеров, нанятых Amazon за десять лет, являлись мужчинами, поэтому созданные ими модели научились рекомендовать мужской пол для будущего найма. Практика найма в прошлом и настоящем формирует инструменты найма в будущем. Система Amazon неожиданно показала, что предвзятость уже существует, начиная с того, как маскулинность закодирована в языке, в резюме и в самой компании. Этот инструмент усилил существующую динамику Amazon и подчеркнул отсутствие разнообразия в индустрии искусственного интеллекта в прошлом и настоящем[289]