[304]. Здесь необъективность – это не просто тип технической ошибки; она также распространяется на человеческие убеждения, стереотипы или формы дискриминации. Эти различия в определении ограничивают полезность термина, особенно когда он используется специалистами из разных дисциплин.
Технические разработки, безусловно, возможно доработать и обеспечить более точный контроль над процессом возникновения перекосов и дискриминационных результатов в их системах. Однако более сложные вопросы о причинах, по которым системы ИИ увековечивают формы неравенства, обычно игнорируются в спешке, направленной на поиск узких технических решений статистической предвзятости, как будто это достаточное средство для решения более глубоких структурных проблем. В целом вопрос о том, каким образом инструменты познания в ИИ отражают и служат стимулам более широкой добывающей экономики, не был решен. Остается только сохраняющаяся асимметрия власти, когда технические системы поддерживают и расширяют структурное неравенство, независимо от намерений разработчиков.
Каждый набор данных, используемый для обучения систем машинного обучения, – будь то в контексте контролируемого или неконтролируемого процесса, и независимо от того, считается ли он технически предвзятым или нет, – содержит мировоззрение. Создать обучающую базу – значит взять почти бесконечно сложный и разнообразный мир и разложить его на таксономии, состоящие из классификаций отдельных точек данных, – процесс, который требует политического, культурного и социального выбора. Обращая внимание на эти классификации, мы можем увидеть различные формы власти, которые встроены в архитектуру построения мира ИИ.
В прошлой главе мы рассмотрели историю ImageNet и узнали, как этот эталонный обучающий набор данных повлиял на исследования в области компьютерного зрения с момента его создания в 2009 году. Рассмотрев структуру ImageNet более подробно, мы можем понять, как он упорядочен и какова его логика отображения мира объектов. Структура ImageNet представляет собой сложный лабиринт, обширный и полный неожиданностей. Базовая семантическая структура ImageNet была взята из WordNet, базы данных классификаций слов, впервые разработанной в Лаборатории когнитивных наук Принстонского университета в 1985 году и финансируемой Управлением военно-морских исследований США[305]. WordNet задумывался как машиночитаемый словарь, в котором пользователи будут осуществлять поиск на основе семантического, а не алфавитного сходства. Он стал важным источником информации для областей вычислительной лингвистики и обработки естественного языка. Команда WordNet собрала как можно больше слов, начав с Brown Corpus, коллекции из миллиона фраз, составленной в 1960-х годах[306]. Слова в Brown Corpus взяты из газет и ветхой коллекции книг, включая «Новые методы парапсихологии», «Семейное убежище» и «Кто правит супружеской постелью?»[307]
WordNet пытается организовать весь английский язык в наборы синонимов, или синсеты. Исследователи ImageNet отобрали только существительные, полагая, что существительные – это предметы, которые могут быть изображены на картинках, и этого будет достаточно для обучения машин автоматическому распознаванию объектов. Таксономия Image Net организована в соответствии с вложенной иерархией, полученной из WordNet, где каждый синсет представляет отдельное понятие, а синонимы сгруппированы вместе (например, «автомобиль» и «машина» рассматриваются как принадлежащие к одному набору). Иерархия движется от более общих понятий к более конкретным. Например, понятие «стул» находится в разделе артефакт → обстановка → мебель → сиденье → стул. Эта система классификации неудивительно вызывает в памяти многие предшествующие таксономические ранги, от Линнеевской системы биологической классификации до упорядочивания книг в библиотеках.
Но первым признаком истинной чуждости мировоззрения ImageNet являются его девять категорий верхнего уровня, которые он взял из WordNet: растение, геологическое образование, природный объект, спорт, артефакт, гриб, человек, животное и разное. Это любопытные категории, в которые должно быть упорядочено все остальное. Ниже он разрастается на тысячи странных и специфических вложенных классов, внутри которых, как русские матрешки, размещаются миллионы изображений. Существуют категории для яблок, яблочного масла, яблочных пельменей, яблочной герани, яблочного желе, яблочного сока, яблочных личинок, яблочной ржавчины, яблочных деревьев, яблочных тележек и яблочного сока. Там представлены изображения горячих труб, горячих тарелок, горячих кастрюль, горячих стержней, горячего соуса, горячих источников, горячих напитков, горячих ванн, горячих воздушных шаров, горячего помадного соуса и бутылок с горячей водой. Это буйство слов, упорядоченных в странные категории, напоминает энциклопедию Хорхе Луиса Борхеса[308]. Я уже молчу про изображения. Некоторые из них – это фотографии высокого разрешения, другие – размытые фотографии, снятые на телефон при плохом освещении. Другие – это снимки детей. Третьи – кадры из порнографии. Некоторые – карикатуры. Найдутся даже религиозные иконы, известные политики, голливудские знаменитости и итальянские комики. Все это варьируется от профессионального до любительского, от священного до вульгарного.
Классификации людей – отличное средство, чтобы рассмотреть политику классификации в действии. В ImageNet категория «тело человека» относится к ветви Естественный объект → Тело → Тело человека. Ее подкатегории включают «мужское тело», «человек», «ювенильное тело», «взрослое тело» и «женское тело». Категория «взрослое тело» содержит подклассы «взрослое женское тело» и «взрослое мужское тело». Существует неявное предположение, что только «мужское» и «женское» тела признаются «естественными». Существует категория ImageNet для термина «гермафродит», но она расположена в ветви Человек → Сенсуалист → Бисексуал (наряду с категорией «Псевдогермафродит»)[309].
Еще до того, как мы рассмотрим более спорные категории в ImageNet, мы уже видим политику классификационной схемы. Подобная классификация закрепляет гендер как бинарную биологическую конструкцию, а трансгендерные или гендерно небинарные люди либо не существуют, либо помещены в категории сексуальности[310]. Конечно, такой подход не является новым. Иерархия классификации пола и сексуальности в ImageNet напоминает о более ранних формах категоризации, таких как классификация гомосексуальности как психического расстройства в Руководстве по диагностике и статистике[311]. Эта глубоко разрушительная категоризация использовалась для оправдания подвергания людей так называемой репрессивной терапии, и потребовались годы активных действий, прежде чем Американская психиатрическая ассоциация отменила ее в 1973 году[312].
Сведение людей к бинарным гендерным категориям и превращение трансгендерных людей в невидимых или «девиантных» – общие черты схем классификации в машинном обучении. Исследование Оса Киса, посвященное автоматическому определению пола при распознавании лиц, показывает, что почти 95 процентов работ в этой области рассматривают пол как бинарный, причем большинство описывают его как неизменный и физиологический[313]. Хотя кое-кто и скажет, что все можно запросто исправить, создав больше категорий, это не устраняет более глубокий ущерб, связанный с распределением людей по гендерным или расовым категориям без их участия или согласия. Эта практика имеет долгую историю. Административные системы на протяжении веков пытались сделать людей понятными, присваивая им фиксированные ярлыки и наделяя определенными свойствами. Работа по эссенциализации и упорядочиванию на основе биологии или культуры давно используется для оправдания форм насилия и угнетения.
Несмотря на то, что эти классификационные логики рассматриваются как естественные и фиксированные, на самом деле они представляют собой движущиеся мишени: они не только влияют на людей, которых классифицируют, но и способ их воздействия, в свою очередь, изменяет сами классификации. Хакинг называет это явление «эффектом зацикливания», возникающим, когда науки занимаются «изобретением людей»[314]. Боукер и Стар также подчеркивают, что после создания классификаций они могут стабилизировать спорную политическую категорию таким образом, который трудно заметить[315]. Если им не оказывать активного сопротивления, они становятся само собой разумеющимися. Мы наблюдаем этот феномен в области ИИ, когда очень влиятельные инфраструктуры и наборы учебных данных выдаются за чисто технические, тогда как на самом деле они содержат политические вмешательства в свои таксономии: они натурализуют определенное упорядочивание мира и производят оправдывающие его эффекты.
Наложение порядка на недифференцированную массу, приписывание явлений к какой-либо категории, то есть присвоение имени вещи, в свою очередь, является средством подтверждения существования этой категории.
В случае 21841 категории, изначально включенных в иерархию ImageNet, такие классы существительных, как «яблоко» или «яблочное масло», могут показаться достаточно бесспорными, однако не все существительные созданы равными. Если воспользоваться идеей лингвиста Джорджа Лакоффа, понятие «яблоко» является более многозначным существительным, чем понятие «свет», которое, в свою очередь, более многозначно, чем такое понятие, как «здоровье»