Прокрутим десяток лет вперед, к дням начала интернет-торговли. Предприниматели экспериментируют с сетевыми продажами всего на свете, в том числе автомобилей. Экономисты Фиона Скотт Мортон, Флориан Зеттельмейер и Хорхе Сильва-Риссо проанализировали новый тип продаж в этой отрасли и обнаружили, что он исключил расовую и гендерную дискриминацию, которая, что они также подтвердили, продолжала присутствовать в офлайн-продажах автомобилей.
Торговые онлайн-площадки (маркетплейсы) первого поколения, в том числе eBay, Amazon и Priceline, были устроены так, что продавцам было сложно кого-то дискриминировать. Транзакции были относительно анонимны. Пользователь мог обсуждать покупку без предоставления какой-либо личной информации, пока продавец не соглашался на сделку. Как было замечено в знаменитой карикатуре из The New Yorker, «в интернете никто не знает, что ты собака».
Однако платформам – а теперь и их пользователям – известно, черный вы или белый, мужчина или женщина, человек или собака. И недавно обнаружилось, что интернету так и не удалось положить конец дискриминации. При раскрытии личных данных уязвимые группы сталкиваются с теми же проблемами, которые давно преследуют их в «реальном» мире, и иногда ситуация оказывается еще тяжелее из-за недостаточного правового регулирования, фотографий, по которым сразу видно пол и расу, и того факта, что потенциальные дискриминаторы могут действовать, даже не общаясь напрямую со своими жертвами.
Что же произошло и что можно с этим сделать?
Возникновение цифровой дискриминации
В первые дни электронной коммерции для онлайн-шопинга часто требовался «прыжок веры». Продавец с eBay из Флориды мог выставить на продажу, скажем, бейсбольную карточку Topps с Ноланом Райаном в California Angels сезона 1974 года с описанием ее состояния. Коллекционер из Массачусетса должен был отдать деньги за карточку, которую он лично не видел, на основании одного лишь этого описания. Карточка в идеальном состоянии могла стоить $60, в то время как потрепанная – лишь малую часть этой суммы. Что мешало продавцу отправить покупателю потрепанную карточку вместо первозданной? На самом деле мало что. Экономисты Джинджер Джин и Эндрю Като обнаружили, что в начале 2000-х продавцы на eBay часто неверно указывали состояние подобных лотов.
Проблема
У таких онлайн-площадок, как eBay, Uber или Airbnb, есть возможность бороться с расовой, гендерной и прочими формами дискриминации, которые влияют на транзакции в офлайн-продажах. Однако недавние исследования показывают, что происходит прямо противоположное.
Причина
На ранних платформах покупатели и продавцы сохраняли относительную анонимность. Но добавление к профилям фотографий, имен и других персональных данных непреднамеренно стимулирует дискриминацию.
Решение
Чтобы создать эффективные и инклюзивные рынки, разработчики платформ должны помнить о возможности дискриминации и быть открытыми для экспериментов при выборе средств автоматизации, алгоритмов и сценариев использования личных данных.
Проблема электронной коммерции заключалась в том, что одной стороне рынка обычно было известно то, что не было известно другой стороне: состояние товара, надежность и аккуратность упаковки и т. д. Эти проблемы возникали на всех рынках, но особенно серьезными они были именно на онлайн-платформах по двум основным причинам. Во-первых, преодолеть асимметричность информации труднее, когда вы не можете взять товар в руки. Во-вторых, онлайн-продавцы, практически по определению, были новичками в этом деле, потому что сам этот бизнес существовал всего лишь несколько лет. В нем еще не было таких устойчивых брендов, как Sotheby’s и Sears, которые могли бы гарантировать, что покупателей не обманут.
Со временем отзывы потребителей и другие типы обратной связи стали обеспечивать репутацию продавцам на электронных площадках. Но зачем останавливаться на сборе отзывов, когда из личных данных покупателей и продавцов можно извлечь столько полезной информации? Например, в 2012 году в исследовании займов между физическими лицами, проводимом Джефферсоном Дуарте, Стефаном Сигелем и Лансом Янгом, участники оценивали надежность потенциальных заемщиков по их фотографиям. Оказалось, что люди, которые «выглядят достойными доверия» с большей вероятностью получают займы. Но, что более удивительно, они действительно чаще выплачивают их в срок. Суть здесь в том, что если такая подробная информация может помочь участникам рынка оценивать перспективы транзакции, значит, имеет смысл ее предоставлять!
На сайтах, предоставляющих различные услуги – от фриланса до совместных поездок и выгула собак, – многие продавцы в настоящее время выбирают, на кого работать, на основании внешнего вида или даже имен. Доступность подобной информации зависит от платформы: одни сайты сохраняют значительную долю анонимности, в то время как другие возвращаются к практикам, давно запрещенным на офлайн-рынках. На многих сайтах, в том числе Etsy и CustomMade, потенциальные покупатели видят не только товары, но и имена и фото продавцов. И хотя знание деталей о потенциальных партнерах по сделке может успокаивающе действовать на людей, накапливается все больше свидетельств в пользу того, что это способствует дискриминации.
Маркетплейс краткосрочной аренды недвижимости Airbnb служит наглядным примером возникновения дискриминации на онлайн-рынках и того, как выбор дизайна влияет на ее масштабы. Когда потенциальный арендатор просматривает объявления, он видит описания и фотографии как самой недвижимости, так и ее хозяина. А хозяева видят имена – и во многих случаях фотографии – потенциальных арендаторов, прежде чем принять или отвергнуть их.
Один из нас (Майк, совместно с Бенджамином Эдельманом и Дэниелом Свирски) исследовал расовую дискриминацию на Airbnb. В этой работе, посвященной американскому рынку, группа создала 20 профилей пользователей и разослала запросы на аренду приблизительно 6400 хозяевам недвижимости. Профили и запросы были идентичными за исключением одной детали – имен пользователей. В половине профилей стояли имена, наиболее типичные (согласно записям о рождениях) для белых, а в половине – для черных.
Запросы с «черными» именами удовлетворялись на 16 % реже, чем с «белыми». И такая дискриминация наблюдалась повсеместно: в дешевых и дорогих предложениях, в смешанных и расово гомогенных районах, при сдаче комнат в собственном жилье хозяина и отдельного жилья от домовладельцев, размещающих много объявлений. Большинство хозяев, отклонявших запросы от арендаторов с «черными» именами, никогда не принимали чернокожих гостей, что позволяет предположить, что некоторые хозяева особенно склонны к расовой дискриминации. (В ответ на это исследование и растущую критику со стороны пользователей и регулирующих органов, Airbnb создала рабочую группу для выработки способов снижения уровня дискриминации, которая в сентябре 2016 года предложила ряд изменений. Мы рассмотрим аспекты заявленных мер ниже.)
Исследователи в настоящее время фиксируют наличие расовой дискриминации во многих сферах онлайн-бизнеса, от рынка труда до выдачи кредитов и предоставления жилья. Это обусловлено двумя особенностями: во-первых, наличием в профилях маркеров расы – не только таких очевидных, как фото, но и более тонких; а во-вторых, разборчивостью участников рынка при выборе потенциальных партнеров по транзакциям. В следующем разделе мы поговорим о том, что оба эти фактора зависят от выбора разработчиков платформы.
Не столь очевидно влияние на дискриминацию еще одной характеристики онлайн-коммерции – использования алгоритмов и больших массивов данных. Результаты поиска в Google, рекомендации книг на Amazon и фильмов на Netflix – все это примеры программной замены несовершенных человеческих суждений о том, что нужно потребителю. Возникает искушение предположить, что исключение человеческих оценок должно вести и к уничтожению человеческих предубеждений. Однако это не так.
Алгоритмы порождают дискриминацию не так, как люди. Профессор вычислительной математики Латанья Свини провела потрясающее исследование, целью которого было разобраться в роли расы в рекламных объявлениях Google. Она задавала в поиске типичные афроамериканские имена типа Дешон или – ну да – Латанья, и отмечала объявления, которые появлялись на странице вместе с результатами поиска. Затем она задавала имена, более типичные для белых, например Джеффри. Оказалось, что при поиске «черных» имен на странице чаще появлялись объявления с предложениями баз данных по арестам.
Конечно, никто не настраивает Google так, чтобы он показывал подобные объявления людям, ищущим афроамериканские имена. Это происходит потому, что алгоритм «решает» на основании прошлых запросов, что некто, ищущий имя «Дешон», с большей вероятностью, чем некто, ищущий «Джеффри», заинтересуется рекламой с данными об арестах (и, следовательно, обеспечит Google больше прибыли). Таким образом, этот выбор сделан, хоть и непреднамеренно, разработчиками Google.
Платформы – даже в одной и той же отрасли – часто различаются особенностями своего дизайна, что может приводить к разным уровням склонности к дискриминации. Возьмем, к примеру, решение о том, размещать ли фотографии пользователей и когда именно. Uber не показывает водителям фото потенциальных пассажиров, а его конкурент Lyft – показывает. Благодаря этому в Uber дискриминация пассажиров со стороны водителей менее вероятна. Аналогично, главная страница с результатами поиска жилья на HomeAway показывает только изображения недвижимости, но не ее владельцев, которые можно увидеть (и то не всегда) только при выборе конкретных объявлений, а Airbnb требует от владельцев прикладывать свои фото к объявлениям на главной странице.
Компании также по-разному подходят к расследованиям случаев возможной дискриминации и выработке мер по ее устранению. Например, eBay работала с командой социальных психологов, которые изучали, не получают ли продавцы-мужчины больше денег за одинаковые товары, чем продавцы-женщины (оказалось, что так и есть). Однако чаще компании не занимаются подобными вопросами. Хотя многие топ-менеджеры признают, что дискриминация существует, и вроде бы хотят справиться с ней, пока мы видим не так уж много искренних попыток сделать что-то реальное, как в eBay. Поэтому исследователи, желающие изучать онлайн-дискриминацию, должны проводить собственные эксперименты или собирать по определ