Статья посвящена простому вопросу: какие данные поступают в системы прогнозирования и контроля? Чтобы на него ответить, авторы изучили тринадцать юрисдикций, которые на момент публикации или ранее пользовались прогностическими системами и были уличены в коррумпированной, расово предвзятой или иной незаконной полицейской практике. Исследовались общедоступные данные об использовании в этих юрисдикциях алгоритмов прогнозирования, а также доказательства из судебных решений и федеральных расследований. Цель – определить, применялись ли в алгоритмах данные, полученные из коррумпированных, предвзятых и незаконных практик, в том числе данные, которыми намеренно манипулировали, которые подтасовывали, искажали индивидуальными и социальными предрассудками, которые поступили в результате заведомо ложных арестов. Другими словами, исследователи хотели знать, опирается ли полицейское прогнозирование на данные, искаженные именно теми предубеждениями, ради исправления которых оно – согласно рекламе – замышлялось.
Обнаружилось, что это происходило в девяти юрисдикциях: алгоритмы, используемые местными департаментами, обрабатывали данные, сгенерированные в периоды, когда, как было установлено, департамент занимался различными формами коррумпированной полицейской практики. Например, в Чикаго создали свой стратегический список подозреваемых именно в тот период, когда, по данным ACLU штата Иллинойс, полиция города участвовала в незаконной деятельности по задержанию и обыску, непропорционально нацеленной на афроамериканцев. (Отчет ACLU привел к мировому соглашению, которое предусматривает независимый надзор за действиями полиции и сбором данных, а также реформу практики задержания и обыска, принятой в полиции Чикаго.)
Можно ли считать, что эти результаты доказывают, будто конкретные аресты, произведенные в определенное время в определенных городах, были ошибочны и вызваны расистской практикой? Нет. Но данные, зараженные предвзятостью, – по крайней мере, частично – лежат в основе прогностических полицейских программ, применяемых в этих городах. Профессор права из Университета Джорджии Сандра Мэйсон в статье «Предвзятость на входе, предвзятость на выходе» отмечает: «В расово стратифицированном мире любой метод прогнозирования будет проецировать неравенство из прошлого в будущее»[184].
Если это обсуждение циклов обратной связи, предвзятых данных и моделей практики звучит расплывчато – это отчасти обусловлено тем, что мы не знаем точно, из чего состоит каждый алгоритм, каким образом взвешиваются различные факторы и как принимаются решения. Мы знаем, что практически невозможно определить, почему Facebook[185] или Twitter показали вам эту историю, а не иную, и почти так же сложно определить, какие факторы в алгоритме прогнозирования привели к тому или иному результату.
Я встретился с Рашидой Ричардсон в быстро пустеющем офисе на Нижнем Манхэттене (Центр науки о данных Нью-Йоркского университета находился в процессе переезда). До прихода в Институт AI Now она была юрисконсультом в Нью-Йоркском союзе гражданских свобод. Ричардсон объяснила мне, что если знать всю ситуацию с применением алгоритмов в системе уголовного правосудия, то ее статья «Грязные данные» представляет собой лишь верхушку айсберга. Она добавила: «Есть и побочные последствия. Что вы скажете о жилищных фондах, использующих данные уголовного правосудия?[186] О базах, содержащих данные банд? О том, как данные о преступности и полиции используются в досудебных оценках? Вот усугубляющийся вред, который мы даже не сознаем из-за непрозрачности этих систем и невозможности узнать, какие данные используются и почему».
Некоторые города стали пытаться это исправлять. В январе 2018 года городской совет Нью-Йорка принял закон, предписывающий создать целевую группу, которая давала бы рекомендации о том, как информация об автоматизированных системах принятия решений полицейскими агентствами может передаваться общественности и как агентства могут реагировать на случаи, когда люди страдают от действий автоматизированных систем принятия решений.
Четыре месяца спустя мэр Нью-Йорка Билл Де Блазио создал эту целевую группу. К сожалению, он не получил финансирования (обычно это свидетельствует о том, что политики, создающие комитет, не воспринимают задачу всерьез) и существенную часть своего первого года на посту мэра посвятил поиску такого определения автоматизированных систем принятия решений, которое удовлетворило бы всех. Заметим в скобках, что группа Ричардсон в рамках Института AI Now составила неисчерпаемый список из десятков таких алгоритмов, включающий не только программы уголовного правосудия, но и другие алгоритмы, оценивающие, какие учащиеся подвергаются риску насилия, какие арендодатели могут преследовать арендаторов, как распределять финансирование пожарным подразделениям и многое другое.
Следуя примеру Нью-Йорка, власти Вермонта создали специальную целевую группу, призванную давать штату рекомендации по использованию и регулированию искусственного интеллекта. А в апреле 2019 года сенаторы-демократы Рон Уайден (D-OR) и Кори Букер (D-NJ) вместе с конгрессвумен Иветт Кларк (D-NY) представили в Конгрессе США законопроект об алгоритмической подотчетности. Этот законопроект, который, конечно, никуда не продвинулся в недееспособном болоте 116-го Конгресса, содержал требования, чтобы компании сами оценивали, насколько их системы автоматизированного принятия решений подвержены влиянию предрассудков и насколько способствуют защите конфиденциальности и безопасности, а затем исправляли обнаруженные недостатки.
Я основываю это обсуждение на новейших данных, но мне, конечно, неизвестно, что произойдет с этими целевыми группами или законодательными актами к тому времени, когда книга попадет в руки читателей. Я готов поспорить на любые деньги и свою гордость, что законопроект об алгоритмической подотчетности не станет законом. И что целевые группы в Нью-Йорке и Вермонте тихо уйдут со сцены, как многие другие столь же благонамеренные и скучные реформаторские проекты. Что выпустят вдумчивый, возвышенный отчет, написанный канцелярским языком и полный расшаркиваний, откашливаний и оборотов типа справедливости ради следует отметить, который прочитают только люди, уже готовые согласиться с его выводами (или репортеры вроде меня).
В то же время побудительные мотивы, которые привели к созданию этих целевых групп, не исчезли. Сейчас люди как никогда лучше понимают, что правосудие, осуществляемое по цифровому алгоритму, ставит под угрозу наши гражданские свободы. Оно лишает нас права противостоять обвинителям, усиливает расовые предубеждения, которые слишком долго искажали нашу систему правосудия, и фокусирует внимание государства на людях, не совершавших никаких преступлений. Дни, когда правоохранительные органы тайно внедряли прогностические программы, похоже, сочтены.
Вероятно, заинтересованные граждане не добьются полного исключения алгоритмов из системы уголовного правосудия (и при этом нет ясности, что целью должно быть именно исключение, а не тщательный мониторинг). Но нужно заставить правительства задуматься над тем, как информация поступает в эти алгоритмы и как используется в них. Возможно, их следует очищать, например, от любых данных, собранных в периоды, когда, согласно заключению независимых агентств, департамент полиции действовал, исходя из расовых предрассудков.
Не менее хорошим началом было бы переосмыслить, что именно показывают прогностические алгоритмы на основе локаций. Ответ кажется очевидным: они показывают места, где неоднократно совершались преступления по фиксируемым схемам. Но карта преступности – это еще и карта человеческих нужд. Если с помощью такой карты город решает, куда направить полицейские силы, с таким же успехом он может видеть, где необходимы дополнительные социальные службы, профессиональная подготовка и психиатрическая помощь. Как отметил ученый-исследователь Уильям Айзек, полицейские департаменты располагают ограниченным набором инструментов, но они отвечают за работу с широкими, сложными социальными явлениями. Что делать, когда у вас появляется эта информация? Можете ли вы использовать ее для помощи сообществам, а не просто для наблюдения и ареста людей в этих сообществах?
9. Китайская проблема
Каждая из предыдущих глав была посвящена отдельной технологии. Теперь я задаю более широкий вопрос: что происходит, когда страна со слабой государственностью или с недостаточным уважением к гражданским свободам комбинирует различные формы технологий слежки и обращает их против собственных граждан? Насколько плохо все может обернуться? Чтобы ответить на этот вопрос, я рассмотрю эквадорскую сеть служб реагирования на чрезвычайные ситуации, которая одновременно является государственной системой наблюдения, и технологические репрессии Китая в отношении уйгурского мусульманского меньшинства.
Прежде чем углубиться в эту тему, хочу предостеречь: если вы живете в развитой стране с независимыми судами, силами безопасности, которые в целом уважают гражданские права, и устоявшимися нормами сменяемости власти, эта глава может принести вам чувство облегчения. Вы подумаете: «Наши институты устойчивы. Наши суды независимы. Наша полиция хорошо обучена. И наша политическая арена четко определена: политики могут не нравиться друг другу, но они борются за голоса на хорошо организованных выборах. Они не обрушивают мощь государства на своих противников. Они не преследуют ни журналистов, ни активистов и не представляют угрозы для гражданского общества».
Но во многих других местах именно так и делается. Собственно, такое может случиться где угодно. И если геополитические события последних нескольких лет нас хоть чему-нибудь научили, это не повод слишком расслабляться при виде общей позитивной картины.