Доводы в пользу алгоритмов освобождения под залог и политики геопространственного прогнозирования тоже неоднозначны. В исследовании, проведенном профессором компьютерных наук Хани Фарид и (тогдашней) студенткой Дартмута Джулией Дрессел, протестирован алгоритм, известный под аббревиатурой COMPAS (профилирование лиц, отбывающих исправительные наказания, для целей применения альтернативных санкций). Суды применяют его для прогнозирования вероятности повторных правонарушений[178]. Он опирается на 137 особенностей жизни и криминальной истории обвиняемого, чтобы предсказать, совершит ли он или она еще одно преступление в течение двух лет.
Авторы исследования случайным образом отобрали 1000 обвиняемых из пула в 7 214 человек, которые были арестованы в округе Бровард, штат Флорида, в 2013 и 2014 годах и получили оценки по системе COMPAS. Испытуемых разделили на 20 групп по 50 человек в каждой. Каждого обвиняемого из этих групп оценивали участники эксперимента, выбранные случайным образом, по 20 человек на группу.
Участники читали истории преступлений каждого члена группы, включая их текущие обвинения, возраст и пол, но не расу. Затем их попросили высказать предположения, был ли обвиняемый повторно арестован в течение двух лет после предъявления ему первоначального обвинения. Они угадали правильно в 62,1 % случаев. Когда предположения всех участников группы из 20 человек были сведены вместе, цифра выросла до 67 % – это немного выше результата системы COMPAS в 65,2 %.
Затем авторы повторили эксперимент еще с 400 добровольцами, но на этот раз в список раскрытых факторов добавили расу. Это мало что изменило: показатель коллективной точности составил 66,5 %. Однако некоммерческая организация ProPublica, которая занимается журналистскими расследованиями, провела анализ более многочисленной группы обвиняемых, арестованных в том же округе в тот же период времени и тоже оцененных алгоритмом COMPAS. Анализ показал, что алгоритм почти в два раза чаще ошибочно идентифицирует чернокожих обвиняемых, чем белых, как лиц высокого риска, и с точно такой же вероятностью ошибочно определяет белых обвиняемых как лиц с низким уровнем риска[179].
Например, 18-летняя Бриша Борден взяла чей-то велосипед, попыталась поехать на нем, затем поняла, что он слишком маленький, и уронила его, услышав, как незнакомая женщина кричит, что это велосипед ее ребенка. Тем не менее сосед, который видел этот инцидент, вызвал полицию. Борден была арестована за мелкую кражу и кражу со взломом велосипеда стоимостью 80 долларов, который она на самом деле не крала. Шкала риска COMPAS оценила ее на 8 баллов из 10 – высокий риск повторного правонарушения. Напротив, Вернон Пратер, 41-летний белый мужчина, который украл инструменты на сумму 86,35 доллара из магазина Home Depot и ранее был осужден за вооруженное ограбление и попытку вооруженного ограбления, за что отсидел пять лет в тюрьме, получил по шкале COMPAS 3 балла. Через два года после ареста Борден не предъявляли никаких других обвинений, в то время как Пратер в итоге получил восьмилетний тюремный срок за проникновение на склад с целью кражи электронных товаров на тысячи долларов.
В скобках заметим, компания Northpointe, производящая COMPAS, возражала против работы ProPublica и направила авторам исследования письмо с таким текстом: «Northpointe не согласна с тем, что результаты вашего анализа или утверждения, сделанные на основе этого анализа, являются правильными или точно отражают результаты применения модели». Проницательные читатели заметят, что в этом банальном заявлении полностью отсутствуют возражения по существу дела – да и само существо вообще не обсуждается.
Работа Дрессель и Фарид поднимает два важных вопроса об алгоритмах, предсказывающих рецидивизм. Первый касается ценности. Алгоритм COMPAS учитывает 137 факторов, включая ответы испытуемых на такие вопросы, как сколько ваших друзей/знакомых незаконно принимают наркотики? как часто вы дрались в школе? и согласны ли вы с утверждением, что у голодного человека есть право на кражу? Как именно программа взвешивает эти факторы – коммерческая тайна.
Алгоритмы Дрессель и Фарид показали такую же производительность, как и алгоритмы COMPAS, хотя знали всего семь параметров, взятых из уголовных дел. Затем исследовательницы еще больше сократили число параметров и в итоге обнаружили, что сочетание всего двух – возраста и количества предыдущих судимостей – дает результаты с такой же точностью, что и программа COMPAS. Исследование, проведенное пятью учеными во главе с Синтией Рудин, профессором компьютерных наук из Университета Дьюка, пришло к аналогичному выводу: учет всего трех факторов – возраста, числа судимостей и пола – дал результаты столь же точные, как у COMPAS[180].
Это в принципе неудивительно: если вы молоды и склонны нарушать закон, вы, вероятно, совершите больше преступлений, чем более старший и законопослушный человек. Но это ставит под сомнение ценность программной оценки рисков: нет уверенности, что программы будут справляться с этим заданием лучше, чем люди, и получать более точные результаты. Вопрос, который должны задать себе полицейские менеджеры по закупкам и другие сотрудники уголовного правосудия, заключается в следующем: если алгоритм предсказывает рецидивы чуть менее точно, чем случайная группа из 20 человек, и их точность достижима при использовании всего двух легко доступных факторов, должны ли штаты и округа действительно тратить деньги налогоплательщиков на покупку таких программ?
Второй вопрос касается справедливости и выбора: какая правовая система, по мнению людей, должна судить их самих и их знакомых? В 2013 году судья в Висконсине, частично полагаясь на оценку рисков COMPAS, приговорил обвиняемого по имени Эрик Лумис к шести годам тюремного заключения и освободил еще пять человек под подписку о невыезде. Лумис подал в суд, утверждая, что использование COMPAS – алгоритма, который выносит решение с помощью секретной методологии, – нарушило его процессуальные права. Суд первой инстанции и Верховный суд штата Висконсин вынесли решение против него. Но второй суд постановил, что программно вычисляемые оценки риска сами по себе не могут определять приговор. И судей, которые их используют, должны предупреждать, что такие алгоритмы непрозрачны, не индивидуализированы и могут быть несправедливыми по отношению к небелым обвиняемым[181].
Все эти факторы противоречат чувству справедливости либерального общества. Одним из наиболее фундаментальных прав в англо-американской судебной системе является право человека открыто противостоять своему обвинителю. Непрозрачные алгоритмы оценки рисков не полностью нарушают это право – они просто оценивают риск, сами по себе не обвиняют и не выносят суждений. Но они предоставляют выводы, не подлежащие сомнению, и тем самым подходят ближе к нарушению этого права, чем многим хотелось бы. Они также могут препятствовать пересмотру дел в апелляционном порядке. Судья должен обосновать свое решение, в то время как алгоритм, работающий по принципу черного ящика, этого не делает. Даже если апелляционный суд знает, какие факторы учитывал алгоритм, остается неясным, как они взаимодействовали и взвешивались. И с какой целью? Похоже, что программа работает не лучше, чем группа случайным образом выбранных людей. Кроме того, точность и людей, и алгоритмов достигает максимума примерно в 66 %, что не так уж и много: такой результат на школьном экзамене принес бы ученику двойку. Действительно мы именно этого и хотим от нашей системы правосудия?
Полицейские алгоритмы прогнозирования вызывают аналогичные опасения. Как объяснил мне Уильям Айзек, ученый-исследователь искусственного интеллекта, фундаментальная проблема заключается в том, что сообщения о преступлениях – это не перечень всех преступлений. Когда вы прогнозируете, где произойдет преступление, основываясь на сообщениях о преступлениях, вы вводите институциональные предубеждения. Полицейские патрули не везде присутствуют в одинаковом количестве. Как правило, присутствие правоохранителей наиболее заметно в бедных районах, где проживают в основном меньшинства.
Более высокие показатели преступности и арестов в этих районах отражают способ, каким полиция распределяет по городу свои силы, а это распределение сил, в свою очередь, отражает ожидания и предпочтения социума. И когда вы обучаете алгоритм на данных, полученных в результате этих решений, алгоритм просто воспроизводит одну и ту же тенденцию.
Как объяснил Айзек в исследовании, которое он провел вместе с Кристианом Люмом, статистиком из группы анализа данных по правам человека, это создает петлю обратной связи: модель накапливает уверенность, что криминальная активность будет с наибольшей вероятностью расти именно в тех локациях, которые ранее считались местами с высоким уровнем преступности, предвзятость отбора встречается с предвзятостью подтверждения. Предвзятость отбора является результатом использования нерепрезентативной выборки данных. В данном случае это районы, подвергаемые чрезмерному наблюдению со стороны полиции. Предвзятость подтверждения – это когнитивная тенденция человека положительно относиться к тем данным, которые подтверждают наши предположения, и отрицательно – к данным, которые оспаривают или опровергают их[182].
Команда из Нью-Йоркского университета – Рашида Ричардсон, Джейсон Шульц и Кейт Кроуфорд (соответственно, директор по политическим исследованиям в университетском институте AI Now, где изучается социальное влияние искусственного интеллекта на формирование политики; профессор клинического права, стоящий во главе лаборатории технологий и политики юридического факультета; и одна из основателей Института AI Now, ныне занимающая пост профессора-исследователя) – проанализировала данные, которые используются в прогностических программах. Результаты опубликованы в статье «Грязные данные, плохие прогнозы: как нарушения гражданских прав сказываются на полицейских данных, прогностических системах и правосудии»