Искусственный интеллект. Этика и право — страница 17 из 24

Закон о первом шаге (принят по инициативе президента США Д.Трампа в 2018 году – о тюремной реформе в США) требует, чтобы Генеральный прокурор разработал систему оценки рисков для классификации заключенных как имеющих минимальный, низкий, средний или высокий риск совершения другого преступления в будущем. Выбор этих порогов в конечном итоге определит, сколько людей задержано и освобождено.

Пороговые значения риска, подобные тем, которые предусмотрены Законом о первом шаге, являются политическим выбором, который необходимо выбирать в отношении более широкого процесса уголовного правосудия, конкретных целей политики в области уголовного правосудия и соответствующих данных для информирования этих целей. Политики, как на уровне штата, так и на федеральном уровне должны решить, какие компромиссы следует сделать, чтобы обеспечить справедливые результаты и снизить социальные издержки содержания под стражей. Например, если основной целью является сокращение массового лишения свободы в системе уголовного правосудия, пороговые значения должны быть установлены таким образом, чтобы число лиц, отнесенных к категориям повышенного риска, уменьшилось. Помимо сбора информации от соответствующих заинтересованных сторон, органам, устанавливающим пороги (будь то законодательные органы, комиссии или другие учреждения), следует практиковать разработку политики на основе фактических данных, основанную на актуальных и своевременных данных о преступности.

§ 10. Требование 8. Конструкция инструмента, архитектура и данные обучения должны быть открыты для исследований, анализа и критики

Инструменты оценки риска воплощают важные решения государственной политики, принимаемые правительствами, и должны быть такими же открытыми и прозрачными, как и любой закон, постановление или судебная норма. Таким образом, правительства не должны использовать какие-либо собственные оценки рисков, которые основаны на требованиях коммерческой тайны для предотвращения прозрачности.

В частности, учебные наборы данных, архитектуры, алгоритмы и модели всех рассматриваемых инструментов для развертывания должны быть широко доступны для всех заинтересованных исследовательских сообществ, таких как статистические, компьютерные, общественные, государственные, юридические и криминологические, чтобы они могли оценить их до и после развертывания.

Большая часть технической исследовательской литературы о справедливости, появившейся в последние два года (2017–2018 гг.), была результатом новаторской работы Pro Publica по публикации единого набора данных, связанного с инструментом оценки рисков Northpointe COMPAS, который был получен по запросам публичных записей в округе Бровард, штат Флорида. Публикация таких наборов данных позволяет проводить независимые исследования и публичные дискуссии, необходимые для оценки их эффективности.

Однако важно отметить, что когда такие наборы данных используются совместно, следует использовать соответствующие методы деидентификации, чтобы гарантировать, что непубличная личная информация не может быть получена из наборов данных. Принимая во внимание все более изощренные методы триангуляции (методы вычисления местонахождения в социальном мире), могут потребоваться дополнительные меры, такие как договорные условия, когда получатели используют данные только для конкретных целей, и что после достижения этих целей они удаляют свою копию набора данных.

§ 11. Требование 9. Инструменты должны поддерживать сохранение и воспроизводимость данных, чтобы обеспечить оспаривание и вызовы

Чтобы обвиняемые могли оспаривать решения, принятые с помощью инструментов оценки рисков, они должны иметь доступ к информации о том, как делаются прогнозы инструментов. Как обсуждалось выше, существует много потенциальных технических проблем, связанных с использованием этих инструментов, в частности, в отношении предвзятости. Учитывая состязательный характер системы уголовного правосудия США, которая зависит от обвиняемых и их адвокатов, выдвигающих любые аргументы в их пользу, отказ в предоставлении ответчикам возможности доступа к информации о том, как принимаются эти решения, препятствует их способности оспаривать эти решения.

Информация индивидуального уровня, используемая в оценках, должна быть записана в контрольном журнале, который предоставляется ответчикам, адвокатам и судьям. Такие контрольные записи должны поддерживаться в неизменяемой форме для последующего анализа, чтобы аудиторы могли получить воспроизводимый расчет уровня риска для данного лица. Ответчики также должны иметь возможность оспаривать любые неточности во входной информации или выводы в результирующей классификации рисков и представлять дополнительную смягчающую информацию. Это особенно важно, учитывая возможность манипулирования инструментами оценки рисков. Например, оценки риска часто опираются на вопросники, предназначенные для арестованных, что дает возможность для злоупотреблений со стороны администраторов, что иллюстрируется случаями «подбора критериев». Сравнительный анализ, вероятно, является наилучшим способом защиты от таких манипуляций. Посредством этих процессов ответчики могут продемонстрировать, насколько применимы и надежны оценки риска в зависимости от их конкретных обстоятельств.

§ 12. Требование 10. Юрисдикции должны нести ответственность за оценку, мониторинг и аудит этих инструментов после развертывания

Юрисдикции должны периодически публиковать независимый обзор, оценку алгоритмического воздействия или аудит всех инструментов оценки риска, которые они используют для проверки того, что требования, перечисленные в этом отчете, были выполнены. Последующие аудиты должны будут регулярно проверять результаты и работу системы. Такие процессы проверки также должны быть локализованы, поскольку условия криминала, реагирования правоохранительных органов и культуры среди судей и служащих являются местными явлениями. В идеале эти процессы должны осуществляться при поддержке персонала и в судебных органах, а также при привлечении внешних экспертов.

Чтобы обеспечить прозрачность и подотчетность, независимый внешний орган (такой как совет по рассмотрению) должен быть ответственным за контроль аудита. Этот орган должен состоять из юридических, технических и статистических экспертов, в настоящее время и ранее заключенных лиц, государственных защитников, прокуроров, судей и организаций по гражданским правам, среди других. Эти проверки и их методология должны быть открыты для публичного рассмотрения и комментирования. Чтобы снизить риски для конфиденциальности, опубликованные версии этих аудитов должны быть отредактированы и достаточно ослеплены, чтобы предотвратить деанонимизацию (привязки анонима к конкретной личности).

В настоящее время проблемой для реализации этих проверок является нехватка данных, необходимых для оценки последствий использования этих инструментов. Когда некоторые партнеры PAI пытались оценить последствия законодательного акта об оценке риска в штате Калифорния, они обнаружили неадекватные данные о количестве лиц, содержащихся под стражей до суда, в Калифорнии и не смогли определить данные или исследования, чтобы понять, как определяется определение низкого, среднего и высокого риска и их пороговые значения. Естественно, это может повлиять на то, сколько человек задержано или освобождено до суда. Аналогичным образом, для оценки или исправления инструментов и данных для обучения на предмет ошибок и предубеждений требуются более точные данные о дискриминации в различных точках системы уголовного правосудия. Чтобы понять влияние существующих инструментов оценки риска, будь то досудебное разбирательство, вынесение приговора или испытательный срок, судебные системы должны собирать данные о досудебных решениях и результатах.

Для выполнения этих обязанностей всякий раз, когда законодательные органы или судебные органы принимают решение о предоставлении или приобретении инструментов оценки риска, эти органы должны одновременно обеспечить сбор данных после развертывания, предоставлять ресурсы для этого адекватным образом и поддерживать открытый анализ и анализ инструментов в развертывание. Это требует как (1) выделения или ассигнования достаточного финансирования для этих нужд, так и (2) институциональной приверженности набору (или заключению контрактов) со статистическими/ техническими и криминологическими экспертами для обеспечения надлежащего сбора и анализа данных.

§ 13. Итоговые положения

Усилия по переводу системы уголовного правосудия США на разработку политики, основанной на фактических данных, и принятие решений, ориентированных на общественную безопасность, заслуживают похвалы и чрезвычайно важны. Исходя из исторических и международных сопоставлений, в США содержится аномально большое количество людей (в абсолютных цифрах, на душу населения и на уровень преступности). Таким образом, существенные реформы для решения этой проблемы являются обоснованными и безотлагательными на основе имеющихся данных. Этот контекст привел к принятию инструментов оценки риска, и крайне важно отметить, что ничто в этом отчете не должны толковаться как призыв к замедлению реформы уголовного правосудия и усилий по смягчению последствий массового лишения свободы.

Скорее, цель исследования – помочь политикам принимать обоснованные решения об инструментах оценки рисков, которые в настоящее время находятся в развертывании и требуются в соответствии с законодательными мандатами, и о возможных ответных мерах политики, которые они могли бы предпринять. Один из подходов заключается в том, что юрисдикции должны прекратить использование инструментов в решениях по задержанию лиц, пока не будет доказано, что они преодолевают многочисленные проблемы с действительностью, предвзятостью, прозрачностью, процедурой и управлением, которые в настоящее время стоят перед ними. Этот путь не должен замедлять общий процесс реформы уголовного правосудия. Фактически, несколько групп защиты интересов предложили альтернативные р