Хотя адвокаты сосредоточили свое внимание на упомянутых выше проблемах предвзятости в оценках прогноза риска, один из часто пропускаемых аспектов справедливости – это способ перевода оценок риска для пользователей-людей. Разработчики и юрисдикции, внедряющие инструменты оценки риска, должны гарантировать, что инструменты передают свои прогнозы простым для пользователей способом и иллюстрируют, как эти прогнозы делаются. Это означает, что интерфейсы, представленные судьям, секретарям, юристам и ответчикам, должны быть четкими, легко понятными и не вводить в заблуждение.
Интерпретируемость предполагает предоставление пользователям понимания взаимосвязи между входными функциями и выходными прогнозами. Мы должны предостеречь, что это может означать не ограничение модели «интерпретируемой», но менее точной математической формой, но вместо этого использование методов, которые обеспечивают отдельные интерпретации для более сложных предсказаний.
Предоставление интерпретаций для прогнозов может помочь пользователям понять, как каждая переменная влияет на прогноз и насколько чувствительна модель к определенным переменным. Это крайне важно для обеспечения того, чтобы лица, принимающие решения, были последовательны в своем понимании того, как работают модели и производимые ими прогнозы, и чтобы неправильное толкование баллов отдельными судьями не приводило к несоразмерному применению правосудия. Поскольку интерпретируемость является свойством инструментов, используемых людьми, она требует рассмотрения использования оценок риска в контексте и зависит от того, насколько эффективно они могут быть использованы в качестве инструментов пользователями.
В то же время разработчики моделей должны следить за тем, чтобы интуитивная интерпретация не противоречила предполагаемому прогнозированию риска. Например, судьи или другие пользователи могут интуитивно предположить, что упорядоченные категории имеют одинаковый размер, представляют абсолютные уровни риска, а не относительные оценки, и охватывают весь спектр приблизительных уровней риска. Таким образом, по 5-балльной шкале естественная интерпретация будет состоять в том, что один балл подразумевает риск повторного совершения преступления от 0 % до 20 % (или другой интересный результат), категория 2 – риск от 21 % до 40 % и т. д.
В одном исследовании сравнивался инструмент оценки риска до суда, который преобразует оценки риска в 5-балльную шкалу риска, с фактической вероятностью результата (в данном случае повторный арест, насильственный повторный арест, неявка и/или отзыв залога). Только 35 % обвиняемых, отнесенных к группе с самым высоким уровнем риска, не явились на суд или были повторно арестованы до суда. Вероятности неявки и повторной оценки для всех уровней риска были в пределах интуитивного интервала для самого низкого уровня риска. Аналогичным образом существуют также значительные пробелы между интуитивным и правильным толкованием категорий риска в инструменте предварительной оценки Колорадо. Чтобы устранить эти недостатки, юрисдикциям необходимо будет собирать данные и проводить дальнейшие исследования по выбору пользовательского интерфейса, отображению информации и психологическим реакциям пользователей на информацию о неопределенности прогноза.
§ 7. Требование 5. Инструменты должны давать достоверные оценки для своих прогнозов
Важным компонентом любого статистического прогноза является неопределенность, лежащая в его основе. Для того чтобы пользователи инструментов оценки риска могли правильно интерпретировать свои результаты, крайне важно, чтобы отчеты об их прогнозах включали перечни ошибок, доверительные интервалы или другие аналогичные признаки надежности. Например, инструменты оценки риска часто дают оценку, отражающую вероятность повторного совершения преступления, или сопоставление этих вероятностей с уровнями (например, «высокий», «средний» и «низкий» риск). Эта информация сама по себе, однако, не дает пользователю уверенности в уверенности модели в своем прогнозе. Например, даже если модель откалибрована таким образом, что результат, такой как «высокий риск», соответствует «60 % вероятности повторного совершения преступления», неясно, уверен ли инструмент в том, что ответчик имеет вероятность повторного совершения правонарушения между 55 % и 65 %, со средним значением 60 %, или если инструмент уверен только в том, что у ответчика есть вероятность повторного совершения правонарушения между 50 % и 90 %, при среднем значении 60 %. В первом случае толкование того, что ответчик имеет 60-процентную вероятность повторного совершения правонарушения, является гораздо более разумным, чем в последнем случае, когда вокруг прогноза существует огромная неопределенность.
По этой причине инструменты оценки риска не должны использоваться, если они не способны обеспечить хорошие показатели достоверности их собственных прогнозов, как в целом, так и для конкретных лиц, на которых они используются. Существует много источников неопределенности в прогнозах рецидива преступлений, и в идеале раскрытие неопределенности в прогнозах должно охватывать как можно больше таких источников. Это включает в себя следующее:
• неопределенность из-за размера выборки и наличия выбросов в наборах данных. Этот тип неопределенности может быть измерен с использованием начальных доверительных интервалов, которые обычно используются технологическими компаниями для оценки предсказательной силы моделей перед развертыванием;
• неопределенность относительно наиболее подходящего смягчения для смещения модели, как обсуждалось в Требовании 2. Одной из возможностей будет оценка результатов различных корректировок справедливости как выражения верхних и нижних границ возможных «справедливых» прогнозов;
• неопределенность в результате смещения выборки и других фундаментальных проблем с наборами данных, как обсуждалось в Требовании 1. Это сложный вопрос для решения, но одним из способов решения этой проблемы будет поиск или сбор новых высококачественных вторичных источников данных для оценки неопределенности из-за смещения выборки и других проблем с обучающими наборами данных;
пользовательские интерфейсы для удовлетворительного отображения и передачи неопределенности пользователям в некоторых отношениях также являются открытой проблемой, поэтому учебные курсы, которые мы предлагаем в Требовании 6, должны специально тестировать и помогать пользователям выносить суждения при моделировании этой неопределенности.
§ 8. Требование 6. Пользователи инструментов оценки риска должны посещать тренинги о характере и ограничениях инструментов
Независимо от того, как результаты оценки риска объясняются или представляются, сотрудники служб предварительной оценки должны быть обучены тому, как правильно кодировать данные о лицах в систему. Человеческая ошибка и отсутствие стандартизированных передовых методов для ввода данных могут иметь серьезные последствия для качества данных и достоверности прогнозирования рисков в будущем.
В то же время судьи, адвокаты и другие соответствующие заинтересованные стороны также должны пройти тщательное обучение тому, как интерпретировать полученные оценки рисков. Для того чтобы любой такой инструмент использовался надлежащим образом, судьи, адвокаты и работники судов должны проходить регулярное обучение для понимания функции самого инструмента и того, как интерпретировать классификации рисков, такие как количественные оценки или более качественные оценки «низкий /средний/ высокий». Эти тренинги должны касаться значительных ограничений оценки, частоты ошибок, интерпретации баллов и того, как оспаривать или апеллировать к классификации рисков. Скорее всего, оно должно включать в себя базовую подготовку по пониманию доверительных интервалов. Требуются дополнительные исследования о том, как эти инструменты оценки риска основываются на человеческих решениях, чтобы определить, какие формы обучения будут поддерживать принципиальное и обоснованное применение этих инструментов и где существуют пробелы в текущей практике.
Управление, прозрачность и подотчетность
Поскольку инструменты оценки рисков дополняют судебные процессы и представляют собой реализацию решений местной политики, юрисдикции должны нести ответственность за их управление. Важно отметить, что они должны оставаться прозрачными для граждан и подотчетными процессу выработки политики. Такое управление требует
(1) заинтересованности и широкого участия общественности в разработке и контроле таких систем;
(2) прозрачность данных и методов, используемых для создания этих инструментов; (3) раскрытие соответствующей информации ответчикам, чтобы позволить им оспаривать решения, основанные на этих инструментах; и (iv) предварительное развертывание и текущая оценка валидности, соответствия цели и роли инструмента в рамках более широкой системы правосудия
§ 9. Требование 7. Директивные органы должны обеспечить, чтобы цели государственной политики должным образом отражались в этих инструментах
Использование инструментов оценки риска может скрыть и скрыть от общественности основные политические решения, касающиеся уголовного правосудия. Они включают выбор того, в какой степени общественный риск перевешивает значительный вред задержания для обвиняемого и его семьи, и насколько определенным должен быть риск, прежде чем система уголовного правосудия будет действовать в отношении него (т. е. насколько точным, обоснованным и непредвзятым прогноз должен быть до того, как на него можно положиться, чтобы лишить человека свободы). Использование этих инструментов также включает выбор характера и определения защищаемых категорий и того, как они используются. Кроме того, должны быть приняты важные решения о том, как такие инструменты взаимодействуют с мерами, направленными на реабилитацию без лишений свободы, такими как меры отвлечения или предоставления социальных услуг.
Одним из ключевых примеров того, как, казалось бы, технические решения на самом деле являются политическими решениями, является выбор порогов для содержания под стражей. Например, в калифорнийском законодательстве SB 10 будет создана группа для установления пороговых значений, которые определяют вероятностный риск как «низкий», «средний» или «высокий» в случае неявки в суд или совершения другого преступления, представляющего риск для общественной безопасности. Между тем