Оптимальный уровень шума
Судья Марвин Франкел был абсолютно прав, когда в 1973 году призвал коллег последовательно работать в направлении снижения шума при вынесении приговоров. Его выборочная и интуитивная ревизия шумовых помех, за которой последовали систематические, согласованные исследования, выявила несправедливые различия в обращении с преступниками сопоставимого калибра, различия возмутительные и пугающие.
Бо́льшую часть данной книги можно воспринять как попытку обобщить аргументы Франкела и предложить новое понимание их психологической подоплеки. Для кого-то шум в системе уголовного правосудия – явление не просто неприемлемое, оно еще и позорное. Однако с шумом вряд ли можно смириться и в других контекстах, когда мы видим, что предположительно взаимозаменяемые сотрудники как в частном, так и в государственном секторах выносят абсолютно разные профессиональные суждения. Возьмите страхование, управление и оценку персонала, медицину, криминалистику, образование или бизнес: шум везде является серьезнейшим источником ошибок. Мы уже пришли к выводу, что каждый из нас подвержен ситуативному шуму: несущественные на первый взгляд факторы могут привести к тому, что утром мы примем одно решение, а в обед – совершенно другое, к одним выводам придем в понедельник – и совершенно к другим в четверг.
К сожалению, подобно крайне негативной реакции судейских работников на методические рекомендации по вынесению приговоров, усилия по снижению шумовых помех также нередко встречают серьезные, а то и бурные возражения. Многие считают, что методические рекомендации – излишне жесткий, негуманный стандарт, по-своему даже несправедливый. Практически каждый из нас сталкивался с подобной ситуацией: мы обращаемся с вполне разумной просьбой в какую-либо компанию, к работодателю, в правительственное учреждение, а в ответ слышим лишь: «Очень хотелось бы вам помочь, однако мы связаны по рукам и ногам. У нас совершенно четкие правила». Может показаться, что подобные правила глупы и даже жестоки, однако их наверняка утверждали в надежде на лучшее – в попытке снизить шум и, возможно, устранить смещение.
Итак, некоторые попытки снизить шум вызывают серьезную озабоченность, и чаще всего потому, что мы видим их последствия: тяжело и почти невозможно рассчитывать на справедливое слушание. Использование алгоритмов и самообучающегося искусственного интеллекта представляет подобные возражения в новом свете, и мы с вами уж точно не увидим на улицах демонстраций с лозунгами «Даешь алгоритмы!»
Критические замечания поступают от таких авторитетов, как Кейт Стит из Йельской школы права и федеральный судья Хосе Кабранес, начавших решительную атаку на методические рекомендации при вынесении приговоров. В каком-то смысле это критика и наших основных аргументов. Выступления Стит и Кабранеса ограничиваются уголовной сферой, однако их основные тезисы могли бы стать возражениями против многих стратегий снижения шума в образовании, бизнесе, спорте и в иных областях. Вот о чем они говорят: «Методические рекомендации по вынесению приговоров приводятся в действие страхом перед правом усмотрения, перед независимыми суждениями. Их толкает вперед вера в научно-технических экспертов и централизованное планирование». Стит и Кабранес аргументируют свои взгляды тем, что страх перед вынесением независимого суждения в итоге приводит к фактическому запрету рассмотрения индивидуальных особенностей каждого дела, и считают396, что ни одно механическое решение не сможет удовлетворить потребность человека в правосудии.
Каждый из приведенных аргументов подлежит изучению. Что касается вопросов, требующих различных суждений, люди нередко полагают, что «требования справедливости» исключают механические решения любого рода. Следовательно, они выступают за разрешение или даже возведение в принцип процессов и подходов, гарантированно приносящих с собой шум. Многие настаивают на необходимости уделять внимание обстоятельствам каждого конкретного дела. По отношению к больницам и школам, крупным и маленьким компаниям подобный призыв становится, по сути, призывом к использованию интуиции. Мы уже видели, что гигиена принятия решений включает в себя разнообразные стратегии снижения шума, не подразумевающие чисто механических оценок. Если специалист раскладывает проблему на несколько компонентов, это не значит, что в итоге он выносит механическое суждение. Даже отдавая себе в этом отчет, далеко не все приветствуют применение стратегий гигиены в принятии решений.
Ранее мы дали определение шуму, назвав его «нежелательной вариативностью». Если какое-либо явление нежелательно, его следует устранить. Однако, ограничившись этим, мы безосновательно упростим сложный и интересный анализ. При прочих равных условиях шум – действительно явление нежелательное. Только условия могут быть неравными и затраты на подавление шума превысят потенциальные выгоды. И даже когда анализ показывает, что воздействие шума обойдется дорого, его подавление может вызвать целый спектр серьезных и даже неприемлемых последствий.
Против снижения или устранения шума приводятся семь основных возражений.
Первое: снижение шума бывает сопряжено с такими затратами, что овчинка выделки не стоит. Требуемые меры могут быть чрезвычайно обременительны, а в ряде случаев и вовсе невыполнимы.
Второе: некоторые стратегии, вводящиеся в целях снижения шума, сами могут генерировать ошибки, а порой и системное смещение. Если все аналитики одного из ведомств сошлись на излишне оптимистическом прогнозе – их мнение не «зашумлено» и в то же время неверно. Если все доктора в больнице выписывают аспирин независимо от заболевания, их суждения также не «зашумлены», однако во многих случаях ошибочны.
С этими двумя возражениями мы разберемся в главе 26. В главе 27 мы ознакомимся со следующими пятью аргументами, которые широко распространены и неоднократно приводились за прошедшие годы по мере роста доверия к жестким правилам, алгоритмам и искусственному интеллекту.
Итак, третье: если мы хотим, чтобы люди чувствовали к себе уважение и достойное отношение, с некоторым количеством шума следует смириться. Шум может быть побочным продуктом несовершенного процесса, который человек в итоге принимает. Дело в том, что подобный процесс дает право каждому (работнику, клиенту, заявителю, студенту, обвиняемому) рассчитывать на индивидуальный подход, возможность оказать влияние на вынесение особого суждения, внушает людям уверенность в том, что их заметят и выслушают.
Четвертое: шум может внести существенный вклад в приспосабливание к новым ценностям, подталкивая вперед нравственную и политическую эволюцию. Устранив шум, мы снизим нашу способность реагировать на движение моральных и политических традиций в новом, неожиданном направлении. Система, очищенная от шума, навечно замораживает систему ценностей.
Пятое: некоторые стратегии, разработанные для снижения шума, могут вызвать сопротивление, приводя к тому, что человек попытается обмануть систему и обойти запреты. Небольшое количество шума (а может, и существенное) требуется для пресечения подобных нарушений.
Шестое: процесс, генерирующий шум, способен оказаться хорошим сдерживающим фактором. Если человек знает, что наказание за правонарушение может оказаться символическим, а может и весьма серьезным, – такой человек сто раз подумает, прежде чем решиться на преступление (во всяком случае, если он не склонен к особому риску).
И наконец, седьмое: люди не желают, чтобы с ними обращалась как с бездушными предметами, винтиками в машине. Некоторые стратегии снижения шума могут подавлять творческое начало и оказывать деморализующее воздействие.
Мы отдадим должное каждому из перечисленных аргументов, хотя ни в коей мере не являемся их сторонниками – во всяком случае, если они становятся причинами для отказа от глобальной цели снижения шумовых помех. Еще раз подчеркнем нашу точку зрения, которой будем придерживаться и далее: является ли аргумент убедительным – зависит от конкретной стратегии снижения шума, к которой он апеллирует. Например, вы возразите против жестких правил, одновременно соглашаясь, что обобщение независимых суждений – хорошая идея. Вы оспорите необходимость применения протокола промежуточных оценок, в то же время поддерживая использование общей шкалы оценки, основанной на взгляде со стороны. С учетом вышесказанного сделаем вывод общего характера: возражениям следует отдать должное, и тем не менее снижение шума остается заслуживающей внимания, а главное – срочной задачей. В главе 28 в защиту подобного взгляда мы приведем исследование одной дилеммы, с которой человек сталкивается ежедневно, даже если этого и не осознает.
Глава 26Цена снижения шума
Попросив кого-либо принять меры к снижению шума, вы немедленно столкнетесь с возражением, что необходимые процедуры слишком затратны. Случаются и чрезвычайные обстоятельства, в которых снижение шума попросту невозможно. Подобные доводы мы слышали и в сфере бизнеса, и в образовании, и от правительственных учреждений. Аргументы имеют право на жизнь, однако каждый из них легко переоценить, и нередко они служат лишь оправданием.
Рассмотрим случай, где возражение о затратах выглядит наиболее весомым. Представьте себе преподавателя десятого класса, который в течение учебного года еженедельно выставляет отметки за двадцать пять сочинений. Если учитель тратит на каждую работу не более пятнадцати минут, в его оценку вкрадется шум; оценка будет неточной, несправедливой. Наш учитель может использовать несложную гигиену принятия решений и несколько снизить шумовой фон, обратившись к коллеге с просьбой проанализировать те же самые сочинения. Итак, два человека оценивают работы всего класса. Той же цели учитель достигнет, уделив каждому сочинению чуть больше времени и структурировав относительно сложный процесс оценки. Альтернативный метод – прочитать каждое сочинение по два раза в произвольном порядке. Нашему учителю также поможет подробный стандарт выставления оценки, который он использует как чек-лист. Можно попробовать снизить ситуативный шум, проверяя сочинения на протяжении всего учебного года строго в определенное время дня.
Однако, если собственная оценка учителя предельно точна и не «зашумлена», разумно отказаться от всех указанных нами методов. В этом случае нет повода для беспокойства. Наш герой посчитает, что использование чек-листов или обращение к коллеге станет перебором. Для того чтобы убедиться в его правоте, необходимо организовать анализ: можно ли добиться еще большей точности оценок, насколько критична подобная точность, сколько времени и средств потребуют попытки снижения шума? Не так сложно представить себе возможный потолок потенциальных затрат. С той же легкостью мы увидим, что подобные ограничения будут отличаться при оценке сочинений учеников девятого класса или выпускных работ, отметка по которым станет проходным баллом в университет. В этом случае ставка гораздо выше.
Такой же базовый анализ вполне можно применить и к более сложным ситуациям, с которыми сталкиваются и частные, и государственные компании, отказавшись в результате от определенных стратегий снижения шума. В отношении некоторых заболеваний больницы и сами врачи будут сопротивляться разработке простых методических рекомендаций, которые могли бы снизить вариативность. В случае расхождения мнений о диагнозе попытки снизить шум приобретают особое значение: стратегия позволит спасти жизнь пациента. Однако следует принимать во внимание осуществимость данного проекта и его стоимость. Анализы способны полностью устранить шумовой фон при постановке диагноза. Однако, если анализ подразумевает вторжение в организм пациента, если исследование опасно и дорого, а несущественная вариативность диагнозов чревата довольно умеренными последствиями – вероятно, не в каждом случае такой анализ целесообразно назначать.
Оценка эффективности специалистов довольно редко становится вопросом жизни и смерти. В то же время шум может вылиться в несправедливый рейтинг и принести компании дополнительные расходы. Мы уже поняли, что меры по снижению шума должны быть выполнимыми. Стоят ли они того, чтобы их принимать? Случаи, когда ошибка очевидна, постыдна и чревата неприятными последствиями, обращают на себя внимание. И все же в медицинском учреждении могут решить, что эффект от сложных корректирующих мер не оправдывает затраченных усилий. Порой подобные выводы недальновидны, эгоистичны, неверны и приводят к катастрофическим результатам. Тогда определенные формы гигиены принятия решений целесообразны. И все же убеждение о дороговизне внедрения таких стратегий иногда имеет под собой основания.
Проще говоря, надо сопоставить выгоды от снижения шума с издержками. Подобный подход справедлив и является одной из причин, почему ревизия шумовых помех настолько важна. Во многих ситуациях ревизия выявляет шум, способствующий вопиющей несправедливости, серьезным затратам, а порой и тому и другому. Если это ваш случай, цена снижения шума – не оправдание для бездействия.
Меньше шума – больше ошибок?
Вспомним другой аргумент: некоторые меры по внедрению стратегий снижения шума сами по себе приводят к неприемлемо высокой вероятности ошибок. Довод справедлив в том случае, когда применяется недостаточно хорошо настроенный инструментарий. В самом деле, некоторые меры способны даже увеличить смещение. Например, Facebook и Twitter ввели у себя жесткие методические указания, направленные на удаление сообщений, содержащих определенную бранную лексику, и тем самым снизили уровень шума в своих решениях. Однако под ту же гребенку удаляются бесчисленные пóсты, которые вполне можно было бы сохранить. Ложное определение цели – суть ошибка выбранного направления; это и есть смещение.
Мы часто слышим об организационных реформах, направленных на снижение роли «решений на усмотрение» и тех практик, что производят шум. Для многих подобных реформ существуют определенные причины, однако порой лекарство оказывается опаснее, чем болезнь. Экономист Альберт Хиршман указал в книге «Риторика реакции» на три стандартных возражения, которыми оперируют противники реформ. Во-первых, попытки реформ397 могут носить извращенный характер в том смысле, что они усугубляют проблему, которую призваны решить. Во-вторых, подобные усилия порой оказываются тщетными, не принеся никакого эффекта. В-третьих, они подвергают опасности иные важные ценности (например, попытки защитить профсоюзы и само право на их создание, насколько известно противникам реформ, замедлили экономический рост). Извращение, тщетность и опасность и стали аргументами против снижения шума, а первый и третий из них оказались наиболее сильными. В каких-то случаях эти доводы следует воспринимать как чистую риторику – попытку сорвать реформу, которая на самом деле принесла бы огромный положительный эффект. И все же здесь есть доля правды: некоторые стратегии снижения шума и в самом деле несут риск важнейшим ценностям. Не следует закрывать глаза и на риски извращения.
Те судьи, что возражали против методических рекомендаций по вынесению приговора, как раз на этот риск и указывали. Им было известно, какую работу проделал судья Франкел; никто из них не отрицал, что свобода действий действительно привносит шум. Тем не менее все они дружно считали, что снижение степени свободы ни в коем случае не снизит количество ошибок, а лишь приведет к его увеличению. Вацлав Гавел писал, что противники Франкела398 настаивали: «Следует распрощаться с надменным убеждением, что мир – лишь головоломка, в которой нужно разобраться, машина, подчиняющаяся инструкциям, которые предстоит изобрести, фрагмент информации, который мы вводим в компьютер в надежде, что рано или поздно он выплюнет из принтера универсальное решение». Причиной отказа от идеи универсального решения является твердая уверенность в том, что ситуации, в которые попадает человек, бесконечно разные, и хороший судья всегда учтет эти различия. То есть с присутствием шума надо смириться или по крайней мере отказаться от некоторых стратегий его снижения.
Когда компьютер только научили играть в шахматы, одна крупная авиакомпания предложила пассажирам на международных рейсах сразиться с искусственным интеллектом. В программу заложили три уровня сложности. На самом простом из них компьютер следовал элементарному правилу: ставить шах противнику при малейшей возможности. Шума в программе не наблюдалось – играла она каждый раз однотипно. И в то же время твердое правило приводило к многочисленным ошибкам. Шахматистом компьютер оказался крайне слабым, и даже неопытный игрок мог нанести ему поражение (хотя в этом и вся соль: победивший пассажир – довольный пассажир).
Вспомним также политику осуждения преступников, принятую в некоторых американских штатах и получившую название «Закон трех ошибок»399. Идея заключалась в том, что, совершив три уголовных преступления, вы получаете приговор: «пожизненное заключение». Политика снижала разброс мнений, обусловленный произвольным назначением судьи. Сторонники системы выражали серьезную обеспокоенность межэкспертным шумом и высокой вероятностью снисходительности судей по отношению к рецидивистам. Стратегия «закона трех ошибок» была призвана устранить главный элемент шума.
Однако, пусть этот подход и преуспел в снижении шумового фона, мы имеем основания полагать, что цена успеха слишком высока. Не каждый человек, совершивший три уголовных преступления, заслуживает того, чтобы его выбросили из жизни. Возможно, в его преступлениях отсутствует элемент жестокости; не исключено, что к правонарушению его побудили ужасные жизненные обстоятельства; допустим, он вполне способен встать на путь исправления. Многие считают, что пожизненное заключение без учета особых обстоятельств свидетельствует не только о жестокости системы, но и об отсутствии гибкости.
Вспомним дело «Вудсон против Северной Каролины»400, когда Верховный суд Соединенных Штатов постановил, что обязательный смертный приговор – неконституционная мера не в силу своей жестокости, а потому что его возвели в правило. Смысл введения обязательного смертного приговора заключался как раз в том, чтобы воспрепятствовать возникновению шума (то есть при определенных условиях убийца приговаривался к смертной казни). Призывая к необходимости индивидуального подхода, суд заявил, что «больше нет места убеждению, что любое правонарушение в определенном правовом поле влечет идентичную меру наказания безотносительно прошлого обвиняемого и его склонностей». Верховный суд заключил, что серьезным конституционным недостатком обязательного смертного приговора необходимо признать «обращение с каждым из лиц, обвиненным в определенном преступлении, как с элементом безликой, аморфной массы, подлежащим слепому отправлению правосудия – смертной казни, в то время как следует воспринимать любого из них как уникальную личность».
Вынесение смертного приговора – процедура, где ставки особенно высоки, однако данный анализ можно применять и к иным ситуациям, большинство которых совершенно не обязательно связано с правосудием. Учителя, выставляющие отметки школьникам, доктора, обследующие пациентов, и работодатели, аттестующие работников, оценщики страховых убытков, устанавливающие размер страховой премии, и тренеры, оценивающие спортсменов, – каждый из них способен совершить ошибку, применяя жесткие правила снижения шума. Если работодатель использует простые правила оценки и продвижения сотрудников, подобные стандарты устраняют шум, в то же время игнорируя важнейшие аспекты деятельности работника. «Бесшумная» скоринговая система не учитывает значимых переменных, почему и сработает хуже «зашумленных» индивидуальных суждений.
В главе 27 мы рассмотрим общий подход восприятия человека как уникальной личности, а не как «элемента безликой аморфной массы». Пока же сосредоточимся на более прозаических темах. Некоторые стратегии снижения шума гарантированно служат причиной возникновения множества ошибок подобно той примитивной шахматной программе.
И все же, несмотря на видимую убедительность аргумента, на деле он таковым не является. Если конкретная стратегия снижения шума чревата ошибками, не следует смиряться с высоким уровнем шумовых помех. Необходимо продумать альтернативный подход, например, пойти по пути обобщения суждений вместо утверждения глупых правил либо разработать более адекватные методические рекомендации и регламенты взамен несуразных. Допустим, университет в целях снижения шума применяет тесты; абитуриенты с наиболее высоким рейтингом допускаются до обучения, только и всего. Если подобное правило дает слишком грубый результат, вуз может предложить формулу, которая учла бы как балл при тестировании, так и возраст, спортивные достижения, информацию о семье абитуриента и многое другое. Сложные правила могут оказаться и более точными, поскольку лучше настроены на восприятие широкого круга значимых факторов. Используют же врачи комплексные системы оценки для диагностики некоторых заболеваний. Если методические рекомендации и правила неэффективны, можно ввести иные, подходящие к конкретной ситуации формы гигиены принятия решений. Вспомните о методах обобщения суждений или о структурировании процессов – наподобие протокола промежуточных оценок.
«Бесшумные» предвзятые алгоритмы
Потенциально высокие издержки стратегий снижения шума нередко возникают при применении алгоритмов, в связи с чем набирают силу протесты, связанные с «алгоритмической предвзятостью». Мы уже убедились, что алгоритмы устраняют шум; поэтому они и выглядят столь привлекательными. Фактически бо́льшую часть настоящей книги читатель может истолковать в качестве аргумента в пользу высокой надежности алгоритмов. Однако мы видели, что снижение шума порой дается слишком высокой ценой: излишняя уверенность в алгоритме повышает уровень дискриминации по расовому и половому признаку либо действует против некоторых социально незащищенных групп населения.
Опасения дискриминационных решений алгоритмов широко распространены, и, без сомнений, подобный (и серьезный) риск имеется. Математик Кэти О’Нил в своей книге «Оружие математического разрушения» настаивает, что излишнее доверие большим данным и заключениям алгоритмов способствует интеграции предрассудков в наши решения401, увеличивает социальное неравенство и угрожает самому институту демократии. Процитируем еще один скептический отзыв: «Потенциально предвзятые математические модели402 изменяют нашу жизнь; ни компании, ответственные за их разработку, ни правительство не заинтересованы в решении данной проблемы». Независимый ресурс журналистских расследований «ProPublica»403 пишет, что COMPAS – алгоритм, широко применяющийся в прогнозировании рецидивизма, – содержит серьезную предвзятость по отношению к национальным меньшинствам.
Не стоит сомневаться в том, что бесшумную модель, полную расовых, гендерных и иных предрассудков, создать несложно. Алгоритмы, явно учитывающие цвет кожи ответчика при определении возможности выпустить того под залог, являются дискриминационными, и использование подобных программ незаконно во многих странах. Алгоритм, опирающийся на прогноз возможной беременности кандидатки на работу, дискриминирует женщин. В этих и подобных им случаях компьютерное моделирование устранит нежелательную вариативность суждений, однако привнесет неприемлемые предубеждения.
В принципе мы способны разработать программу, которая не будет принимать во внимание ни расовую принадлежность, ни пол. На сегодняшний день дискриминационная составляющая алгоритмов, вносящая искажение в механизм решений, стала насущной проблемой, которой уделяют все больше и больше внимания. И дело не только в расовых и гендерных индикаторах. Помимо непосредственной идентификации расы и пола, программа может учитывать рост и вес, которые показывают сильную корреляцию с гендерной принадлежностью, или место рождения и проживания, коррелирующие с расовой принадлежностью. Это первая причина.
Вторая причина заключается в том, что смещение может зародиться на уровне источника данных. Если алгоритм обучается на искаженной информации, он и сам будет искажен. Возьмем алгоритм предиктивной полицейской деятельности404, настроенный на прогнозирование преступлений. Нередко его используют для оптимизации рассредоточения полицейских нарядов. Если имеющиеся данные говорят о повышенной криминализации определенных районов или завышают количество определенного вида преступлений, результаты, которые рассчитает алгоритм, возведут данную информацию в принцип, усугубляя дискриминацию. Если в наборе данных для обучения алгоритма присутствует искажение, то программа волей-неволей впитывает дискриминационную информацию. В результате алгоритм, напрямую не учитывающий расовые и гендерные различия, все же развивается с искажениями, свойственными стоящим за ним людям. Более того, в этом смысле алгоритмы405 ведут себя даже хуже, чем человек: из-за отсутствия шума их отклонения более вероятны, чем у живых судей.
Многие из нас задаются насущным вопросом: действительно ли алгоритм дифференцированно относится к различным социальным группам? На самом деле настоящая книга не ставит конкретной задачи исследовать406 составляющие подобного дифференцированного отношения, искажений и степени справедливости алгоритмов – все это чрезвычайно сложные темы.
Тем не менее, отмечая несомненное превосходство алгоритмов над суждением человека, этот вопрос поднять стоит. Для начала мы рекомендуем тщательно изучить предлагаемый вам алгоритм, с тем чтобы убедиться, что он не натренирован на недопустимых данных, и проверить, не заложен ли в нем дискриминационный механизм. Человека, чьи рассуждения менее ясны, гораздо сложнее подвергнуть подробному анализу: люди порой включают дискриминационный механизм на подсознательном уровне, так что сторонний наблюдатель (в том числе и в судебной системе) не всегда легко различит подобный крен. Следовательно, алгоритм во многих отношениях более прозрачен, чем человек.
Безусловно, мы должны остановиться на цене «бесшумного», но предвзятого алгоритма, равно как и на цене столь же «бесшумных», но предвзятых правил. Ключевой вопрос: способны ли мы создать алгоритм, который будет функционировать лучше человека по ряду обязательных критериев: точность и снижение шума, отсутствие дискриминации и справедливость? По имеющимся у нас свидетельствам, алгоритм может превзойти человека, какое бы сочетание критериев мы ни выбрали. Обратите внимание – мы говорим: «может» и не говорим: «превзойдет». В главе 10 мы рассказывали об алгоритме, который способен выносить более точные суждения об освобождении подозреваемого под залог по сравнению с типичным судьей, и дискриминация по расовому признаку вмешивается в его суждения гораздо меньше. Точно таким же образом и алгоритм анализа резюме выберет лучших и более разнообразных кандидатов, чем дано человеку.
Приведенные выше примеры, а также многие случаи, о которых мы не упоминали, подталкивают нас к однозначному выводу: хотя алгоритм прогнозирования в нашем изменчивом мире вряд ли станет идеальным инструментом, тем не менее его выводы более совершенны, чем подверженные шуму и нередким искажениям суждения человека. Превосходство алгоритма заключается в достоверности прогнозов (хорошая программа всегда сделает более качественный прогноз) и меньшей склонности к дискриминации (хороший алгоритм не так подвержен искажениям, как человек). Однако, зная, что алгоритм совершает меньше ошибок, чем обычный эксперт, мы все же интуитивно отдаем предпочтение человеку. Стало быть, это интуитивное предпочтение нуждается в тщательном исследовании.
Перейдем к общим выводам. Они достаточно просты и касаются не только алгоритмов. Стратегии снижения шума могут быть затратны – это правда. И все же во многих случаях цена – лишь отговорка; у нас нет достаточных оснований мириться с несправедливостью и влиянием шума. Разумеется, меры, принимаемые для снижения шума, могут привносить новые ошибки, в основном в форме смещения. В таком случае мы получаем серьезную проблему, однако ее решение – не отказ от стратегий снижения шума, а поиск новых и лучших стратегий.
К разговору о цене снижения шума
«Пытаясь устранить шум в системе образования, мы вынуждены нести существенные затраты. В отметках, которые выставляют учителя, много шума. И все же мы не в состоянии позволить себе дать поручение пяти учителям проверять одну и ту же работу».
«Не доверяя суждению человека, социальные сети устанавливают запрет на определенную лексику вне зависимости от контекста. Шум устраняется, однако возникает множество ошибок. В данном случае лекарство может оказаться опаснее, чем сама болезнь».
«Да, и правила, и алгоритмы могут отличаться предвзятостью. Однако предубеждений хватает и у людей. Вопрос в том, способны ли мы изобрести бесшумный алгоритм, содержащий при этом меньше предубеждений?»
«Подавление шума – процедура недешевая, однако затраты часто себя оправдывают. Шум может привести к жуткой несправедливости. Однако, если одна попытка оказалась слишком примитивной – мы утвердили неоправданно жесткие инструкции или правила, тем самым вызвав смещение, – сдаваться нельзя. Нужно предпринять еще одну попытку».