не существует, то в среднем мы будем наблюдать этот принесший Нобелевскую премию набор данных в одном из 3,5 миллиона экспериментов. Если вам интересно, это соответствует p-значению 0,0000003.
Понизив стандарт с 5σ до 1σ, мы (в среднем) получали бы случайный результат, похожий на открытие, в одном из шести проводимых экспериментов. При стандарте 3σ ложное “открытие” совершалось бы в среднем в одном из 741 испытания. Можно сказать, что стоило бы для верности повысить стандарт с 5σ, скажем, до 10σ. И это решение тоже субъективно. Правда в том, что, применяя стандарт 10σ, мы, вероятно, и вовсе не смогли бы заявить ни об одном открытии. Стоит также отметить, что мы не всегда требовали и 5σ. В 1984 году физики ЦЕРН Карло Руббиа и Симон ван дер Мер получили Нобелевскую премию за открытие W- и Z-бозонов годом ранее. Но статистическая значимость их результатов даже не приблизилась к 5σ[189].
Вопрос о субъективных решениях важен, поскольку от них зависит, поступит ли на рынок жизненно важное лекарство и признают ли ответчика виновным в суде. Давайте сначала займемся юридическими делами, поскольку они имеют гораздо большее значение, чем кажется многим из нас.
В зависимости от того, где вы живете, вас с вероятностью 1 к 3 могут однажды попросить войти в состав коллегии присяжных заседателей. В ходе судебного разбирательства вам могут представить статистические данные. Скорее всего, вы никогда не учились их анализировать. И вполне возможно, что человек, который представит их вам, тоже будет не слишком сведущ в статистике. Это серьезная проблема судебной системы, и она уже стоила людям жизни.
В частности, я говорю о британке Салли Кларк, которую в ноябре 1999 года осудили за убийство двух ее первых детей. Защита утверждала, что дети умерли от естественных причин – либо из-за недиагностированного наследственного заболевания, либо из-за ужасного и необъяснимого синдрома внезапной детской смерти (СВДС). Специалист в области жестокого обращения с детьми – и врач – профессор сэр Рой Мидоу сообщил суду, что статистический риск смерти ребенка от СВДС в таком доме, как у Салли Кларк, составляет 1 к 8453. Вероятность того, что такое случится дважды, сказал он, составляет 1 к 84532, то есть 1 к 73 миллионам. Иными словами, она чрезвычайно мала.
Суд присяжных признал Салли Кларк виновной. Первая апелляция успехом не увенчалась. Подали вторую апелляцию, и Кларк освободили на основании того, что ее осуждение не подкрепляется статистическими данными. Но прежде другую женщину обвинили в двойном убийстве в пугающе похожем деле (где в качестве эксперта тоже выступал Мидоу), а психическое здоровье Салли Кларк так сильно пошатнулось, что спустя четыре года после освобождения она умерла от алкоголизма.
В признании Кларк виновной было несколько проблем, но нас интересуют две[190],[191]. Во-первых, хотя образ жизни Кларк и состояние ее дома действительно говорили, что вероятность СВДС составляет 1 к 8453, отсюда не следует, что второй случай СВДС в этом доме столь же маловероятен. Нельзя просто возвести вероятность в квадрат. Если какой-то неизвестный фактор вызвал смерть в первом случае, то вполне вероятно, что этот же неизвестный фактор вызовет ее снова. Иными словами, вторая необъяснимая смерть становится гораздо более вероятной (по одной из оценок, ее риск возрастает до 1 к 60). Во-вторых, если объяснение невиновности обвиняемого крайне маловероятно, это не делает его виновность крайне вероятной. Стратегия использования сомнительной или вводящей в заблуждение статистики, которая, казалось бы, свидетельствует о высокой вероятности виновности, называется ошибкой обвинителя.
Стоит отметить, что существует и ошибка подзащитного. Ее совершили в суде над О. Джеем Симпсоном: команда адвокатов апеллировала к тому факту, что менее 1 из 1000 человек, прибегающих к домашнему насилию над женщинами, в конце концов убивает их. Если вы сидите в составе коллегии присяжных, у вас возникает вопрос: неужели О. Джей Симпсон хуже, чем 1 из 1000? Но задаваться им не стоит, ведь он сбивает с толку и используется, чтобы вас отвлечь. Суть в том, что Николь Браун была убита, а нужная статистика такова: 4 из 5 избитых и убитых женщин погибают от руки партнера.
Даже убедительные с научной точки зрения доказательства, такие как пробы ДНК, могут вводить в заблуждение, если статистика представляется некорректно. Например, американской коллегии присяжных на суде об ограблении могут сказать, что вероятность совпадения ДНК подозреваемого и ДНК с места преступления – один на миллион. В результате присяжным может показаться, что дело не стоит и выеденного яйца. Но в США проживает 152 миллиона взрослых мужчин, а значит, помимо подозреваемого может найтись еще 151 человек, ДНК которого совпадет с ДНК преступника. Для вынесения обвинительного вердикта этих улик недостаточно.
Подобная проблема возникла при тестировании населения на COVID-19 в разгар недавней вирусной пандемии. В несовершенном мире нам кажется, что тест, дающий “99 % точности”, близок к совершенству, правда? Значит, нужно применять его ко всем, вне зависимости от того, есть ли у них какие-либо симптомы болезни, так? Если тест окажется положительным, люди вылечатся (при необходимости), а затем вернутся к своим делам, зная, что не заболеют снова, потому что у них сформировался иммунитет. Но такое субъективное решение может привести к ужасным последствиям.
Допустим, один человек из тысячи действительно болен COVID-19, и мы тестируем 1000 человек. На 99 % точный тест даст нам верный ответ при тестировании 99 % больных и 99 % здоровых. Следовательно, он выдаст положительный результат оставшемуся 1 % из 999 человек, которые не болеют коронавирусом. Это огромное число – 9,99 человека. Фактически 11 человек из 1000 получат положительные результаты, но только один из них действительно приобретет иммунитет. Это значит, что если ваш тест показал положительный результат, вы можете быть лишь на 10 % уверены в том, что у вас сформировался иммунитет. Не очень полезно, правда? И это если вы владеете всей информацией. Не зная, насколько коронавирус распространен в популяции, вы и понятия не имеете, сколько тестов оказываются ложноположительными.
Такая нелогичность является одной из причин, по которым многие статистики предпочитают работать с другой системой. Она называется байесовской статистикой и появилась довольно давно. Преподобный Томас Байес вывел свою теорему в середине XVIII века. Точной даты мы не знаем, поскольку Байес никогда ни с кем не делился своими идеями.
Байесовская статистика, описанная в документах, обнаруженных после смерти преподобного в 1761 году, по-прежнему вызывает у статистиков споры. Никто не может однозначно сказать, лучше ли она, чем стандартная “частотная” статистика, которую мы разбирали ранее. Знакомая нам система называется частотной, поскольку в ее основе лежит поиск вероятности путем анализа частотности конкретного исхода. Так, если я буду снова и снова бросать правильную кость, в долгосрочной перспективе все числа будут выпадать с одинаковой частотой. Байесовская система, с другой стороны, изучает “условные вероятности”: каковы шансы B, если случилось A?
Допустим, вы присяжный и вам представили улику, которая на 70 % убедила вас, что я виновен в нападении. Но вас пока не ознакомили с данными судебной экспертизы. Из них вы узнаете, что на жертве найдена кровь такой же группы, что и у меня. Ага! Но постойте: такая группа крови у 35 % населения. Должно ли это повысить вашу уверенность в моей виновности? Или понизить? Или же эта информация не имеет значения?
Вооружившись байесовской статистикой, вы можете прямо на скамье присяжных рассчитать все с помощью карандаша и бумаги. Для меня ваши расчеты обернутся катастрофой: теперь вам следует примерно вдвое сократить свою уверенность в моей невиновности. Это, однако, не значит, что вы уверены в моей виновности на 140 %. Дело обстоит так: вы были на 30 % уверены, что я невиновен, но данные судебной экспертизы укрепили вашу уверенность в том, что я виновен. Теперь вы лишь на 14 % уверены в моей невиновности, а следовательно, на 86 % уверены, что я совершил преступление[192].
Может, вам кажется сомнительным, что присяжному под силу разобраться с числами, чтобы оценить свою уверенность в виновности подсудимого, но уверяю вас, в этом нет ничего нового. Возьмем, например, дело “Нью-Джерси против Спанна” 1993 года[193]. Чернокожего тюремного надзирателя Джозефа Спанна обвинили в зачатии ребенка при совокуплении с заключенной – с учетом его положения это преступление. Все зависело от того, сможет ли обвинение доказать, что Спанн – отец ребенка.
Прокурор представил данные судебной экспертизы на основе генетического тестирования, которое, как утверждалось, с вероятностью 96,55 % показало, что отцом действительно является Спанн. В экспертизе учитывалось, что у ребенка обнаружился определенный набор генов, которого не было в ДНК матери, но который обычно присутствует в ДНК 1 % чернокожих американских мужчин, и что Спанн входил в этот один процент. Присяжным сказали, что им следует отталкиваться от любой “априорной” оценки вероятности его вины, но также сообщили, что государственный свидетель-эксперт присвоил ей “нейтральную” вероятность в 50 %. Весьма любопытно ознакомиться с подробностями этого дела[194]. Эксперт показал, что итоговая вероятность менее чем в 90 % считается “не показательной”, при результате 90–94,99 % отцовство признается “вероятным”, 95–99 % – “весьма вероятным”, а 99,1–99,79 % – “крайне вероятным”.
Присяжным объяснили, как рассчитать свою уверенность на основе выбранной ими априорной оценки. Им, однако, не показали, как априорная вероятность скажется на итоговом результате. В конце концов они признали подсудимого виновным, но это дело остается спорным по целому ряду причин – и не в последнюю очередь потому, что решение зависело от статистических расчетов не сведущих в статистике присяжных.