[227]. Оценка положения пунктирной линии, указывающей, куда упал белый шар, – 3/7 длины стола, что является средним (математическим ожиданием) для этого распределения.
Рис. 11.4
«Бильярдный» стол Байеса. (a) На стол бросают белый шар и его конечное положение отмечают пунктирной линией. Затем на стол бросают пять красных шаров – их положение обозначено темными точками. (b) Наблюдатель не видит стола, но ему говорят, что два красных шара приземлились слева от линии, а три – справа. Кривая отображает вероятностное распределение положения пунктирной линии (белого шара) для наблюдателя, наложенное на стол. Среднее значение кривой равно 3/7, и это также текущая вероятность для наблюдателя, что следующий красный шар окажется слева от линии
Значение 3/7 может показаться странным, поскольку интуитивная оценка – 2/5 (доля красных шаров, оказавшихся слева от линии)[228]. Однако Байес показал, что в такой ситуации следует оценивать положение по формуле
количество красных шаров, лежащих слева, +1 / общее количество красных шаров +2.
Это, в частности, означает, что, перед тем как бросать красные шары, мы можем оценить положение белого шара как (0 + 1) / (0 + 2) = 1/2, в то время как интуитивный подход подсказывает, что нельзя дать никакого ответа, так как пока нет никаких данных. В сущности, Байес использует информацию о том, как изначально была проведена линия, ведь мы знаем, что она определялась случайным броском белого шара. Эта первоначальная информация играет ту же роль, что и известная частотность случаев, используемая при маммографии или проверке на допинг, – она называется априорной информацией и влияет на наши окончательные выводы. Фактически, учитывая, что вышеприведенная формула добавляет один шар к числу красных шаров слева от линии и два шара к общему числу красных шаров, мы можем считать это эквивалентным тому, что вы уже бросили два «воображаемых» красных шара – по одному с каждой стороны от пунктирной линии.
Обратите внимание, что если ни один из пяти шаров не попадает слева от пунктирной линии, то мы оцениваем его положение не как 0/5, а как 1/7, что выглядит более осмысленно. Байесовская оценка не может быть 0 или 1, она всегда ближе к 1/2, чем простая доля: при таком «сжатии» оценки всегда стягиваются к центру исходного распределения, в нашем случае к 1/2.
Байесовский анализ берет знание о положении пунктирной линии, чтобы определить его априорное распределение, добавляет новые факты, используя понятие правдоподобия, и делает заключение об апостериорном распределении, выражающем наши текущие знания об этой неизвестной величине. Например, с помощью компьютера можно вычислить, что промежуток от 0,12 до 0,78 содержит 95 % вероятности на рис. 11.4(b), поэтому мы можем с 95-процентной уверенностью сказать, что линия, отмечающая положение белого шара, лежит между этими граничными значениями. Чем больше красных шаров будут бросать на стол и сообщать об их положении относительно пунктирной линии, тем уже будет такой доверительный интервал, постепенно сходясь к правильному ответу.
Основное расхождение в отношении байесовского анализа – источник априорного распределения. В примере со столом белый шар бросается наугад, поэтому любой согласится, что априорное распределение – это равномерное распределение от 0 до 1. Когда знание такого рода недоступно, предположения об априорном распределении приходится делать с помощью субъективных суждений, исторических данных или определения объективного априорного распределения, чтобы данные могли говорить сами за себя без добавления субъективных суждений.
Пожалуй, в этом заключена самая важная идея – что не существует никакого «истинного» априорного распределения и любой анализ должен включать анализ чувствительности к ряду альтернативных гипотез, охватывающих целый ряд возможных мнений.
Как лучше анализировать предвыборные опросы?
Мы видели, как байесовский анализ обеспечивает формальный механизм использования имеющихся знаний для более реалистичных выводов о конкретной, стоящей перед нами задаче. Эти идеи можно (буквально) перенести на другой уровень, поскольку многоуровневое, или иерархическое, моделирование одновременно анализирует различные отдельные величины: мощность таких моделей отражена в успехах предвыборных опросов.
Мы знаем, что в идеале опросы должны основываться на больших случайных репрезентативных выборках, однако их формирование обходится все дороже, а люди все чаще отказываются участвовать в опросах. Поэтому сегодня компании, занимающиеся опросами, по большей части полагаются на онлайн-панели[229]. Поскольку, как известно, они не являются репрезентативными группами, впоследствии используется сложное статистическое моделирование, которое выясняет, какими могли бы быть ответы, если бы компании обеспечили надлежащую случайную выборку. Здесь на ум может прийти старое предупреждение о невозможности сделать шелковый кошелек из свиного уха[230].
Ситуация усугубляется еще больше, когда дело доходит до предвыборных опросов, поскольку политические взгляды по стране распределяются неравномерно и заявления об общей картине на национальном уровне нужно делать на основе объединения результатов по многим различным штатам или избирательным округам. В идеале выводы следует делать на местном уровне, однако люди в онлайн-панели сильно неслучайным образом разбросаны по этим локальным областям, а значит, для такого локального анализа имеется весьма ограниченный объем данных.
Байесовский ответ на эту проблему – многоуровневая регрессия и постстратификация (MRP). Основная идея – разбить всех потенциальных избирателей на маленькие «ячейки», состоящие из однородной группы людей, например жителей одной области, людей одного возраста, пола, сходных политических взглядов и прочих измеримых характеристик. Для оценки числа людей в каждой ячейке можно использовать имеющиеся демографические данные; предполагается, что все ее члены голосуют за определенную партию с равной вероятностью. Проблема в том, чтобы выяснить, какова эта вероятность, когда наши неслучайные данные могут означать, что у нас в конкретной ячейке всего несколько человек, а возможно, и ни одного.
Первый шаг – построение регрессионной модели для вероятности голосования определенным образом при данных характеристиках ячейки, поэтому наша задача сводится к оцениванию коэффициентов уравнения регрессии. Но их по-прежнему слишком много для надежной оценки с помощью стандартных методов, вот тут и приходят на помощь байесовские идеи. Коэффициенты для различных областей предполагаются сходными – своего рода промежуточная точка между предположением, что они в точности одинаковы, и предположением, что они совершенно не связаны.
Можно показать, что это предположение эквивалентно тому, что все эти неизвестные величины извлечены из одного и того же априорного распределения, и это позволяет нам смещать многие отдельные, довольно неточные оценки ближе друг к другу, что в итоге приводит к более уверенным выводам, на которые не так сильно влияет несколько странных наблюдений. Сделав такие более надежные оценки поведения при голосовании внутри каждой из тысяч ячеек, можно объединить все результаты и спрогнозировать, как проголосует вся страна.
На президентских выборах в США в 2016 году опросы, основанные на многоуровневой регрессии и постстратификации, правильно определили победителя в 50 случаях из 51 (50 штатов и округ Колумбия), исходя из ответов всего 9485 человек за несколько недель до выборов, и ошиблись только для Мичигана. Аналогичные хорошие прогнозы были сделаны и для выборов 2017 года в Соединенном Королевстве, где компания YouGov опросила 50 тысяч человек, не заботясь о репрезентативности выборки, а затем с помощью метода MRP предсказала подвешенный парламент[231], где консерваторы получат 42 % голосов, что в действительности и произошло. А вот опросы, использовавшие более традиционные методы, с треском провалились[232].
Так можем ли мы сделать пресловутый шелковый кошелек из подходящего неслучайного свиного уха? MRP не панацея – если большое количество респондентов систематически дают недостоверные ответы и тем самым не представляют свою «ячейку», то никакой сложный статистический анализ не компенсирует этой ошибки. Однако, по-видимому, байесовское моделирование полезно использовать для каждого отдельного участка голосования и, как мы увидим позже, это на удивление эффективно в экзитполах, проводимых в день голосования.
Байесовское «сглаживание» может добавить точность очень скудным данным, и такие методы все чаще применяются, например, для моделирования распространения болезней во времени и пространстве. Байесовское обучение сейчас рассматривается как фундаментальный процесс осознания человеком окружающей обстановки, когда у нас есть априорные ожидания того, что мы увидим в каком-то контексте, а далее нужно обращать внимание только на неожиданные изменения в нашем видении, которые затем используются для обновления наших текущих представлений. Эта идея лежит в основе так называемого байесовского мозга[233]. Те же самые процедуры обучения были реализованы в самоуправляемых автомобилях, которые имеют вероятностную «ментальную карту» окружающей местности, постоянно обновляющуюся по мере распознавания светофоров, людей, других машин и так далее. «По сути, робот-автомобиль “думает” о себе как о вероятностном пузырьке, путешествующем по байесовской дороге»