Хотя статистика может показаться сугубо технической наукой, ее всегда нужно рассматривать в контексте общества, и ее представители несут за это ответственность. В ближайшем будущем можно ожидать, что этика работы с данными станет неотъемлемой частью преподавания статистики.
Пример хорошей статистической практики
Перед всеобщими выборами 8 июня 2017 года в Великобритании большинство опросов общественного мнения предполагало, что консерваторы получат значительный перевес. Через несколько минут после окончания голосования, в 22:00, группа статистиков предсказала, что консерваторы потеряли много мест, а с ними и абсолютное большинство, поэтому парламент будет подвешенным. Это заявление было встречено с недоверием. Как они смогли сделать столь смелый прогноз и оказались ли правы?
Завершить книгу, которая была написана не для того, чтобы разоблачить недобросовестных исследователей, а для того, чтобы показать, какую пользу способно принести владение искусством и наукой работы с данными, вполне уместно ярким примером применения статистики.
Вопрос, кто выиграл выборы, сразу же после того, как они закончились, может показаться странным: в конце концов, можно посидеть ночь и подождать итогов. Но это уже стало традицией: буквально через несколько минут после окончания опросов эксперты делают прогнозы относительно результатов. Обратите внимание, что результаты уже фиксированы, просто неизвестны, так что мы имеем дело с классическим примером эпистемической неопределенности, возникающей при рассмотрении уровня безработицы и прочих величин, которые «существуют», но неизвестны.
Рассмотрим цикл PPDAC. Проблема состояла в том, чтобы дать прогноз результатов выборов в стране в течение нескольких минут после окончания голосования. Команда, в которую входили статистики Дэвид Фёрт и Джуни Куха, а также психолог Джон Кертис, разработала план проведения экзитполов, согласно которому в опросах участвовали примерно 200 респондентов, выходивших из каждого из 144 участков (из общего количества в 40 тысяч участков), причем эти участки должны были быть теми же, что и в предыдущих экзитполах. Данные включали ответы избирателей не только о том, как они проголосовали, но и как они голосовали на предыдущих выборах.
Анализ использовал ряд методов, о которых мы говорили в главе 3.
• Переход от данных к выборке. Поскольку данные собирали после ухода с участков и респонденты говорили о том, что уже сделали, а не что намереваются сделать, опыт подсказывает, что ответы будут достаточно точной характеристикой того, как люди голосовали на этих и предыдущих выборах.
• Переход от выборки к изучаемой совокупности. Репрезентативная выборка берется из числа тех, кто проголосовал на каждом участке, так что результаты, полученные от этой выборки, можно использовать для примерной оценки изменения в голосовании («качели») в этой небольшой области.
• Переход от изучаемой к целевой совокупности. Используя знания о демографии каждого избирательного участка, строится регрессионная модель, которая пытается объяснить, как доля людей, поменявших свое мнение между выборами, зависит от характеристик избирателей на этом участке. При этом такие «качели» (свинг) необязательно будут одинаковыми по всей стране, а могут меняться в разных районах – например, в зависимости от того, какое население там преобладает, сельское или городское. Затем на основании этой регрессионной модели, знания демографических характеристик населения в каждом из примерно 600 избирательных округов и количества голосов избирателей, отданных на предыдущих выборах, можно сделать прогноз голосования на этих выборах для каждого отдельного избирательного округа, хотя на большинстве избирательных участков вообще не проводился экзитпол. По сути, это процедура многоуровневой регрессии и постстратификации (MRP), описанная в главе 11.
Ограниченная выборка означает наличие у коэффициентов регрессионной модели неопределенности, которая при масштабировании до всей голосовавшей совокупности дает вероятностное распределение того, как люди голосовали, а следовательно, и вероятность для каждого кандидата получить максимальное количество голосов.
Сложив все эти данные со всех избирательных участков, мы получаем ожидаемое количество мест в парламенте, причем в каждом случае будет свой уровень неопределенности (хотя в ночь после выборов о погрешностях не сообщалось)[274].
В табл. 13.1 приведены прогнозы и конечные результаты для июньских выборов 2017 года. Предсказанное количество мест удивительно близко к реальному, ошибка максимум в четыре места для всех партий. Таблица показывает, что для трех последних выборов в Великобритании эта сложная статистическая методология имела исключительную точность. В 2015 году она предсказала колоссальные потери у либерал-демократов, оценив снижение с 57 мест до 10, и известный представитель этой партии Пэдди Эшдаун заявил в прямом телеэфире, что готов «съесть свою шляпу», если прогноз окажется правильным. На самом деле либеральные демократы получили всего 8 мест[275].
Таблица 13.1
Прогнозы числа мест, полученных каждой партией на трех последних национальных выборах в Великобритании, сделанные на основе экзитполов сразу по окончании голосования, в сравнении с фактическими результатами выборов. Прогнозы представляют собой оценки с определенными погрешностями
В ночь выборов все СМИ обнародовали только прогнозируемое количество мест для каждой партии, хотя погрешность составляла около 20 мест. В прошлом удавалось добиться несколько большей точности, возможно, просто благодаря везению статистиков. Нельзя, однако, сказать, что их удача была незаслуженной, поскольку проявилась она после использования мощных научных инструментов, высокая эффективность которых способна удивить как профессионалов, так и неосведомленных. Люди слабо представляют сложность лежащих в основе расчетов методов, а также то, что этот превосходный результат обусловлен тщательным вниманием к деталям всего цикла решения задач.
Выводы
• Поставщики статистической информации, коммуникаторы и аудитория – все играют определенную роль в улучшении способов применения статистики в обществе.
• Поставщикам данных необходимо обеспечить воспроизводимость результатов. Чтобы продемонстрировать надежность, информация должна быть доступной, доходчивой, поддающейся оценке и полезной.
• Коммуникаторы должны быть осторожны, пытаясь подогнать статистические тексты под стандартные правила повествования.
• Аудитории нужно выявлять недостоверные данные, задавая вопросы о методах подсчета, источниках информации и методах анализа и интерпретации.
• Когда вы сталкиваетесь с каким-то утверждением, основанным на статистических данных, сначала посмотрите, правдоподобно ли оно.
Глава 14. В заключение
Честно говоря, статистика может быть сложной. Хотя я в этой книге старался познакомить вас с базовыми идеями и не углубляться в технические подробности, в ходе повествования неизбежно пришлось опираться на некоторые сложные концепции. Так что поздравляю тех, кто добрался до конца.
Вместо того чтобы сводить информацию, приведенную в предыдущих главах, к короткому перечню мудрых советов, я воспользуюсь следующими десятью правилами эффективной статистической практики. Они позаимствованы у группы статистиков, которые, как и я в этой книге, старались подчеркнуть нетехнические вопросы, обычно не изучаемые в курсе статистики[276]. Я добавил свои комментарии. Эти правила вполне самоочевидны и довольно точно подытоживают вопросы, рассмотренные в книге.
1. Статистические методы должны позволять данным отвечать на научные вопросы. Спрашивайте: «Почему я это делаю?», а не фокусируйтесь на используемом методе.
2. Сигнал всегда сопровождается шумом. Именно попытки отделить их друг от друга делают эту область интересной. Случайный разброс неизбежен, а вероятностные модели полезны в качестве абстракции.
3. Планируйте, и делайте это как можно раньше. Это включает идею предварительной подготовки для подтверждающих исследований – во избежание степеней свободы исследователя.
4. Обеспечивайте подобающее качество данных. Это фундамент вашей работы.
5. Статистический анализ – это нечто большее, чем просто набор вычислений. Не используйте формулы или программы, если не понимаете, почему вы это делаете.
6. Будьте проще. Основная коммуникация должна быть максимально простой – не демонстрируйте умение строить сложные модели, если они не нужны.
7. Обеспечьте оценки для разброса. С предупреждением, что погрешности, как правило, больше заявленных.
8. Проверяйте свои исходные предположения. Если это невозможно, обязательно разъясните ситуацию.
9. При наличии возможности повторите! Или побуждайте других воспроизводить ваш опыт.
10. Обеспечьте воспроизводимость вашего анализа. Другие должны иметь доступ к вашим данным и коду.
Статистика играет важную роль в нашей жизни и постоянно меняется в ответ на увеличение объема и глубины доступных данных. Но изучение этой науки влияет не только на общество в целом, но и на его отдельных членов. Что касается меня, то написание этой книги позволило мне понять, насколько обогатилась моя жизнь благодаря статистике. Я надеюсь, что и вы ощутите то же самое – если не сейчас, то в будущем.
Глоссарий
P-значение: мера расхождения между данными и нулевой гипотезой. Пусть имеется нулевая гипотеза H0