Сравнение должно проводиться по параметрам, релевантным и понятным для потребителя.
Рост производства станков (также важный пункт в советской статистике) ничего не говорит нам о том, будут ли эти станки производительнее, дадут ли они лучшее качество продукции — и даже о том, нужна ли их продукция вообще.
Итак, при виде красивой картинки или графика прежде всего надо проверить, точно ли он отражает цифры, а затем уточнить, насколько честно выбрана точка отсчета, сравнить эти показатели с другими (не более ранними, а современными — по производству, росту стоимости акций и т. д.), выяснить, достаточно ли этих данных, чтобы судить о тенденции, и насколько это релевантно и применимо в вашей жизни.
Одна из основных задач манипуляторской статистики — доказать ковариацию, то есть взаимосвязь двух параметров. Наиболее частые ошибки и подмены:
Через доказанный факт обосновывается то, что не следует из него напрямую (выстраивается псевдологическая связь).
Некое вещество уничтожает 99 % находящихся в пробирке бактерий. Значит, лекарство на основе этого вещества лечит простуду. Но на самом деле еще надо доказать:
— что это вещество эффективно в организме человека;
— что оно будет работать в разбавленной концентрации;
— что оно не нанесет ущерба пациенту;
— что простуда вызывается именно этими бактериями.
Два события происходят одновременно потому, что у них есть общая причина, а не потому, что одно — причина другого.
Если одновременно с повышением цен на проезд повышаются зарплаты водителей, это может быть следствием (получили большую прибыль и смогли повысишь зарплату), а может быть проявлением общей тенденции — инфляции.
Два события взаимно обусловливают друг друга, но мы не можем с точностью отделить причину от следствия.
Люди с высоким заработком приобретают надежные и доходные акции. Высокий заработок — причина того, что человек может купить доходные акции, или доходные акции обеспечивают высокий заработок?
Итак, если вам говорят о взаимосвязи двух явлений и советуют воспользоваться лекарством. смириться с повышением цен на проезд или приобретать те акции, которые приобретают богатые и успешные люди, всегда проверяйте:
• действительно ли взаимосвязь носит причинно-следственный, а не случайный, общий или смежный характер;
• можно ли экстраполировать взаимосвязь на вашу ситуацию (вылечит ли от простуды то. что уничтожает бактерии в пробирке).
Указывая состав продукта, изготовитель предпочитает говорить о долях и процентах, в зависимости от того, что производит лучшее впечатление.
В известном анекдоте изготовитель бургеров хвастался тем, что в его котлетах «половину составляет кролик». Вторую половину составляла конина, однако «все честно: на одного кролика одна лошадь». Никто бы не стал есть котлеты, где крольчатина составляет всего 5 %. И наоборот: если сегодня к крольчатине добавляются консерванты и стабилизаторы вкуса в пропорции один пакетик на одного кролика, никто не скажет, что половину в котлете составляют примеси — тщательно вычислив соотношение веса добавок и вес кролика, изготовитель бургеров напишет: «Чистейшая крольчатина на 98,2 %».
Когда нам сообщают пропорции, нужно выяснить:
• как понимаются «доли» — как соотношение по весу (или другим измеримым величинам) или же как «один конь и один кролик»;
• что означают оговорки «не более» или «не менее» — каков предел допустимой погрешности и насколько допускается округлять числа.
Самое важное — то, о чем умалчивается.
Если какой-то процент специалистов высказался в пользу данного препарата, то что думают остальные? Они не имеют своего мнения или же резко против?
«27 % врачей рекомендуют новое средство!» Выглядит солидно — пока не спохватишься, что это всего лишь четверть, один врач из четверых, а что же остальные три? Не настолько продвинуты, просто еще не слышали о новом средстве — или же успели убедиться в его непригодности?
Эти «менее 2 % примесей» — они совершенно безобидны, так что можно бы и 3 %, или же давно превышена предельно допустимая концентрация?
И даже когда нам сообщают данные о загрязнении воздуха с указанием предельно допустимых концентраций, тревожит вопрос: как были установлены эти предельно допустимые концентрации? Ведь не травили же людей газами, чтобы установить опасный порог. Значит, опять лабораторные эксперименты, и неизвестно, как это загрязнение скажется на нас вне пробирки и в сочетании с другими факторами. И опять «среднестатистическое» — а что будет с детьми, стариками, астматиками?
В современном мире присутствие в продуктах «химии» — один из главных пунктов обвинения, хотя любой натуральный продукт тоже имеет некий химический состав, и он. возможно, менее чистый и менее безопасный, чем искусственный продукт (не из всякого источника можно пить воду, в отличие от бутилированной воды). Зачастую, разоблачая искусственность продукта, не указывают ни количество добавок, ни степень их вредности и не приводят для сравнения данные о содержании тех же примесей в других продуктах.
Для консервации икры применялся уротропин — это самый надежный консервант, позволяющий долго хранить икру. Выяснилось, что при соприкосновении уротропина с желудочной кислотой выделяется яд — формальдегид. Уротропин запретили использовать в консервации. Однако разоблачители не уточняли, какие количества уротропина применяются при консервировании. Выяснилось, что в одном банане содержится столько же природного уротропина, сколько добавляется в баночку икры для консервации.
Итак, когда нам говорят о долях, следует уточнять, о процентах идет речь или о пропорциях. сравнивать данные по одному продукту или ситуации с другими, выяснять, какие параметры являются значимыми, и проверять, что «осталось за кадром».
Было бы неразумно, узнав про все невольные заблуждения и злостные манипуляции статистики, попросту повернуться к ней спиной и отказаться воспринимать цифры всерьез. Цифры — вещь весьма полезная. Да и не отмахнешься от них. так или иначе они возникают перед глазами ежеминутно. Если не контролировать жестко свое восприятие, скорее всего, цифры сыграют какой-нибудь фокус с подсознанием.
Итак, статистикой мы не перестаем интересоваться — напротив, будем вникать в нее более тщательно, чем прежде, постоянно задавая пять ключевых вопросов.
1. От кого исходит статистика и насколько этот человек или организация заинтересованы в определенных выводах?
Причин для заинтересованности может быть сколько угодно: сохранение своей репутации, корысть, политика. Обращаем внимание на туманные формулировки, выпячивание плюсов, подмену точки отсчета, мухлеж со средним. Ссылки на авторитеты (экспертов, знаменитости, академические институты) требуют особого внимания: в самом ли деле приводится прямая и к месту цитата или же это имя служит прикрытием?
2. Надежны ли данные?
Уточняем, достаточно ли велика и репрезентативна выборка. Также проверяем, насколько велика — и насколько разумно объясняется — корреляция.
3. Чего не хватает?
Чаще всего не указывают размеры выборки, и это всегда подозрительно. Также необходимо выяснить, какое именно «среднее» имеется в виду — среднее арифметическое, медиана или мода. Выяснить исходную точку (если часть графика отрезана). С чем именно проводится сравнение и на основании каких параметров. Не остались ли за скобками факторы перемен (не приписывается ли рост продаж мороженого удачной рекламе, в то время как просто выдалось на редкость жаркое лето).
4. Не подменен ли объект исследования?
Рост зарегистрированных случаев не есть рост случаев. Зачастую возникает впечатление. будто ширится эпидемия болезни или резко возросла преступность, а на самом деле возросла озабоченность этой проблемой. Еще одна распространенная ошибка — верить на слово. Победитель опроса — это еще не победитель в президентской гонке, и процент респондентов, выражающих интерес к научно-популярному чтению, не совпадает с той долей читателей, кто действительно берется за такие журналы. В этих случаях было бы точнее указать, что определенный процент респондентов утверждает что-то — но подмена заключается в том. что статистика представляет их поступающими в точности так. как они говорят.
5. Не противоречит ли вывод здравому смыслу и опыту?
«Средняя продолжительность жизни ниже пенсионного возраста, то есть мы все умрем, не дождавшись пенсии». Здесь происходит явная подмена понятия «среднее» и «норма», к тому же все мы знаем людей, которые намного старше пенсионного возраста.
В эту же категорию попадают прогнозируемые тенденции, когда они выстраиваются по экстраполяции. Если в первую пору появления новой техники количество пользователей ежегодно возрастает в десять раз и таким образом за пять лет десять новичков превратились в миллион, ожидать ли нам такого же прироста в следующие пять лет — до ста миллиардов пользователей?
Вооруженный пятью вопросами читатель сумеет разоблачить статистический обман, извлечь полезную информацию даже из подтасовки, а если попробует сам заняться манипуляцией, рискует наткнуться на такого же продвинутого пользователя. Учитывая количество проданных экземпляров книги на разных языках, статистическая вероятность этого достаточно велика.
Фактологичность: десять причин, почему наши суждения о мире ошибочны и почему дела лучше, чем мы думаемАвторы: Ханс Рослинг, Анна Рослинг Ренлунд, Ола Рослинг
Миры сближаются
Ханс Рослинг в книге «Фактологичность: десять причин, почему наши суждения о мире ошибочны и почему дела лучше, чем мы думаем» обращается к типичному западному читателю, который живет в иллюзии, считает себя частью «первого» мира, а всех остальных — «третьего». Жители «третьего» мира влачат нищенское существование, необразованные, рожают детей дюжинами и довольно быстро отправляются на тот свет. Иллюзию поддерживают и СМИ.