Итак, выбоина № 6, спутанные связи, является камнем преткновения между подлинной и причинно-следственной связью. В данном конкретном случае корреляция между ультраобработанными продуктами и раком может быть подлинной, но не причинно-следственной. Она может быть вызвана переменной, которую исследователи не измерили (посещение церкви или личностные качества), или неудачной попыткой подстроиться под те, которые удалось определить (возраст или курение).
Последняя проблема, которую мы обсудим, выбоина № 7, является самой незаметной… если они такими бывают. Итак, давайте вернемся к кофе, потому что гораздо больше исследований было посвящено этому напитку, чем ультра-обработанным пищевым продуктам.
В 2017 году ученые опубликовали статью о масштабном метаанализе, посвященном кофе. Это действительно было исследование исследований. Иными словами, ученые сделали обзор, в котором анализировались результаты более ранних исследований кофе. По сути, это было начало в изучении этого напитка.
Короче говоря, авторы математически проанализировали результаты сотен исследований, в которых приняли участие миллионы людей.
Это большой объем информации.
Давайте посмотрим на то, что, по моему мнению, является самым важным в данных о кофе: у людей, выпивающих три чашки в день, риск умереть по любой причине примерно на 17 % ниже, чем у тех, которые вообще его не пьют. Три чашки были активной точкой, хотя у испытуемых, которым каким-то образом удается выпивать семь чашек в сутки, на 10 % более низкий риск смерти по любой причине, чем у тех, кто не употребляет этот напиток. В обоих случаях эти сравнения достигли статистического оргазма, также известного как «значимость», и Р-значения были очень низкими.
Давайте относиться к этой связи так, словно нам рассказала о ней Неопалимая купина: предположим, что употребление кофе действительно связано с более низким риском смерти. Но, конечно, факт связи напитка и снижения риска умереть вовсе не означает, что кофе уменьшает риск смерти.
Чтобы понять, почему это разные вещи и чем они отличаются, я попрошу вас извлечь из памяти один «аромат» – типично летний запах общественного бассейна. Если вы когда-либо проводили время в крытом общественном бассейне, то знаете, какой запах я имею в виду. Он резкий, пьянящий, с легкими нотками лизола[130]. Это как если бы Джада де Лаурентис испекла лимонный пирог в морге больницы.
Чем обусловлен этот запах?
Давайте подумаем. Запах бассейна довольно необычный. Вы не чувствуете его, когда принимаете душ, кипятите воду, гуляете под дождем или купаетесь в озере. Вы ощущаете его только тогда, когда находитесь рядом с бассейном, причем он гораздо сильнее в крытых, чем у открытых. Вы знаете, что их дезинфицируют хлором. Вы также знаете, что озера, реки и дождевая вода не подвергаются такой обработке. Итак, давайте повторим то, что вам уже известно о хлоре и запахе бассейна.
Приведенная таблица по существу является результатом обсервационного исследования: подобно ученым, которые взяли у людей кучу анализов и заметили связь между употреблением кофе и снижением риска смерти, вы взяли пробы воды (носом) и заметили, что запах бассейна присутствует практически везде, где вода обработана хлором. Иными словами, между хлором и запахом бассейна есть связь, как между кофе и снижением риска смерти. Обратите внимание, что она неидеальна: водопроводная вода тоже дезинфицируется хлором, но у вас дома нет запаха бассейна. Тем не менее можно сказать, что между хлором и запахом бассейна есть крепкая связь.
Всякий раз, когда вы читаете о корреляции между двумя вещами, ваш разум совершает интуитивный прыжок. Это касается не только вашего мозга: разум большинства людей делает это так часто и так естественно, что это трудно заметить. Вы же берете данные из приведенной выше таблицы и беспрепятственно приходите к выводу, что одна из двух вещей вызывает другую. В конце концов, запахи обычно вызваны чем-то, а не вызывают что-то. Итак, разум незаметно делает вывод, что запах бассейна связан с хлором. Интуитивно это кажется правильным. Более того, вы привыкли думать, что так пахнет хлор.
Но верный ли это вывод?
Чтобы это выяснить, я провел простой эксперимент[131].
Я налил 100 мл фильтрованной воды в две пустые мензурки и понюхал обе: ничего. Хорошо. Вода не должна ничем пахнуть. Затем я добавил в одну из них 0,025 г гипохлорита кальция, популярного дезинфицирующего вещества на основе хлора, которым обеззараживают воду в бассейнах. Я размешивал кристаллы в воде несколько минут, чтобы они полностью растворились, а затем понюхал воду. Если запах общественного бассейна объясняется хлором, то из мензурки должно было сильно пахнуть бассейном.
Этого не случилось.
Гм. Возможно, нужно время, чтобы реакция произошла. Я накрыл обе мензурки и оставил их на ночь при комнатной температуре.
На следующий день запах так и не появился.
Что ж, это странно. Что еще бывает в бассейнах?
О
Нет.
Только не…
моча?
Господи. Неужели дело в ней?
Похоже, что так…
Есть только один способ это выяснить.
Я повторил эксперимент, но на этот раз я взял четыре мензурки: с чистой водой, с водой и гипохлоритом кальция, с водой, гипохлоритом кальция и капелькой теплой мочи, а также с водой и мочой. Я накрыл мензурки и оставил их на ночь.
Следующим утром я понюхал пробирки.
О нет.
Нет-нет.
Нет-нет-нет-нет-нет.
НЕ-Е-Е-Е-Е-Е-Е-Е-Е-Е-Е-Е-Е-Е-Е-Е-Е-ЕТ!
Как оказалось, бассейном пахли сразу две пробирки.
Значит ли это, что все бассейны, в которых я плавал, были полны мочи?
Ангел на правом плече
Подожди, не делай поспешных выводов.
Дьявол на левом плече
Что значит «поспешных»? Эксперимент уже проведен!
Ангел
Да, но наши тела могут быть источником не только мочи… Например, с кожи смывается солнцезащитный крем!
Дьявол
Гм, думаю, ты прав. А еще наши тела – источник слюны.
Ангел
Да, но она не настолько противная.
Дьявол
И еще соплей.
Ангел
Фу. Ты серьезно?
Дьявол
И дерьма.
Ангел
Ты отвратителен.
Ангел и Дьявол предложили четыре интересных варианта: солнцезащитный крем, слюна, сопли и дерьмо. Я проверил два из них. При добавлении соплей получился совсем легкий запах бассейна. Слюна, как мне показалось, привела к появлению канонического запаха, который ударяет вам в нос, когда вы заходите в крытый бассейн спортивного клуба.
Теперь мы можем взять первоначальное утверждение, «хлор связан с запахом бассейна», и слегка его изменить. Что-то подобное может быть более подходящим: «Хлор, смешанный с человеческой мочой, слизью или слюной, дает запах, который удивительно похож на запах общественного бассейна». Как это часто бывает в науке, во время проведения эксперимента можно получить больше вопросов, чем ответов. В какой степени характерный запах бассейна вызывается мочой, а в какой – соплями или слюной? Является ли запах, полученный в ходе моего маленького исследования, химически идентичным «аромату» общественного бассейна? Неужели люди действительно так часто писают в воду, что каждый бассейн пахнет одинаково? (Думаю, мы все знаем ответ на этот вопрос.) Можно посвятить всю свою жизнь изучению химии общественных бассейнов[132].
Бассейны и моча составляют суть выбоины № 7, которая называется «дизайн исследования». Иными словами, тип проводимого вами эксперимента может ограничить выводы о причинно-следственных связях. Посещение бассейнов и вдыхание их запаха – это обсервационное исследование. В результате него вы сможете выявить связь между хлором и характерным запахом бассейна, но не узнаете, вызывает ли это вещество специфичный запах.
Хлор, смешанный с человеческой мочой, слизью или слюной, дает запах, который удивительно похож на запах общественного бассейна.
Если вы пописаете в одну мензурку из двух, а затем сравните запах, то проведете контролируемый эксперимент. Благодаря ему вы поймете, что хлор и моча приводят к появлению типичного запаха бассейна, однако с ним связаны определенные ограничения (подробнее об этом мы поговорим чуть позже). Следующий слой «торта доказательств» – выявление химических реакций между хлором и мочой (или другими телесными жидкостями), которые приводят к появлению запаха бассейна. Это похоже на то, как выявление химической связи между курением и раком легких добавляет очередной кирпич в Мост истины.
Когда вы в следующий раз увидите заголовок вроде: «ПОТРЕБЛЕНИЕ ГОЛУБИКИ СВЯЗАЛИ СО СНИЖЕНИЕМ РИСКА СМЕРТИ», вспомните все колдобины на пути к подлинной причинно-следственной связи.
Выбоина № 1: обман.
Выбоина № 2: базовые математические ошибки.
Выбоина № 3: случайность.
Выбоина № 4: процедурные проблемы.
Выбоина № 5: манипуляция статистикой, включая Р-хакинг.
Выбоина № 6: спутанные связи.
Выбоина № 7: дизайн (обсервационное vs. рандомизированное контролируемое исследование).
Есть и другие проблемы, но главное, чтобы вы запомнили эти.
Подождите секунду.
Почему вы должны запоминать всю эту ерунду? Разве об этом не должны беспокоиться… другие люди? Поиск всех этих неточностей и ошибок и попытки предсказать их влияние на финальный результат – трудная работа. Было бы здорово, если бы нашлась группа ученых, которая разработала бы систематический способ оценки исследований и помогла вам решить, продолжать есть Cheetos или нет!
К счастью, такой научный коллектив уже есть.