Это еще одна причина разногласий между Уиллеттом и Иоаннидисом. Первый сказал бы, что математические методы, используемые для корректировки этих переменных, надежны и что компетентные исследователи могут получить с их помощью результаты, заслуживающие доверия. Второй возразил бы, что это так лишь в тех случаях, когда речь идет об огромных рисках в районе 1000 %, однако это не имеет отношения к меньшим, например 14-процентному повышению риска смерти, связанному с потреблением ультраобработанных продуктов. Признаюсь, в этом я согласен с Иоаннидисом.
Иоаннидис утверждает, что выяснить, какие переменные сидят на водительском месте, практически невозможно без проведения рандомизированных контролируемых испытаний.
Уиллетт парирует, что хорошо проведенные обсервационные исследования могут приспособиться к спутанным переменным достаточно хорошо, чтобы позволить делать публичные заявления о здоровье.
Мы завершили наш тур по периферии кроличьей норы. Я упростил аргументы и состав персонажей. За каждым человеком, Иоаннидисом и Уиллеттом, стоят другие. На каждый аргумент есть контраргумент. За этими контраргументами есть другие встречные доводы. Глубина кроличьей норы равна для вас глубине, на которую вы готовы опуститься, и на дне, скорее всего, найдутся только гордыня и страх.
Помните Шляпу мерзавца, которую мы впервые надели в седьмой главе? Носить ее, несомненно, весело, но в какой-то момент приходит пора сменить ее на каску и начать решать проблемы, вместо того чтобы просто указывать на них. Ученым нравится искать варианты, поэтому недостатка потенциальных решений не наблюдается.
Давайте рассмотрим их (очень быстро).
Самым драматичным и горячо обсуждаемым выходом является сокращение числа обсервационных исследований и перенаправление средств на масштабные рандомизированные контролируемые испытания. Вы можете догадаться, кто стоит в авангарде этой позиции, а кто яростно выступает против нее. Как бы цинично это ни звучало, я думаю, что этот конфликт будет разрешен только тогда, когда кто-то уйдет на пенсию первым… или получит право распоряжаться средствами Национальных институтов здоровья.
Что насчет проблемы Р-хакинга?
Один из вариантов ее решения – сделать то же, что и Кевин Холл: раздать поручения и предварительно зарегистрировать исследование, особенно план анализа данных. Другой выход – показать свою работу. Не просто кратко пересказать основные моменты, а подробно описать каждый шаг. Брайан Нозек неоднократно упоминал об этом в нашем разговоре. Он сказал, что это важнее предварительной регистрации:
Я лишь хочу, чтобы люди показывали, как пришли к выводам, независимо от того, каким образом они действовали. Путем проб и ошибок, следуя предварительно зарегистрированному плану, проводя разносторонний анализ – неважно, просто покажите свою работу с момента зарождения идеи до получения результатов.
Показывая в деталях, как вы сделали что-то, нужно продемонстрировать необработанные данные (анонимные, разумеется) и код, который использовался для их анализа. Одни исследователи воспринимают это нетерпимо, а другие относятся к этому нормально. Если бы вы, например, хотели загрузить и повторно проанализировать все необработанные данные, полученные в ходе исследования Кевина Холла, посвященного ультраобработанным пищевым продуктам, то вы могли бы это сделать[145]. Если бы Уолтер Уиллетт намеревался найти слабые стороны исследования, он мог бы загрузить необработанные данные. А если бы Джон Иоаннидис желал указать на слабые стороны анализа, проведенного Уиллеттом, то и он мог бы скачать их и выполнить задуманное. Даже если бы случайная третья сторона преследовала цель залатать одни дыры в эксперименте и пробить другие, то она тоже могла бы это сделать, используя все ту же общедоступную информацию. Что-то подобное уже происходит, и я считаю, что это замечательно. Я на 100 % поддерживаю полный и открытый обмен знаниями.
Другое решение проблемы Р-хакинга – это создание так называемой кривой спецификации. Чтобы понять, как это работает, давайте сначала рассмотрим рецепт печенья с шоколадной крошкой. Даже имея фиксированный и неизменный список ингредиентов, вы можете проявлять гибкость, комбинируя их при приготовлении десерта. Вы можете точно следовать рецепту, но также можно менять многие вещи. Так, вы можете увеличить температуру в духовке на 15 °C; подождать, пока масло нагреется до комнатной температуры, прежде чем размять его, или не делать этого; положить тесто в морозилку на 20 минут, прежде чем поставить печенье в духовку; или посыпать солью каждый кусочек в отдельности, вместо того чтобы добавить ее в тесто. Возможности безграничны. То же самое касается исследований: даже при наличии одинаковых данных (ингредиентов) есть множество разных методов анализа этой информации, и от выбранного способа зависит конечный результат (печенье). Отчасти именно это делает Р-хакинг возможным.
В большинстве случаев ученые просто выбирают тот метод анализа данных, который кажется им лучшим. Проблема в том, что не все считают его таким. В этот момент на сцену выходит кривая спецификации. Ее цель – следовать ВСЕМ ВАРИАЦИЯМ РЕЦЕПТА. Таким образом, вместо одной партии печенья вы делаете сотни, систематически меняя каждую возможную переменную и наблюдая, как это влияет на вкус. В науке происходит то же самое: вы заставляете компьютер обрабатывать данные всеми возможными способами и наблюдаете, что получится. Если результаты получаются примерно одинаковыми, независимо от метода обработки данных, то вы можете быть уверены, что находитесь на правильном пути. Но если изменение способа анализа данных приводит к тому, что результаты получаются совершенно разными, то, возможно, они не соответствуют действительности.
В большинстве случаев ученые выбирают тот метод анализа данных, который кажется им лучшим.
Некоторые решения проблемы имеют отношение не столько к науке, сколько к здравому смыслу.
Если ваша реакция на разногласия между Уиллеттом и Иоаннидисом была такой: «Как могут два невероятно умных человека так оживленно спорить из-за того, что кажется таким… математическим?» – то вы не одиноки. Я тоже так думал. В конце концов, это спор не о морали, эмоциях или политике, а о цифрах и философии. Он связан с природой истины. По этой причине я ожидал, что одна сторона в итоге сложит метафорическое оружие и согласится с другой, основываясь на имеющихся данных.
Очевидно, я был слишком наивен.
Поговорив со множеством эпидемиологов, я обессилел. Один из них прекрасно подытожил, насколько воинствующе настроены противоборствующие стороны: «Я знаю Уолта 35 лет. Все это время мы спорим друг с другом».
Но затем я натолкнулся на то, что кардинально изменило мою точку зрения: так называемое состязательное сотрудничество. Оно подразумевает совместную работу двух людей, которые категорически не согласны друг с другом. Это не похоже на взаимодействие демократов и республиканцев, потому что последним обычно приходится на время забывать о разногласиях по конкретному вопросу (налоги) для совместной работы над менее спорным вопросом (строительство дорог). В науке состязательное сотрудничество подразумевает совместную разработку той самой темы, которая вызывает разногласия у ученых. Иными словами, Уиллетт и Иоаннидис могли бы вместе работать в сфере питания и здоровья. У вас может возникнуть логичный вопрос: разве это не было бы похоже на сотрудничество католической церкви с атеистами?
Нет, и вот почему.
Иоаннидис и Уиллетт спорят по многим вопросам, однако они оба согласны с тем, что питание и образ жизни в целом значимы, достойны исследования и важны для здоровья. И этого может быть достаточно для состязательного сотрудничества.
Теперь позвольте мне сказать нечто очевидное: работать вместе сложно. Вражда между учеными может разгореться очень быстро, и обеим сторонам приходится забывать о гордости, чтобы продуктивно работать вместе. Тем не менее это возможно, и, по моему мнению, такая кооперация имеет несколько важных преимуществ. Во-первых, вы действительно можете чему-то научиться. Во-вторых, вы можете чему-то научить своего противника. В-третьих, если вы и ваш противник являетесь соавторами одной статьи, то, когда она будет опубликована, он не станет ее критиковать.
Вполне возможно, что сотрудничество приведет лишь к появлению текста, в котором излагаются разногласия, мнения обеих сторон и эксперименты, которые могли бы разрешить спор. Тем не менее даже это было бы очень ценно. Почему? Ну, многие споры между учеными звучат примерно так:
– Ты сказал Х.
– Нет, я сказал Y.
– Я отчетливо помню, что читал Х в твоей статье.
– Ты действительно читал ее? Я четко написал там Y.
– Если бы ты меньше важничал и уделял больше внимания синтаксису, то я смог бы расшифровать то, что ты написал, без помощи «Энигмы»[146]…
Разумеется, эти споры продолжаются много лет в форме враждебных писем в редакцию. Пока я пишу это, Уиллетт, Иоаннидис и ряд других ученых активно спорят из-за смысла одного предложения о 12 орехах. Таким образом, даже если бы враждующие стороны просто встретились в одной комнате и пришли к соглашению, то это было бы большим прогрессом.
Когда я разговаривал с Иоаннидисом и Уиллеттом по телефону, я спросил, хотят ли они поработать друг с другом. И они оба ответили да! В некотором смысле. Один из них предложил это еще до меня, а второй сказал: «Это возможно». По сравнению с политиками эти ученые гораздо более миролюбиво настроены. Надеюсь, что они найдут способ поработать вместе. Это пойдет на пользу всем нам.
Если бы это была книга Малкольма Гладуэлла, то сейчас вы прочли бы резкий упрек в адрес науки в целом. Он бы использовал историю об исследователе, изучающем соус для спагетти, чтобы подчеркнуть, что ни единому слову ученых нельзя доверять. И вы даже можете решить, что он прав: в конце концов, я только что рассказал вам об огромном количестве глупых ошибок, манипуляциях статистикой и остальном, что спрятано между священных страниц научных журналов. И да, нет сомнений, что все это – бородавки на теле науки. Однако видимые проблемы лучше