Что делает Р-хакинг таким коварным, так это то, что он очень… приятен. Вы настойчиво копаетесь в информации, пока не найдете ИСТИНУ. Как сказали три психолога в недавно вышедшей статье, «Р-хакинг – это не то, чем занимаются злобные ученые, маниакально смеясь. Это то, что делают доброжелательные исследователи, пытаясь понять иначе несовершенные результаты».
Некоторые скажут, что это больше, чем просто попытка понять результаты. Многие исследователи, с которыми я говорил, возложили часть вины на сильное давление, связанное с публикацией только статистически значимых результатов. Регина Нуццо сформулировала это лучше всех:
Система вознаграждений устроена таким образом, что вам приходится добиваться статистической значимости. Это как достичь оргазма. Похоже, правда? Вам приходится продолжать действовать, пока не достигнете кульминации.
«Но, – добавляет она, – так не должно быть ни в сексе, ни в науке. Значение имеет сам процесс».
Итак, давайте еще раз назовем все выбоины на дороге к подлинной связи.
Выбоина № 1: обман
Выбоина № 2: базовые математические ошибки
Выбоина № 3: процедурные проблемы
Выбоина № 4: случайность
Выбоина № 5: манипуляции статистикой, включая Р-хакинг
Теперь давайте еще раз назовем некоторые пугающие цифры из первой главы.
Все эти связи были выявлены в результате двух больших когортных исследований: одно испанское (SUN), а другое французское (NutriNet-Santé).
Итак, давайте поговорим о выбоинах.
Выбоина № 1: обман
Давайте считать, что лжи не было.
Выбоина № 2: базовые математические ошибки
Также предположим, что в этих исследованиях не было глупых математических ошибок. Возможно, это слишком великодушно с нашей стороны, ведь у нас нет доступа к необработанным данным. Когда в статье говорится «повышение риска на 21 %», нам приходится принимать это за чистую монету и верить, что авторы не хотели на самом деле написать «12 %».
Выбоина № 3: процедурные проблемы
Теперь посмотрим, что именно представляют собой данные. Оба этих крупных когортных исследования по сути являются масштабными опросами.
Главными способами сбора информации являются рассылка бумажных анкет по почте и заполнение участниками эксперимента опросников в интернете. Это значит, что оба испытания опираются на то, что люди точно вспомнят все (и правдиво об этом расскажут): что они ели, беременны ли они, сколько весят, какой у них рост, содержание холестерина в крови и многое другое. В SUN участникам задали 554 вопроса, как только они присоединились к исследованию, а затем еще по 200 каждые два года. Основываясь на том, что мне известно, могу сказать, что практически обо всех изменениях ученым сообщали сами респонденты. Иными словами, ни медсестры, ни врачи, ни исследователи даже не встречались с подавляющим большинством испытуемых, не говоря уже о том, чтобы взять у них кровь на анализ, взвесить или осмотреть. Только некоторых участников обследовали лично, чтобы сравнить результаты с теми, о которых они заявили. Большинство людей просто заполняли анкеты.
Даже если они не лгали и сообщали обо всем на 100 % точно, использованные опросники давали информацию только об ограниченных временных периодах. Данные французского исследования, связавшего потребление ультраобработанных пищевых продуктов с риском преждевременной смерти, были получены от людей, заполнивших в среднем шесть опросников (каждый охватывал 24-часовой период) о питании за два года. Если ученые получали данные от человека, посетившего детский день рождения, то они дико переоценивали потребление испытуемым ультраобработанных пищевых продуктов. Если они получали данные от респондента, который находился в середине программы чистки организма соками, то они сильно недооценивали потребление им ультраобработанных продуктов. Такие ошибки могут сбить вас с пути двумя способами: вы рискуете либо преувеличить, либо преуменьшить риск. Другими словами, это может быть либо ложная тревога, либо вовремя не сработавшая сигнализация.
Такие опросники о питании являются причиной самых оживленных научных дебатов из всех, что я когда-либо видел, но мы вернемся к этому позднее.
Выбоина № 4: случайности
Они могли бы стать фактором, но, как нам уже известно, мы не можем просто посмотреть на Р-значение и понять, вызван ли результат случайностью. Однако есть еще кое-что, что вы можете сделать: расслабьтесь. Отдохните. Успокойтесь. Зачем? Чтобы увидеть, что сделают другие ученые: подтвердят или опровергнут полученный результат. Во время моей работы над книгой вышло еще два исследования, связавших потребление ультраобработанных пищевых продуктов с негативными последствиями для здоровья, одним из которых является преждевременная смерть. Однако говорить об этом еще рано.
Выбоина № 5: манипуляция статистикой, включая Р-хакинг
В ходе крупных проспективных когортных исследований ученые обычно измеряют сотни переменных (рост, вес, группа крови, уровень образования, количество рыбы, съедаемой в сутки, число пакетов Cheetos, потребляемых за день, и так до бесконечности). И во время анализа данных они принимают сотни решений (кого включить, исключить, как долго наблюдать за участниками, какую математическую модель использовать и т. д.). Иными словами, у ученых есть множество вариантов, как организовать эксперимент, и это значит, что Р-хакинг, осознанный или нет, становится гораздо проще. К сожалению, практически невозможно прочитать статью и определить, имела ли место манипуляция данными, если, конечно, профессор не напишет в своем блоге длинный пост, где случайно признается, что заставил студентку прибегнуть к ней. (Да, такое на самом деле было. Загуглите «Брайан Вансинк».)
Двигаемся дальше.
Изучая результаты крупного проспективного когортного исследования, представьте себе следующий сценарий: вы пришли к соседям на барбекю по случаю Дня независимости[127]. Вокруг бургеры, собаки и семьи с детьми-подростками. Хозяева знакомят вас с их дочерью, которая учится на одни пятерки и сейчас проходит летнюю стажировку в крупной компании. Вы думаете: «Ого! Они, должно быть, прекрасные родители!» Но вот в чем проблема: нет никакой гарантии, что все их дети добились успеха. Возможно, у этой девочки есть брат, который, устав от ежегодных вечеринок в честь Дня независимости, сидит в своей комнате, дышит краской и отправляет учителям непристойные фотографии. Иными словами, вы можете видеть только определенный набор переменных и анализ, который привел к «успешной» связи.
Я упомянул метафору о ребенке, нюхающем краску, в разговоре с Брайаном Нозеком, и он очень удивился. К счастью, вместо того чтобы просто повесить трубку, он предложил не менее иллюстративный, но куда менее странный показатель: «Если вы можете сказать заранее: „Вот это я собираюсь сделать. Такой результат я, скорее всего, получу. Это, как мне кажется, произойдет”, тогда я буду впечатлен. Постфактум все кажется уже не таким эффектным».
Давайте рассмотрим конкретный пример.
В исследовании NutriNet-Santé изучалась связь между потреблением ультраобработанных пищевых продуктов и шестью видами рака: простаты, толстой кишки, молочной железы до и после менопаузы и любого другого онкологического заболевания.
Серьезно?
Существует более 100 разных видов рака.
Есть ли связь между потреблением ультраобработанных пищевых продуктов и злокачественной опухолью желудка? Предположим, что авторы проверили эту гипотезу и получили Р-значение 0,35.
А что насчет рака пищевода? Р-значение 0,78.
Рак мозга? Р-значение 0,09.
Рак молочной железы после менопаузы? Р-значение 0,02.
Бинго!
Видите, куда меня это привело? «Вид рака» – это лишь одна переменная. Есть сотни других, как явных, так и скрытых, с которыми исследователи могли бы «поиграть». На самом деле нет ничего ужасного в том, чтобы свести 100 видов онкологических заболеваний к шести или выбрать любую другую переменную. Каждый ученый должен решать, что исследовать. Однако я полагаю, что вы, как читатели, имеете право на гарантию того, что переменные были выбраны до проведения анализа данных, или хотя бы получить предупреждение об обратном.
У ученых эта гарантия называется предварительной регистрацией исследования.
Так вы сообщаете миру, какие именно переменные собираетесь тестировать и как будете анализировать данные, прежде чем зарегистрировать первого участника эксперимента. Если вы просмотрите базу данных предварительной регистрации исследований NIH, то найдете там SUN и NutriNet-Santé.
Ну что, можно поставить галочку?
Нет.
Они оба были «предварительно» зарегистрированы спустя много лет после их начала. Это так работать не должно. Справедливости ради следует отметить, что в начале проведения этих исследований предварительная регистрация не играла большой роли, но она обрела значимость задолго до того, как были опубликованы статьи об ультраобработанных пищевых продуктах. Таким образом, в идеале авторы должны были предварительно зарегистрировать свой план анализа информации, заявив: «Мы хотим проанализировать набор данных, чтобы увидеть, связано ли потребление ультраобработанных пищевых продуктов с лишним весом и ожирением (в случае SUN) или шестью видами рака (NutriNet-Santé), и вот как именно мы собираемся получать результаты». Насколько мне известно, это сделано не было. На самом деле в материалах для предварительной регистрации обоих испытаний ультраобработанная пища вообще не упоминается.
Так что мы в итоге получаем?
Из всех выбоин на дороге к подлинной связи базовые арифметические и процедурные ошибки являются самыми забавными, потому что они не подвергаются никаким сомнениям. По этой причине оплошность в PREDIMED попала в заголовки новостей по всему миру. Однако больше всего меня беспокоит (и заставляет подвергнуть сомнениям страшные цифры из первой главы) Р-хакинг, потому что, ознакомившись с исследованием, нельзя сказать наверняка, что вы видите перед собой: подлинную связь или результат творческой манипуляции.