Одна из самых распространенных когнитивных ошибок — это confrmation bias, склонность искать материалы, подтверждающие собственную точку зрения, и игнорировать все остальные. Разумеется, я не готова поклясться на «Происхождении видов…», что я ни разу за все время написания книжки не стала жертвой этого явления. Тем не менее с помощью научных исследований проблематично доказать что-то совсем антинаучное. В этом вся прелесть. У меня в книжке есть несколько мест, где я писала о вещах, подтвержденных научными исследованиями, несмотря на то, что мне они совершенно не нравятся. Я бы, например, с удовольствием попыталась вас убедить, что есть мясо абсолютно необходимо для здоровья, потому что у меня есть личное скептическое отношение к вегетарианцам. Но увы! Я нашла множество исследований, противоречащих этой точке зрения, и поэтому у меня не было права ее высказывать.
Я убеждена, что мир был бы гораздо лучше, если бы подкрепление любых своих утверждений ссылками на научные исследования превратилось бы в общепринятую норму, в золотой стандарт во время любого холивара. Чтобы любой человек, делающий громкие заявления, немедленно сталкивался бы с вежливой просьбой подкрепить их ссылками на авторитетные источники — и чтобы никто из читателей не воспринимал его слова всерьез в случае неспособности это сделать. Для этого нужно, чтобы как можно больше людей понимало, чем в принципе отличаются научные источники от ненаучных и как эти научные источники искать.
Если совсем коротко, то разница в том, что в научном журнале гораздо сложнее опубликовать ерунду. Если я напишу текст о том, что держать дома ежиков опасно, потому что это вызывает бронхиальную астму, и попытаюсь пристроить его в научно-популярный журнал (или в собственную книжку), то редактор, конечно, удивится. Посмотрит в Википедию, увидит, что там в статье про астму среди факторов риска ежики не упоминаются. Спросит меня, откуда я вообще это взяла. На этом месте я сделаю умный вид и скажу, например: «Мне рассказал об этом ученый Джон Смит в частной беседе!» Если редактор очень въедливый и очень дорожит репутацией журнала (или издательства), то он, конечно, все равно скажет, что часть про ежиков надо выкинуть, раз уж я не могу сослаться на нормальный источник (хотя бы на опубликованную статью того же Джона Смита). Но если у редактора на этой неделе еще десять таких же психов, как и я, и при этом он понимает, что мой текст важен, потому что иначе пустая полоса в журнале подвисает, да и вообще меня читают хорошо, — то он плюнет и опубликует статью вместе с ежиком и астмой, небезосновательно полагая, что это мои личные репутационные риски. А вот в научный журнал мне с моими ежиками соваться бессмысленно изначально и было бы бессмысленно, даже если бы я была профессором Гарварда. Редактор научного журнала (как правило, профессиональный ученый) в принципе согласится со мной разговаривать о ежиках, только если в статье будет описано проведенное исследование или ссылка на данные, которые уже были опубликованы в научном журнале. Допустим, мы с коллегами провели исследования и наша статья состоит из двух частей. Во-первых, мы сравнили 1000 владельцев ежиков с 1000 свободных от ежиков людей и обнаружили, что в первой группе за время содержания ежиков заболели астмой 246 человек, а во второй группе за аналогичное время только 100 человек. Во-вторых, мы идентифицировали в кожных выделениях ежиков мелкодисперсный компонент, который назвали ежикастмином, и установили, что в концентрации 2 мг на литр выпитой воды он повышает вероятность развития астмы у подопытных крыс на 146%. Однако тот факт, что редактор согласится со мной и моими коллегами разговаривать, еще не означает, что статья будет опубликована. Потому что научные журналы — это рецензируемые журналы. Любую статью, которая туда поступает и не была отвергнута на первом этапе, редактор отправляет рецензентам. В этой роли выступают ученые, которые занимаются исследованиями в близких областях, — в данном случае это может быть, например, специалист по влиянию домашних животных на развитие астмы и специалист по кожным выделениям ежиков. Первый скажет: «Видовая принадлежность животных тут вообще ни при чем, просто любые звери наводят беспорядок и поднимают в воздух тонны пыли, которая может усугублять течение астмы». Второй скажет: «Этот ваш ежикастмин, судя по описанию, не что иное, как фрагменты иголок, как вы вообще додумались их в воду добавлять?» Статью с такими замечаниями не опубликуют, в лучшем случае отправят на доработку: сравнивать владельцев ежиков с владельцами других домашних животных и пробовать поить крыс водой с примесью любых других маленьких твердых частиц, а заодно доказывать, что в результате совместной жизни человека с ежом эти частицы в принципе попадают в питьевую воду. Другими словами — ставить эксперименты не так, чтобы доказать гипотезу, которая нам нравится, а так, чтобы честно попытаться ее опровергнуть и судить о ее перспективах по успеху этого мероприятия.
Разумеется, система рецензирования не дает абсолютной гарантии, что в журнал никогда не просочится ерунда. Такое исследование может показаться рецензентам вполне корректным, и они его пропустят. Дальше есть два варианта: если это мелкое и неважное исследование (или исследование, чьи результаты хорошо согласуются с уже известными данными), то на этом история и закончится. Но если исследование яркое и удивительное, то после его выхода приключения только начинаются.
Во-первых, до публикации описание эксперимента прочитали всего лишь два-три специалиста (авторам работы, впрочем, в большинстве случаев не сообщают их имена, так что найти и подкупить их невозможно), а вот после публикации исследование будут читать сотни ученых, работающих в той же области. Они не поленятся написать в редакцию, если увидят в статье грубые методологические ошибки, нарушение правил статистической обработки данных или еще какие-то проблемы. Лавина обоснованной критики может привести и к отзыву статьи, причем относительно быстрому, в течение года-двух. Это означает, что статья сохраняется на сайте журнала, но перечеркнута яркой надписью RETRACTED и где-то рядом есть ссылка на пояснение: что случилось и почему уже опубликованную статью признали недостоверной. Так произошло, например, со статьей Сералини про то, что генетически модифицированная кукуруза якобы вызывает опухоли у крыс (см. соответствующую главу). А могут не отозвать статью, но дополнить ее страницу на сайте журнала ссылками на критические разборы экспертов, чтобы все читатели знали, почему к этим данным следует относиться с осторожностью. Во-вторых, многие научные группы, заинтересованные в той же тематике, попытаются воспроизвести результаты исследователей-первопроходцев. Они будут ставить такие же эксперименты; будут ставить похожие эксперименты с изменениями в деталях; будут искать взаимосвязь между ежиками и астмой какими-то альтернативными методами. Если будет проведено множество тщательных исследований на больших выборках и ни у кого не получится найти никакой связи даже близко (и кроме того, будут существовать сомнения в том, что первоначальная работа была выполнена корректно), это может привести к тому, что журнал отзовет статью уже лет через десять после публикации — так произошло с исследованием Уэйкфилда про связь между прививками и аутизмом (эта история тоже есть у меня в книжке). Наконец, возможна ситуация, когда в разных исследованиях одной и той же проблемы получились не вполне совпадающие или даже противоречащие друг другу результаты. Это довольно часто бывает — мало ли у кого какие мелкие отличия в выборках и методиках. Здесь спасают систематические обзоры и метаанализы — работы, авторы которых собирают в кучу 50 исследований одной и той же проблемы и формулируют общие выводы. Это практически всегда более достоверный источник, чем любая отдельно взятая исследовательская работа.
Важно осознавать, что именно публикация в рецензируемом журнале — это элементарная единица нового научного знания. Абсолютно все остальные формы представления информации менее надежны. Официальные отчеты всяких серьезных организаций типа ООН — это ценнейший источник статистических данных, но даже при их чтении стоит держать в голове, что выводы рождены внутри организации под влиянием ее политики и не верифицировались независимыми исследователями. В университетском учебнике автор может недостаточно четко провести границу между тем, что доказано в лабораторных экспериментах, и тем, что просто выглядит логичным, а рецензенты учебника могут быть его друзьями и смотреть на лирические отступления сквозь пальцы (конечно, когда там нет чего-то откровенно сомнительного). В выступлении на конференции ученый может акцентировать яркие стороны своего исследования и умолчать о тех серьезных проблемах, с которыми столкнулся. В интервью он тем более может запросто это сделать. Полет фантазии научного журналиста не сдерживает ничто, кроме опасений за профессиональную репутацию (она трудно и долго формируется, легко разрушается и очень сильно влияет на карьерные перспективы). У обычного журналиста, который берется писать о науке, нет и этого: количество кликов и перепостов, как правило, интересует его редактора гораздо сильнее, чем достоверность опубликованной информации. То есть существует некая иерархия источников по степени достоверности, в которой статьи в рецензируемых журналах стоят особняком, на первом месте, с большим отрывом от любых других типов публикаций. И по-хорошему любой приличный человек, который хочет не просто поругаться в интернете, но и разобраться в том, как все устроено, должен ссылаться в первую очередь на них.
А теперь у меня для вас очень плохая новость. Я не могу предложить универсального критерия демаркации, абсолютно точного способа отличать надежную научную публикацию от ненадежной, такого, чтобы он никогда не приносил ни ложноположительных, ни ложноотрицательных результатов. Существуют хорошие научные журналы, существуют ненаучные журналы, и существует серая зона — журналы, которые выглядят как научные, относятся к категории научных по ряду формальных признаков, но в которые при этом можно пропихнуть сомнительное, недостоверное, невоспроизводимое исследование. Человек со стороны никогда не может быть полностью уверен в том, что публикация качественная, и редко может быть полностью уверен в том, что она некачественная. Есть, впрочем, ряд критериев, которые существенно повышают вероятность того или иного исхода.