Рассмотрите [данные] со всех углов. Анализируйте представителей разных полов отдельно. Вводите новые обобщенные показатели. Если что-то свидетельствует в пользу новой гипотезы, попробуйте найти для нее дополнительные подтверждения среди всех имеющихся данных. Если видите слабые намеки на любопытную закономерность, попробуйте реорганизовать данные так, чтобы выявить ее почетче. Если есть участники, которые вам не нравятся, испытания, наблюдатели или интервьюеры, давшие аномальные результаты, – исключите их (временно). Попробуйте выудить что-нибудь – что угодно – интересное.
‹…›
Когда вы закончите анализ, возможно, вы решите, что данные недостаточно убедительны, чтобы строго подтвердить ваши новые взгляды, но теперь вы по крайней мере готовы спланировать “правильное” исследование. ‹…› Или же, наоборот, данные могут оказаться достаточно убедительными для того, чтобы обосновать перестраивание вашей статьи вокруг новых находок и отодвижение на второй план или даже игнорирование исходных гипотез.
‹…›
Представьте свой набор данных драгоценным камнем. Ваша задача – огранить и отполировать его, выбрать грани, которые стоит подчеркнуть…
Такой подход не направлен на поиск правды, но это лишь косвенная улика. Можно ли обосновать, что Бем – настоящий техасский стрелок, а его драгоценные камни – фальшивки? Что он опубликовал результаты не всех экспериментов, а лишь получившихся?
За эту задачу взялся психолог Сэмюел Молтон из Гарвардского университета. Причина его скептицизма проста: в прошлом он был сторонником парапсихологии и ставил похожие эксперименты. Кроме того, он пытался воспроизвести некоторые результаты Бема, но у него ничего не получилось. Всего Молтон провел пять исследований, посвященных предвидению будущего[564].
Еще Молтон и его коллега попробовали обнаружить парапсихологические эффекты с помощью томографа[565]. Они набрали шестнадцать пар добровольцев: идентичных близнецов, влюбленных, друзей, родителей с детьми. Один человек из пары, находясь в томографе, должен был предугадать, какую из двух картинок ему покажут. В каждом тесте одна из потенциальных картинок была эротической либо неприятной, а вторая – нейтральной. Второй человек из пары знал правильный ответ и пытался телепатически его передать. Впрочем, справиться с заданием можно было не только с помощью телепатии. Предвидение будущего или дистанционное зрение (умение увидеть, что происходит в другой комнате) помогли бы не хуже. Так исследователи пытались максимально повысить вероятность успеха.
Испытуемые угадывали картинки с вероятностью 50 %. Исследователям не удалось обнаружить разницы в активности мозга добровольцев при правильных и неправильных ответах. В итоге Молтон окончательно разочаровался в парапсихологии. “Зато томограмма мозга моей матери была опубликована на обложке научного журнала”, – шутил ученый.
Молтон отмечал, что его собственные данные не просто не подтверждали того, что предвидение существует, а достоверно отличались от результатов Бема – и этому должно быть объяснение.
Существует способ проверить, не утаена ли часть данных[566]. Известно, что ученые склонны публиковать успешные результаты исследований независимо от размера использованной выборки. Избавиться от масштабных исследований с отрицательными результатами сложно. Отбрасывают преимущественно неудачные исследования с маленькими выборками. И тогда возникает особенность, которой не должно быть при честном изложении всех результатов: исследования с большой выборкой в среднем показывают меньший эффект, чем исследования с малой выборкой. Именно это Молтон обнаружил в экспериментах Бема. Похожую проблему нашли и другие исследователи[567]. И это не было похоже на случайность.
Есть и другие ситуации, когда наблюдается такая особенность. Предположим, что мы заранее не обозначили, сколько испытуемых будет в эксперименте. Протестировав человек двадцать и не добившись нужного результата, мы привлечем еще двадцать испытуемых, а затем еще и еще – до тех пор, пока не получим нужный результат (p< 0,05). Последствия такого подхода будут те же: чем больше выборка, тем слабее эффект. Результаты Бема в отдельных экспериментах были подозрительно близки к формальному статистическому порогу (p< 0,05), что согласуется с этой версией.
Третий способ всех обмануть – не формулировать четкой гипотезы, предсказывающей, в какую сторону должен проявляться эффект. Какие-то картинки “из будущего” испытуемые предугадывали, а какие-то – нет. Случаи второго типа Бем объяснял так: люди уже видели изображения в будущем, поэтому привыкли к ним и не считают интересными или яркими. Отклонения в обе стороны засчитывались за подтверждение феномена. Вместо того чтобы вычитать разнонаправленные ошибки измерений, он их складывал! А поскольку в маленьких выборках ошибки больше, то и измеренный эффект возрастает. Большинство экспериментов Бема отличаются постановкой, поэтому прямого противоречия не возникает: другие условия – другой результат. Так и хочется спросить: почему же ученый провел столько разных экспериментов, вместо того чтобы повторить один много раз? Ведь любой из описанных Бемом эффектов, будь он подтвержден, тянет по значимости на Нобелевскую премию.
Подчеркну, что перечисленные претензии можно предъявить не только к работе Бема, но и к исследованиям многих других ученых из самых разных областей. Приемы, использующиеся в подобных исследованиях, способствуют получению ложноположительных результатов. Ситуация осложняется еще и тем, что деятельность ученых часто оценивают по числу публикаций – вот почему многие цепляются даже за ненадежные эффекты. Кстати, ошибочная работа, которую многие опровергают, еще и цитируется часто. Поэтому опубликованная ерунда, к сожалению, не всегда вредит академической карьере.
В 2012 году психолог Арина Боунс написала сатирическую статью, где отметила, что в психологии более 97 % публикаций содержат положительные результаты[568]. Разве это не прямое доказательство того, что ученые предвидят исходы своих экспериментов еще лучше, чем испытуемые в исследованиях Бема! “Это делает последующую эмпирическую проверку излишней. Сделал предсказание – и нет никаких логических обоснований тратить ресурсы на реальный сбор данных и их анализ”, – шутит Боунс.
Излишнее стремление исследователей к положительным результатам – действительно очень большая проблема, особенно когда не исключена игра в “техасского стрелка”. Группа статистиков продемонстрировала, что, скрывая часть данных, постепенно увеличивая размер выборки и подгоняя гипотезу под получающиеся результаты, можно доказать все что угодно[569].
В ходе эксперимента ученые оценили возраст двадцати студентов с помощью статистической модели, учитывающей отцовский возраст. Возраст испытуемых после “вмешательства” – прослушивания одной из двух песен – определялся по паспортным данным. Статистический анализ показал, что после прослушивания композиции When I’m Sixty-Four группы “Битлз” студенты “омолодились” примерно на полтора года по сравнению с контрольной группой, слушавшей “Калимбу” – музыку для Windows 7 (p< 0,05).
Авторы признаются, что при таком описании эксперимента скрыт ряд ключевых обстоятельств, знание которых полностью объясняет полученный абсурдный эффект. Во-первых, кажущееся омоложение возникает только благодаря статистической обработке, учитывающей отцовский возраст. Причем авторы пробовали включать в модель не только этот параметр, но и материнский возраст, самочувствие, политические предпочтения, степень согласия с утверждением, что “компьютеры – сложные машины”, и многое другое. Просто с возрастом отца результат получился самым заметным. Песен на самом деле было не две, а три, но с одной из них эффекта не наблюдалось. Статистический анализ проводился после добавления в выборку каждых десяти испытуемых. Все это – множественные степени свободы для исследователя, позволяющие получить желаемый результат. Если ученые будут комбинировать такие приемы, то без труда добьются того, что больше половины их исследований дадут ложноположительные результаты (при стандартном критерии p< 0,05).
В доказательной медицине придумали способ, позволяющий частично избежать изложенных проблем. В некоторых странах, если ученые задумывают клиническое исследование, они заранее формулируют, что и как именно будут изучать, и публикуют свой план задолго до получения данных, например, на сайте https://clinicaltrials.gov. Таким образом, все, кто прочитал статью, где сообщается о результатах исследования, включая ее рецензентов, могут сравнить реальные результаты с запланированными, а еще увидеть и проекты, не дошедшие до публикации. Например, на данный момент, когда я пишу эту книгу, из 62 завершенных зарегистрированных исследований с ключевым словом “гомеопатия” в названии выложены результаты только 11.
Увы, и с обычными лекарствами бывают похожие ситуации, затрудняющие оценку эффективности. Но теперь мы хотя бы лучше понимаем масштабы проблемы. Практика пререгистрации исследований пошла бы на пользу и другим областям науки. Любопытно, что сейчас ее начинают перенимать парапсихологи, опережая по методологии своих коллег из многих дисциплин, считающихся более научными. Однако и без подобных баз данных наука была бы честнее, если бы исследователи рассказывали обо всех проведенных экспериментах, а не только об успешных. Увы, для решения проблемы ложноположительных результатов одним ужесточением порогов при статистической обработке не ограничиться.
Другой способ повысить надежность научных исследований – проводить прямые повторные проверки. Эксперименты Бема вроде бы все про одно и то же – предвидение будущего, – однако заметно различаются в деталях. Такие воспроизведения не прямые – и по-прежнему содержат множественные степени свободы. Если же проводить эксперименты, идентичные предыдущим, и перепроверять уже полученные выводы, подогнать гипотезу под данные будет затруднительно.