Воспроизводимость результатов нужно всячески поощрять. Хотя ее часто считают чем-то само собой разумеющимся, она скорее исключение, чем правило. Подобно текущей воде, очищающей камни, она поможет выделить наиболее надежные открытия, самых талантливых ученых, самые лучшие журналы и самые интересные области. В более широком смысле концепция воспроизводимости является незаменимым инструментом для оценки личного и общественного поведения.
Память окружающей среды и миф о нейтральном наблюдении
ШЕНИ ЖАРДЕН
Научный журналист, партнер, соучредитель и соредактор сайта Boing Boing
Подобно многим людям, перенесшим травму, я не все помню. Некоторые провалы в памяти распространяются на целые годы, другие касаются лишь болезненных эпизодов, которые длятся мгновение, но напоминают о себе десятилетиями.
Такие переживания то вспоминаются, то забываются, потом вспоминаясь через много лет. С возрастом я научилась управляться с памятью и начала осознавать, насколько мои воспоминания отличаются от воспоминаний других людей, живущих рядом со мной.
Все мы запоминаем переживания по-разному. Время и опыт нелинейны, и не существует какого-то одного объективного отчета о каждом прожитом моменте. Люди – невероятно сложные создания из мышц, крови, костей, воздуха и электрических импульсов, передаваемых по нервам. По этим пучкам проводов передается вся актуальная информация. Наша индивидуальность неразрывно связана с окружающей средой: не бывает историй без декораций.
Я из последнего поколения, рожденного до появления Интернета, взрослевшего вместе с этим огромным коллективным разумом. В ходе работы онлайн, каждый день помещая в сеть новую информацию, я поняла, что наша коллективная память о событиях, биографиях и фактах так же путается и изменяется, как и наша личная память.
Постоянно редактируемая «Википедия» заменила бумажную энциклопедию. Болтовня в Twitter вытесняет более формальное общение. Новости, которые мы помним с детства – авторитетный голос на одном из трех каналов, – сегодня заменены на нечто невообразимое, хаотичное и сложно определяемое. Даже формальная история нации может быть переписана после откровений в Wikileaks.
Информация стала более текучей, чем во времена наших прадедов. В сегодняшнем мире, где все взаимосвязано, любое наблюдение, сообщение или пост в Twitter меняют ход истории. Скорость распространения знаний по сети меняет саму природу того, что запоминают, кто это запоминает и как долго информация остается частью общего архива. Фиксированных рамок здесь нет.
Наше понятие о памяти и регистрации событий должно преобразиться соответствующим образом.
Мы создаем живую историю. Давайте найдем новые способы запоминания, новые способы рассказывания историй, которые будут отражать жизнь. Давайте учитывать эту бесконечную сложность при составлении истории.
Давайте пересмотрим смысл понятия «помнить».
Статистически значимая разница в понимании научного процесса
ДАЙАН ХОЛПЕРН
Профессор психологии Клермонтского колледжа
«Статистически значимая разница» – простая фраза, но крайне важное для науки понятие, которое прочно вошло в лексикон образованных людей. Эти три слова передают базовое научное понимание процессов, случайных событий и статистических законов. Данный термин встречается везде, где обсуждают исследования, – в газетных статьях, рекламе «чудодейственных» диет, научных публикациях, лабораторных работах студентов и т. д. Эта условная абстракция отражает последовательность событий, включающих эксперимент (или другие исследования), определение нулевой и альтернативной гипотез, массив (числовых) данных, статистический анализ и вероятность маловероятного результата. И все это выражено в нескольких словах.
Будет сложно понять результат любых исследований, если вы совсем не понимаете, что означает обнаружение (или необнаружение) «статистически значимой разницы». К сожалению, старая поговорка «полузнание хуже незнания» уместна и здесь. Проблема заключается в том, что слово «значимость» в повседневной речи имеет совершенно другое значение, не то, в каком используется при описании результатов исследований.
Обычно это слово значит, что случилось что-то важное. Например, если врач говорит, что после операции вы почувствуете себя значительно лучше, вы справедливо заключите, что ваша боль ощутимо уменьшится. Но в выражении «статистически значимая разница» слово «значимая» означает, что результаты вряд ли объясняются случайностью (если нулевая гипотеза верна), при этом сами результаты необязательно должны быть важными. Более того, иногда вывод оказывается ошибочным, поскольку исследователи могут его подтвердить лишь с определенной долей вероятности. «Статистически значимая разница» – основная концепция исследований и статистики, но как хорошо знают все, кто изучал статистику, эту идею нельзя назвать интуитивно понятной.
Хотя термин «статистически значимая разница» несет кластер важных для науки идей, многие ученые мужи были бы рады удалить его из словаря, потому что его часто понимают неправильно. Этот термин подчеркивает связь науки и теории вероятности, но, несмотря на свою популярность (или вследствие нее), он временами подразумевает то, что подразумевать не должен, и это вводит общество в заблуждение. Даже специалисты часто заблуждаются. Возьмем гипотетический пример: в некоем основательном исследовании сравнивали эффективность двух лекарств по отношению к плацебо. Может получиться следующее: препарат «Х» статистически значимо отличается от плацебо, а препарат «У» – нет. И при этом между препаратами «Х» и «У» статистически значимой разницы нет. Такое возможно, если эффективность «Х» статистически значимо отличается от плацебо с вероятностью р<.04, а эффективность «У» статистически значимо отличается от плацебо лишь с вероятностью р<.06, что выше обычных принятых уровней проверки статистически значимой разницы. Если у вас от этих примеров болит голова, то вы относитесь к большинству, которое полагает, что понимает эту критически важную концепцию, лежащую в сердце научного метода, но на самом деле имеет о ней самое поверхностное представление.
Лучшее понимание связанных с этим термином ловушек сделало бы нас намного умнее. Этот термин подразумевает, что а) результаты могут быть неважными и б) выводы, основанные на наличии или отсутствии статистически значимой разницы, могут быть ошибочными. Использование статистически значимой разницы – основа научного метода, который (со всеми своими ограничениями и недопониманиями) намного превосходит любые альтернативные пути познания мира. Добавив этому понятию пару ключевых концепций, можно намного повысить уровень образованности общества.
Эффект обманебо
БЕАТРИС ГОЛОМБ
Доцент медицинского факультета Университета Калифорнии (Сан-Диего)
Я хочу сказать об «эффекте обманебо» (производное от слов «обманывать» и «плацебо»), то есть о чрезмерно свободном использовании терминов, что затрудняет, а не облегчает понимание вопроса.
В общий лексикон вошли слова и фразы, означающие определенные концепции: бритва Оккама, плацебо, Хоторнский эффект. В принципе такие термины облегчают диалог и делают речь экономнее, так как избавляют от необходимости утомительных описаний принципов и допущений. К сожалению, без необходимости проговаривая условия и допущения, на которые опирается термин, можно неверно оценить, насколько эти условия и допущения в данном случае применимы. И тогда использование термина будет лишь мешать взаимопониманию.
Возьмем, к примеру, «плацебо» и «эффект плацебо». Если разбираться, то, согласно определению, плацебо – это нечто физиологически инертное, что принимающий его человек считает активным. Термин «эффект плацебо» описывает улучшение состояния после приема плацебо – это объясняют эффектом ожидания.
В обыденной речи эффект обманебо, с которым его ассоциируют, присутствует повсеместно. Ключевые предположения, касающиеся плацебо, как правило, оказываются ошибочными.
1. Услышав слово «плацебо», ученые полагают, что речь идет о чем-то «инертном», при этом не задаются вопросом: а что вообще может быть физиологически инертной субстанцией? Действительно, чем такая субстанция может быть в принципе? До сих пор не описано ничего полностью физиологически инертного.
Не существует каких-то установленных правил приготовления плацебо, его состав обычно определяется производителем и, как правило, не описывается. В редких случаях состав плацебо оговаривался, и оно давало явный эффект. В двух исследованиях, посвященных препаратам для снижения уровня холестерина, в качестве плацебо использовали кукурузное и оливковое масло. В одном из них отмечалось, что «неожиданно» низкий уровень сердечных приступов в контрольной группе мог затруднить выявление эффективности изучаемого препарата. В другом заметили, что изучаемый препарат «неожиданно» смягчает желудочно-кишечные симптомы у пациентов со злокачественными новообразованиями. Но у таких пациентов велика вероятность непереносимости лактозы, а плацебо представляло собой лактозу (сахарные пилюли). Когда термин «плацебо» заменили названием реального ингредиента, исчезла необходимость объяснять, как состав контрольного вещества мог повлиять на результаты.
2. Поскольку часто приходится слышать, что плацебо оказывает положительный эффект в самых разных ситуациях (см. п. 3), многие ученые считают, что «эффект плацебо» является широко распространенным и обычным феноменом.
Датские исследователи Асбьорн Хробьяртссон и Пнтер Гётше систематически изучали результаты исследований, в которых сравнивали эффект плацебо и отсутствие всякого воздействия. Они обнаружили, что ничего плацебо не делает. В большинстве случаев никакого «эффекта плацебо» не было. Слабый эффект наблюдался лишь кратковременно при лечении боли и беспокойства. Влияние на боль можно было снять налоксоном (антагонистом опиоидных рецепторов), а значит, в механизмах этого эффекта участвуют эндогенные опиаты.