себя наилучшим образом.
Повторяемость – это гарантияАдам Элтер
Психолог; доцент маркетинга, Школа бизнеса Стерна, Нью-Йоркский университет; автор книги Drunk Tank Pink: And Other Unexpected Forces That Shape How We Think, Feel, and Behave («Розовый вытрезвитель и другие необычные силы, которые определяют, как мы мыслим, чувствуем и действуем»).
В 1984 году штат Нью-Йорк стал первым штатом, в котором появился закон об обязательном использовании ремней безопасности. Большинство остальных штатов приветствовали это нововведение и приняли аналогичные законы в 1980-е и 1990-е годы, однако небольшая группа исследователей обратила внимание на то, что ремни безопасности провоцируют водителей, довольно парадоксальным образом, ездить менее осторожно. Люди ездили безопасно, поскольку боялись серьезных травм в результате аварии; а если ремни безопасности снижают риск серьезной травмы, то одновременно они снижают и мотивацию к безопасному вождению.
Существует опасность того, что ученые, занимающиеся социальными науками, слишком сильно полагаются на концепцию повторяемости эксперимента – точно так же как лихие водители слишком полагаются на ремни безопасности. Когда мы проверяем новую гипотезу, мы обычно допускаем, что примерно 1 результат из 20 будет случайным. Если мы повторим тот же эксперимент 2–3 раза и результаты будут воспроизведены, мы можем более надежно предположить, что изначальный результат был верен. Студентов учат тому, что ошибки теории со временем выявляются в процессе повторения эксперимента – неубедительные результаты будут отсеиваться в ходе тщательной эмпирической проверки, и поэтому в конце концов у нас останутся лишь надежные и воспроизводимые результаты. К сожалению, эта крайне привлекательная теория не выдерживает испытания на практике.
Как намекает пример с ремнями безопасности, проблема возникает, когда исследователи ведут себя слишком небрежно из-за того, что чрезмерно полагаются на воспроизводимость. Каждый новый эксперимент становится все менее ценным и все менее «окончательным», а мы, вместо того чтобы поставить себе целью проведение одного, но максимально чистого и информативного опыта, предпочитаем провести множество экспериментов, не продуманных до конца.
Аналогичным образом издатели научных журналов склонны публиковать даже спорные результаты нового исследования, поскольку рассчитывают, что другие исследователи займутся проверкой их подлинности. Однако в реальности проверке подвергается лишь небольшая выборка выводов, поскольку в сложившейся научной практике слава приходит к тем, кто создает что-то новое, а не перепроверяет старое. С учетом того, что время и ресурсы ограничены, исследователи склонны концентрироваться на выдвижении новых идей, а не проверке старых. В научном мире обращаются тысячи предварительных выводов, однако сравнительно малая их доля подвергается перепроверке и переосмыслению.
Поскольку мы не видим, насколько часто выводы оказываются ложными, нам сложно отличить надежные результаты от чистой случайности. И это приводит к серьезным последствиям. Наше чрезмерное увлечение принципом повторяемости – согласно которому исследователь рано или поздно сможет отсеять неточности и ошибки – означает, что мы переоцениваем надежность множества выводов, которые в действительности требуют дополнительного изучения. Повторяемость – это критически важный компонент научного процесса, однако мы должны отказаться от иллюзии, согласно которой этот компонент может быть универсальным противоядием от ошибочных результатов.
Научная литератураБрайан Кристиан
Автор книги The Most Human Human: What Artificial Intelligence Teaches Us About Being Alive («Самый человечный из людей: что искусственный интеллект может рассказать нам о жизни»).
Пожалуй, самым устаревшим явлением в мире науки можно считать сам метод, с помощью которого мы структурируем и организуем научное знание. Научная литература, даже в эпоху интернета, представляет собой реликт прежней эпохи, в основе которой лежала статичная, безотзывная публикация, похожая на зубную пасту, которую невозможно загнать обратно в тюбик. Индустрия программного обеспечения давно уже перешла от каскадного процесса (waterfall process) – единовременных монолитных релизов новых программ, которые концентрировались на дисках на огромных складах, а затем доставлялись покупателям, – к гибкой методологии разработки (agile process), когда пользователю в любой момент доступны онлайн любые обновления и исправления. Так и научным изданиям следует отказаться от архаичной модели, основанной на пассивном чтении, и взять на вооружение новые процессы, такие же динамичные, оперативные и предполагающие сотрудничество, как сама наука.
Меня не перестает поражать, насколько плохо научная литература готова к корректировке опубликованных результатов, – не говоря уже о такой более деликатной вещи, как их полный пересмотр. Например, даже в тех случаях, когда редакторы и авторы журналов полностью отзывают научную работу, она остается в доступе на сайте журнала, причем без какого-либо указания на то, что она была отозвана из печатного издания. Поправки, которые они считают необходимыми, делают сами же авторы и утверждают те же редакторы (представьте себе, что Управление по контролю за продуктами и лекарствами США позволило бы производителю лекарств продолжать производство заведомо вредного препарата, обязав его всего лишь напечатать предупредительную наклейку – но не обязав при этом поместить предупреждение на упаковке!).
Более тонкий вопрос состоит в том, как и каким образом отслеживать исследования, зависящие от дискредитированного исследования (не говоря уже о дальнейших исследованиях, которые зависят от этих…). Очевидный – хотя и недостаточный – ответ: цитаты. В научных журналах каждая ссылка повышает важность цитируемой работы, вне зависимости от того, подтверждаются ли результаты этой работы или ставятся под сомнение; даже теории, которые по большей части служат «мальчиками для битья» в научном мире, дифференцируются в зависимости от того, насколько они достойны (или недостойны) этого звания. Однако научная литература не делает никакого различия между цитатой из работы, считающейся просто важной, и из той, которая к тому же оказалась верной. Научной литературе необходимо научиться рассматривать цитаты не просто как выражение признательности или неприязни. Ей нужно освоить подход, который программисты используют уже в течение нескольких десятилетий, – управление цепочками зависимостей (depen-dency management).
Схема зависимостей сможет сразу же показать нам, какие из основ той или иной научной теории действительно поддерживают ее на плаву. Мы сможем с помощью одного щелчка мыши увидеть, какие новые теории развиваются, опираясь на изначальную. К примеру, достойные внимания научные издания могли бы указывать не только на то, что данная статья отозвана (чего они, впрочем, сейчас почти не делают, и это, конечно, совершенно непростительно), но и на статьи, которые в существенных своих выводах опираются на результаты отозванной работы.
Академические издания, которые хотят не зря есть свой хлеб, могли бы позаимствовать из области разработки программного обеспечения еще один метод – управление версиями (revision control). Репозитории (хранилища) данных, используемые в системах управления версиями (одна из таких систем лежит, например, в основе «Википедии»), представляют собой живые, динамические документы, открытые не только для проверки, критики и тестирования, но и для модификаций. Участники крайне популярного сообщества GitHub, построенного на открытом коде и системе управления версиями Git, могут создавать «запросы» (issues), привлекающие внимание к определенной проблеме и ожидающие ответной реакции автора обсуждаемого материала.
Кроме того, пользователи могут предлагать собственные варианты ответов и новые изменения и даже создавать «ветки» внутри репозитория, если хотят развивать свою собственную версию проекта и двигать его в новом направлении (иногда такие ответвления оказываются интересными лишь для узкой, нишевой аудитории, а иногда успешно перетягивают пользователей от основного «ствола» сообщества; а бывает и так, что два направления обсуждений успешно сосуществуют, расходятся все дальше или, напротив, объединяются). Это одновременно и диктатура, и демократия; лидеры сообщества ставят цели и предлагают ви́дение, полностью контролируют происходящее и принимают окончательные решения – при этом у каждого пользователя есть право пожаловаться или предложить изменения. Разумеется, пользователь имеет право взбунтоваться или просто тихонько упаковать свои вещи и основать новое государство где-то по соседству.
Отзывы, ограниченные вариантами «принять» или «отвергнуть» (или в лучшем случае еще «пересмотреть и подать заново»), представляют собой анахронизм, реликт ушедшей эпохи. Система рецензий, со всей присущей ей анонимностью и бюрократией, вполне созрела для пересмотра. Закрытый и анонимный процесс рецензирования может быть заменен чем-то, скажем, более похожим на бета-версии программ или сайтов. Статья не должна пребывать в закрытом (по крайней мере для других исследователей) режиме в течение нескольких месяцев, пока ее не изучат несколько избранных рецензентов. Это позволит избежать ситуации, в которой рецензенты могут сознательно задержать публикацию статьи на несколько месяцев. Автору (или авторам) не придется благодарить «анонимных читателей, заметивших ошибки и поделившихся своими важными замечаниями» – все выявленные в ходе рецензирования ошибки будут исправлены, и эти исправления (с указанием их авторства) будут включены в статью.
Мне кажутся весьма многообещающими некоторые из нынешних проявлений грядущей революции. Так, в среде ученых получают все большее хождение «рабочие документы» (или «статьи для служебного пользования»,