Приведенный список наверняка неполон, так как он описывает только то, что мы знаем, тогда как в экспериментах мы сталкиваемся с тем, чего не знаем. С каждым годом вероятность опасного физического эксперимента возрастает, так как вводятся в строй все более высокоэнергетичные установки и изобретаются новые способы достижения высоких энергий, а также применения их к объектам, к которым они обычно не применяются в природе. Развитие технологий молекулярного производства и самовоспроизводящихся роботов позволит в будущем создавать гигантские установки в космосе, используя материал астероидов, по цене только первого робота-«семени», то есть практически бесплатно. Это позволит выйти на гораздо более высокие энергии экспериментов – и на новый уровень рисков.
Еще один интересный вариант нового глобального риска предложен в статье «Поведение распада фальшивого вакуума в поздние промежутки времени: возможные последствия для космологии и метастабильных инфляционных состояний»,[58] в русскоязычной прессе пересказанной под броскими заголовками «Астрономы разрушат Вселенную».[59] В ней говорится, что скорость распада квантовых систем зависит от того, наблюдаются они или нет (проверенный факт), а затем это обращается на проблему наблюдения устойчивости Вселенной как целого в связи с проблемой так называемой темной энергии: «Измерив плотность темной энергии, мы вернули ее в начальное состояние, по сути, сбросив отсчет времени. А в этом начальном состоянии вакуум распадается в соответствии с “быстрым” законом, и до критического перехода к “медленному” распаду еще очень далеко. Короче говоря, мы, возможно, лишили Вселенную шансов на выживание, сделав более вероятным ее скорый распад».
Хотя вряд ли этот риск реален, сама идея иллюстрирует возможность того, что новый глобальный риск, связанный с физическими экспериментами, может прийти с самой неожиданной стороны.
Поскольку в экспериментах всегда имеет место доля риска, имело бы смысл отложить наиболее смелые из них до момента создания развитого ИИ. Часть экспериментов имеет смысл делать не на Земле, а далеко в космосе.
В связи с физическими экспериментами встает вопрос о том, в какой мере мы можем доверять ученым, крайне заинтересованным в продолжении своих экспериментов, самостоятельно устанавливать допустимые границы рисков.
В ЦЕРН эта проблема частично решается через создание анонимных экспертных комиссий для оценки рисков. (Однако анонимность делает авторов такого отчета более безответственными.) И если такая комиссия говорит нам, что шанс катастрофы составляет 1 на 100 миллионов, мы можем это понимать как то, что шансы того, что эта комиссия ошибается, составляют 1 на 100 миллионов. Иначе говоря, если бы эта комиссия написала 100 миллионов отчетов по безопасности, то только один из них был бы ложным.
Очевидно, что ни один человек и никакая человеческая институция не могут быть безошибочными в такой степени. Ошибки и подлоги регулярно обнаруживаются даже в опубликованных в самых авторитетных научных журналах статьях, которые, как предполагается, прошли через руки нескольких рецензентов. Особенно этим отравлены области, где результат трудно проверить, а его коммерческое значение велико (например, медицинская статистика).
Я вовсе не утверждаю, что анализ безопасности физических экспериментов выполняется недостоверно, однако небольшую вероятность этого мы должны допускать. И она окажется значительно большей, чем вероятностная оценка, даваемая в самом исследовании. По доле отозванных или опровергнутых статей можно было бы оценить и вероятность наткнуться на достоверную статью. Хотя у меня нет точных цифр, но это никак не 1 к 100 миллионам, а скорее 1 к 1000, или, может быть, даже больше.
Из сказанного следует, что каковы бы ни были оценки безопасности, мы не должны им доверять более, чем на 99,99 процента, что автоматически делает эту величину максимально возможной оценкой безопасности.
Можно проиллюстрировать неприемлемость риска 1 к 100 миллионам и другим образом. Если это риск одного эксперимента, то это еще ничего. Но если бы такой эксперимент мог провести каждый из 6 миллиардов жителей Земли, то это означало бы неизбежную гибель Земли. Таким образом, эта оценка риска бессмысленна, если к ней не добавлено ограничение на число будущих опасных экспериментов.
Глава 16Маловероятные сценарии человеческого вымирания
В то время как одним сценариям вымирания мы можем приписать значительную вероятность, другие имеют шансы в тысячные или даже миллионные доли процента. Не проще ли пренебречь этими сценариями, так как погрешность более вероятных сценариев значительно перекрывает вклад маловероятных? Однако не только соображения «научной честности» могут побудить нас исследовать маловероятные сценарии. Нам нужны твердо обоснованные доказательства их маловероятности.
То, что кажется крайне маловероятным в одной системе описания, может выглядеть вполне реальным в другой. Например, с точки зрения статистики вероятность того, что в два небоскреба в Нью-Йорке одновременно врежутся два самолета – ничтожна. (А именно, примерно 1 раз в 20 миллионов лет, или даже еще реже, если основываться на временном промежутке примерно в 50 лет, отделяющем нас от предыдущей катастрофы такого рода, когда бомбардировщик Б-25 врезался в Эмпайр Стэйт Билдинг 28 июля 1945 года.) Даже в триллере Тома Клэнси «Долг чести» (1994), в котором, как считается, предсказаны события 11 сентября, Капитолий таранит только один самолет (правда, управляемый японцем-камикадзе из членов экипажа, а не из пассажиров).
Наконец, не трудно убедиться, что по большинству катастрофических сценариев нет научного консенсуса, и в некоторых случаях из тысяч исследователей только единицы считают некий сценарий возможным – а их коллеги вообще отказывают этим исследователям в статусе ученых и называют их рассуждения бредом (и часто бывают правы). Рассмотрим несколько гипотетических и маловероятных сценариев катастроф.
То, что нам известно о Солнце, не дает оснований для беспокойства. Солнце не может взорваться. Только наличие неизвестных нам или крайне маловероятных процессов может привести к вспышке (коронарному выбросу), которая сильно опалит Землю в XXI веке.
Изменение светимости Солнца оказывает влияние на изменение климата Земли, что доказывается совпадением времени «малого» ледникового периода в XVII веке с минимумом солнечных пятен Маундера.[60] Возможно, с колебаниями светимости связаны и ледниковые периоды.
Процесс постепенного увеличения светимости солнца (на 10 процентов каждый миллиард лет[61]) приведет к выкипанию океанов – с учетом других факторов потепления – в течение миллиарда лет[62] (то есть гораздо раньше, чем Солнце станет красным гигантом, и тем более белым карликом). Однако по сравнению с исследуемым нами промежутком в 100 лет этот процесс незначителен (если только он не будет проходить одовременно с другими процессами, ведущими к необратимому глобальному потеплению – см. далее).
Есть предположения, что по мере выгорания водорода в центральной части Солнца, что уже происходит, будет расти не только светимость нашей звезды (светимость растет за счет роста ее размеров, а не температуры поверхности), но и нестабильность ее «горения».
Уменьшение концентрации водорода в центре Солнца может спровоцировать конвекцию, в результате чего в ядро поступит свежий водород[63] (обычно такого не происходит). Возможен ли такой процесс, будет ли он плавным или катастрофическим, займет ли годы или миллионы лет – трудно сказать. Шкловский предполагал,[64] что в результате конвекций температура Солнца падает каждые 200 миллионов лет на период порядка 10 миллионов лет и что мы живем в середине такого периода. То есть опасно завершение этого процесса, когда свежее топливо наконец поступит в ядро и светимость Солнца возрастет. (Однако это маргинальная теория, и в настоящий момент разрешена одна из основных проблем, которые ее породили, – проблема солнечных нейтрино.)
Важно, однако, подчеркнуть, что как сверхновая или новая звезда Солнце, исходя из наших физических представлений, вспыхнуть не может.
Вместе с тем, чтобы прервать разумную жизнь на Земле, Солнцу достаточно разогреться на 10 процентов за 100 лет (что повысило бы температуру на Земле на 10–20 градусов без парникового эффекта, а с учетом парникового эффекта, скорее всего, температура оказалась бы выше критического порога необратимого потепления).
Итак, один из вариантов глобальной катастрофы заключается в том, что в результате внутренних процессов светимость Солнца устойчиво возрастет на опасную величину (и мы знаем, что рано или поздно это произойдет). В настоящий момент Солнце находится на восходящем вековом тренде своей активности, но никаких особых аномалий в его поведении замечено не было. Вероятность того, что это случится именно в XXI веке, – ничтожно мала.
Второй вариант глобальной катастрофы, связанной с Солнцем, состоит в том, что одновременно произойдут два маловероятных события – очень крупная вспышка на Солнце и ее выброс в направлении Земли. Можно предположить, что в распределении вероятности такого события действует тот же эмпирический закон, что и относительно землетрясений и вулканов: 20-кратный рост энергии события приводит к 10-кратному снижению его вероятности (закон повторяемости Гутенберга – Рихтера).
В XIX веке наблюдалась вспышка, в 5 раз более сильная, чем самая сильная вспышка в XX веке. Возможно, что один раз в десятки и сотни тысяч лет на Солнце происходят вспышки, аналогичные по редкости и масштабности земным извержениям супервулканов. Но все же это крайне редкие события. Крупные солнечные вспышки, даже если они не будут направлены в сторону Земли, могут увеличить солнечную светимость и привести к дополнительному нагреву Земли. (Обычные вспышки дают вклад не более 0,1 процента.)