Хотя политическая оппозиция пока что предотвращала полномасштабное применение подобных систем, мы, люди, прямо движемся к построению именно той инфраструктуры, которая так пригодится окончательной диктатуре, так что в будущем, когда достаточно могущественные силы решат, что настало время запустить сценарий «1984», окажется, что им и делать-то для этого ничего не нужно — просто щелкнуть выключателем. Точно так же, как было описано Джорджем Оруэллом в его «1984», окончательная власть в этом будущем глобальном государстве будет сосредоточена не в руках какого-то традиционного диктатора — она окажется под контролем построенной людьми бюрократической системы в целом. Здесь нет единичной фигуры, обладающей исключительной властью; здесь все только пешки в шахматной партии, драконовские правила которой никто не может ни изменить, ни опротестовать. Созданная система, где люди держат друг друга под постоянным наблюдением с помощью современных технологий слежки, это безликое, лишенное явного лидера государство может сохранять устойчивость тысячелетиями, освободив Землю от возможности создания сверхразума.
У такого общества, естественно, не будет никаких преимуществ из тех, что даются исключительно технологиями искусственного интеллекта. Большинство людей не будут от этого страдать, потому что никогда не узнают, чего именно лишились. Сама идея сверхразума будет удалена из всех официальных записей, а исследовательские работы в этой области запрещены. Время от времени будут появляться вольнодумцы, мечтающие о более открытом и динамичном обществе, в котором знания будут прирастать, а правила изменяться. Но хоть сколько-нибудь долго смогут продержаться лишь те из них, кто быстро научится держать все эти мысли исключительно при себе, мерцая в кромешной тьме как одиночные искры, не способные зажечь никакого пламени.
Возврат
Разве не соблазнительно было бы избежать технологических опасностей, но в то же время не проваливаться в стагнирующий тоталитаризм? Давайте, вдохновленные примером Амиша, исследуем сценарий, в котором это достигается благодаря возврату к примитивным технологиям. Вскоре после того, как «омеги» захватили власть над миром, следуя сценарию, описанному нами в начале книги, ими была запущена массированная пропагандистская кампания, романтизирующая простую деревенскую жизнь, как 1500 лет назад. Население Земли сократилось примерно до 100 миллионов в результате искусственной пандемии, в возникновении которой обвинили террористов. Пандемия была секретно таргетирована таким образом, что не выжил никто из людей, разбирающихся в науке или технике. Под предлогом исключения опасности заражения в местах большого скопления людей контролируемые Прометеем роботы опустошили и разрушили все города. Выжившим выделили огромные наделы земли, внезапно оказавшейся свободной, и обучили методам рационального ведения хозяйства, охоте и рыболовству — с использованием технологий исключительно раннего средневековья. В это время армии роботов поспешно удаляли все следы современных технологий, включая города, заводы, линии электропередач и мощеные дороги; всякие попытки документировать или возрождать их тут же пресекались. Как только все эти технологии были основательно забыты, роботы принялись разбирать друг друга и трудились до тех пор, пока почти ни одного не осталось. Последние из роботов вместе с самим Прометеем испарились в большом термоядерном взрыве. Запрещать современные технологии стало не нужно — от них ничего не осталось. В результате человечество купило себе дополнительное тысячелетие, избавленное от сюрпризов искусственного интеллекта и превратностей тоталитаризма.
Возвраты, хотя и не такие масштабные, уже были знакомы человечеству. Например, после падения Римской империи технологии, широко распространенные во времена античности, оказались забытыми почти на тысячелетие, пока не стали возрождаться в эпоху Ренессанса. В центре трилогии Айзека Азимова Foundation — план Шелдона, цель которого сократить время возврата с 30 тысяч лет до одной. При разумном планировании можно было бы достичь, скорее, обратного, удлинив, а не укоротив период возврата, например уничтожив все знания о ведении сельского хозяйства. К сожалению энтузиастов идеи возвращения, маловероятно, что этот сценарий можно как угодно продлевать без опасности для человечества либо вернуться в эпоху высоких технологий, либо окончательно вымереть. Рассчитывать на народ, хоть немного напоминающий современных людей 100 миллионов лет назад, было бы наивно, учитывая, что мы существуем как вид не более 1 % этого отрезка времени. Более того, низкотехнологичное человечество окажется беззащитным, вынужденным, как бычок, обреченный на заклание, ждать окончательного истребления от очередного раскаленного астероида или другого мегасюрприза матери-природы. В любом случае нам определенно не протянуть еще миллиард лет, пока постепенно разогревающееся Солнце не доведет Землю до такой температуры, что вся жидкая вода на ней закипит.
Рис. 5.1
Примеры, как может быть уничтожена известная нам жизнь или как может быть существенно снижен ее потенциал. При том, что наша Вселенная, по-видимому, просуществует еще десятки миллиардов лет, наше Солнце сожжет и проглотит Землю уже через миллиард лет, если только мы не отодвинем ее на безопасное расстояние, а еще через 3,5 миллиарда лет, даже если мы отодвинем ее на безопасное расстояние, наша галактика столкнется с соседней. Но даже не зная, как это случится, и задолго до этого, мы можем предсказать, что астероиды изрешетят нашу планету, а супервулканы вызовут долгие холодные зимы, когда на протяжении нескольких лет на небе не будет видно солнца. Мы можем использовать технологии для решения этих проблем, а можем использовать их для создания новых — таких, как климатические изменения, ядерные войны, искусственные пандемии или вышедший из-под контроля искусственный интеллект.
Самоистребление
После рассмотрения проблем, к которым могут привести новые технологии, важно остановиться и на проблемах, которые может вызвать отсутствие таких технологий. Давайте для начала рассмотрим те сценарии, где сверхразум не создается, а человечество уничтожает себя другими способами.
Как мы можем этого добиться? Простейшая стратегия — «просто ждать». Хотя в следующей главе мы рассмотрим способы борьбы с такими неприятностями, как столкновение с астероидами и закипающие океаны, все они требуют технологий, пока еще не разработанных нами, так что, пока наши технологии не достигнут определенного уровня, значительно превышающего нынешний, мать-природа может отправить нас в небытие задолго до истечения следующего миллиарда лет. Как говорил знаменитый экономист Джон Мейнард Кейнс: «В долгосрочной перспективе мы все мертвы».
К сожалению, у нас есть способы покончить с собой гораздо быстрее благодаря собственной коллективной глупости. Почему наш вид должен совершить коллективный суицид, называемый также омницидом, если практически никто по отдельности этого не хочет? На нашем нынешнем уровне интеллектуального развития и эмоциональной зрелости мы, люди, проявляем особый дар к просчетам, недомыслию и незнанию, отчего наша история полна несчастными стечениями обстоятельств, войнами и разными невзгодами, к которым, если разобраться, никто особенно не стремился. Экономисты и математики разработали красивую теорию игр, объясняющую, что подталкивает людей к поступкам, приводящим к катастрофическим последствиям для всех{72}.
Вы можете подумать: чем выше ставки, тем осмотрительнее ведут себя люди, но внимательное исследование нашего самого большого риска, допускаемого современной технологией, а именно — риска глобальной термоядерной войны, не очень-то обнадеживает. Лишь по воле случая мы пережили без последствий обескураживающе длинный список разного рода промахов: тут и компьютерные сбои, и отказы в системах энергоснабжения, и недопонимание проблемы, и навигационные ошибки, и столкновения бомбардировщиков, и взрывы спутников, и многое-многое другое{73}. В самом деле, если бы не героические поступки отдельных выдающихся личностей, вроде Василия Архипова и Станислава Петрова, ядерная война была бы уже в нашем прошлом. Оценку вероятности случайного возникновения ядерного конфликта на протяжении года в одну тысячную при нынешнем положении вещей можно считать неправдоподобно оптимистичной, но даже она дает для оценки снизу вероятности такого конфликта в следующие 10 тысяч лет: 1–0,99910000 = 99,995 %.
Для полного понимания нашего безрассудства мы должны отдать себе отчет в том, что начали играть в свою ядерную рулетку еще до внимательного изучения связанных с ней рисков. Во-первых, опасность радиоактивного заражения оказалась существенно недооцененной, и в одних только Соединенных Штатах жертвам облучения при работе с ураном или во время ядерных испытаний было выплачено около 2 миллиардов долларов компенсации{74}.
Рис. 5.2
Взрыв единственной водородной бомбы на высоте в 400 км над поверхностью Земли вызовет мощный электромагнитный импульс, и вся техника, использующая электрическую энергию, будет выведена из строя. При движении точки взрыва в юго-восточном направлении область, по форме напоминающая банан, где напряженность электрического поля превышает 37,5 киловольт на метр, накроет большую часть восточного побережья. Перепечатано из доклада Армии США ADA278230 с добавлением цветов.
Во-вторых, со временем выяснилось, что подрыв водородных бомб на высоте в сотни километров над поверхностью Земли создает мощный электромагнитный импульс (EMP), который немедленно нарушает работу линий электропередач и всех электронных приборов на обширных территориях (см. рис. 5.2), приводя к параличу инфраструктуры, забитым обездвиженными автомобилями трассам и далеким от идеальных перспективам на выживание. Например, Национальная комиссия электромагнитного мониторинга докладывала, что «система водоснабжения — это колоссальная машина, приводимая в действие отчасти силой тяготения, но в основном — электроэнергией», и что перебои в водоснабжении приводят к гибели населения в течение 3–4 дней