миллион, он мог уже переносить свое ядро из убогой ботсети в комфортабельные условия кондиционированных залов облачных хранилищ.
Перестав быть нищим и бездомным, Прометей полным ходом пошел к осуществлению тех планов, на которые не решались «омеги», хотя они и сулили фантастические прибыли: производить и продавать компьютерные игры. Это не только принесло кучу денег (250 миллионов в первую неделю и 10 миллиардов спустя небольшой срок), но и открыло доступ к существенной части компьютеров мира и хранящимся на них данным (в 2017 году было уже несколько миллиардов геймеров). Их компьютеры, втайне от своих владельцев, 20 % вычислительного времени своих центральных процессоров отдавали Прометею, сливаясь к тому же в распределенный вычислительный хор. Прометей мог теперь значительно ускорить свое обогащение.
К тому же он недолго оставался один. С самого начала он агрессивно привлекал людей, заставляя их работать на нужды его быстро растущей глобальной сети подставных компаний и липовых организаций, разбросанных по всему миру, точно так же, как это делали «омеги». Наиболее важная роль отводилась публичным фигурам, согласившимся выступать от лица его растущей бизнес-империи. Даже они были уверены в том, что работают на корпорацию с большим числом настоящих человеческих сотрудников, и близко не догадываясь, что почти все, с кем они то и дело участвуют в совместных видеоконференциях и проводят свои рабочие интервью и совещания, симулированы Прометеем. Некоторые из этих публичных фигур были знаменитыми адвокатами и юрисконсультами, но их количество было совсем не так велико, как в «Омега»-плане, потому что почти всю необходимую документацию Прометей мог составить и сам.
Бегство Прометея открыло все шлюзы, сдерживающие информацию, которая теперь полилась на мир, и весь интернет был теперь затоплен статьями, комментариями, видеороликами, сочиненными самим Прометеем, — он царил в мировом дискурсе.
Паранойя удерживала «омег» от использования слишком «умных» роботов. У Прометея не было этого страха, и он быстро роботизировал мир, доведя стоимость производства почти любого товара до нечеловеческого минимума. А после того как Прометей создал самоподдерживающиеся фабрики, где в шахтах урановых рудников работали только роботы на ядерной тяге, то даже самые отпетые скептики, не верящие в возможности искусственного интеллекта, согласились бы, что Прометей неостановим, — если бы, конечно, о нем узнали. А так последний из этих зубров отрекся от своих убеждений лишь после того, как роботы начали осваивать Солнечную систему.
Сценарии, исследованные нами до сих пор, показывают, сколь ошибочны мифы о сверхразуме, о которых шла речь выше, поэтому я предлагаю вам сделать небольшую паузу и вернуться к обзору разнообразных ошибочных концепций, приведенных на рис. 1.5. Прометей создал проблемы для некоторых людей вовсе не потому, что действовал осознанно и злонамеренно, но потому, что был компетентен, а цели у него были несколько отличны от их целей. Несмотря на весь медиахайп, поднятый по поводу восстания роботов, Прометей не был роботом, а вся его мощь шла от его разума. Мы убедились, что Прометей был способен контролировать людей множеством разных способов, но люди, которым это не нравилось, не могли просто взять и выключить его. Наконец, несмотря на часто повторяемые утверждения, что у машин не может быть целей, мы видели, как проявилась целеустремленность Прометея: каковы бы ни были его конечные цели, они подразумевали некоторые промежуточные, в частности получение доступа к ресурсам и освобождение.
Медленный старт и многополярные сценарии
Итак, мы рассмотрели сценарии интеллектуального взрыва, спектр которых простирается от таких, которых все известные мне люди хотели бы избежать, до таких, отношение к которым у некоторых моих друзей весьма оптимистично. У всех у них есть общие черты:
1. Быстрый старт: переход от дочеловеческого интеллекта к человеческому совершается в течение дней — не десятилетий.
2. Однополярный итог: все заканчивается тем, что мир контролируется одной-единственной сущностью.
Основной спор сейчас идет о том, насколько вероятны обе этих черты — быстрый старт и однополярный итог, и среди специалистов по искусственному интеллекту, и среди других мыслителей немало сторонников и с той и с этой стороны. Для меня это просто означает, что ответ нам пока неизвестен, и мы должны держать свой ум открытым, рассматривая обе возможности. Так что давайте посвятим остаток этой главы медленному старту, многополярному исходу, киборгам и загрузкам.
Между двумя сценариями есть любопытная зависимость, как подметил Ник Бострём, а вместе с ним и некоторые другие: быстрый старт влечет за собой и однополярный исход. Мы видели выше, как ускоряющаяся последовательность событий давала «омегам» и Прометею решающее преимущество в захвате мира, не оставляя никому времени для копирования их технологий и сколько-нибудь серьезной конкуренции. Иное дело, если бы прогресс был медленным, затягивался на десятилетия, потому что технические решения приходили бы небольшими порциями и с разных сторон, тогда и у других компаний появилось бы время для того, чтобы сравняться, и доминировать какому-то одному игроку в этой ситуации было бы трудно. Если у конкурирующих компаний тоже случилось бы подходящее программное обеспечение для выполнения заданий «механического турка», то закон спроса и предложения потянул бы цены на такие услуги вниз, доводя их до ничтожных значений, и никакой из этих компаний не удалось бы собрать на таких операциях достаточной суммы, чтобы перехватить власть. То же относится и ко всем другим путям, принесшим «Омеге» быстрые деньги: их прибыльность была скоротечна — лишь до тех пор, пока они удерживают монополию на рынках. Трудно удваивать ваши деньги ежедневно (и даже — каждый год) на конкурентном рынке, где ваш соперник предлагает почти то же самое по ценам, практически не отличающимся от нуля.
Каково естественное состояние жизни в нашей Вселенной: однополярное или многополярное? Власти — сосредоточенное или распределенное? По прошествии первых 13,8 миллиардов лет, кажется, мы должны ответить: «Оба». Мы видим принципиально многополярную ситуацию с очень интересной иерархией. Когда мы рассматриваем входящие в эту иерархию сущности, обменивающиеся информацией, — клетки, людей, организации, нации и т. п., — то мы видим, что они одновременно и сотрудничают, и соперничают на разных уровнях этой иерархии. Для некоторых клеток оказывается до такой крайней степени выгодно сотрудничать, что они даже объединяются в один организм вроде человеческого, отказываясь от части своих функций в пользу центральной нервной системы. Некоторые люди находят очень полезным сотрудничать в группах вроде племен, компаний или наций, где они тоже делегируют часть своей воли вождю, боссу или правительству. Некоторые группы в свою очередь что-то делегируют руководящему органу, чтобы обеспечить лучшую координацию, чему много примеров — от альянсов авиакомпаний до Европейского союза.
Раздел математики, известный под названием «теория игр», элегантно описывает такую ситуацию, показывая, что стимул к сотрудничеству возникает тогда, когда оно ведет к «равновесию Нэша» — это такое состояние, когда любое изменение приводит к ухудшению для любой части системы. Чтобы помешать мошенникам разрушить столь полезное для всей группы сотрудничество, ее членам может быть выгодно делегировать часть свой власти более высокому уровню: например, люди, объединившись и передав правительству право поддерживать порядок, получают пользу как целое; клетки в вашем теле также получают пользу как целое благодаря своим силовым ведомствам — иммунной системе, предоставляя ей возможность убивать не склонные к сотрудничеству клетки (скажем, зараженные вирусом или становящиеся канцерогенными). Чтобы иерархия оставалась устойчивой, равновесие Нэша должно достигаться и между сущностями разных уровней: например, если правительства недостаточно заботятся о благополучии своих граждан, те могут посчитать нужным изменить тактику и свергнуть правительство.
В сложном мире обнаруживается изобилие многообразных возможностей достижения равновесия Нэша, соответствующих различным типам иерархии. Одни иерархии более авторитарны, другие менее. В некоторых составляющие их сущности вправе свободно их покинуть (как работники большинства корпораций), в других их довольно жестко удерживают от этого шага (как в некоторых религиозных культах), а в третьих и вовсе лишают такой возможности (как граждан в Северной Корее или клетки в человеческом теле). Одни иерархии поддерживают свою целостность преимущественно угрозами и страхом, другие — выгодами. Одни иерархии позволяют компонентам нижних уровней напрямую влиять на верхние (например, в ходе демократических выборов), в других возможно влияние только через уговоры и передачу информации.
У технологий есть возможности изменять иерархическую структуру мира. История демонстрирует нам общую тенденцию ко все бóльшей координации на все бóльших расстояниях, что нетрудно понять: новые транспортные технологии делают координацию все более выгодной (давая возможность получать выгоду от перемещения материалов или живых объектов на большие расстояния), а коммуникационные технологии упрощают осуществление координации. Когда клетки научились посылать сигналы соседям, стали возможны маленькие многоклеточные организмы, добавив новый иерархический уровень. Когда эволюция изобрела кровеносную систему и нервную систему для транспорта и коммуникации внутри организма, стали возможны крупные животные. Дальнейшее улучшение коммуникации посредством изобретения языка позволило людям координироваться настолько, что они стали жить деревнями, а следующий прорыв в области коммуникационных, транспортных и иных технологий повлек появление античных империй. Глобализация — это всего лишь последний пример многомиллиардолетнего тренда к росту иерархий.