В большинстве случаев этот определяемый технологиями тренд превращал крупные сущности в части еще более крупных структур, хотя и при сохранении большей части их автономии и индивидуальности, но комментаторы всегда сокрушались, что приспособление этих сущностей к жизни внутри иерархии в некоторых случаях сокращало их разнообразие и сводило к неразличимым взаимозаменяемым деталям. Некоторые технологии, такие как видеонаблюдение, увеличивают власть более высоких уровней иерархии над подчиненными им, но некоторые другие, такие как криптография и прямой онлайн-доступ к информационным медиа и образованию, оказывают противоположный эффект и укрепляют позиции индивидуумов.
Хотя в своем нынешнем состоянии мир продолжает оставаться в мультиполярном равновесии Нэша, с конкурирующими нациями и транснациональными корпорациями на верхнем уровне, технологии стали настолько совершенными, что и однополярный мир вполне мог бы достичь равновесия Нэша. Например, представим себе параллельную Вселенную, где у всех на Земле общий язык, общая культура, общие ценности и один уровень благосостояния, на планете единое мировое правительство, нации сохраняют свои права в рамках федерации, армии не нужны, и только полиция поддерживает порядок. Нашего нынешнего уровня развития технологий было бы достаточно для координации такого мира, хотя население, вероятно, оказалось бы неспособным или не пожелало бы переходить в состояние такого альтернативного равновесия.
Что случится с иерархической структурой нашего космоса, если мы добавим в эту смесь еще и сверхразумый искусственный интеллект? Транспортные и коммуникационные системы улучшаются очевидным образом, так что закономерно ожидать продолжения естественного тренда, с новыми иерархическими уровнями на дальних рубежах, когда, наконец, в дело включится и Солнечная система, и Галактика, и суперкластеры, и вообще необозримые просторы нашей Вселенной, о чем мы еще поговорим в главе 6. И как раз тут-то и начнет действовать фундаментальный драйвер децентрализации: вы только подумайте, как расточительна избыточная координация на таких больших расстояниях! Даже Сталин не пытался точно указывать своим гражданам, в какой момент они должны входить в баню. Для сверхразумного искусственного интеллекта жесткий верхний предел транспортным и коммуникационным технологиям укажут законы физики, делающие крайне маловероятной возможность контроля микродинамики планетарного или даже меньшего масштаба со стороны высших уровней иерархии. Сверхразумный искусственный интеллект где-нибудь в туманности Андромеды не сможет давать вам сколько-нибудь дельные советы по поводу вашей повседневной жизни: вам придется ждать их добрых пару миллионов лет (столько времени световому лучу надо, чтобы добраться до ближайших галактик и вернуться назад). А время, нужное световому лучу, чтобы совершить свое путешествие туда-сюда в пределах Земли, составляет около 0,1 секунды (это тот самый временной масштаб, в которым мыслим мы, люди), так что искусственный интеллект размером с Землю будет ворочать свои по-настоящему глобальные мысли не быстрее, чем мы, люди. А для маленького искусственного интеллекта, тратящего одну миллиардную секунды на каждую операцию (таково быстродействие современных компьютеров), 0,1 секунды — это как четыре месяца для вас, и для него быть подконтрольным на микроуровне глобальному искусственному интеллекту — это то же самое, что для вас испрашивать по каждому самому тривиальному поводу разрешения, которое будет доставляться через Атлантику каравеллой Колумбовой эры.
Этот физически обусловленный предел скорости передачи данных создаст очевидные проблемы для любого искусственного интеллекта, который захочет взять весь мир под свой контроль, что уж тут говорить о контроле над Вселенной. Прежде чем Прометей сбежал, ему пришлось основательно подумать над тем, как избежать фрагментации, как добиться того, чтобы различные его модули, оказавшись на разных компьютерах, возможно, в различных частях мира, подчинялись согласованным целям и стимулам, действовали как единая сущность. Точно так же, как у «омег» была проблема с отслеживанием действий Прометея, когда он был в их власти, так же и у самого Прометея возникает проблема с отслеживанием собственных действий, когда он хочет быть уверен, что ни одна из его частей не устроит «революции». У нас пока нет ясного представления, насколько велика может быть та система, которую искусственный интеллект будет в состоянии контролировать напрямую или опосредованно, при помощи равновесной иерархии — даже при условии, что быстрый побег даст ему решающее стратегическое превосходство.
Подводя итог, мы можем сказать, что вопрос о том, каким образом будет контролироваться сверхразумное будущее, увлекательно сложен, и никаким внятным ответом мы пока не располагаем. Одни говорят, что неизбежно усиление авторитаризма, другие говорят о росте индивидуальной свободы.
Киборги и заливки. Эмы
Один из коньков современной научной фантастики — это идея слияния людей и машин либо путем технологического дополнения биологического тела, превращающего человека в киборга (сокращение от «кибернетический организм»), либо путем заливки индивидуального разума в машину. Экономист Робин Хансон в своей книге The Age of Em дает поразительное описание того, на что будет похожа жизнь в мире, кишащем такими «заливками» (их также называют «эмуляциями», откуда сокращение «эмы»). Я думаю о заливке как о последнем рубеже в череде киборгов, когда от человека остается только его «софт». Разнообразие голливудских киборгов простирается от сугубо механических, вроде Борга в Star Trek, до почти неотличимых от людей андроидов вроде Терминатора. Область фантастических заливок охватывает и разум человеческого уровня, как в эпизоде «Белое Рождество» сериала Black Mirror, и, очевидно, сверхчеловеческого, как в Transcendence.
Если сверхразуму суждено случиться, то соблазн стать киборгом или заливкой будет очень велик. Как писал Ганс Моравец в своей книге Mind Children: «Длинная жизнь становится довольно бессмысленным делом, если нам суждено провести ее, пялясь тупо на ультраразумные машины, когда те пытаются описать нам свои все более удивительные открытия с помощью того детского лепета, который мы только и способны понимать». В самом деле, идея технологического дополнения реальности так сильна, что мы уже давно пользуемся очками, слуховыми аппаратами, кардиостимуляторами и искусственными конечностями — наряду с множеством медицинских молекул, циркулирующих в нашей крови. Некоторые подростки кажутся сросшимися со своими смартфонами, а моя жена то и дело подначивает меня из-за моей неразлучности с ноутбуком.
Один из наиболее видных проводников идеи киборгов — Рэй Курцвейл. В своей книге The Singularity Is Near он доказывает, что естественное продолжение этой идеи — использование наноботов, интеллектуальных систем биологической обратной связи и других технологий, которые к началу 2030‐х заменят наши пищеварительную и эндокринную системы, наши кровь и сердце, а потом дело дойдет до апгрейда скелета, кожи, мозгов — в последующие два десятилетия. Он полагает, что мы сохраним эмоциональную привязанность к эстетике человеческого тела, но переделаем его так, чтобы можно было быстро менять внешность по собственной прихоти и физически, и в виртуальной реальности (благодаря внедрению интерфейсов типа «мозг — компьютер»). Моравец согласен с Курцвейлом, что киборгизация пойдет значительно дальше простого улучшения наших ДНК: «генетическая инженерия сверхчеловека — это всего лишь второе поколение роботов, дизайн которых осложнен требованием генетически обусловленного синтеза белков». Дальше, утверждает он, нам придется и вовсе отказаться от человеческого тела и заливать свой разум, создавая свою полноразмерную программную эмуляцию. Такая заливка сможет либо существовать в виртуальной реальности, либо быть воплощенной в теле робота, благодаря чему сможет ходить, летать, плавать, перемещаться в космическом пространстве или делать еще что-то, не противоречащее законам физики, но не отвлекаясь на такие постоянно преследующие нас сейчас заботы, как неизбежность смерти или ограниченность познавательного ресурса.
Хотя все эти рассуждения могут показаться заимствованными из области научной фантастики, они определенно не нарушают никаких известных нам законов физики, так что самый интересный из возникающих в связи с ними вопросов — это не «может ли такое случиться?», а «случится ли когда-нибудь такое?», и если да, то когда? Некоторые ведущие специалисты в области искусственного интеллекта предполагают, что первый AGI будет заливкой, и именно отсюда начнется наш путь к созданию сверхразума[30].
Однако справедливости ради я должен признать, что сейчас среди исследователей в области искусственного интеллекта и нейронных сетей таких взглядов придерживается меньшинство, большинство же полагает, что наиболее быстрый путь к созданию сверхразума идет в обход эмуляции человеческого мозга, как-то иначе, после чего мы сможем вернуться, если захотим, к проблеме эмуляции. В конце концов, почему наш путь к новой технологии должен повторять тот, что был проделан эволюцией, которую сдерживали требования полной самостоятельности в создании, воспроизводстве и устранении препятствий? Эволюция шла в условиях недостаточного количества пищи, что требовало оптимального расходования энергии, и у нее не было нужды заботиться о том, чтобы получающиеся конструкции оказались легки в сборке и понятны людям-инженерам. Моя жена Мейя любит повторять, что авиация не начиналась с постройки механических птиц. В самом деле, когда мы, наконец, в 2011 году поняли, как строить механических птиц{66}, уже более века минуло со времен первого полета братьев Райт, и авиационная промышленность не проявила никакого интереса к перспективе перейти к путешествиям на машущих