Как деонтологи, пытающиеся ответить на вопрос об идентичности, вынуждены принимать утилитарные идеи, так и утилитаристы, запутавшиеся в отсутствии исчисления страданий, часто занимают позицию деонтологов. Они поддерживают общие правила вроде "избегать агрессивных войн" или "защищать права человека", хотя и не могут показать, что следование этим правилам всегда уменьшает общее количество страданий в мире. История дает им лишь смутное представление о том, что следование этим правилам, как правило, уменьшает страдания. А когда некоторые из этих общих правил вступают в противоречие - например, при рассмотрении вопроса о развязывании агрессивной войны для защиты прав человека, - утилитаризм не предлагает большой практической помощи. Даже самая мощная компьютерная сеть не сможет произвести необходимые расчеты.
Соответственно, хотя утилитаризм обещает рациональный - и даже математический - способ согласования каждого действия с "высшим благом", на практике он вполне может породить очередную мифологию. Верующие коммунисты, столкнувшись с ужасами сталинизма, часто отвечали, что счастье, которое испытают будущие поколения при "настоящем социализме", искупит любые кратковременные страдания в ГУЛАГе. Либертарианцы, когда их спрашивают о непосредственном социальном вреде неограниченной свободы слова или полной отмены налогов, выражают аналогичную веру в то, что будущие блага перевесят любой краткосрочный ущерб. Опасность утилитаризма заключается в том, что если у вас есть достаточно сильная вера в будущую утопию, она может стать открытой лицензией на причинение ужасных страданий в настоящем. Именно эту уловку обнаружили традиционные религии тысячи лет назад. Преступления этого мира можно было слишком легко оправдать обещаниями будущего спасения.
КОМПЬЮТЕРНАЯ МИФОЛОГИЯ
Как же бюрократические системы на протяжении всей истории человечества определяли свои конечные цели? Они полагались на мифологию, которая делала это за них. Какими бы рациональными ни были чиновники, инженеры, сборщики налогов и бухгалтеры, в конечном итоге они находились на службе у того или иного мифотворца. Перефразируя Джона Мейнарда Кейнса, можно сказать, что практичные люди, считающие себя совершенно свободными от религиозного влияния, обычно оказываются рабами того или иного мифотворца. Даже физики-ядерщики оказываются послушными командам шиитских аятолл и коммунистических аппаратчиков.
Проблема выравнивания оказывается, в сущности, проблемой мифологии. Нацистские администраторы могли быть убежденными деонтологами или утилитаристами, но они все равно убили бы миллионы людей, если бы понимали мир в терминах расистской мифологии. Если начать с мифологической веры в то, что евреи - демонические чудовища, стремящиеся уничтожить человечество, то и деонтологи, и утилитаристы смогут найти множество логических аргументов, почему евреев следует убивать.
Аналогичная проблема может возникнуть и с компьютерами. Конечно, они не могут "верить" ни в какую мифологию, поскольку являются бессознательными сущностями, которые ни во что не верят. Пока у них нет субъективности, как они могут иметь интерсубъективные убеждения? Однако одна из самых важных вещей, которые необходимо осознать в отношении компьютеров, заключается в том, что когда множество компьютеров общаются друг с другом, они могут создавать межкомпьютерные реальности, аналогичные межсубъектным реальностям, создаваемым сетями людей. Эти межкомпьютерные реальности могут со временем стать такими же мощными и такими же опасными, как и созданные человеком межсубъективные мифы.
Это очень сложный аргумент, но он является одним из центральных аргументов книги, поэтому давайте внимательно его рассмотрим. Для начала давайте попробуем понять, что такое межкомпьютерные реальности. В качестве начального примера рассмотрим компьютерную игру для одного игрока. В такой игре вы можете бродить по виртуальному ландшафту, который существует как информация внутри одного компьютера. Если вы видите камень, то он не состоит из атомов. Он состоит из битов внутри одного компьютера. Когда несколько компьютеров связаны друг с другом, они могут создавать межкомпьютерные реальности. Несколько игроков, использующих разные компьютеры, могут вместе бродить по общему виртуальному ландшафту. Если они увидят камень, то этот камень состоит из битов в нескольких компьютерах.
Как межсубъектные реальности, такие как деньги и боги, могут влиять на физическую реальность вне сознания людей, так и межкомпьютерные реальности могут влиять на реальность вне компьютеров. В 2016 году игра Pokémon Go захватила мир и к концу года была скачана сотни миллионов раз. Pokémon Go - это мобильная игра с дополненной реальностью. Игроки могут использовать свои смартфоны, чтобы находить, сражаться и ловить виртуальных существ, называемых покемонами, которые как будто существуют в физическом мире. Однажды я отправился со своим племянником Матаном на такую охоту за покемонами. Гуляя по его району, я видел только дома, деревья, камни, машины, людей, кошек, собак и голубей. Никаких покемонов я не видел, потому что у меня не было смартфона. Но Матан, глядя вокруг через объектив своего смартфона, мог "увидеть" покемонов, стоящих на камне или прячущихся за деревом.
Хотя я не мог видеть существ, они явно не ограничивались смартфоном Матана, потому что другие люди тоже могли их "видеть". Например, мы столкнулись с двумя другими детьми, которые охотились за теми же покемонами. Если Матану удавалось поймать покемона, другие дети могли сразу же наблюдать за происходящим. Покемоны были межкомпьютерными сущностями. Они существовали как биты в компьютерной сети, а не как атомы в физическом мире, но, тем не менее, они могли взаимодействовать с физическим миром и влиять на него различными способами.
Теперь давайте рассмотрим более показательный пример межкомпьютерных реалий. Рассмотрим рейтинг, который получает сайт в поиске Google. Когда мы ищем в Google новости, авиабилеты или рекомендации по ресторанам, один сайт появляется в верхней части первой страницы Google, в то время как другой опускается в середину пятидесятой страницы. Что же такое этот рейтинг Google и как он определяется? Алгоритм Google определяет рейтинг сайта в Google, начисляя баллы по различным параметрам, таким как количество посетителей сайта и количество других сайтов, ссылающихся на него. Сам рейтинг - это межкомпьютерная реальность, существующая в сети, объединяющей миллиарды компьютеров, - интернете. Подобно покемонам, эта межкомпьютерная реальность перетекает в физический мир. Для новостного издания, туристического агентства или ресторана имеет большое значение, находится ли его сайт в верхней части первой страницы Google или в середине пятидесятой страницы.
Поскольку рейтинг Google так важен, люди используют всевозможные уловки для манипулирования алгоритмом Google, чтобы придать своему сайту более высокий рейтинг. Например, они могут использовать ботов, чтобы генерировать больше трафика на сайт. Это широко распространенное явление и в социальных сетях, где скоординированные армии ботов постоянно манипулируют алгоритмами YouTube, Facebook или Twitter. Если твит становится вирусным, это происходит потому, что им действительно заинтересовались люди, или потому, что тысячи ботов сумели обмануть алгоритм Twitter?
Межкомпьютерные реальности, такие как покемоны и ранги Google, аналогичны межсубъективным реальностям, таким как святость, которую люди приписывают храмам и городам. Я прожил большую часть своей жизни в одном из самых святых мест на земле - городе Иерусалиме. Объективно это обычное место. Гуляя по Иерусалиму, вы видите дома, деревья, камни, машины, людей, кошек, собак и голубей, как и в любом другом городе. Но многие люди, тем не менее, воображают, что это необыкновенное место, полное богов, ангелов и святых камней. Они верят в это настолько сильно, что иногда дерутся за владение городом или отдельными святыми зданиями и священными камнями, в частности, за Святую скалу, расположенную под Куполом Скалы на Храмовой горе. Палестинский философ Сари Нуссейбех заметил, что "евреи и мусульмане, руководствуясь религиозными убеждениями и опираясь на ядерный потенциал, готовы устроить самую страшную в истории человеческую резню из-за камня". Они сражаются не за атомы, из которых состоит камень; они сражаются за его "святость", подобно тому, как дети сражаются за покемона. Святость Святой скалы и Иерусалима в целом - это интерсубъективный феномен, существующий в коммуникационной сети, соединяющей множество человеческих умов. На протяжении тысячелетий войны велись за такие интерсубъективные объекты, как святые камни. В XXI веке мы можем увидеть войны, ведущиеся за межкомпьютерные сущности.
Если это звучит как научная фантастика, подумайте о возможных изменениях в финансовой системе. По мере того как компьютеры становятся все более интеллектуальными и творческими, они, вероятно, будут создавать новые межкомпьютерные финансовые устройства. Золотые монеты и доллары - это межсубъектные сущности. Криптовалюты, такие как биткоин, находятся на полпути между межсубъектными и межкомпьютерными. Идея, лежащая в их основе, была придумана людьми, и их стоимость по-прежнему зависит от человеческих убеждений, но они не могут существовать вне компьютерной сети. Кроме того, торговля ими все чаще осуществляется с помощью алгоритмов, так что их стоимость зависит от расчетов алгоритмов, а не только от человеческих убеждений.
Что, если через десять или пятьдесят лет компьютеры создадут новый вид криптовалюты или другое финансовое устройство, которое станет жизненно важным инструментом для торговли и инвестирования и потенциальным источником политических кризисов и конфликтов? Вспомните, что мировой финансовый кризис 2007-8 годов был спровоцирован обеспеченными долговыми обязательствами. Эти финансовые устройства были изобретены горсткой математиков и инвестиционных вундеркиндов и были практически непонятны большинству людей, включая регуляторов. Это привело к сбою надзора и глобальной катастрофе.51 Компьютеры вполне могут создать финансовые устройства, которые будут на порядки сложнее, чем CDO, и будут понятны только другим компьютерам. Результатом может стать финансовый и политический кризис, еще более страшный, чем в 2007-8 годах.