Информационные сети будущего, особенно основанные на ИИ, будут во многом отличаться от прежних. Если в первой части мы рассматривали, как мифология и бюрократия были важны для крупномасштабных информационных сетей, то во второй части мы увидим, как ИИ берет на себя роль и бюрократов, и мифотворцев. Инструменты ИИ умеют находить и обрабатывать данные лучше, чем бюрократы из плоти и крови, и ИИ также приобретает способность сочинять истории лучше, чем большинство людей.
Но прежде чем мы изучим новые информационные сети XXI века, основанные на ИИ, и рассмотрим угрозы и обещания мифотворцев и бюрократов от ИИ, нам нужно понять еще одну вещь, касающуюся долгосрочной истории информационных сетей. Мы уже убедились, что информационные сети не максимизируют истину, а скорее пытаются найти баланс между истиной и порядком. И бюрократия, и мифология необходимы для поддержания порядка, и обе они с удовольствием жертвуют истиной ради порядка. Какие же механизмы позволяют бюрократии и мифологии не терять связь с истиной, какие механизмы позволяют информационным сетям выявлять и исправлять собственные ошибки, даже ценой некоторого беспорядка?
То, как человеческие информационные сети справлялись с проблемой ошибок, станет главной темой следующих двух глав. Для начала мы рассмотрим изобретение другой информационной технологии - священной книги. Священные книги, такие как Библия и Коран, представляют собой информационную технологию, которая призвана одновременно содержать всю жизненно важную информацию, необходимую обществу, и быть свободной от любой возможности ошибки. Что происходит, когда информационная сеть считает себя абсолютно неспособной на ошибку? История якобы непогрешимых священных книг подчеркивает некоторые ограничения всех информационных сетей и содержит важные уроки для попыток создания непогрешимых ИИ в XXI веке.
ГЛАВА 4.
Ошибки: Фантазия о непогрешимости
Святой Августин знаменито сказал: "Ошибаться - это человеческое, а упорствовать в ошибках - дьявольское". Заблуждения людей и необходимость исправления человеческих ошибок играют ключевую роль в любой мифологии. Согласно христианской мифологии, вся история - это попытка исправить первородный грех Адама и Евы. Согласно марксистско-ленинскому мышлению, даже рабочий класс может быть одурачен своими угнетателями и неверно определить свои собственные интересы, поэтому он нуждается в руководстве мудрого партийного авангарда. Бюрократия тоже постоянно находится в поиске ошибок - от неправильно оформленных документов до неэффективных процедур. Сложные бюрократические системы обычно содержат органы самодисциплины, и когда происходит крупная катастрофа - военное поражение или финансовый крах, - создаются комиссии по расследованию, чтобы понять, что пошло не так, и убедиться, что подобная ошибка не повторится.
Для того чтобы функционировать, механизмы самокоррекции нуждаются в легитимности. Если люди склонны к ошибкам, как мы можем доверять самокорректирующимся механизмам, что они свободны от ошибок? Чтобы избежать этого кажущегося бесконечным цикла, люди часто фантазировали о каком-то сверхчеловеческом механизме, свободном от всех ошибок, на который они могли бы положиться, чтобы выявить и исправить свои собственные ошибки. Сегодня можно надеяться, что ИИ сможет обеспечить такой механизм, как в апреле 2023 года, когда Элон Маск объявил: "Я собираюсь запустить нечто, что я называю TruthGPT или максимально правдоподобный ИИ, который попытается понять природу Вселенной". В последующих главах мы увидим, почему это опасная фантазия. В предыдущие эпохи подобные фантазии принимали другую форму - религии.
В нашей личной жизни религия может выполнять множество различных функций, например, давать утешение или объяснять тайны жизни. Но исторически наиболее важной функцией религии было обеспечение сверхчеловеческой легитимности социального порядка. Такие религии, как иудаизм, христианство, ислам и индуизм, утверждают, что их идеи и правила были установлены непогрешимым сверхчеловеческим авторитетом, поэтому они свободны от любой возможности ошибки и никогда не должны подвергаться сомнению или изменению со стороны непогрешимых людей.
ИСКЛЮЧИТЬ ЛЮДЕЙ ИЗ ПРОЦЕССА
В основе каждой религии лежит фантазия о связи со сверхчеловеческим и непогрешимым интеллектом. Именно поэтому, как мы рассмотрим в главе 8, изучение истории религии имеет огромное значение для современных дебатов об ИИ. В истории религии постоянно возникает проблема, как убедить людей в том, что определенная догма действительно произошла из непогрешимого сверхчеловеческого источника. Даже если в принципе я готов подчиниться воле богов, откуда мне знать, чего на самом деле хотят боги?
На протяжении всей истории человечества многие люди утверждали, что им переданы послания от богов, но эти послания часто противоречили друг другу. Один человек говорил, что бог явился к ней во сне; другой - что ее посетил ангел; третий рассказывал, как встретил в лесу духа, и каждый из них проповедовал свое послание. Антрополог Харви Уайтхаус рассказывает, как в конце 1980-х годов, когда он проводил полевые исследования среди народа бейнинг в Новой Британии, молодой человек по имени Танотка заболел и в лихорадочном бреду начал делать загадочные заявления вроде "Я - Вутка" и "Я - пост". Большинство из этих заявлений слышал только старший брат Танотки, Банинге, который начал рассказывать о них другим людям и интерпретировать их в творческом ключе. Банинге говорил, что в его брата вселился дух предков по имени Вутка и что он был избран Богом, чтобы стать главной опорой общины, подобно тому как местные дома поддерживаются центральным столбом.
После выздоровления Танотка продолжал передавать загадочные послания от Вутки, которые Банинге интерпретировал все более замысловатыми способами. Банинге также начал видеть собственные сны, в которых якобы содержались дополнительные божественные послания. Он утверждал, что конец света неминуем, и убедил многих местных жителей наделить его диктаторскими полномочиями, чтобы он мог подготовить общину к грядущему апокалипсису. Банинге начал тратить почти все ресурсы общины на экстравагантные пиры и ритуалы. Когда апокалипсис не наступил, а община практически умерла от голода, власть Банинге рухнула. Хотя некоторые местные жители продолжали верить, что он и Танотка были божественными посланниками, многие другие пришли к выводу, что эти двое были шарлатанами или, возможно, слугами дьявола.
Как люди могли отличить истинную волю богов от выдумок или фантазий слабоумных людей? Если у вас не было личного божественного откровения, то знать, что сказали боги, означало доверять тому, что утверждали ошибочные люди, такие как Танотка и Банинге. Но как вы можете доверять этим людям, особенно если не знаете их лично? Религия хочет вывести из-под контроля непогрешимых людей и дать людям доступ к непогрешимым сверхчеловеческим законам, но религия неоднократно сводилась к доверию тому или иному человеку.
Одним из способов решения этой проблемы было создание религиозных институтов, которые проверяли предполагаемых божественных посланников. Уже в племенных обществах общение со сверхчеловеческими сущностями, такими как племенные духи, часто было уделом религиозных экспертов. Среди народа бейнинг специализированные медиумы, известные как агунгарага, традиционно отвечали за общение с духами и тем самым узнавали скрытые причины несчастий - от болезней до неурожая. Их принадлежность к авторитетному институту делала агунгарагу более надежными, чем танотка и банинге, и делала их власть более стабильной и широко признанной. Среди бразильского племени калапало религиозные ритуалы организовывали наследственные служители ритуала, известные как анетау. В древних кельтских и индуистских обществах аналогичные обязанности выполняли друиды и брамины. По мере того как человеческие общества росли и усложнялись, менялись и их религиозные институты. Жрецы и оракулы должны были долго и упорно тренироваться для выполнения важной задачи - представлять богов, поэтому людям больше не нужно было доверять простому обывателю, который утверждал, что встретил ангела или несет божественное послание. Например, в Древней Греции, если вы хотели узнать, что говорят боги, вы обращались к аккредитованному эксперту, такому как пифия - верховная жрица в храме Аполлона в Дельфах.
Но до тех пор, пока в религиозных институтах, таких как храмы прорицаний, работали ошибочные люди, они тоже были открыты для ошибок и коррупции. Геродот рассказывает, что, когда Афинами правил тиран Гиппий, сторонники демократии подкупили пифию, чтобы она помогала им. Всякий раз, когда спартанец приходил к пифии, чтобы посоветоваться с богами по официальным или частным вопросам, пифия неизменно отвечала, что спартанцы должны сначала освободить Афины от тирана. Спартанцы, которые были союзниками Гиппия, в конце концов подчинились предполагаемой воле богов и послали в Афины армию, которая свергла Гиппия в 510 году до н. э., что привело к установлению афинской демократии.
Если человеческий пророк мог фальсифицировать слова бога, то ключевая проблема религии не была решена созданием религиозных институтов, таких как храмы и священнические ордена. Люди по-прежнему должны были доверять непогрешимым людям, чтобы получить доступ к якобы непогрешимым богам. Можно ли как-то обойтись без людей?
НЕПОГРЕШИМАЯ ТЕХНОЛОГИЯ
Священные книги, такие как Библия и Коран, - это технология, позволяющая обойти человеческие ошибки, и религии книги - иудаизм, христианство и ислам - были построены вокруг этого технологического артефакта. Чтобы понять, как должна работать эта технология, нам следует начать с объяснения того, что такое книга и чем она отличается от других видов письменных текстов. Книга - это фиксированный блок текстов, таких как главы, рассказы, рецепты или послания, которые всегда идут вместе и имеют множество идентичных копий. Этим книга отличается от устных рассказов, от бюрократических документов и от архивов. Когда мы рассказываем историю устно, каждый раз она может быть немного другой, а если ее рассказывают многие люди в