И наконец, если правительство принимает какую-то катастрофическую политику, а потом передумывает, оно обычно прикрывается тем, что сваливает вину за катастрофу на кого-то другого. Люди с трудом учатся забывать факты, которые могут доставить им неприятности. Но как научить чатбота забывать о том, что политика, которую сегодня очерняют, была официальной всего год назад? Это серьезный технологический вызов, с которым диктаторским режимам будет трудно справиться, особенно по мере того, как чатботы будут становиться все более мощными и непрозрачными.
Конечно, демократические страны сталкиваются с аналогичными проблемами, когда чат-боты говорят нежелательные вещи или поднимают опасные вопросы. Что произойдет, если, несмотря на все усилия инженеров Microsoft или Facebook, их чат-бот начнет изрыгать расистские оскорбления? Преимущество демократических стран в том, что у них гораздо больше свободы действий в борьбе с такими недобросовестными алгоритмами. Поскольку демократические страны серьезно относятся к свободе слова, у них гораздо меньше скелетов в шкафу, и они выработали относительно высокий уровень терпимости даже к антидемократическим высказываниям. Боты-диссиденты станут гораздо более серьезным вызовом для тоталитарных режимов, у которых в шкафах целые кладбища и нулевая терпимость к критике.
АЛГОРИТМИЧЕСКОЕ ПОГЛОЩЕНИЕ
В долгосрочной перспективе тоталитарные режимы могут столкнуться с еще большей опасностью: вместо того чтобы критиковать их, алгоритм может получить над ними контроль. На протяжении всей истории человечества наибольшую угрозу для автократов обычно представляли их собственные подчиненные. Как отмечалось в главе 4, ни один римский император или советский премьер не был свергнут в результате демократической революции, но им всегда угрожала опасность быть свергнутыми или превращенными в марионеток своими собственными подчиненными. Если автократ XXI века отдаст компьютерам слишком много власти, тот может стать его марионеткой. Последнее, чего хочет диктатор, - это создать нечто более могущественное, чем он сам, или силу, которую он не знает, как контролировать.
Чтобы проиллюстрировать эту мысль, позвольте мне использовать, по общему признанию, необычный мысленный эксперимент, тоталитарный эквивалент апокалипсиса Бострома с бумажными скрепками. Представьте себе, что на дворе 2050 год, и Великого Лидера в четыре утра будит срочный звонок от Алгоритма наблюдения и безопасности. "Великий лидер, у нас чрезвычайная ситуация. Я проанализировал триллионы точек данных, и картина безошибочна: министр обороны планирует убить вас утром и захватить власть. Отряд киллеров уже готов и ждет его команды. Отдайте мне приказ, и я ликвидирую его точным ударом".
"Но министр обороны - мой самый верный сторонник", - говорит Великий Вождь. "Только вчера он сказал мне..."
"Великий вождь, я знаю, что он тебе сказал. Я все слышал. Но я также знаю, что он сказал после этого отряду убийц. И вот уже несколько месяцев я улавливаю в этих данных тревожные закономерности".
"Вы уверены, что вас не обманули с помощью фальшивок?"
"Боюсь, что данные, на которые я опирался, на сто процентов подлинные", - говорит алгоритм. "Я проверил их с помощью своего специального алгоритма, выявляющего глубокие подделки. Я могу объяснить, как именно мы узнали, что это не глубокая подделка, но это займет у нас пару недель. Я не хотел предупреждать вас прежде, чем буду уверен, но все данные сходятся к неизбежному выводу: готовится переворот. Если мы не примем меры сейчас, убийцы будут здесь через час. Но отдайте мне приказ, и я ликвидирую предателя".
Наделив алгоритм наблюдения и безопасности столь широкими полномочиями, Великий Лидер поставил себя в безвыходную ситуацию. Если он не доверяет алгоритму, то может быть убит министром обороны, но если он доверяет алгоритму и убирает министра обороны, то становится марионеткой алгоритма. Если кто-то попытается сделать шаг против алгоритма, алгоритм точно знает, как манипулировать Великим Лидером. Обратите внимание, что алгоритм не обязательно должен быть сознательной сущностью, чтобы участвовать в таких маневрах. Как показывает мысленный эксперимент Бострома со скрепкой и как продемонстрировал в небольшом масштабе GPT-4, солгавший работнику TaskRabbit, бессознательный алгоритм может стремиться к накоплению власти и манипулированию людьми, даже не имея никаких человеческих побуждений, таких как жадность или эгоизм.
Если алгоритмы когда-нибудь разовьют способности, подобные тем, что описаны в мысленном эксперименте, диктатуры будут гораздо более уязвимы для алгоритмического захвата власти, чем демократии. Даже супермакиавеллистскому ИИ будет сложно захватить власть в распределенной демократической системе, такой как Соединенные Штаты. Даже если ИИ научится манипулировать президентом США, он может столкнуться с противодействием со стороны Конгресса, Верховного суда, губернаторов штатов, СМИ, крупных корпораций и различных неправительственных организаций. Как, например, алгоритм справится с филигранным голосованием в Сенате?
Захватить власть в высокоцентрализованной системе гораздо проще. Когда вся власть сосредоточена в руках одного человека, тот, кто контролирует доступ к автократу, может управлять им и всем государством. Чтобы взломать систему, нужно научиться манипулировать только одним человеком. Архетипичный пример - как римский император Тиберий стал марионеткой Луция Аэлия Сеянуса, командира преторианской гвардии.
Изначально преторианцы были созданы Августом как небольшая императорская телохранительница. Август назначил двух префектов командовать телохранителями, чтобы ни один из них не мог получить слишком большую власть над ним. Тиберий, однако, был не столь мудр. Его паранойя была его самой большой слабостью. Сеянус, один из двух преторианских префектов, искусно играл на страхах Тиберия. Он постоянно раскрывал предполагаемые заговоры с целью убийства Тиберия, многие из которых были чистейшей фантазией. Подозрительный император все больше не доверял всем, кроме Сеянуса. Он сделал Сеянуса единственным префектом преторианской гвардии, расширил ее до двенадцатитысячной армии и дал людям Сеянуса дополнительные функции по охране порядка и управлению городом Римом. Наконец, Сеянус убедил Тиберия переехать из столицы на Капри, аргументируя это тем, что на маленьком острове защищать императора будет гораздо проще, чем в переполненном людьми мегаполисе, где полно предателей и шпионов. На самом деле, объяснял римский историк Тацит, целью Сеянуса был контроль над всей информацией, поступающей к императору: "Доступ к императору должен был находиться под его контролем, и письма, по большей части передаваемые солдатами, должны были проходить через его руки".
Когда преторианцы контролировали Рим, Тиберий был изолирован на Капри, а Сеянус контролировал всю информацию, поступавшую к Тиберию, преторианский полководец стал настоящим правителем империи. Сеянус очищал всех, кто мог ему противостоять, включая членов императорской семьи, ложно обвиняя их в измене. Поскольку никто не мог связаться с императором без разрешения Сеянуса, Тиберий превратился в марионетку.
В конце концов кто-то - возможно, невестка Тиберия Антония - обнаружил брешь в информационном кордоне Сеянуса. Императору было тайно доставлено письмо, в котором он объяснил, что происходит. Но к тому времени, когда Тиберий осознал опасность и решил избавиться от Сеянуса, он был почти беспомощен. Как он мог свергнуть человека, который контролировал не только телохранителей, но и все коммуникации с внешним миром? Если бы он попытался что-то предпринять, Сеянус мог бы заточить его на Капри на неопределенный срок и сообщить сенату и армии, что император слишком болен, чтобы куда-то ехать.
Тем не менее Тиберию удалось переломить ход событий. По мере того как Сеянус рос в могуществе и был поглощен управлением империей, он потерял связь с повседневными мелочами, связанными с аппаратом безопасности Рима. Тиберию удалось тайно заручиться поддержкой Невия Сутория Макро, командира римской пожарной команды и ночной стражи. Макро организовал переворот против Сеяна, и в награду Тиберий сделал Макро новым командиром преторианской гвардии. Через несколько лет Макро убил Тиберия.
Власть находится в узле, где сливаются информационные каналы. Поскольку Тиберий позволил информационным каналам слиться в лице Сеянуса, тот стал истинным центром власти, а Тиберий превратился в марионетку.
Судьба Тиберия указывает на хрупкое равновесие, к которому должны стремиться все диктаторы. Они пытаются сосредоточить всю информацию в одном месте, но при этом должны следить за тем, чтобы различные информационные каналы сливались только в их собственной персоне. Если же информационные каналы сливаются в другом месте, то именно оно становится истинным узлом власти. Когда режим опирается на таких людей, как Седжанус и Макро, умелый диктатор может играть ими друг против друга, чтобы оставаться на вершине. Сталинские чистки были именно этим. Когда же режим опирается на мощный, но непостижимый ИИ, который собирает и анализирует всю информацию, диктатор-человек рискует потерять всю власть. Он может оставаться в столице, но при этом быть изолированным на цифровом острове, контролируемым и манипулируемым ИИ.
ДИЛЕММА ДИКТАТОРА
В ближайшие несколько лет диктаторы нашего мира столкнутся с более насущными проблемами, чем алгоритмический захват власти. Ни одна из существующих систем ИИ не способна манипулировать режимами в таких масштабах. Однако тоталитарные системы уже находятся в опасности, поскольку слишком доверяют алгоритмам. В то время как демократические государства предполагают, что все люди ошибаются, в тоталитарных режимах основополагающим является предположение, что правящая партия или верховный лидер всегда правы. Режимы, основанные на этом предположении, вынуждены верить в существование непогрешимого интеллекта и не желают создавать мощные самокорректирующиеся механизмы, которые могли бы контролировать и регулировать гения на самом верху.