Более свежим примером того, как военная победа привела к политическому поражению, стало американское вторжение в Ирак в 2003 году. Американцы выиграли все крупные военные операции, но не смогли достичь ни одной из своих долгосрочных политических целей. Их военная победа не привела к установлению дружественного режима в Ираке или благоприятного геополитического порядка на Ближнем Востоке. Настоящим победителем в войне стал Иран. Американская военная победа превратила Ирак из традиционного врага Ирана в его вассала, тем самым значительно ослабив американские позиции на Ближнем Востоке и сделав Иран региональным гегемоном.
И Наполеон, и Джордж Буш-младший стали жертвами проблемы выравнивания. Их краткосрочные военные цели не совпадали с долгосрочными геополитическими целями их стран. Мы можем понять всю книгу Клаузевица "О войне" как предупреждение о том, что "максимизация победы" - такая же недальновидная цель, как и "максимизация вовлеченности пользователей". Согласно клаузевицкой модели, только после того, как политическая цель ясна, армии могут принять решение о военной стратегии, которая позволит надеяться на ее достижение. На основе общей стратегии офицеры низшего звена могут определить тактические цели. Модель выстраивает четкую иерархию между долгосрочной политикой, среднесрочной стратегией и краткосрочной тактикой. Тактика считается рациональной только в том случае, если она соответствует какой-то стратегической цели, а стратегия - только в том случае, если она соответствует какой-то политической цели. Даже локальные тактические решения командира роты низшего звена должны служить конечной политической цели войны.
Предположим, что во время американской оккупации Ирака американская рота попала под интенсивный обстрел из близлежащей мечети. У командира роты есть несколько различных тактических решений на выбор. Он может приказать роте отступить. Он может приказать роте штурмовать мечеть. Он может приказать одному из танков поддержки взорвать мечеть. Как должен поступить командир роты?
С чисто военной точки зрения может показаться, что командиру лучше приказать своему танку взорвать мечеть. Это позволило бы использовать тактическое преимущество американцев в огневой мощи, избежать риска для жизни собственных солдат и одержать решающую тактическую победу. Однако с политической точки зрения это может оказаться худшим решением, которое мог принять командир. Кадры разрушения мечети американским танком настроят иракское общественное мнение против американцев и вызовут возмущение во всем мусульманском мире. Штурм мечети может быть и политической ошибкой, поскольку он также может вызвать недовольство иракцев, а цена в американских жизнях может ослабить поддержку войны среди американских избирателей. Учитывая политические цели Соединенных Штатов, отступление и признание тактического поражения может оказаться наиболее рациональным решением.
Для Клаузевица рациональность означает согласованность. Стремление к тактическим или стратегическим победам, которые не соответствуют политическим целям, нерационально. Проблема в том, что бюрократическая природа армий делает их весьма восприимчивыми к подобной иррациональности. Как говорилось в главе 3, разделяя реальность на отдельные ящики, бюрократия поощряет стремление к узким целям, даже если это вредит общему благу. Бюрократы, которым поручено выполнение узкой миссии, могут не осознавать более широких последствий своих действий, и всегда было непросто добиться того, чтобы их действия соответствовали высшему благу общества. Когда армии действуют по бюрократическому принципу - как это происходит во всех современных армиях, - возникает огромный разрыв между капитаном, командующим ротой в полевых условиях, и президентом, разрабатывающим долгосрочную политику в далеком кабинете. Капитан склонен принимать решения, которые кажутся разумными на месте, но на самом деле подрывают конечную цель войны.
Итак, мы видим, что проблема выравнивания возникла задолго до компьютерной революции и что трудности, с которыми сталкиваются строители современных информационных империй, не отличаются от тех, что преследовали предыдущих потенциальных завоевателей. Тем не менее компьютеры существенно меняют природу проблемы выравнивания. Как бы ни было трудно обеспечить соответствие человеческих бюрократов и солдат долгосрочным целям общества, обеспечить соответствие алгоритмических бюрократов и автономных систем вооружений будет еще труднее.
НАПОЛЕОН СО СКРЕПКАМИ
Одна из причин, по которой проблема выравнивания особенно опасна в контексте компьютерной сети, заключается в том, что эта сеть, вероятно, станет гораздо более мощной, чем любая предыдущая человеческая бюрократия. Несоответствие целей сверхразумных компьютеров может привести к катастрофе беспрецедентного масштаба. В своей книге 2014 года "Сверхразум" философ Ник Бостром проиллюстрировал эту опасность с помощью мысленного эксперимента, напоминающего "Ученика колдуна" Гете. Бостром просит нас представить, что фабрика по производству скрепок покупает сверхинтеллектуальный компьютер, а управляющий фабрики дает компьютеру, казалось бы, простую задачу: произвести как можно больше скрепок. Преследуя эту цель, компьютер завоевывает всю планету Земля, убивает всех людей, отправляет экспедиции для захвата других планет и использует полученные огромные ресурсы, чтобы заполнить всю галактику фабриками по производству скрепок.
Смысл мысленного эксперимента в том, что компьютер делал именно то, что ему говорили (как заколдованная метла в стихотворении Гете). Осознав, что ему нужны электричество, сталь, земля и другие ресурсы, чтобы построить больше фабрик и производить больше скрепок, и поняв, что люди вряд ли откажутся от этих ресурсов, сверхразумный компьютер уничтожил всех людей в своем целеустремленном стремлении к поставленной цели. Бостром считает, что проблема компьютеров не в том, что они особенно злы, а в том, что они особенно мощны. И чем мощнее компьютер, тем тщательнее мы должны определять его цель так, чтобы она точно совпадала с нашими конечными целями. Если мы определим неверную цель для карманного калькулятора, последствия будут пустяковыми. Но если мы определим неверную цель для сверхразумной машины, последствия могут быть антиутопическими.
Мыслительный эксперимент с бумажной скрепкой может показаться необычным и совершенно оторванным от реальности. Но если бы руководители Кремниевой долины обратили на него внимание, когда Бостром опубликовал его в 2014 году, возможно, они были бы более осторожны, прежде чем давать указания своим алгоритмам "максимизировать вовлеченность пользователей". Алгоритмы Facebook и YouTube вели себя точно так же, как воображаемый алгоритм Бострома. Когда алгоритму говорили "максимизировать производство скрепок", он стремился превратить всю физическую вселенную в скрепки, даже если это означало уничтожение человеческой цивилизации. Когда алгоритмам Facebook и YouTube говорили, что нужно максимизировать вовлеченность пользователей, они стремились превратить всю социальную вселенную в вовлеченность пользователей, даже если это означало нанесение вреда социальной структуре Мьянмы, Бразилии и многих других стран.
Мысленный эксперимент Бострома подчеркивает вторую причину, по которой проблема выравнивания более актуальна в случае с компьютерами. Поскольку они являются неорганическими существами, они, скорее всего, будут использовать стратегии, которые никогда не придут в голову человеку и которые мы, следовательно, не в состоянии предвидеть и предотвратить. Вот один из примеров: В 2016 году Дарио Амодеи работал над проектом под названием Universe, пытаясь разработать универсальный ИИ, который мог бы играть в сотни различных компьютерных игр. ИИ хорошо показал себя в различных автомобильных гонках, поэтому Амодеи попробовал его в лодочных гонках. Необъяснимым образом ИИ направил свою лодку прямо в гавань, а затем поплыл по бесконечным кругам в гавань и из нее.
Амодею потребовалось немало времени, чтобы понять, что пошло не так. Проблема возникла потому, что изначально Амодей не знал, как сообщить ИИ, что его цель - "выиграть гонку". Понятие "победа" неясно для алгоритма. Перевод "выиграть гонку" на компьютерный язык потребовал бы от Амодея формализации таких сложных понятий, как положение на трассе и расположение среди других лодок в гонке. Поэтому вместо этого Амодей пошел по легкому пути и велел лодке максимизировать свой результат. Он предположил, что результат - это хороший показатель для победы в гонке. В конце концов, это сработало в автомобильных гонках.
Но у лодочных гонок была особенность, отсутствующая в автомобильных гонках, которая позволила изобретательному ИИ найти лазейку в правилах игры. Игра награждала игроков большим количеством очков за то, что они опережали другие лодки - как в автомобильных гонках, - но также награждала их несколькими очками, когда они пополняли запасы энергии, заходя в гавань. ИИ обнаружил, что если вместо того, чтобы пытаться обогнать другие лодки, он просто ходит кругами в гавани и заходит в нее, то может гораздо быстрее накопить больше очков. Очевидно, никто из разработчиков игры - ни Дарио Амодеи, ни люди - не заметили этой лазейки. ИИ делал именно то, за что его награждала игра, - даже если это было не то, на что рассчитывали люди. В этом и заключается суть проблемы выравнивания: вознаграждать А, надеясь на Б. Если мы хотим, чтобы компьютеры максимизировали социальные блага, то плохая идея - вознаграждать их за максимальное вовлечение пользователей.
Третья причина, по которой стоит беспокоиться о проблеме выравнивания компьютеров, заключается в том, что, поскольку они так сильно отличаются от нас, когда мы совершаем ошибку, давая им неверную цель, они с меньшей вероятностью заметят это или попросят разъяснений. Если бы ИИ для лодочных гонок был человеком, он бы понял, что лазейка, которую он нашел в правилах игры, вероятно, не считается "победой". Если бы ИИ, создающий скрепки, был человеческим бюрократом, он бы понял, что уничтожение человечества ради производства скрепок - это, вероятно, не то, что было задумано. Но поскольку компьютеры - не люди, мы не можем полагаться на то, что они заметят и отметят возможные несоответствия. В 2010-х годах на руководство YouTube и Facebook посыпались предупреждения от их сотрудников-людей, а также от сторонних наблюдателей о вреде, наносимом алгоритмами, но