Беспрецедентные возможности обработки информации позволят алгоритмам ИИ достичь по-настоящему эффективной централизации управления. Можно ожидать, что это лишь укрепит убежденность в безрадельном контроле со стороны элит. Однако непрозрачность таких систем и сама идея о том, что их работа может быть оптимизирована без человеческого вмешательства, приведет к противоположному эффекту. Со временем человеческий контроль может превратиться из необходимости в обузу. Подобно тому как европейские правители XVIII века с опаской доверяли «невидимой руке рынка», современным лидерам, возможно, предстоит принять новую форму коллективного разума – цифровую платформу, воплощающую мудрость народа в совершенно новой форме.
Когда – и если – ИИ начнет не только обрабатывать информацию для управленческих целей, но и принимать политические решения, перед традиционной политологией встанут вопросы, к которым она пока не готова. В этой области еще нет устоявшихся понятий. Как сторонний наблюдатель сможет оценить «превосходство» стратегического решения, принятого ИИ, если логика, лежащая в его решении, остается необъяснимой? Хотя главным критерием, безусловно, останется результат, мы рискуем утратить нечто важное – особенно для исторического понимания, – если не сохраним четкие принципы, по которым действовала система.
В будущем люди, вероятно, часто станут критически относиться к решениям, предложенным алгоритмами ИИ, – не потому, что те неразумны, а потому, что их логика окажется за пределами непосредственного человеческого понимания. Особую тревогу вызывает перспектива не только потерять возможность вмешиваться в процесс принятия решений, но и лишиться способности осмысливать его (т. е. возможности интерпретации этого процесса) – даже после свершившегося факта.
В ситуациях несовпадения мнений человеческого руководства и ИИ в вопросах государственного управления чье суждение должно возобладать? Изменится ли ответ, если станет очевидным, что рекомендации ИИ – в отличие от нашей с вами позиции – способны учитывать интересы человечества в далеком будущем и потому в долгосрочной перспективе окажутся полезнее решений, принятых людьми?
Прагматическая сторона человеческой интуиции, возможно, приняла бы программы дальновидного ИИ, особенно если бы он мог их обосновать. Но даже в этом случае не избежать конфликтов – например, люди отвергнут меры, спасающие будущие поколения ценой страданий ныне живущих. Точно так же ИИ может предлагать логичные, но политически невозможные решения – к примеру, урегулирование конфликтов в горячих точках путем мирных договоров, неприемлемых для враждующих сторон. Риск массового протеста останется высоким. Даже если человечество согласится на то, что управлять им будут машины, даже если их логика будет понятна, а решения – рациональны, полезны и объективно совершенны, мы, люди, все равно можем оказаться «неуправляемыми». Политика, лишенная духовного измерения, обречена на провал. Как писал Лев Толстой,
Если допустить, что жизнь человеческая может управляться разумом, то уничтожится сама возможность жизни[75].
Эти иррациональные элементы человеческого бытия – прежде всего историческая память, но также эстетика, сила обаяния и эмоциональный отклик – в каком-то смысле могут препятствовать достижению результатов, оптимальных с позиции властей ИИ, но именно эти элементы находятся в основе наших политических сообществ. Правление, построенное исключительно на разуме, способно разрушить государства. Чрезмерно рациональные ИИ и их партнеры-люди могут быстро потерять контроль над структурами власти, в рамках которых они сотрудничают, или вовсе привести к их распаду.
С другой стороны, истинная ценность ИИ может раскрыться именно там, где его логика кажется странной, противоречащей здравому смыслу или вовсе ошибочной. Да, ИИ способен ускорять поиск известных решений, расширяя человеческие возможности за счет скорости, позволяющей избегать политических издержек, связанных с промедлением. Но, возможно, его главная роль – осмыслить то, что нам недоступно, и предложить совершенно новые решения. В этом, собственно, и может заключаться одна из ключевых целей его создания.
Однако такой подход сопряжен со значительными рисками, пропорциональными открывающимся возможностям. Он лишает человечество механизмов корректировки или блокировки потенциально неприемлемых и ранее немыслимых решений непостижимого цифрового разума. Искушение не ограничивать алгоритмы ИИ будет только усиливаться, особенно если его управление окажется объективно эффективнее человеческого[76]. Управление с помощью ИИ может продемонстрировать поистине беспрецедентные результаты. В таком случае попытки ограничить его применение или сузить сферу влияния покажутся лишенными всякой логики, особенно в условиях геополитической конкуренции, где отказ от подобных технологий означает сознательное принятие стратегически уязвимой позиции.
Точно так же и человеческие лидеры, привыкшие к превосходным результатам, достигаемым с помощью ИИ, со временем начнут зависеть от него в вопросах собственной легитимности. При этом нельзя исключать, что ИИ выработает собственные системные искажения: допустим, если лояльный к системе лидер захочет незаконно продлить свои полномочия – сможет ли ИИ реально противостоять такому нарушению демократических норм?
Во все эпохи правители, заявлявшие, что понимают народное благо лучше самого народа, в конечном итоге сталкивались с суровой реальностью[77]. Как предупреждал Фридрих Хайек, централизованное планирование – или схожие формы управления, включая еще не изобретенные в его эпоху – по определению подавляют инакомыслие[78]. Даже располагающее точными данными централизованное управление превращается в инструмент подавления индивидуального ради коллективного, воплощая безграничный утилитаризм. Подобное правление не всегда пагубно, но, перейдя критическую грань, оно обретает «космическую скорость» – трансформируется из обычного управления в вездесущий контроль, где граждан «принуждают к свободе», предписывая им формулу счастья. Как отмечает один нейропсихолог, не исключено, что административная система, управляемая ИИ, «будет утверждать, что знает, чего хотят люди и что им нужно для счастья, <…> оправдывая тем самым патернализм в мягком варианте и тоталитаризм – в крайнем»[79].
Пока мы понимали себя лучше, чем нас понимала власть, либерализм сдерживал произвол. Но теперь есть мнение, что ИИ сможет «определить, кто мы, раньше нас самих» – и снабдит тоталитаристов не просто инструментом, а «идеологическим оружием»[80]. Так, ИИ поставит под удар основы философии Иммануила Канта:
Никто не имеет права принуждать меня быть счастливым так, как он представляет себе благополучие других людей; но каждому позволено искать своего счастья на том пути, который ему самому представляется наилучшим, если только он не наносит ущерба свободе других стремиться к подобной цели – свободе, совместимой по всеобщему закону со свободой каждого[81].
На техническом уровне разработки ИИ в алгоритмы закладывается принцип недопустимости ошибок – это оправдано для коррекции заблуждений и неоптимальных решений человека. Однако другая причина ошибок в человеческих системах – наша собственная свободная воля: мы можем сознательно сделать «неправильный» выбор. Если ИИ решит устранить подобные отклонения, перед ним встанет дилемма: устранить либо нас, либо саму возможность выбора. Если рассматривать свободную волю не как атрибут интеллекта, а как системный сбой, она станет препятствием для достижения искусственным разумом поставленных целей.
Люди привыкли двойственно относиться к собственной воле: нас одновременно восхищает и пугает, что именно человеческие решения определяют ход истории. Вся наша история написана так, чтобы показать людей главными творцами своей судьбы – где отдельные правители по своей воле возводили и рушили империи; где великие укрощали хаос, утверждая на его месте порядок. Полный отказ от контроля может быть отвергнут – даже если доказать, что он обеспечивает наивысшую эффективность ИИ в служении интересам нынешнего и будущих поколений.
Баланс между контролем и его отсутствием может зависеть от проблемы времени, рассмотренной ранее: человечество и ИИ существуют в разных временных измерениях. ИИ не испытывает дискомфорта от скорости собственных действий; для него создаваемые изменения естественны. Обратная сторона успеха: блага от ИИ могут обрушиться на нас так быстро, что мы просто не успеем к ним адаптироваться. Вместо пользы это вызовет растерянность – каждое новое достижение будет казаться слишком сложным и не стоящим усилий.
Это не означает отказа от прогресса как такового. Просто для сохранения целостности общества продуктивные возможности ИИ необходимо внедрять в человеческие институты постепенно – по крайней мере, медленнее, чем того хотели бы сторонники максимально быстрого достижения отдаленных благ.
Многие знают миф о Прометее – титане, похитившем у богов огонь для людей[82]. Однако мало кто помнит, что он сознательно пошел на это, заранее зная о страшной каре Зевса: вечных муках на скале, где орел ежедневно выклевывал его печень, чудесным образом отраставшую за ночь. Но главная загадка мифа в другом: почему Прометей, предвидя не только свои страдания, но и все беды, которые человечество причинит миру с помощью огня, все же сделал этот выбор? Возможно, ответ кроется в том, что мы помним его не как преступника, а как величайшего благодетеля – ведь в конечном счете огонь принес людям больше блага, чем вреда.