Чем больше информации поступало в центр, тем сложнее было ее обрабатывать. Тоталитарные правители и партии часто совершали дорогостоящие ошибки, а система не имела механизмов для их выявления и исправления. Демократический способ распределения информации и полномочий на принятие решений между многими институтами и людьми работал лучше. Он гораздо эффективнее справлялся с потоком данных, а если один институт принимал неверное решение, его могли исправить другие.
Однако развитие алгоритмов машинного обучения может оказаться именно тем, чего ждали Сталины всего мира. ИИ может склонить технологический баланс сил в пользу тоталитаризма. Ведь если наводнение людей данными приводит к их перегрузке и, как следствие, к ошибкам, то наводнение ИИ данными, как правило, делает его более эффективным. Следовательно, ИИ, похоже, будет способствовать концентрации информации и принятию решений в одном месте.
Даже в демократических странах несколько корпораций, таких как Google, Facebook и Amazon, стали монополистами в своих областях, отчасти потому, что искусственный интеллект перевесил баланс в пользу гигантов. В традиционных отраслях, таких как рестораны, размер не является подавляющим преимуществом. McDonald's - это всемирная сеть, которая кормит более пятидесяти миллионов человек в день, и ее размер дает ей множество преимуществ с точки зрения затрат, брендинга и так далее. Тем не менее, вы можете открыть районный ресторан, который сможет достойно противостоять местному McDonald's. Даже если ваш ресторан будет обслуживать всего двести клиентов в день, у вас все равно есть шанс приготовить лучшую еду, чем в McDonald's, и завоевать лояльность более счастливых клиентов.
На информационном рынке все происходит иначе. Поисковой системой Google ежедневно пользуются от двух до трех миллиардов человек, совершая 8,5 миллиарда поисковых запросов. Предположим, что местная начинающая поисковая система пытается конкурировать с Google. У него нет ни единого шанса. Поскольку Google уже пользуются миллиарды людей, в его распоряжении гораздо больше данных, и он может обучить гораздо более совершенные алгоритмы, которые привлекут еще больше трафика, который будет использован для обучения следующего поколения алгоритмов, и так далее. Таким образом, в 2023 году Google будет контролировать 91,5 % мирового поискового рынка.
Или возьмем генетику. Предположим, несколько компаний в разных странах пытаются разработать алгоритм, который выявляет связь между генами и медицинскими заболеваниями. Население Новой Зеландии составляет 5 миллионов человек, и правила конфиденциальности ограничивают доступ к их генетическим и медицинским записям. В Китае проживает около 1,4 миллиарда человек, а правила конфиденциальности более мягкие. Как вы думаете, у кого больше шансов разработать генетический алгоритм? Если Бразилия затем захочет приобрести генетический алгоритм для своей системы здравоохранения, у нее будет сильный стимул выбрать гораздо более точный китайский алгоритм, чем новозеландский. А если китайский алгоритм будет оттачиваться на более чем 200 миллионах бразильцев, он станет еще лучше. Это побудит еще больше стран выбрать китайский алгоритм. Вскоре большая часть мировой медицинской информации будет стекаться в Китай, что сделает его генетический алгоритм непревзойденным.
Попытка сосредоточить всю информацию и власть в одном месте, которая была ахиллесовой пятой тоталитарных режимов XX века, может стать решающим преимуществом в эпоху ИИ. В то же время, как отмечалось в предыдущей главе, ИИ может также сделать возможным для тоталитарных режимов создание систем тотальной слежки, которые сделают сопротивление практически невозможным.
Некоторые считают, что блокчейн может стать технологической защитой от подобных тоталитарных тенденций, поскольку блокчейн по своей сути дружелюбен к демократии и враждебен к тоталитаризму. В системе блокчейн решения требуют одобрения 51 процента пользователей. Звучит демократично, но у технологии блокчейн есть фатальный недостаток. Проблема заключается в слове "пользователи". Если у одного человека есть десять аккаунтов, он считается десятью пользователями. Если правительство контролирует 51 процент аккаунтов, то оно составляет 51 процент пользователей. Уже есть примеры блокчейн-сетей, в которых правительство составляет 51 процент пользователей.
А когда правительство имеет 51 процент пользователей в блокчейне, это дает ему контроль не только над настоящим, но даже над прошлым цепочки. Автократы всегда хотели иметь возможность изменять прошлое. Римские императоры, например, часто занимались практикой damnatio memoriae - изгнанием памяти соперников и врагов. После того как император Каракалла убил своего брата и конкурента за трон, Гету, он попытался стереть память о последнем. Надписи с именем Геты выбивались, монеты с его изображением переплавлялись, а само упоминание имени Геты каралось смертью. Одна из сохранившихся картин того времени, Severan Tondo, была сделана во время правления их отца - Септимия Северуса, и первоначально на ней были изображены оба брата вместе с Септимием и их матерью, Юлией Домной. Но позже кто-то не только стер лицо Геты, но и размазал по нему экскременты. Экспертиза выявила крошечные кусочки сухого дерьма на месте, где должно было быть лицо Геты.
Современные тоталитарные режимы так же любят изменять прошлое. После прихода к власти Сталин приложил максимум усилий, чтобы вычеркнуть Троцкого - архитектора большевистской революции и основателя Красной армии - из всех исторических записей. Во время сталинского Большого террора 1937-39 годов, когда такие выдающиеся люди, как Николай Бухарин и маршал Михаил Тухачевский, подвергались чистке и казни, свидетельства их существования стирались из книг, научных работ, фотографий и картин. Такая степень стирания требовала огромных ручных усилий. С блокчейном изменить прошлое будет гораздо проще. Правительство, контролирующее 51 процент пользователей, может исчезнуть из истории одним нажатием кнопки.
ТЮРЬМА БОТ
Хотя существует множество способов, с помощью которых ИИ может укрепить центральную власть, у авторитарных и тоталитарных режимов есть свои проблемы с этим. Прежде всего, диктаторским режимам не хватает опыта в контроле над неорганическими агентами. Основа любой деспотической информационной сети - террор. Но компьютеры не боятся ни тюрьмы, ни смерти. Если чатбот в российском интернете упоминает о военных преступлениях российских войск в Украине, рассказывает непочтительную шутку о Владимире Путине или критикует коррупцию в путинской партии "Единая Россия", что может сделать с ним путинский режим? Сотрудники ФСБ не могут посадить его в тюрьму, пытать или угрожать его семье. Конечно, правительство может заблокировать или удалить его, а также попытаться найти и наказать его создателей-людей, но это гораздо более сложная задача, чем наказывать пользователей-людей.
В те времена, когда компьютеры не могли самостоятельно генерировать контент и вести интеллектуальную беседу, выразить свое особое мнение на российских каналах социальных сетей, таких как "ВКонтакте" и "Одноклассники", мог только человек. Если этот человек физически находился в России, он рисковал навлечь на себя гнев российских властей. Если он физически находился за пределами России, власти могли попытаться заблокировать его доступ. Но что произойдет, если российское киберпространство заполнят миллионы ботов, которые смогут генерировать контент и вести диалоги, самостоятельно обучаясь и развиваясь? Эти боты могут быть запрограммированы российскими диссидентами или иностранными игроками на намеренное распространение неортодоксальных взглядов, и власти не смогут этому помешать. Хуже того, с точки зрения путинского режима, что произойдет, если авторизованные боты будут постепенно сами развивать инакомыслие, просто собирая информацию о происходящем в России и подмечая в ней закономерности?
Это проблема выравнивания в российском стиле. Российские инженеры могут сделать все возможное, чтобы создать ИИ, полностью соответствующий режиму, но, учитывая способность ИИ самостоятельно обучаться и изменяться, как инженеры могут гарантировать, что ИИ никогда не отклонится на незаконную территорию? Особенно интересно отметить, что, как объяснял Джордж Оруэлл в романе "Девятнадцать восемьдесят четыре", тоталитарные информационные сети часто опираются на двусмысленную речь. Россия - авторитарное государство, претендующее на демократию. Российское вторжение на Украину стало крупнейшей войной в Европе с 1945 года, однако официально оно определяется как "специальная военная операция", а упоминание о нем как о "войне" стало уголовным преступлением и карается тюремным сроком до трех лет или штрафом в размере до пятидесяти тысяч рублей.
Конституция России дает грандиозные обещания о том, что "каждому гарантируется свобода мысли и слова" (статья 29.1), что "каждый имеет право свободно искать, получать, передавать, производить и распространять информацию" (29.4) и что "свобода массовой информации гарантируется. Цензура запрещается" (29.5). Вряд ли кто-то из российских граждан настолько наивен, чтобы принять эти обещания за чистую монету. Но компьютеры плохо понимают двусмысленную речь. Чатбот, которому предписано придерживаться российских законов и ценностей, может прочитать эту конституцию и сделать вывод, что свобода слова - одна из основных российских ценностей. Затем, проведя несколько дней в российском киберпространстве и наблюдая за тем, что происходит в российской информационной сфере, чатбот может начать критиковать режим Путина за нарушение основной российской ценности - свободы слова. Люди тоже замечают подобные противоречия, но избегают указывать на них из-за страха. Но что может помешать чатботу выявить проклятые закономерности? И как российские инженеры могут объяснить чатботу, что, хотя Конституция РФ гарантирует всем гражданам свободу слова и запрещает цензуру, чатбот не должен верить в Конституцию и никогда не должен упоминать о разрыве между теорией и реальностью? Как сказал мне украинский гид в Чернобыле, люди в тоталитарных странах растут с мыслью, что вопросы приводят к беде. Но если вы обучите алгоритм по принципу "вопросы приводят к беде", как он будет учиться и развиваться?