королевства. Эта художественная зацикленность на биологических драмах династий заслоняет вполне реальные изменения, происходившие на протяжении веков в динамике власти.
Поскольку компьютеры будут все чаще заменять людей-бюрократов и людей-мифотворцев, это снова изменит глубинную структуру власти. Чтобы выжить, демократии нужны не только специальные бюрократические институты, способные тщательно изучить эти новые структуры, но и художники, способные объяснить эти новые структуры в доступной и увлекательной форме. Например, это успешно сделал эпизод "Nosedive" в научно-фантастическом сериале "Черное зеркало".
Выпущенный в 2016 году, в то время, когда мало кто слышал о системах социального кредитования, "Nosedive" блестяще объясняет, как работают такие системы и какие угрозы они представляют. Эпизод рассказывает историю женщины по имени Лейси, которая живет со своим братом Райаном, но хочет переехать в собственную квартиру. Чтобы получить скидку на новую квартиру, ей нужно повысить свой социальный кредитный рейтинг с 4,2 до 4,5 (из 5). Дружба с людьми с высоким баллом повышает ваш собственный балл, поэтому Лейси пытается возобновить общение с Наоми, подругой детства, у которой сейчас рейтинг 4,8. Лейси приглашают на свадьбу Наоми, но по дороге туда она проливает кофе на человека с высоким рейтингом, из-за чего ее собственный балл немного падает, что, в свою очередь, заставляет авиакомпанию отказать ей в месте. С этого момента все, что может пойти не так, идет не так, рейтинг Лейси падает, и она оказывается в тюрьме с оценкой меньше 1.
Эта история опирается на некоторые элементы традиционных биологических драм - "парень встречает девушку" (свадьба), соперничество братьев и сестер (напряжение между Лейси и Райаном) и, самое главное, статусное соперничество (главная проблема эпизода). Но настоящим героем и движущей силой сюжета является не Лейси или Наоми, а невоплощенный алгоритм, управляющий системой социальных кредитов. Алгоритм полностью меняет динамику старых биологических драм - особенно динамику статусной конкуренции. Если раньше люди иногда вступали в статусную конкуренцию, но часто имели желанные перерывы в этой крайне стрессовой ситуации, то вездесущий алгоритм социальных кредитов устраняет эти перерывы. "Nosedive" - это не избитая история о биологическом соревновании за статус, а скорее прозорливое исследование того, что происходит, когда компьютерные технологии меняют правила статусных соревнований.
Если бюрократы и художники научатся сотрудничать и если те и другие будут полагаться на помощь компьютеров, возможно, удастся предотвратить превращение компьютерной сети в непостижимую. Пока демократические общества понимают, что такое компьютерная сеть, их механизмы самокоррекции являются нашей лучшей гарантией от злоупотреблений ИИ. Так, в законе ЕС об ИИ, предложенном в 2021 году, системы социального кредитования, подобные той, что используется в фильме "Nosedive", названы одним из немногих видов ИИ, которые полностью запрещены, поскольку они могут "привести к дискриминационным результатам и исключению определенных групп" и "нарушить право на достоинство и недискриминацию, а также ценности равенства и справедливости". Как и в случае режимов тотальной слежки, так и в случае систем социального кредитования тот факт, что они могут быть созданы, не означает, что мы должны их создать.
ЦИФРОВАЯ АНАРХИЯ
Новая компьютерная сеть представляет собой последнюю угрозу для демократий. Вместо цифрового тоталитаризма она может привести к цифровой анархии. Децентрализованная природа демократий и их сильные самокорректирующиеся механизмы служат защитой от тоталитаризма, но они также усложняют обеспечение порядка. Чтобы функционировать, демократия должна отвечать двум условиям: она должна обеспечивать свободный общественный диалог по ключевым вопросам и поддерживать минимальный уровень социального порядка и институционального доверия. Свободный разговор не должен скатываться в анархию. Особенно когда речь идет о срочных и важных проблемах, общественные дебаты должны вестись в соответствии с принятыми правилами, и должен существовать легитимный механизм для принятия какого-то окончательного решения, даже если оно не всем нравится.
До появления газет, радио и других современных информационных технологий ни одному крупному обществу не удавалось сочетать свободные дискуссии с институциональным доверием, поэтому масштабная демократия была невозможна. Теперь, с появлением новых компьютерных сетей, может ли масштабная демократия снова стать невозможной? Одна из трудностей заключается в том, что компьютерная сеть облегчает участие в дебатах. В прошлом такие организации, как газеты, радиостанции и устоявшиеся политические партии, выступали в роли привратников, определяя, кто будет услышан в публичной сфере. Социальные медиа подорвали власть этих привратников, что привело к более открытому, но и более анархичному общественному разговору.
Когда к обсуждению присоединяются новые группы, они приносят с собой новые точки зрения и интересы и часто ставят под сомнение старый консенсус о том, как вести дискуссию и принимать решения. Правила дискуссии должны быть согласованы заново. Это потенциально позитивное развитие событий, которое может привести к созданию более инклюзивной демократической системы. В конце концов, исправление прежних предубеждений и предоставление возможности ранее лишенным прав людям присоединиться к общественной дискуссии - это жизненно важная часть демократии. Однако в краткосрочной перспективе это создает беспорядки и дисгармонию. Если не будет достигнуто соглашение о том, как вести общественные дебаты и как принимать решения, результатом станет анархия, а не демократия.
Анархический потенциал ИИ вызывает особую тревогу, поскольку он позволяет не только новым человеческим группам вступать в общественные дискуссии. Впервые в истории демократия вынуждена бороться с какофонией нечеловеческих голосов. На многих платформах социальных сетей боты составляют значительное меньшинство участников. Согласно одному из аналитических исследований, из 20 миллионов твитов, созданных во время избирательной кампании в США в 2016 году, 3,8 миллиона твитов (почти 20 процентов) были созданы ботами.
К началу 2020-х годов ситуация ухудшилась. Исследование 2020 года показало, что боты создают 43,2 % твитов. Более полное исследование 2022 года, проведенное агентством цифровой разведки Similarweb, показало, что 5 % пользователей Twitter, вероятно, являются ботами, но они создают "от 20,8 до 29,2 % контента, публикуемого в Twitter". Когда люди пытаются обсудить такой важный вопрос, как кого выбрать президентом США, что произойдет, если многие из голосов, которые они услышат, будут созданы компьютерами?
Еще одна тревожная тенденция касается контента. Изначально боты использовались для влияния на общественное мнение за счет огромного объема распространяемых ими сообщений. Они ретвитили или рекомендовали определенный контент, созданный человеком, но сами не могли создавать новые идеи и устанавливать близкие отношения с людьми. Однако новые инструменты генеративного ИИ, такие как ChatGPT, способны именно на это. В исследовании 2023 года, опубликованном в журнале Science Advances, ученые попросили людей и ChatGPT создать как точные, так и намеренно вводящие в заблуждение короткие тексты по таким вопросам, как вакцины, технология 5G, изменение климата и эволюция. Затем эти тексты были представлены семистам людям, которых попросили оценить их достоверность. Люди хорошо распознавали ложь дезинформации, созданной человеком, но склонны были считать дезинформацию, созданную ИИ, достоверной.
Что же произойдет с демократическими дебатами, когда миллионы, а со временем и миллиарды высокоинтеллектуальных ботов будут не только составлять чрезвычайно убедительные политические манифесты и создавать глубоко фейковые изображения и видео, но и смогут завоевать наше доверие и дружбу? Если я вступаю в политические дебаты с ИИ в режиме онлайн, то пытаться изменить его мнение - пустая трата времени: будучи бессознательной сущностью, он не интересуется политикой и не может голосовать на выборах. Но чем больше я общаюсь с ИИ, тем лучше он меня узнает, а значит, сможет завоевать мое доверие, отточить свои аргументы и постепенно изменить мои взгляды. В борьбе за сердца и умы близость - чрезвычайно мощное оружие. Раньше политические партии могли завладеть нашим вниманием, но им было сложно создать массовую близость. Радиоприемники могли транслировать речь лидера на миллионы, но они не могли подружиться со слушателями. Теперь же политическая партия или даже иностранное правительство могут развернуть целую армию ботов, которые установят дружеские отношения с миллионами граждан и затем используют эту близость, чтобы повлиять на их мировоззрение.
Наконец, алгоритмы не только присоединяются к дискуссии, но и все чаще ее организуют. Социальные сети позволяют новым группам людей оспаривать старые правила ведения дискуссий. Но переговоры о новых правилах ведутся не людьми. Скорее, как мы уже объясняли в нашем предыдущем анализе алгоритмов социальных сетей, зачастую именно алгоритмы устанавливают правила. В XIX и XX веках, когда медиамагнаты подвергали цензуре одни взгляды и продвигали другие, это могло подорвать демократию, но, по крайней мере, магнаты были людьми, и их решения могли быть подвергнуты демократической проверке. Гораздо опаснее, если мы позволим непостижимым алгоритмам решать, какие взгляды следует распространять.
Если манипулятивные боты и непостижимые алгоритмы станут доминировать в общественных дискуссиях, это может привести к краху демократических дебатов именно тогда, когда мы больше всего в них нуждаемся. Именно тогда, когда мы должны принимать судьбоносные решения о быстро развивающихся новых технологиях, общественная сфера будет наводнена сгенерированными компьютером фальшивыми новостями, граждане не смогут определить, с кем они ведут дискуссию - с другом-человеком или с манипулятивной машиной, и не смогут прийти к консенсусу относительно самых основных правил обсуждения или самых основных фактов. Такая анархическая информационная сеть не может породить ни истину, ни порядок и не может существовать долго. Если в итоге мы получим анархию, следующим шагом, вероятно, станет установление диктатуры, поскольку люди согласятся обменять свою свободу на некоторую определенность.