цать, что социальные сети сыграли важную роль в возвышении Болсонару.
Еще одним ютубером, получившим место в Палате депутатов Бразилии в 2018 году, стал Ким Катагири, один из лидеров Движения за свободную Бразилию (MBL, или Free Brazil Movement). Изначально Катагири использовал Facebook в качестве своей основной платформы, но его посты оказались слишком экстремальными даже для Facebook, который запретил некоторые из них за дезинформацию. Тогда Катагири перешел на более свободный YouTube. В интервью в штаб-квартире MBL в Сан-Паулу помощники Катагири и другие активисты объяснили Фишеру: "У нас здесь есть нечто, что мы называем "диктатурой типа". Они объяснили, что ютуберы склонны становиться все более экстремальными, размещая неправдивый и безрассудный контент "только потому, что что-то даст вам просмотры, даст ангажемент.... Как только вы откроете эту дверь, пути назад уже не будет, потому что вам всегда придется идти дальше.... Плоская земля, антивакцинаторы, теории заговора в политике. Это одно и то же явление. Вы видите это повсюду".
Конечно, алгоритмы YouTube сами не несут ответственности за придумывание лжи и теорий заговора или за создание экстремистского контента. По крайней мере в 2017-18 годах эти вещи делали люди. Однако алгоритмы отвечали за то, чтобы стимулировать людей вести себя подобным образом и продвигать полученный контент, чтобы максимизировать вовлеченность пользователей. Фишер задокументировал множество ультраправых активистов, которые впервые заинтересовались экстремистской политикой после просмотра видеороликов, которые алгоритм YouTube автоматически проигрывал для них. Один ультраправый активист из Нитероя рассказал Фишеру, что никогда не интересовался политикой, пока однажды алгоритм YouTube не воспроизвел для него видео о политике Катагири. "До этого, - объяснил он, - у меня не было идеологической и политической основы". Он считает, что алгоритм обеспечил "мое политическое образование". Говоря о том, как другие люди присоединились к движению, он сказал: "Так было со всеми.... Большинство людей здесь пришли с YouTube и из социальных сетей".
ВИНИТЬ ЛЮДЕЙ
Мы достигли поворотного момента в истории, когда основные исторические процессы отчасти обусловлены решениями нечеловеческого интеллекта. Именно это делает ошибочность компьютерной сети столь опасной. Компьютерные ошибки становятся потенциально катастрофическими только тогда, когда компьютеры превращаются в исторических агентов. Мы уже приводили этот аргумент в главе 6, когда кратко рассмотрели роль Facebook в разжигании кампании по этнической чистке против рохинджа. Однако, как уже отмечалось, многие люди - в том числе некоторые руководители и инженеры Facebook, YouTube и других технологических гигантов - возражают против этого аргумента. Поскольку он является одним из центральных пунктов всей книги, лучше углубиться в этот вопрос и более тщательно изучить возражения против него.
Люди, управляющие Facebook, YouTube, TikTok и другими платформами, постоянно пытаются оправдать себя, перекладывая вину со своих алгоритмов на "человеческую природу". Они утверждают, что именно человеческая природа порождает всю ненависть и ложь на платформах. Затем технологические гиганты заявляют, что из-за своей приверженности ценностям свободы слова они не решаются подвергать цензуре выражение подлинных человеческих эмоций. Например, в 2019 году генеральный директор YouTube Сьюзан Войцицки объяснила: "Мы думаем так: "Нарушает ли этот контент одну из наших политик? Нарушает ли он что-то в плане ненависти, преследования?". Если да, то мы удаляем этот контент. Мы продолжаем ужесточать и ужесточать политику. Мы также получаем критику, чтобы быть понятными, [по поводу] того, где вы проводите границы свободы слова и, если вы проводите их слишком жестко, вы удаляете голоса общества, которые должны быть услышаны? Мы пытаемся найти баланс, чтобы дать возможность высказаться широкому кругу людей, но при этом убедиться, что эти голоса играют по правилам, которые являются здоровыми для общества".
В октябре 2021 года представитель Facebook также заявил: "Как и любая платформа, мы постоянно принимаем сложные решения между свободой слова и вредными высказываниями, безопасностью и другими вопросами.... Но проведение этих общественных границ всегда лучше оставить избранным лидерам". Таким образом, технологические гиганты постоянно переводят дискуссию на свою предполагаемую роль модераторов контента, произведенного людьми, и игнорируют активную роль, которую играют их алгоритмы в культивировании одних человеческих эмоций и подавлении других. Неужели они действительно слепы к этому?
Конечно, нет. Еще в 2016 году внутренний отчет Facebook обнаружил, что "64 % всех вступлений в экстремистские группы происходят благодаря нашим рекомендательным инструментам.... Наши рекомендательные системы порождают проблему". Секретный внутренний меморандум Facebook от августа 2019 года, утечка которого произошла благодаря разоблачителю Фрэнсису Хаугену, гласил: "У нас есть доказательства из различных источников, что язык ненависти, политическая речь, вызывающая разногласия, и дезинформация на Facebook и [его] семействе приложений влияют на общества по всему миру. У нас также есть убедительные доказательства того, что такие основные механики нашего продукта, как вирусность, рекомендации и оптимизация для вовлечения, являются значительной частью того, почему эти виды высказываний процветают на платформе".
В другом документе, просочившемся в сеть в декабре 2019 года, отмечалось: "В отличие от общения с близкими друзьями и семьей, вирусность - это нечто новое, что мы внедрили во многие экосистемы... и она возникает потому, что мы намеренно поощряем ее по причинам бизнеса". В документе отмечалось, что "ранжирование контента на более важные темы, такие как здоровье или политика, на основе вовлеченности приводит к порочным стимулам и проблемам с честностью". И, пожалуй, самое ужасное: "В наших системах ранжирования есть отдельные прогнозы не только того, что вас заинтересует, но и того, что, по нашему мнению, вы можете передать, чтобы это заинтересовало других". К сожалению, исследования показали, что возмущение и дезинформация с большей вероятностью станут вирусными". В этом документе, ставшем достоянием гласности, содержится одна важная рекомендация: поскольку Facebook не может удалить все вредное с платформы, которой пользуются миллионы людей, он должен, по крайней мере, "прекратить увеличивать вредный контент, давая ему неестественное распространение".
Как и советские лидеры в Москве, технологические компании не открывали какую-то истину о людях; они навязывали нам новый извращенный порядок. Люди - очень сложные существа, и доброкачественные социальные порядки ищут способы культивировать наши достоинства, сдерживая при этом наши негативные наклонности. Но алгоритмы социальных сетей рассматривают нас просто как мину для привлечения внимания. Алгоритмы свели многогранную гамму человеческих эмоций - ненависть, любовь, возмущение, радость, замешательство - в одну общую категорию: вовлеченность. В Мьянме в 2016 году, в Бразилии в 2018 году и во многих других странах алгоритмы оценивали видео, посты и прочий контент исключительно в зависимости от того, сколько минут люди занимались этим контентом и сколько раз они поделились им с другими. Час лжи или ненависти оценивался выше, чем десять минут правды или сострадания - или час сна. Тот факт, что ложь и ненависть, как правило, психологически и социально разрушительны, в то время как правда, сострадание и сон необходимы для благополучия человека, совершенно не учитывался алгоритмами. Основываясь на таком узком понимании человечества, алгоритмы помогли создать новую социальную систему, которая поощряла наши самые низменные инстинкты и не давала нам реализовать весь спектр человеческого потенциала.
По мере того как пагубные последствия становились очевидными, технологических гигантов неоднократно предупреждали о происходящем, но они не вмешивались из-за своей веры в наивный взгляд на информацию. Когда платформы захлестнула ложь и возмущение, руководители компаний надеялись, что если дать возможность большему числу людей выражать свое мнение более свободно, то правда в конце концов восторжествует. Однако этого не произошло. Как мы уже не раз убеждались на протяжении истории, в полностью свободной информационной борьбе правда, как правило, проигрывает. Чтобы склонить баланс в пользу правды, сети должны разработать и поддерживать сильные механизмы самокоррекции, которые вознаграждают за правдивые высказывания. Эти механизмы самокоррекции требуют больших затрат, но если вы хотите получить правду, вы должны в них инвестировать.
Кремниевая долина считала, что на нее не распространяется это историческое правило. Платформам социальных сетей не хватало механизмов самокоррекции. В 2014 году в Facebook работал всего один модератор контента, говорящий на бирманском языке, который следил за деятельностью во всей Мьянме.15 Когда наблюдатели в Мьянме начали предупреждать Facebook о необходимости вкладывать больше средств в модерацию контента, Facebook проигнорировал их. Например, Пвинт Хтун, американский инженер-бирманец и руководитель телекоммуникационной компании, выросший в сельской местности Мьянмы, неоднократно писал руководителям Facebook об опасности. В электронном письме от 5 июля 2014 года - за два года до начала кампании по этнической чистке - она сделала пророческое предупреждение: "Трагично, но FB в Бирме используется так же, как радио в Руанде в темные дни геноцида". Facebook не предпринял никаких действий.
Даже после того, как нападения на рохинджа усилились и Facebook столкнулся с бурей критики, он все равно отказался нанимать людей с экспертным знанием местности для курирования контента. Так, получив информацию о том, что разжигатели ненависти в Мьянме используют бирманское слово "калар" в качестве расистского обозначения рохинья, Facebook в апреле 2017 года отреагировал на это запретом любых постов, в которых использовалось это слово. Это показало полное отсутствие у Facebook знаний о местных условиях и бирманском языке. В бирманском языке "калар" является расистским оскорблением только в определенных контекстах. В других контекстах это совершенно невинный термин. Бирманское слово, обозначающее стул, - kalar htaing, а слово, обозначающее нут, - kalar pae. Как написал Пвинт Хтун в Facebook в июне 2017 года, запретить термин kalar на платформе - все равно что запретить буквы "hell" в слове "hello". Facebook продолжал игнорировать необходимость в местной экспертизе. К апрелю 2018 года число носителей бирманского языка, которых Facebook наняла для модерации контента для восемнадцати миллионов пользователей в Мьянме, составляло всего пять человек.