ия розни и подстрекательства к насилию в офлайне". Хотя это заявление может звучать как признание вины, на самом деле оно перекладывает большую часть ответственности за распространение языка ненависти на пользователей платформы и подразумевает, что грех Facebook заключался, по меньшей мере, в бездействии - неспособности эффективно модерировать контент, создаваемый пользователями. Это, однако, игнорирует проблемные действия, совершенные собственными алгоритмами Facebook.
Важно понять, что алгоритмы социальных сетей принципиально отличаются от печатных станков и радиоприемников. В 2016-17 годах алгоритмы Facebook сами принимали активные и судьбоносные решения. Они были больше похожи на редакторов газет, чем на печатные станки. Именно алгоритмы Facebook рекомендовали посты Виратху, полные ненависти, снова и снова сотням тысяч бирманцев. В то время в Мьянме были и другие голоса, которые боролись за внимание. После окончания военного правления в 2011 году в Мьянме возникло множество политических и общественных движений, многие из которых придерживались умеренных взглядов. Например, во время вспышки этнического насилия в городе Мейктила буддийский настоятель Саядав У Витхуддха предоставил убежище в своем монастыре более чем восьмистам мусульманам. Когда бунтовщики окружили монастырь и потребовали выдать мусульман, настоятель напомнил толпе о буддийских учениях о сострадании. Позднее в интервью он рассказывал: "Я сказал им, что если они собираются забрать этих мусульман, то им придется убить и меня".
В сетевой битве за внимание между такими людьми, как Саядав У Витхуддха, и такими, как Виратху, алгоритмы были главными действующими лицами. Они выбирали, что разместить в верхней части ленты новостей пользователей, какой контент продвигать и в какие группы Facebook рекомендовать вступать. Алгоритмы могли бы рекомендовать проповеди о сострадании или кулинарные курсы, но они решили распространять полные ненависти теории заговора. Рекомендации свыше могут оказывать огромное влияние на людей. Вспомните, что Библия родилась как рекомендательный список. Порекомендовав христианам читать женоненавистническое "1-е Тимофея" вместо более терпимых "Деяний Павла и Феклы", Афанасий и другие отцы церкви изменили ход истории. В случае с Библией высшая власть принадлежала не авторам, сочинявшим различные религиозные трактаты, а кураторам, составлявшим рекомендательные списки. В 2010-х годах такой властью обладали алгоритмы социальных сетей. Майкл, сотрудник гуманитарной организации, прокомментировал влияние этих алгоритмов, сказав, что "если кто-то размещал что-то полное ненависти или подстрекательское, то это продвигалось больше всего - люди видели самый мерзкий контент больше всего.... Никто, кто пропагандировал мир или спокойствие, вообще не попадал в ленту новостей".
Иногда алгоритмы выходили за рамки простых рекомендаций. В 2020 году, даже после того, как роль Виратху в разжигании кампании этнических чисток была осуждена во всем мире, алгоритмы Facebook не только продолжали рекомендовать его сообщения, но и автоматически воспроизводили его видео. Пользователи в Мьянме выбирали определенное видео, возможно, содержащее умеренные и доброжелательные сообщения, не связанные с Виратху, но как только первое видео заканчивалось, алгоритм Facebook тут же начинал автовоспроизведение наполненного ненавистью видео с Виратху, чтобы удержать пользователей приклеенными к экрану. В случае с одним из таких видео Wirathu, согласно внутренним исследованиям Facebook, 70 процентов просмотров видео было получено благодаря таким алгоритмам автовоспроизведения. По данным того же исследования, в целом 53 процента всех видеороликов, просмотренных в Мьянме, были автоматически воспроизведены алгоритмами для пользователей. Другими словами, люди не выбирали, что им смотреть. За них это делали алгоритмы.
Но почему алгоритмы решили поощрять возмущение, а не сострадание? Даже самые суровые критики Facebook не утверждают, что человеческие менеджеры Facebook хотели спровоцировать массовое убийство. Руководители в Калифорнии не питали никакой злобы к рохинджа и, по сути, даже не знали об их существовании. Правда сложнее и потенциально более тревожна. В 2016-17 годах бизнес-модель Facebook основывалась на максимальном повышении вовлеченности пользователей, чтобы собирать больше данных, продавать больше рекламы и захватывать большую долю информационного рынка. Кроме того, рост вовлеченности пользователей впечатлял инвесторов, что способствовало росту цен на акции Facebook. Чем больше времени люди проводили на платформе, тем богаче становилась Facebook. В соответствии с этой бизнес-моделью человеческие менеджеры поставили перед алгоритмами компании единственную главную цель: повысить вовлеченность пользователей. Затем алгоритмы методом проб и ошибок выяснили, что возмущение вызывает вовлеченность. Люди с большей вероятностью будут увлечены теорией заговора, наполненной ненавистью, чем проповедью о сострадании или уроком кулинарии. Поэтому в погоне за вовлеченностью пользователей алгоритмы приняли роковое решение распространять возмущение.
В кампаниях по этнической чистке никогда не бывает виновата только одна сторона. Вина лежит на многих ответственных сторонах. Должно быть ясно, что ненависть к рохинья возникла еще до появления Facebook в Мьянме и что наибольшая доля вины за зверства 2016-17 годов лежит на плечах таких людей, как Виратху и военные начальники Мьянмы, а также на лидерах АРСА, которые спровоцировали тот виток насилия. Определенная ответственность лежит и на инженерах и руководителях Facebook, которые разработали алгоритмы, дали им слишком много власти и не смогли их модерировать. Но, что очень важно, виноваты и сами алгоритмы. Методом проб и ошибок они поняли, что возмущение порождает вовлеченность, и без какого-либо прямого приказа сверху решили поощрять возмущение. Это отличительная черта ИИ - способность машины учиться и действовать самостоятельно. Даже если мы возложим всего 1 процент вины на алгоритмы, это все равно первая в истории кампания по этнической чистке, в которой частично виноваты решения, принятые нечеловеческим интеллектом. Вряд ли она станет последней, особенно потому, что алгоритмы уже не просто продвигают фальшивые новости и теории заговора, созданные экстремистами из плоти и крови вроде Виратху. К началу 2020-х годов алгоритмы уже перешли к самостоятельному созданию фальшивых новостей и теорий заговора.
Можно еще многое сказать о том, как алгоритмы влияют на политику. В частности, многие читатели могут не согласиться с утверждением, что алгоритмы принимали независимые решения, и настаивать на том, что все, что делали алгоритмы, было результатом кода, написанного человеческими инженерами, и бизнес-моделей, принятых человеческими руководителями. Эта книга заставляет с этим не согласиться. Человеческие солдаты формируются под влиянием генетического кода в их ДНК и выполняют приказы, отдаваемые руководителями, но при этом они все равно могут принимать самостоятельные решения. Очень важно понять, что то же самое можно сказать и об алгоритмах ИИ. Они могут самостоятельно научиться тому, что не запрограммировал ни один человеческий инженер, и могут принимать решения, которые не предвидел ни один человеческий руководитель. В этом и заключается суть революции ИИ.
В главе 8 мы вернемся ко многим из этих вопросов, более подробно рассмотрев кампанию против рохинья и другие подобные трагедии. Здесь же достаточно сказать, что резню рохинджа можно рассматривать как "канарейку в угольной шахте". События в Мьянме в конце 2010-х годов продемонстрировали, что решения, принимаемые нечеловеческим интеллектом, уже способны влиять на ход крупных исторических событий. Мы рискуем потерять контроль над нашим будущим. Возникает совершенно новый вид информационной сети, управляемой решениями и целями инопланетного разума. В настоящее время мы все еще играем центральную роль в этой сети. Но постепенно мы можем быть оттеснены на второй план, и в конце концов сеть сможет работать без нас.
Кто-то может возразить, что приведенная мной выше аналогия между алгоритмами машинного обучения и человеческими солдатами показывает самое слабое звено в моих аргументах. Утверждается, что я и подобные мне антропоморфируют компьютеры и воображают, что они являются сознательными существами, обладающими мыслями и чувствами. Однако на самом деле компьютеры - это тупые машины, которые ни о чем не думают и ничего не чувствуют, а значит, не могут самостоятельно принимать решения или создавать какие-либо идеи.
Это возражение предполагает, что принятие решений и создание идей обусловлены наличием сознания. Однако это фундаментальное заблуждение, проистекающее из гораздо более распространенной путаницы между интеллектом и сознанием. Я уже обсуждал эту тему в предыдущих книгах, но краткое пояснение неизбежно. Люди часто путают интеллект с сознанием, и многие, как следствие, делают поспешный вывод, что бессознательные сущности не могут быть разумными. Но интеллект и сознание - это совершенно разные вещи. Интеллект - это способность достигать целей, таких как максимальное привлечение пользователей на платформе социальных сетей. Сознание - это способность испытывать субъективные чувства, такие как боль, удовольствие, любовь и ненависть. У людей и других млекопитающих интеллект часто идет рука об руку с сознанием. Руководители и инженеры Facebook полагаются на свои чувства, чтобы принимать решения, решать проблемы и достигать своих целей.
Но неверно экстраполировать человечество и млекопитающих на все возможные сущности. Бактерии и растения, по-видимому, не обладают сознанием, однако они тоже проявляют интеллект. Они собирают информацию из окружающей среды, делают сложный выбор и реализуют хитроумные стратегии, чтобы добывать пищу, размножаться, сотрудничать с другими организмами, избегать хищников и паразитов. Даже люди принимают разумные решения, не осознавая их; 99 процентов процессов в нашем теле, от дыхания до пищеварения, происходят без какого-либо сознательного принятия решений. Наш мозг принимает решение выработать больше адреналина или дофамина, и хотя мы можем осознавать результат этого решения, мы не принимаем его сознательно. Пример рохинджа показывает, что то же самое можно сказать и о компьютерах. Хотя компьютеры не чувствуют боли, любви или страха, они способны принимать решения, которые успешно максимизируют вовлеченность пользователей, а также могут повлиять на важные исторические события.