е 2010-х годов массовые протесты, особенно направленные против национального правительства, были практически невозможны, хотя локальные протесты все еще имели место, и некоторое время, как мы видели ранее в этой главе, они даже координировались в социальных сетях.
Однако к этому моменту инструменты ИИ уже были на стороне властей, а не протестующих. После внедрения технологий ИИ местные власти стали лучше справляться с подавлением и предотвращением протестов. Кстати, несмотря на то, что центральное правительство Китая и местные власти готовы нанимать большое количество полицейских, увеличение инвестиций в ИИ, похоже, уменьшает необходимость использования рабочей силы для наблюдения и даже фактического подавления протестующих.
Что еще более поразительно, этот спрос со стороны местных органов власти влияет на направление инноваций. Данные о вселенной ИИ-стартапов в Китае показывают, что государственный спрос на технологии мониторинга коренным образом меняет последующие инновации. ИИ-фирмы, заключающие контракты с местными органами власти Китая, начинают все больше и больше смещать свои исследования в сторону распознавания лиц и других технологий слежения. Возможно, в результате этих стимулов Китай стал мировым лидером в области технологий наблюдения, таких как распознавание лиц, но отстает в других областях, включая обработку естественного языка, навыки языкового мышления и абстрактные рассуждения.
По оценкам международных экспертов, качество исследований в области ИИ в Китае все еще значительно отстает от американского по всем параметрам. Однако есть один аспект, в котором Китай имеет преимущество: данные.
Китайские исследователи работают с гораздо большими объемами данных и без ограничений конфиденциальности, которые часто ограничивают тип данных, к которым могут получить доступ западные исследователи. Влияние контрактов местных органов власти на направление исследований в области ИИ особенно ярко проявляется, когда местные органы власти делятся огромными объемами данных в своих контрактах на закупки. Имея в своем распоряжении огромное количество данных без каких-либо ограничений и высокий спрос на технологии наблюдения, стартапы ИИ смогли протестировать и разработать мощные приложения, способные отслеживать, контролировать и управлять гражданами.
Здесь существует ловушка технологии наблюдения: могущественные и богатые деньгами правительства, стремящиеся подавить инакомыслие, требуют технологий ИИ для контроля над своим населением. Чем больше они их требуют, тем больше исследователей их производят. Чем больше ИИ движется в этом репрессивном направлении, тем более привлекательным он становится для авторитарных (или желающих стать авторитарными) правительств.
Действительно, китайские стартапы теперь экспортируют свои продукты ИИ, направленные на мониторинг и репрессии, другим недемократическим правительствам. Китайский технологический гигант Huawei, один из главных бенефициаров неограниченного доступа к данным и финансовых стимулов для развития технологий шпионажа, экспортировал эти инструменты в пятьдесят других стран. Мы увидели, как автоматизация на основе ИИ, разработанная в технологически развитых странах, повлияет на остальной мир, причем для большинства работников это может иметь значительные потенциальные негативные последствия. То же самое касается и слежки на основе ИИ: большинству граждан, где бы они ни находились в мире, становится все труднее избежать репрессий.
Социальные сети и скрепки
Интернет-цензура и даже высокотехнологичные шпионские программы могут ничего не сказать о потенциале социальных сетей как инструмента для улучшения политического дискурса и координации оппозиции самым худшим режимам в мире. То, что несколько диктатур использовали новые технологии для подавления своего населения, не должно никого удивлять. То, что Соединенные Штаты делают то же самое, также понятно, если вспомнить давнюю традицию беззакония их служб безопасности, которая только усилилась после "войны с террором". Возможно, решение заключается в том, чтобы удвоить усилия социальных сетей и позволить им иметь больше возможностей для общения и свободных сообщений, чтобы ярче освещать злоупотребления. Увы, нынешний путь социальных сетей с искусственным интеллектом представляется почти таким же губительным для демократии и прав человека, как и цензура в Интернете.
Притча о скрепках - любимый инструмент компьютерщиков и философов для подчеркивания опасностей, которые может представлять сверхинтеллектуальный ИИ, если его цели не будут полностью совпадать с целями человечества. Мысленный эксперимент предполагает наличие неудержимо мощной интеллектуальной машины, которая получает инструкции производить больше скрепок, а затем использует свои значительные возможности для достижения этой цели, придумывая новые методы превращения всего мира в скрепки. Когда речь идет о влиянии ИИ на политику, он может превратить наши институты в скрепки не благодаря своим превосходным возможностям, а из-за своей посредственности.
К 2017 году Facebook был настолько популярен в Мьянме, что его стали отождествлять с самим интернетом. Двадцать два миллиона пользователей при населении в пятьдесят три миллиона человек были благодатной почвой для дезинформации и языка вражды. Одна из самых этнически разнообразных стран в мире, Мьянма является домом для 135 официально признанных различных этносов. Ее военные, которые правят страной железным кулаком с 1962 года, с коротким периодом парламентской демократии под военным кураторством в период с 2015 по 2020 год, часто разжигают этническую ненависть среди большинства буддистского населения. Ни одна другая группа не подвергалась столь частым нападкам, как мусульмане рохинья, которых правительственная пропаганда изображает иностранцами, хотя они живут здесь уже несколько веков. Ненавистнические высказывания в адрес рохинья стали обычным явлением в контролируемых правительством СМИ.
Facebook появился в этой горючей смеси межнациональной напряженности и подстрекательской пропаганды в 2010 году. С тех пор она стремительно расширялась. В соответствии с верой Кремниевой долины в превосходство алгоритмов над людьми и несмотря на огромную базу пользователей, в Facebook работал только один человек, который следил за Мьянмой и говорил на бирманском, но не на большинстве из других ста или около того языков, используемых в стране.
В Мьянме язык ненависти и подстрекательство с самого начала были распространены на Facebook. В июне 2012 года высокопоставленный чиновник, близкий к президенту страны Тейн Сейну, разместил на своей странице в Facebook следующее:
Слышно, что рохинья-террористы из так называемой Организации солидарности рохинья пересекают границу и попадают в страну с оружием. То есть в страну прибывают рохинья из других стран. Поскольку наши военные получили эту новость заранее, мы будем искоренять их до конца! Я считаю, что мы уже делаем это.
Пост продолжал: "Мы не хотим слышать о гуманитарных вопросах или правах человека от других". Этот пост не только разжигал ненависть к мусульманскому меньшинству, но и усиливал ложный нарратив о том, что рохинья проникают в страну извне.
В 2013 году буддийский монах Ашин Виратху, которого журнал Time в том же году назвал лицом буддийского террора, публиковал в Facebook сообщения, в которых называл рохинья вторгшимися иностранцами, убийцами и опасностью для страны. В конце концов он сказал: "Я принимаю термин "экстремист" с гордостью".
Призывы активистов и международных организаций к Facebook пресекать недостоверную информацию и подстрекательские посты продолжали расти. Один из руководителей Facebook признал: "Мы согласны, что можем и должны делать больше". Однако к августу 2017 года, что бы ни делал Facebook, этого было далеко недостаточно для контроля языка ненависти. Платформа стала главным средством организации того, что Соединенные Штаты в итоге назовут геноцидом.
Популярность языка вражды на Facebook в Мьянме не должна была стать сюрпризом. Бизнес-модель Facebook основана на максимизации вовлеченности пользователей, и любые сообщения, вызывающие сильные эмоции, включая, конечно, язык вражды и провокационную дезинформацию, предпочитаются алгоритмами платформы, поскольку они вызывают активное участие тысяч, иногда сотен тысяч пользователей.
Правозащитные группы и активисты еще в 2014 году обратились к руководству Facebook с обеспокоенностью по поводу растущего количества разжигания ненависти и совершаемых в результате этого злодеяний, но без особого успеха. Поначалу проблема игнорировалась, активисты упирались, в то время как количество ложной, подстрекательской информации против рохинджа продолжало расти. Так же как и свидетельства того, что на платформе организовывались преступления на почве ненависти, включая убийства мусульманского меньшинства. Хотя компания не хотела предпринимать значительных усилий для решения проблемы преступлений на почве ненависти, это не потому, что ей было наплевать на Мьянму. Когда правительство страны закрыло Facebook, руководители компании немедленно приступили к действиям, опасаясь, что отключение может оттолкнуть часть из двадцати двух миллионов пользователей в стране.
Facebook также удовлетворил требования правительства в 2019 году обозначить четыре этнические организации как "опасные" и запретить их на платформе. Эти сайты, хотя и связаны с этническими сепаратистскими группами, такими как Армия Аракана, Армия независимости Качина и Армия Национального демократического альянса Мьянмы, были одними из основных хранилищ фотографий и других доказательств убийств и других зверств, совершенных армией и экстремистскими буддийскими монахами.
Когда Facebook наконец отреагировал на давление, его решение заключалось в создании "стикеров" для идентификации потенциального языка ненависти. Стикеры позволяли пользователям размещать сообщения, содержащие вредный или сомнительный контент, но предупреждали их: "Подумайте, прежде чем поделиться" или "Не будьте причиной насилия". Однако оказалось, что алгоритм Facebook, подобно тупой версии программы ИИ, одержимой скрепками, был настолько нацелен на максимальное вовлечение, что регистрировал вредные сообщения как более популярные, поскольку люди вовлекались в контент, чтобы отметить его как вредный. Затем алгоритм рекомендовал этот контент более широко в Мьянме, что еще больше усугубляло распространение языка ненависти.