The New York Times в апреле 2019 года, приводится скриншот онлайнового рекламного материала CloudWalk, где потенциальным покупателям обещают следующее: «Если численность проблемной группы на определенной территории увеличится (например, если прежде здесь жил один уйгур, а в течение 20 дней их стало шестеро), система немедленно разошлет уведомления, что позволит сотрудникам правоохранительных органов отреагировать, опросить людей и урегулировать ситуацию, а также выработать план действий в чрезвычайных ситуациях»[266].
После демонстрации фотографий с примерами спокойно ведущих себя уйгуров и сцен массовых беспорядков на сайте CloudWalk под заголовком «Наблюдение на местном уровне и предотвращение правонарушений представителей проблемных народностей» объясняется, что «система собирает изображения лиц этих людей, а платформа больших данных Fire Eye идентифицирует их, фиксирует время входа и выхода, подсчитывает количество и т. п. и отсылает в полицию предупреждения, помогая ей выполнить задачу контроля проблемных народностей»[267].
Даже бренд созданного CloudWalk продукта «платформа больших данных Fire Eye[268]» кажется заимствованным из очень страшного научно-фантастического романа. Полное отсутствие попыток как-то замаскировать в описании предназначение этой технологии даже на общедоступном корпоративном сайте — яркий показатель того, что китайские власти проводят в отношении уйгуров политику подавления. Это также свидетельство того, что искусственный интеллект, оказавшийся не в тех руках, может использоваться в самых мрачных целях. Подобная опасность не ограничивается Китаем. Практически любую современную технологию распознавания лиц можно превратить в оружие против определенных групп, если настроить систему на выявление таких признаков, как раса, пол, усы и борода или религиозная одежда.
Движение Китая в сторону все более тотальной слежки за своими гражданами может увенчаться полным выполнением планов по внедрению системы социального рейтинга. Эта программа была представлена в 2014 году как способ вознаграждения «благонадежности» граждан, иными словами, она должна «позволить тем, кто благонадежен, беспрепятственно находиться в любом месте под солнцем и сильно осложнить жизнь дискредитировавшим себя»[269]. Система социального рейтинга начинается с показателей, характерных для западных коммерческих систем кредитного или потребительского рейтинга, таких как кредитный скоринг или рейтинги Uber и Airbnb. Однако китайская система идет намного дальше и потенциально вторгается практически во все аспекты повседневной жизни, включая учет нарушений закона и любые нежелательные, с точки зрения властей, поступки. Помимо просрочек по счетам или штрафам, это могут быть чрезмерное увлечение компьютерными играми, крамольные посты в соцсетях, связи с неподходящими людьми, разбрасывание мусора или громкая музыка в общественном транспорте, курение в неположенных местах и даже неправильно рассортированный мусор[270]. Социальный рейтинг может также учитывать желательное поведение, скажем получение государственной награды или премии за трудовые успехи, благотворительность, заботу о родственниках или помощь соседям. Рейтинг может коснуться даже сугубо личных решений о покупках, например вознаграждать за покупки, которые считаются позитивными, скажем подгузники для младенцев, и наказывать за чрезмерное приобретение спиртного. Обладатели высоких баллов получают такие бонусы, как скидки при расчетах за отопление, сокращенное время ожидания приема в больницах или государственных учреждениях или более благоприятные возможности трудоустройства. Напротив, обладатели низкого социального рейтинга штрафуются: лишаются возможности купить билет на самолет или поезд, не могут записать детей в лучшие школы или забронировать номер в популярном отеле или на хорошем курорте. Когда такая всеобъемлющая система будет полностью внедрена, она станет чрезвычайно навязчивым механизмом контроля, охватывающим практически все взрослое население Китая. Human Rights Watch обоснованно называет такую систему «ужасающей»[271].
Все это конечная цель, нынешнее состояние далеко от подобной целостности. На практике система социального рейтинга раздроблена на экспериментальные программы городов и местных властей наряду со множеством коммерческих рейтинговых систем, которыми управляют такие корпорации, как Alibaba и Tencent, поддерживающие платформы мобильных платежей[272]. Часть этих программ, в частности в городе Жунчэн, получили широкую поддержку общественности, поскольку являются относительно прозрачными, наказывают только явно криминальные поступки и имеют неоспоримые положительные результаты. Например, водители в Жунчэне стали уступать пешеходам дорогу на перекрестках после того, как стало ясно, что нарушение негативно скажется на их социальном рейтинге. Действительно, китайские граждане получили миллионы отказов в продаже билетов на самолет или скоростной поезд, но в основном потому, что их имена оказались в давно ведущихся черных списках, а не из-за социального балла, сгенерированного алгоритмом. В самый важный черный список, который ведет Верховный народный суд, попадают те, кто не погасил долги, судебные или иные штрафы. Впрочем, почти для всех государственных служб в Китае постоянной проблемой остаются коррупция и непрозрачность. Со временем эти системы неизбежно станут намного более интегрированными, и их бесцеремонность будет усилена распознаванием лиц и другими технологиями на основе ИИ, используемыми в целях слежки и наблюдения за гражданами. В конечном итоге можно ожидать появления совершенно оруэлловской системы всестороннего социального контроля.
Ничто из описанного не ограничивается самим Китаем. Экспорт технологий слежки играет ключевую роль в общей стратегии китайских властей по преобразованию производства в стране и переходу от малодоходных товаров массового потребления к технологическим продуктам более высокой ценности. Китаю принадлежит почти половина глобального рынка технологий распознавания лиц. Во многом это заслуга одной китайской фирмы, телекоммуникационной компании Huawei. По данным Фонда Карнеги за международный мир на сентябрь 2019 года, Huawei продала технологии слежения, в том числе системы распознавания лиц, по меньшей мере 50 странам и 230 городам — намного больше любой другой компании. Для сравнения: ее самые близкие американские конкуренты — IBM, Palantir и Cisco — установили системы менее чем в десятке стран каждая[273]. Такие авторитарные государства, как Саудовская Аравия и Объединенные Арабские Эмираты, особенно заинтересованы в китайской технологии, поскольку устанавливают системы слежки на всей своей территории. Там распознавание лиц зачастую уже элемент повседневности. Я убедился в этом лично в ходе поездки в Абу-Даби в начале 2019 года, где услышал широко освещаемую историю о богатой женщине, потерявшей дорогое кольцо. Она сообщила о потере властям, те немедленно применили программу распознавания лиц к снимкам, сделанным в ходе слежения за соответствующей территорией, и всего через несколько часов после случившегося постучали в дверь человека, подобравшего кольцо.
Продажи оборудования Huawei для слежения часто финансируются кредитами, обеспеченными китайскими властями. Такие страны, как Кения, Лаос, Монголия, Уганда, Узбекистан и Зимбабве, приняли участие в этой программе. В некоторых случаях она осуществлялась в рамках глобальной инициативы Пекина «Один пояс — один путь» по финансированию инфраструктурного строительства почти в 70 странах. Все более важным центром активности становится Африка, где, по некоторым данным, китайские системы распознавания лиц уже приносят эффект. Например, Huawei утверждает, что внедрение ее технологии в столице Кении Найроби и ее пригородах привело в 2015 году к снижению уровня преступности на 46 %[274].
Вопрос последствий внедрения созданных китайскими компаниями технологий для безопасности и прав человека уже вызвал серьезные разногласия между Китаем и Соединенными Штатами. В мае 2019 года на Huawei были наложены торговые ограничения, которые вылились в запрет продавать этой компании американские технологии, в частности программное обеспечение и компьютерные процессоры. Это стало следствием сочетания позиции, занятой США в разгорающейся общей торговой войне, и давно высказываемых опасений, что технология инфраструктуры мобильной связи 5G, продаваемая этой компанией, теоретически может дать китайским властям доступ к коммуникациям в Соединенных Штатах через установленное оборудование[275]. США добились неоднозначных результатов в попытках оказать давление на своих союзников и заставить их также запретить использование оборудования Huawei. Кроме того, компанию обвинили в нарушении торгового эмбарго США в отношении Ирана и в получении неприемлемой поддержки китайского государства.
Пять месяцев спустя Соединенные Штаты включили в черный список еще несколько ведущих китайских стартапов в области искусственного интеллекта, а также 20 управлений полиции и силовых ведомств Китая под предлогом нарушения прав человека в результате применения ими технологии против уйгуров и других этнических меньшинств. Запрет продаж был распространен и на три из четырех китайских «единорогов», занимающихся распознаванием лиц, на iFlytek, специализирующуюся на системах распознавания речи, и две компании, выпускающие видеокамеры и другое оборудование для слежения[276]