Хотя угроза частной жизни совершенно реальна, важно понимать, что при правильном и этичном использовании системы распознавания лиц однозначно полезны. Эта технология позволила задержать множество опасных преступников. В ситуации с Clearview ущерб неприкосновенности частной жизни, очевидно, перевешивает пользу, тем не менее благодаря этому приложению были опознаны опасные уголовники. Особенно эффективным оно оказалось в идентификации насильников и распространителей детской порнографии. Системы распознавания лиц, действующие в общественных местах, также могут быть очень полезными для снижения уровня преступности. Лондонская полиция справедливо отмечает: «Мы все хотим жить и работать в безопасном городе; общественность может не сомневаться в том, что мы будем использовать общедоступную технологию для борьбы с преступностью»[287].
Более того, повсеместное слежение в Китае, которое с западной точки зрения есть не что иное, как откровенное подавление личности, вовсе не обязательно воспринимается отрицательно большинством китайцев. Многие жители Сянъяна искренне одобряют систему выявления нарушителей правил перехода улиц, потому что она эффективна, и на опасных в прошлом перекрестках стало больше порядка. Я лично расспросил немало жителей Китая, и в наших беседах постоянно всплывало общее наблюдение — у людей усилилось чувство защищенности от преступлений, в частности родители стали меньше бояться за маленьких детей. Не следует недооценивать потенциальную важность этого изменения. Ощущение безопасности в том месте, где живешь, высоко ценится большинством и коррелирует с улучшением показателей физического и психического здоровья. Это одна из областей, в которых Китай зачастую обгоняет Соединенные Штаты.
Безопасная среда особенно важна для детей. Джонатан Хайдт, писатель, профессор Нью-Йоркского университета, настойчиво выступает за воспитание «без гиперопеки». Он утверждает, что мы, жители Соединенных Штатов, создали культуру гиперопеки детей, которая лишает их возможности неконтролируемого взаимодействия с миром, позволяющего превратиться в уверенно стоящих на ногах взрослых[288]. Большинству американских родителей сама мысль о том, чтобы отпустить ребенка одного в школу или разрешить ему играть в соседнем парке без присмотра, кажется чудовищной, а в некоторых местах это просто незаконно. Я подозреваю, что маленьких китайцев не слишком заботит всевидящее око оруэлловского государства, зато они знают, что могут самостоятельно пойти в школу и поиграть в парке. Вот будет ирония, если окажется, что у китайской системы слежки есть положительная сторона — хотя бы для самых маленьких граждан страны. Со временем это, возможно, позволит воспитать более предприимчивое и склонное к новаторству поколение. Никто не хочет, чтобы китайская система появилась в Соединенных Штатах, но в тех пределах, в которых технологии слежения на основе ИИ помогают снизить уровень преступности и создать более безопасную среду, нам следует серьезно задуматься о компромиссе.
Итак, технология распознавания лиц способна принести реальную пользу обществу. Принципиально, однако, чтобы она применялась справедливо и одинаково затрагивала все группы населения. В этом и коренится основная проблема. Ряд исследований доказали, что системы распознавания лиц стабильно демонстрируют определенную предвзятость, как расовую, так и гендерную. Разумеется, это далеко от китайских алгоритмов, открыто нацеленных на выявление уйгуров, и связано с преобладанием лиц белых мужчин в наборах данных, на которых обучаются алгоритмы. В одной популярной выборке обучающих данных 83 % лиц были белыми и 77 % — мужскими[289]. Типичным проявлением этой проблемы является более высокая вероятность «ложноположительного» результата в отношении небелых и женских лиц. Иными словами, в случаях женщин и цветных шансы на ошибочное совпадение возрастают.
В 2018 году Американский союз защиты гражданских свобод (ACLU) сравнил фотографии всех 538 членов Конгресса США с большим набором снимков из архива арестованных. ACLU воспользовался системой Rekognition, доступ к которой можно получить через Amazon Web Service. Она становится все более популярной у отделений полиции благодаря очень низкой цене пользования. ACLU смог провести свой эксперимент всего за $12. Система отметила 28 конгрессменов как тех, кто подвергался аресту и включен в базу фотографий преступников. С учетом того, что человек, подвергавшийся аресту, не может быть избран ни в палату представителей, ни в сенат, все эти результаты были ложноположительным. Больше всего исследователей встревожило даже не количество ошибок как таковое, а выраженный перекос в сторону небелых членов конгресса. Цветные составляют около 20 % конгрессменов, но на них пришлось 39 % ложных совпадений. Amazon в ответ заявила, что ACLU неправильно настроил систему, поскольку использовал для выявления совпадений доверительный уровень по умолчанию 85 %, а не более подходящий — 95 %. Однако ACLU отметил, что Amazon не дает инструкций о том, как правильно настроить систему, и что многие управления полиции почти наверняка пользуются настройками по умолчанию[290].
Намного более масштабное исследование провел в 2019 году Национальный институт стандартов и технологий, входящий в Министерство торговли США. Он оценил 189 систем распознавания лиц, принадлежащих 99 компаниям[291]. Оказалось, что почти во всех случаях уровень ложноположительных результатов был самым низким для европейских лиц и значительно увеличивался для африканских и азиатских. Ожидаемым исключением стали алгоритмы, созданные китайскими компаниями, которые давали самые точные результаты в отношении выходцев из Восточной Азии. Кроме того, системы лучше работали с мужскими лицами по сравнению с женскими, но здесь расхождение было меньше, чем в случае представителей разных рас.
Снижение точности идентификации небелых рас было существенным. Например, для чернокожего вероятность ложноположительной идентификации в 100 с лишним раз выше, чем для белого. Иными словами, афроамериканец в 100 раз сильнее белого рискует быть ошибочно принятым системой за потенциального правонарушителя и, следовательно, привлечь к своей персоне повышенное внимание полиции. Собственно, это цифровая версия сценария из жизни, прекрасно знакомого афроамериканцам, часто сталкивающимся с навязчивым вниманием охранников в универмагах и подозрительностью кассиров.
Казалось бы, эти проблемы можно решить, просто включив в обучающие выборки больше фотографий людей разного этнического происхождения и пола. Однако компаниям, создающим системы распознавания, зачастую трудно найти высококачественные изображения небелых лиц, полученные этически корректно и с согласия людей, иными словами, не надерганные из соцсетей, как это сделала Clearview[292]. Определенные решения этой проблемы сами вызывают вопросы, и в этой области компании, готовые преступить этические нормы, могут получить преимущество. В 2018 году китайская компания-«единорог» CloudWalk заключила с властями Зимбабве сомнительный контракт на создание общенациональной системы распознавания лиц. Соглашение предусматривало предоставление CloudWalk доступа к фотографиям граждан Зимбабве и разрешение обучать на них свои алгоритмы. Систему теоретически можно затем использовать в любой стране мира, естественно, без уведомления граждан Зимбабве[293].
Подобные вопросы, как и ситуация с Clearview, однозначно свидетельствуют, что технологию распознавания лиц нельзя оставлять в руках компаний нерегулируемого частного сектора. Правовое регулирование и надзор имеют принципиальное значение. Если бы The New York Times не привлекла всеобщее внимание к Clearview, ее технология применялась бы в обществе совершенно бесконтрольно задолго до того, как люди осознали бы угрозу своим личным данным, которую она несет. Как минимум нам нужны четкие нормы, обеспечивающие непредвзятость используемых алгоритмов, а также гарантии против применения систем слежения, угрожающего неприкосновенности частной жизни.
Пока нет общих стандартов, в некоторых местах, например в Сан-Франциско, было решено полностью запретить использование технологии распознавания лиц полицией и местными властями. Однако запрет не распространяется на частный сектор. Как и в Китае, применение системы распознавания лиц для допуска в крупные жилые комплексы становится нормой. Некоторые жители таких комплексов уже подают судебные иски, утверждая, что это является вторжением в их частную жизнь. Розничные магазины также используют эту технологию с незначительными ограничениями. Очевидно, нам необходимо регулирование на государственном уровне, которое определит базовый комплекс правил, обязательных для систем распознавания лиц, как публичных, так и частных. Отношение к приватности, слежке и важности общественной безопасности сильно варьирует, и, скорее всего, отдельные страны, регионы и города придут к разным компромиссам в отношении систем распознавания лиц и других технологий слежения на основе ИИ. В демократических обществах к этому должен вести прозрачный процесс, учитывающий мнение общественности, а технология должна подчиняться комплексу базовых принципов, защищающих права всех сопричастных.
Совершенно реальная возможность состязания в области ИИ между Соединенными Штатами и Китаем, беспрецедентная угроза неприкосновенности частной жизни и новые формы дискриминации лишь немногие опасности, появляющиеся по мере неудержимого развития технологии искусственного интеллекта. В следующей главе мы более широко посмотрим на некоторые риски, неотъемлемые от ИИ, и выясним, какие из них требуют немедленного внимания, а какие являются скорее умозрительными, вероятными лишь в далеком будущем.