Вместо того чтобы пытаться создать больше систем, которые группируют выражения в машиночитаемые категории, мы должны поставить под вопрос происхождение самих эмоций, а также их социальные и политические последствия. Инструменты распознавания уже используются в политических атаках. Например, один консервативный блог утверждал, что создал «виртуальную полиграфную систему» для оценки видеозаписей конгрессмена Ильхан Абдуллахи Омар[441]. Используя аналитику лица и речи от Amazon’s Rekognition, XRVision Sentinel AI и IBM Watson, блогер утверждал, что аналитический балл лжи Омар превышает ее «базовый уровень правдивости» и что она показывает высокий уровень стресса, презрения и нервозности. Несколько консервативных СМИ распространили эту историю, утверждая, что Омар – «патологический лжец» и угроза безопасности страны[442].
Известно, что эти системы отмечают речевые влияния женщин иначе, чем мужчин, особенно чернокожих женщин. Как мы видели в главе 3, построение «среднего» на основе нерепрезентативных учебных данных – эпистемологически подозрительно с самого начала, с явными расовыми предубеждениями. Исследование, проведенное в университете Мэриленда, показало, что некоторые программы распознавания лиц интерпретируют темнокожие лица как обладающие более негативными эмоциями, чем светлокожие лица, особенно регистрируя их как более злобные и подозрительные, даже когда они контролируют свою улыбку[443].
В этом и кроется опасность автоматизации распознавания эмоций. Эти инструменты могут вернуть нас в френологическое прошлое, когда ложные утверждения использовались для поддержания существующих систем власти. Десятилетия научных споров об определении эмоционального состояния по лицу человека подчеркивают главное: общее для всех «выявление» не является правильным подходом. Эмоции сложны, и они развиваются и меняются в связи с нашими культурами и историей – во всех многообразных контекстах, которые находятся за пределами искусственного интеллекта. Во многих случаях системы распознавания эмоций не делают того, что заявляют. Вместо того чтобы непосредственно измерять внутренние психические состояния людей, они просто статистически оптимизируют корреляции определенных физических характеристик между изображениями. Научные основы автоматизированного определения эмоций находятся под вопросом, однако новое поколение инструментов для определения эмоций уже делает выводы во все более широком спектре важных контекстов – от работы в полиции до приема на работу.
Даже несмотря на то, что сегодня доказательства указывают на ненадежность определения эмоций, компании продолжают искать новые источники, борясь за ведущую долю рынка в секторе, сулящем миллиардные прибыли. Систематический обзор исследований, проведенных Барретт в области определения эмоций по лицам людей, завершается на проклятой ноте: «Технологические компании, скорее всего, задают неверный в корне вопрос. Попытки „считывать“ внутренние состояния людей на основе анализа мимики, без учета различных аспектов контекста, в лучшем случае неполны, а в худшем – полностью лишены обоснованности, независимо от того, насколько сложны вычислительные алгоритмы»[444].
Пока мы не начнем сопротивляться желанию автоматизировать распознавание эмоций, мы так и будем рисковать неверной оценкой работодателей, потому что их микровыражения не совпадают с выражениями лиц сотрудников. Студенты будут получать оценки хуже, чем их сверстники, потому что их лица показывают отсутствие энтузиазма, а покупателей станут задерживать, потому как система ИИ определила их как вероятных воров[445]. Именно эти люди будут нести расходы на системы, которые не только технически несовершенны, но и основаны на сомнительных методологиях.
Сферы жизни, где применяются такие системы, расширяются так же быстро, как и новые рынки, создаваемые лабораториями и корпорациями. Однако все они опираются на узкое понимание эмоций – выросшее из первоначального набора эмоций Экмана: гнев, счастье, удивление, отвращение, печаль и страх – для обозначения бесконечной вселенной человеческих чувств и проявлений в пространстве и времени. Это возвращает нас к глубокой ограниченности возможности охватить всю сложность мира в рамках одной классификационной схемы. Это возвращает нас к той же проблеме, которую мы уже неоднократно наблюдали: желание чрезмерно упростить то, что сложно, и представить на рынке. Системы искусственного интеллекта стремятся извлечь изменчивый, частный, разнообразный опыт нашего телесного «я», но в результате получается карикатурный набросок, который не может передать нюансы эмоционального опыта в мире.
Глава 6Государство
Я сижу перед ноутбуком на десятом этаже складского здания в Нью-Йорке. На экране – программа, обычно используемая для цифровой криминалистики, инструмента для исследования улик и проверки информации, хранящейся на жестких дисках. Я пришла, чтобы изучить архив, содержащий самые конкретные детали того, как машинное обучение начало использоваться в разведывательном секторе под руководством некоторых из самых богатых правительств в мире. Это архив Сноудена: все документы, презентации PowerPoint, внутренние служебные записки, информационные бюллетени и технические руководства, которые бывший подрядчик АНБ и разоблачитель Эдвард Сноуден слил в 2013 году. Каждая страница помечена заголовком, отмечающим различные формы классификации. Top secret // SI // ORCON // NOFORN.[446] Каждая из них является предупреждением и обозначением.
Кинорежиссер Лора Пойтрас впервые предоставила мне доступ к этому архиву в 2014 году. В архиве хранилось более десяти лет размышлений и сообщений разведки, включая внутренние документы Агентства национальной безопасности в США и Штаба правительственной связи в Великобритании, а также международной сети Five Eyes[447]. Эти данные оставались недоступны для тех, кто не имел допуска высокого уровня. Они являлись частью «засекреченной империи», информации, которая, по оценкам, когда-то росла в пять раз быстрее, чем общедоступная информация[448]. В архиве Сноудена запечатлены годы, когда сбор данных приобрел метастазы: когда телефоны, браузеры, платформы социальных сетей и электронная почта стали источниками данных для государства. Документы показывают, как разведывательное сообщество способствовало развитию многих методов, которые мы сегодня называем искусственным интеллектом.
Архив Сноудена раскрывает параллельный сектор ИИ, разработанный в условиях секретности. Методы имеют много общего, но есть и разительные отличия в плане охвата, целей и результата. Исчезли любые риторические конструкции, оправдывающие извлечение и захват: каждая программная система просто описывается как нечто, чем можно завладеть, что можно победить; почти все платформы данных открыты. В одной из презентаций АНБ в PowerPoint рассказывается о программе treASuremAp, предназначенной для создания интерактивной карты интернета практически в режиме реального времени[449]. Она утверждает, что может отслеживать местоположение и владельца любого подключенного компьютера, мобильного устройства или маршрутизатора: «Карта всего интернета – любое устройство, в любом месте, все время», – хвастается слайд. Несколько слайдов на тему «TreASuremAp как вспомогательный инструмент» предлагают анализ сигналов. Над географическим и сетевым слоями находится «слой киберперсонажей» и «слой персонажей». Слайд задуман с целью изображения всех людей, использующих подключенные устройства по всему миру, в «виде интернета с высоты 300 000 футов». Очень напоминает работу компаний по составлению карт социальных сетей и манипулированию ими, таких как Cambridge Analytica.
Документы Сноудена были обнародованы в 2013 году, но они все еще напоминают сегодняшние маркетинговые брошюры по ИИ. Если treASuremAp стал предшественником сетевого обзора Facebook, то программа под названием Foxacid напоминает Amazon Ring для домашнего компьютера: запись повседневной активности[450]. «Если мы сможем привлечь цель посетить нас через какой-либо браузер, мы, скорее всего, сможем ей завладеть», – поясняется на слайде[451]. После того как люди соблазняются нажать на спам или посетить веб-сайт, АНБ сбрасывает файлы через браузер, тихо сообщая обо всем, что они делают, на базу. На одном из слайдов описывается, как аналитики «разрабатывают целевые электронные письма», которые требуют «определенного уровня знаний» о цели[452]. Ограничения на сбор АНБ секретных сведений (по крайней мере, когда речь идет о данных американских граждан) редко обсуждаются. В одном из документов отмечается, что агентство работает по нескольким направлениям, чтобы «агрессивно добиваться юридических полномочий и политической структуры, более полно отвечающей требованиям информационного века»[453]. Другими словами, меняйте законы в соответствии с инструментами, а не наоборот.
TreASuremAp, Архив Сноудена
Разведывательные службы США – это старая гвардия больших данных. Наряду с Агентством перспективных оборонных исследовательских проектов, они являются основными двигателями исследований в области ИИ с 1950-х годов. Как описывает историк науки Пол Эдвардс в книге «Закрытый мир», военные исследовательские агентства активно формировали зарождающуюся область, которая стала известна как ИИ, с первых дней ее существования