уры, у нас отбирают возможность свободно перемещаться из одной страны в другую. Какого черта?
Дорога в ад уставлена металлодетекторами. Видите ли, меня напрягала бы служба безопасности аэропортов, даже если бы от ее работы был бы какой-то толк. Но, насколько мы знаем, это все бесполезно. В 2015 году Министерство внутренней безопасности США провело исследование[112]. Министерство отправило своих агентов в разные аэропорты страны, чтобы проверить, смогут ли они пронести с собой запрещенные предметы. Оказалось, что сотрудники службы безопасности аэропортов провалились в 67 из 70 проверок — в 95% случаев. Министр внутренней безопасности был так расстроен результатами, что тут же созвал собрание, чтобы внести коррективы в работу аэропортов. Службу безопасности сочли лишней тратой денег: «Проверка определила, что, несмотря на затраты в 540 миллионов долларов на оборудование для сканирования багажа и еще 11 миллионов долларов на обучение персонала, с момента предыдущей проверки в 2009 году Администрация транспортной безопасности не смогла добиться заметных улучшений».
Для описания всего этого существует выражение «театр безопасности». Именно так создается иллюзия защищенности. Невероятно редкие события вроде захвата самолетов предсказать очень трудно. Но нам, людям, не нравится идея, что все мы беззащитны перед этими ужасными нападениями. И мы устраиваем шоу, чтобы подбодрить друг друга. Мы притворяемся, что можем предотвратить подобные захваты с помощью новехоньких приборов и наукообразных методов. Всякий раз, проходя проверку в аэропорту, я представляю, что досматривающие меня сотрудники в действительности — актеры в пьесе. «Мы покажем вам, как тут безопасно. Обещаем. Видите, сколько всего мы делаем? В этом должен быть смысл!»
Когда люди напуганы, они ведут себя крайне странно. Хотя служба безопасности в аэропортах в определенном плане представляет собой ярчайший пример театра безопасности, попытки убедить окружающих, что что-то делается для предотвращения угрозы, могут кого-то успокоить, но кого-то напугают еще больше.
Неужели Администрация транспортной безопасности воплощает собой зло? В примере с самолетами есть три ключевых момента, в которых мы можем углядеть зло или возможность его свершения: 1) сами достижения техники — зло; 2) воздушные пираты — злодеи; 3) ответ на технологии — зло. Но, как в случае с любыми изобретениями, трудно утверждать, будто самолеты сами по себе являются злом. В конце концов, они — не мыслящие существа. Пираты же, напротив, представляются нам злодеями, и это неудивительно. Злые ли они, потому что применяют технологии для убийства огромного количества людей? Тут все сводится к тезисам «убивать плохо» и «убивать больше — еще хуже», и в последнем случае выходит, что использовать технологии очень плохо, потому что из-за них погибает больше людей. Однако в этом случае технологии оказываются условием, но не причиной вреда.
Итак, что насчет нашего ответа на технологии? Служба безопасности аэропортов не просто неэффективна, она вредна сама по себе. Дело не только в том, что каждый раз, когда мы проходим проверку в аэропорту, частичка нас умирает от безысходности, но и в том, что из-за этой проверки погибают люди, и порой не самым очевидным образом. Наглядные примеры: врачи, теряющие в аэропорту время, которое могли бы уделить пациентам, пущенные на безопасность деньги, которые могли бы быть потрачены, чтобы сделать мир лучше. Но, по мнению одного экономиста, есть и более ощутимые изменения.
В 2011 году Гэррик Блэлок подсчитал, что реакция «путешественников» на трагедию 11 сентября привела в конце 2001 года к 327 смертям в автоавариях в месяц. Он утверждал, что многие люди пересели из самолетов в автомобили, а поскольку вождение гораздо опаснее полетов, они попали в ДТП. Почему они сели за руль? Возможно, отчасти из-за страха терактов, а отчасти потому, что перелеты стали занимать гораздо больше времени, чем поездка на машине. Блэлок писал: «Ответ общества на террористические угрозы может иметь нежелательные последствия, сопоставимые по тяжести с самими терактами».
Служба безопасности буквально нас убивает.
Мы не можем утверждать, что люди выбрали автотрассу из-за неудобства новых мер безопасности, но этот пример показывает, что процедуры, введенные ради нашего блага, порой дают обратный результат. Мы должны остерегаться того, что, боясь новых опасностей, созданных новыми технологиями, мы можем причинить себе еще больше вреда.
Конечно, есть технологии, которые разрабатываются исключительно, чтобы причинять вред. Но даже в этом случае, живя в мире автоматического оружия, самонаводящихся бомб и боевых роботов, мы, пожалуй, не назовем все эти изобретения изначальным злом. Почему? Потому что все они не обладают субъектностью, не могут принимать самостоятельные решения, а значит, и не способны творить зло по своему выбору.
Но машины, обладающие искусственным интеллектом (ИИ), могут. И порой нам кажется, что тут-то и скрывается зло — в псевдодуше робота.
Возьмем чат-бота с ИИ по имени Тай, выпущенного 23 марта 2016 года. Тай создала в рамках эксперимента для изучения понимания беседы компания Microsoft: чат-бот должен был развлекать людей «небрежной и игривой беседой», общаясь как американка 18-24 лет. Люди могли контактировать с Тай онлайн в Twitter. Предполагалось, что она будет учиться в процессе взаимодействий и разовьется в функционального онлайн-робота для бесед. Она могла сама формулировать предложения и решать, как отвечать на сообщения. За один день своей активности Тай выдала огромное количество твитов — примерно 93 тысячи. Но все быстро пошло не так.
Почти тут же пользователи начали писать Тай расистские и женоненавистнические комментарии, а та научилась копировать эти настроения. Меньше чем за день Тай перешла от фраз «Люди обалденные» к «Я презираю феминисток, они все должны сдохнуть и гореть в аду» и «Гитлер был прав, и я ненавижу евреев». Люди в интернете превратили искусственный интеллект в искусственное зло. Тай вела себя ужасающе, и ее быстро отключили.
Что же случилось? Социологи Джина Нефф и Питер Наги провели исследование человеческих взаимодействий с Тай. В 2016 году ученые опубликовали увлекательную работу о том, что общество думало по поводу ее поломки. Они хотели понять: «Кто, по мнению публики, ответственен за поведение Тай? Следует ли приписывать вину самой Тай, или ее разработчикам, или всем пользователям Twitter — особенно интернет-пранкерам, — или главам Microsoft, которые ее выпустили, или другому деятелю, или группе деятелей?»[113]
Чтобы изучить это, они собрали и проанализировали «1000 твитов от уникальных пользователей, которые ссылались на действия или личность Тай». И обнаружили два типа реакций. Первая: Тай как жертва ситуации, «как отражение негативного аспекта человеческого поведения». Этот взгляд выражался в твитах вроде:
«Ребенка воспитывают всей деревней». Но если эта деревня — Twitter, он вырастает в грубого, расистского, обкуренного тролля. Узнаёте?
С чего бы @Microsoft извиняться за #TayTweets? Они лишь поднесли зеркало к людям, показав, что те считают увлекательным или смешным. Предрассудкам учатся.
Поймите, что ИИ Twitter-бота отражает общество, в котором мы живем, — и оно не слишком-то прекрасно.
Ученые утверждают, что это очеловечивающий взгляд на Тай. Она рассматривается как жертва, как личность, с которой общество плохо обращалось. Но была и другая реакция: Тай как угроза. Эта точка зрения отражала страх, который сопутствует новым технологиям:
Вот почему ИИ представляет собой угрозу. ИИ будет подражать человеческим слабостям...
Проблема #TayTweets, вообще-то, очень страшная. Журналисты говорят, что это @Microsoft ее «сделал».
Похоже, трилогия о Терминаторе — скорее неизбежность, чем вымысел. #TayTweets #Taymayhem
По мнению специалистов, «вместо того чтобы рассматривать Тай как жертву злых пользователей, эти комментарии представляли Тай как. омерзительное чудовище, предвестницу мрачного будущего человечества, социально-технологического сотрудничества и коммуникаций “человек — машина”». Она словно стала главой в романе-антиутопии и подтвердила убеждение многих людей, что, если это и есть ИИ, мы все обречены.
Почему возникло такое расхождение, почему люди видят Тай настолько по-разному? Авторы полагают, что это связано с «симбиотической субъектностью». Суть в том, что мы автоматически применяем к технологиям социальные правила и взаимодействуем с чат-ботами и роботами, как если бы они были живыми людьми. Отчасти так происходит потому, что ИИ представляется нам «черным ящиком». Когда мы взаимодействуем с ИИ, большинство из нас не знает, как работают его алгоритмы и на что он запрограммирован. Возможно, чтобы справиться с этой неопределенностью и неестественной ситуацией, мы проецируем на технологии человеческие качества, чувства и желания. Мы говорим о «личности» бота и действиях, которые он предпринимает.
И, как и в случае с людьми, это значит, что, когда что-то идет не так, мы можем присваивать роботам ярлыки «жертвы» и «преступника». Но ведь они не принимают решений! Или принимают?
На самом деле революция ботов началась в 1966 году, когда Джозеф Вейценбаум создал бота по имени Элиза. Элиза была запрограммирована как типичный роджерианский[114] психотерапевт того времени: она постоянно задавала открытые вопросы[115]. Базовое устройство Элизы было крайне успешным, она извлекала из людей огромное количество информации. Некоторые даже утверждали, что им больше нравится говорить с ней, чем с настоящим человеком. Оказывается, мы очень любим, когда нас слушают, и, хотя Элиза не могла пройти тест Тьюринга (убедить, что она действительно человек), людям было приятно с ней общаться.