Менгеринк начал сомневаться. Машинному обучению он посвятил достаточно времени, чтобы знать: большая часть недостатков машин обусловлена не тем, что они не умеют мыслить по-человечески, а тем, что мыслят слишком по-человечески. Искусственный интеллект может быть сексистским, расистским и жестоким, как и мы. «Если в чем-то заложена предвзятость, машина ее откопает и будет проявлять на каждом шагу», — сказал он позже.
ИГИЛ* оставался головной болью. В 2015 году правоохранительные органы США провели около девятисот активных расследований в отношении сторонников террористов во всех пятидесяти штатах. На YouTube регулярно проводились беседы о том, что делать с видеоматериалами, проповедующими радикальный ислам. Безусловно, ожидалось, что четкий машинный интеллект окажет поддержку: модераторы изо всех сил старались анализировать бесконечные волны видеоматериалов, и машина, легко заметив флаг террористов в середине клипа, помогла бы людям принимать решения намного быстрее. Но Менгеринк обнаружил, что на YouTube есть материалы, которые выглядят столь же радикально, хотя направлены против ислама. Или против иудаизма или чернокожих общин. Он был мусульманином и знал, что большинство исповедующих его веру не используют слово «джихад», кроме случаев, когда речь идет о джихаде аль-нафс, что значит «борьба с пороками души». Он искал «джихад» на YouTube. Лента, как и следовало ожидать, была заполнена видеороликами о терроризме, но он прокрутил немного вниз и нашел клипы от Чайной партии и видеоблогеров, которые смотрят вам прямо в глаза наподобие Молинье. Они были озлоблены и, хотя старались не злоупотреблять уродливыми оскорблениями и не призывать к откровенному насилию, такого рода материалы YouTube удалял. Если бы нейросеть была настроена на максимальное время просмотра (а так оно и было), такие видео получали бы отличные результаты.
YouTube начал фильтровать видео, пропагандирующие исламистский террор, ограничивая определенные клипы по возрасту или удаляя их. На одной из встреч Менгеринк предложил аналогичный подход к другим формам радикализма: похоронить их, снижая частоту появления в поиске и рекомендациях. «Пусть их будет до идиотизма трудно отыскать», — предложил он. Если кто-то смотрел материалы, открыто критикующие чернокожих американцев, почему бы не предложить другие видео, показывающие историю чернокожих в позитивном свете? Таких было предостаточно. Ему сказали, что такие изменения могут выглядеть как противодействие свободе слова, чего Google хотела избежать, и могут нарушить неприкосновенность поиска. Он неоднократно слышал возражение: «Это не очень гуглово». А где данные, подтверждающие сей аргумент? Еще одна женщина, работающая на YouTube, впоследствии вспомнила, как однажды опротестовала некое решение, чем вызвала обвинения со стороны коллег: «Ты не позитивная, не гугловая». Когда-то позицию Менгеринка называли жуткой.
Его коллеги знали о нежелательных видеороликах и не особенно их любили. Они начали обсуждать идеи о «скамье штрафников» для неблагонадежных авторов, таких как сторонник теорий заговора Алекс Джонс, чье ток-шоу InfoWars набирало на YouTube огромную аудиторию. Некоторые смотрели его ради развлечения; другие, возможно, купились на его идеи. Машины не отличали этих зрителей друг от друга. Одного соискателя, который хотел устроиться в YouTube на руководящую должность, на собеседования спросили: «Что нам делать с Алексом Джонсом?»
Правильный ответ на такие вопросы заключался в том, что YouTube должен минимизировать помехи, а рекомендации по настройке воспринимались как помехи. Да, это отражало твердую веру в свободу слова, но и такое же сильное ощущение того, что компания не готова навязывать моральное суждение свободной воле своих зрителей. «Если люди это смотрят, — сказали Менгеринку, — таков их выбор».
Просматривая сайт, он понял, в какой точке логика этого аргумента разваливается и перестает работать. «Когда дело касается детей, все обстоит иначе», — сказал он.
Глава 21. Мальчик и его игрушка
Самый звездный автор второго десятилетия существования YouTube родился в 2011 году. Всего через три года и пять месяцев после рождения — когда мама сняла на видео, как мальчик распаковывает свою новую игрушку, — он появился на YouTube.
Ryan ToysReview: «Ребенок играет с игрушками Lego Duplo Number Train». 16 марта 2015 года. 15:13
«Привет, Райан!» — «Привет, мамочка!» — «Какую игрушку ты хочешь сегодня?» Райан Кадзи присел на корточки в проходе между стеллажами магазина Target. Он очарователен — пухлые щечки, как у бурундучка, ямочки, большие коричневые блюдца вместо глаз. Он уже трогает два красных игрушечных грузовика, но когда мама задает вопрос, мальчик отворачивается от них. Вот он выбрал игрушку. Мы следуем за ним из магазина к дому, где ребенок проводит оставшиеся 14 минут видеоролика: распаковывает поезд Lego по частям, тренируется считать до десяти и водит поезд по ковру.
Родители маленького Райана познакомились в колледже в Техасе, когда YouTube был еще в зачаточном состоянии. Отец Райана Шион, родившийся в Японии, обожал битбоксинг ютуберов и сблизился со своей будущей женой Лоэнн благодаря занудной карточной игре прото-Интернета Magic: The Gathering. Когда их первенец Райан научился смотреть видео на YouTube, его увлекли маленькие герои роликов — в частности, мальчик EvanTubeHD, который специализировался на разборке продуктов Angry Birds. Позже родители Райана говорили, что они сняли ролик про сына, чтобы показать семью, живущую за границей.
После дебюта на YouTube родители за шесть месяцев загрузили более ста видеороликов с Райаном. В основном он играл с одной или двумя игрушками (паровозиком Томасом или набором Play-Doh). Он стал золотым в июле, когда Лоэнн сняла своего малыша за игрой с «ГИГАНТСКИМ яйцом-сюрпризом Lightning McQueen Egg Surprise with 100+ Disney Cars Toys». Это видео позаимствовало ингредиенты у «безликих» — страшно популярных каналов с распаковкой: там было и название с мешаниной из ключевых слов, и множество игрушек, и знакомая франшиза. Гигантское красное яйцо Райана (в котором он легко поместился бы и сам), содержало сюрпризы Pixar, а на «скорлупе» красовался логотип Pixar movie. Год спустя клип набрал более полумиллиарда просмотров — неслыханные цифры. Канал Райана тогда смотрели более 19 миллионов раз в день, вдвое больше, чем Пьюдипая. Этот ролик с сюрпризом в виде ГИГАНТСКОГО яйца привел Райана и его родителей к немедленной неожиданной славе и успеху, положив начало целому поколению юных звезд YouTube.
«Не знаю, почему столько людей любят это видео, — признался репортерам его отец[164]. — Если бы я знал, я сделал бы много похожих роликов».
За месяц до дебюта Райана YouTube опубликовал объявление: «Сегодня мы представляем приложение YouTube Kids, первый продукт Google, созданный с нуля с учетом интересов малышей». Поскольку любительские материалы для детей росли как грибы, YouTube пытался навести порядок. Новое мобильное приложение включало подборку видеороликов с сайта, большие кнопки-пузыри для маленьких пальцев, а также встроенный таймер и настройки звука для родителей. «Теперь, — написал у себя в блоге один из руководителей компании, — родители немного успокоятся, зная, что в приложении YouTube Kids видеоматериалы ограничены таким контентом, который подходит для детей». В блоге не упоминался тот факт, что органичения подбирали алгоритмы, а не люди.
Это приложение было бесплатным и с рекламой, как YouTube; компания считала, что это дает семьям равный доступ к ее щедрости. Кроме того, видеохостинг начал использовать коммерческую привлекательность клипов, предназначенных для малышей. В документе 2014 года, подготовленном для маркетологов, компания хвасталась, что на просмотр всех видеороликов с пометкой «распаковка» (гаджетов, кремов для кожи, игрушек и прочего), опубликованных на сайте за двенадцать месяцев, одному человеку потребуется семь лет. На встречах с покупателями рекламы сотрудники YouTube старательно избегали слова на букву k (дети) и упоминали только «совместный просмотр» (то есть дети смотрят видео вместе с родителями) — по закону так и должно быть. В Google Preferred, списке самых дорогих мест на YouTube для рекламодателей, был раздел с пометкой «Интересы семьи и детей». Компания не сообщала, какие именно видео там находятся, но веб-журнал Tubefilter провел небольшое расследование и обнаружил список[165], в который вошли «Клуб матушки Гусыни» и королева «безликих» DisneyCollectorBR. На шоу Today отец одного отпрыска, одержимого такими роликами, назвал распаковочные видео DisneyCollectorBR «крэком для малышей». Некоторые подозревают, что в процессе задействованы дофамин или зеркальные нейроны — клетки, которые включаются, когда мы выполняем задачу с четкой целью или видим, как это делает кто-то другой. Узнай, что в этом яйце-сюрпризе! Почему дети так увлеченно смотрели эти ролики?[166] Из искреннего интереса? Или потому, что YouTube показывал их один за другим? Это явление все еще было слишком новым и неизученным, и компания практически не делилась данными о нем с внешними исследователями.
Гарри и Сона Джхо управляли «Клубом матушки Гусыни» прямо с Уолл-стрит, из кабинета на десятом этаже; рабочие столы для юридической практики Гарри были оборудованы беговыми дорожками; у стен стояли стеллажи с яркими костюмами и зеленый экран, на фоне которого читались детские стишки для YouTube. В перерывах от юридической работы Гарри внимательно наблюдал за взлетами и падениями трендов YouTube; иногда они менялись в течение одной ночи. В какой-то момент панель похожего контента заполнилась видеороликами «Семейства пальцев» (Finger Family): мультяшные ладошки, покачиваясь на экране, поют имитацию песенки «Бее-бее, Черная овечка», и каждый палец изображает одного из членов семьи. Джхо проследил историю этого ролика и нашел старое видео из Кореи, которое, вероятно, стало вирусным из-за того, что его «палец-папа» когда-то носил абсурдные гитлеровские усы. (Наверное, авторы не заметили сходства, предположил Джхо.) Детям, похоже, понравилась песня и покачивающиеся пальцы, а видеоролики были весьма невинными, если не сказать «познавательными». Но здесь происходило что-то еще. Как только несколько видеороликов «Семейства пальцев» приобрели