ВСЕГДА ВКЛЮЧЕН
Люди - органические существа, живущие по циклическому биологическому времени. Иногда мы бодрствуем, иногда спим. После интенсивной деятельности нам нужен отдых. Мы растем и разрушаемся. Сети людей также подвержены биологическим циклам. Они то включаются, то выключаются. Собеседования не длятся вечно. Полицейские агенты не работают двадцать четыре часа в сутки. Бюрократы берут отпуск. Даже денежный рынок уважает эти биологические циклы. Нью-Йоркская фондовая биржа работает с понедельника по пятницу, с 9:30 утра до 4:00 дня, и закрыта по праздникам, таким как День независимости и Новый год. Если война разразится в пятницу в 16:01, рынок не отреагирует на нее до утра понедельника.
В отличие от этого, сеть компьютеров может быть всегда включена. Следовательно, компьютеры подталкивают людей к новому виду существования, в котором мы всегда подключены и всегда находимся под наблюдением. В некоторых контекстах, например в здравоохранении, это может быть благом. В других контекстах, например для граждан тоталитарных государств, это может стать катастрофой. Даже если сеть потенциально благотворна, сам факт того, что она всегда "включена", может оказаться губительным для таких органических существ, как люди, поскольку лишит нас возможности отключиться и расслабиться. Если у организма нет возможности отдохнуть, он в конце концов разрушается и умирает. Но как заставить неумолимую сеть замедлиться и дать нам передышку?
Мы должны предотвратить полный контроль компьютерной сети над обществом не только для того, чтобы дать нам время на отдых. Перерывы еще более важны для того, чтобы дать нам шанс исправить ситуацию в сети. Если сеть продолжит развиваться ускоренными темпами, ошибки будут накапливаться гораздо быстрее, чем мы сможем их выявить и исправить. Ведь несмотря на то что сеть неумолима и вездесуща, она также небезупречна. Да, компьютеры могут собирать беспрецедентные объемы данных о нас, наблюдая за тем, что мы делаем двадцать четыре часа в сутки. И да, они могут выявлять закономерности в океане данных со сверхчеловеческой эффективностью. Но это не значит, что компьютерная сеть всегда будет точно понимать мир. Информация - это не истина. Система тотального наблюдения может сформировать очень искаженное представление о мире и людях. Вместо того чтобы узнать правду о мире и о нас, сеть может использовать свою огромную мощь для создания нового типа мирового порядка и навязывания его нам.
ГЛАВА 8.
Неверный: Сеть часто ошибается
В книге "Архипелаг ГУЛАГ" (1973) Александр Солженицын описывает историю советских трудовых лагерей и информационной сети, которая их создавала и поддерживала. Он писал отчасти из горького личного опыта. Когда Солженицын служил капитаном в Красной армии во время Второй мировой войны, он вел частную переписку со своим школьным другом, в которой иногда критиковал Сталина. Чтобы подстраховаться, он не называл диктатора по имени и говорил только о "человеке с усами". Это мало помогало ему. Его письма перехватывала и читала тайная полиция, и в феврале 1945 года, во время службы на передовой в Германии, он был арестован. Следующие восемь лет он провел в исправительно-трудовых лагерях. Многие из выстраданных Солженицыным историй по-прежнему актуальны для понимания развития информационных сетей в XXI веке.
В одной из историй рассказывается о событиях на районной партийной конференции в Московской области в конце 1930-х годов, в разгар сталинского Большого террора. Прозвучал призыв воздать должное Сталину, и собравшиеся, которые, конечно, знали, что за ними внимательно наблюдают, разразились аплодисментами. После пяти минут аплодисментов "ладони болели, а поднятые руки уже болели. А пожилые люди задыхались от усталости.... Однако кто же осмелится первым остановиться?" Солженицын рассказывает, что "люди из НКВД стояли в зале, аплодировали и смотрели, кто первый остановится!" Так продолжалось шесть минут, потом восемь, потом десять. "Они не могли остановиться, пока не падали в обморок от сердечных приступов! ...С неправдоподобным энтузиазмом на лицах, глядя друг на друга со слабой надеждой, руководители района собирались продолжать и продолжать аплодировать, пока не упадут там, где стояли".
Наконец, через одиннадцать минут директор бумажной фабрики взял свою жизнь в руки, перестал хлопать и сел. Все остальные тут же перестали хлопать и тоже сели. В ту же ночь тайная полиция арестовала его и отправила в ГУЛАГ на десять лет. "Его следователь напомнил ему: Никогда не будь первым, кто перестанет аплодировать!"
Эта история раскрывает важнейший и тревожный факт об информационных сетях, и в частности о системах наблюдения. Как уже говорилось в предыдущих главах, вопреки наивному мнению, информация часто используется для создания порядка, а не для выявления истины. На первый взгляд, агенты Сталина на московской конференции использовали "тест на хлопанье" как способ узнать правду об аудитории. Это был тест на лояльность, который предполагал, что чем дольше вы хлопаете, тем больше любите Сталина. Во многих контекстах такое предположение небезосновательно. Но в условиях Москвы конца 1930-х годов природа аплодисментов изменилась. Поскольку участники конференции знали, что за ними наблюдают, и знали о последствиях любого намека на нелояльность, они хлопали скорее от страха, чем от любви. Директор бумажной фабрики мог первым остановиться не потому, что он был наименее лоялен, а, возможно, потому, что он был наиболее честен, или даже просто потому, что у него больше всего болели руки.
Хотя тест на хлопанье не открывал правды о людях, он был эффективен для наведения порядка и принуждения людей к определенному поведению. Со временем такие методы воспитывали раболепие, лицемерие и цинизм. Именно это советская информационная сеть делала с сотнями миллионов людей на протяжении десятилетий. В квантовой механике акт наблюдения за субатомными частицами меняет их поведение; то же самое происходит и с актом наблюдения за людьми. Чем мощнее наши инструменты наблюдения, тем больше потенциальное воздействие.
Советский режим создал одну из самых мощных информационных сетей в истории. Он собирал и обрабатывал огромные объемы данных о своих гражданах. Он также утверждал, что непогрешимые теории Маркса, Энгельса, Ленина и Сталина дают ему глубокое понимание человечества. На самом деле советская информационная сеть игнорировала многие важные аспекты человеческой природы и полностью отрицала ужасные страдания, которые ее политика причиняла собственным гражданам. Вместо того чтобы производить мудрость, она производила порядок, а вместо того чтобы раскрыть универсальную истину о людях, она фактически создала новый тип человека - Homo sovieticus.
По определению советского философа-сатирика Александра Зиновьева, Homo sovieticus - это подневольные и циничные люди, лишенные всякой инициативы и самостоятельного мышления, пассивно подчиняющиеся даже самым нелепым приказам и безразличные к результатам своих действий. Советская информационная сеть создавала Homo sovieticus с помощью слежки, наказаний и поощрений. Например, отправив директора бумажной фабрики в ГУЛАГ, сеть дала понять другим участникам, что конформизм приносит плоды, а быть первым, кто делает что-то спорное, - плохая идея. Хотя сеть не смогла открыть правду о людях, она была настолько хороша в создании порядка, что завоевала большую часть мира.
ДИКТАТУРА СЕБЕ ПОДОБНЫХ
Аналогичная динамика может поразить компьютерные сети XXI века, которые могут породить новые типы людей и новые антиутопии. Хрестоматийный пример - роль алгоритмов социальных сетей в радикализации людей. Конечно, методы, используемые алгоритмами, кардинально отличаются от методов НКВД и не предполагают прямого принуждения или насилия. Но как советская тайная полиция создала рабский Homo sovieticus с помощью слежки, поощрений и наказаний, так и алгоритмы Facebook и YouTube создали интернет-троллей, поощряя определенные низменные инстинкты и наказывая лучших ангелов нашей природы.
Как кратко объясняется в главе 6, процесс радикализации начался, когда корпорации поставили перед своими алгоритмами задачу повысить вовлеченность пользователей не только в Мьянме, но и во всем мире. Например, в 2012 году пользователи ежедневно просматривали на YouTube около 100 миллионов часов видео. Руководителям компании этого было недостаточно, и они поставили перед своими алгоритмами амбициозную цель: 1 миллиард часов в день к 2016 году. Проводя эксперименты на миллионах людей, алгоритмы YouTube обнаружили ту же закономерность, что и алгоритмы Facebook: возмущение повышает вовлеченность, а модерация, как правило, этого не делает. Соответственно, алгоритмы YouTube стали рекомендовать миллионам зрителей возмутительные теории заговора, игнорируя при этом более умеренный контент. К 2016 году пользователи действительно смотрели на YouTube по 1 миллиарду часов в день.
Ютуберы, которые особенно стремились привлечь к себе внимание, заметили, что, когда они выкладывали возмутительное видео, полное лжи, алгоритм вознаграждал их, рекомендуя это видео многочисленным пользователям и увеличивая популярность и доход ютуберов. В противоположность этому, когда они сбавляли градус возмущения и придерживались правды, алгоритм, как правило, игнорировал их. За несколько месяцев такого обучения алгоритм превратил многих ютуберов в троллей.
Социальные и политические последствия были далеко идущими. Например, как пишет журналист Макс Фишер в своей книге "Машина хаоса", вышедшей в 2022 году, алгоритмы YouTube стали важным двигателем подъема бразильских ультраправых и превращения Жаира Болсонару из периферийной фигуры в президента Бразилии. Хотя на этот политический переворот повлияли и другие факторы, примечательно, что многие из главных сторонников и помощников Болсонару изначально были пользователями YouTub, добившимися славы и власти благодаря алгоритмам.
Типичный пример - Карлос Жорди, который в 2017 году был членом городского совета в небольшом городе Нитерой. Амбициозный Жорди привлек к себе внимание общественности, создавая подстрекательские видеоролики на YouTube, которые собирали миллионы просмотров. Например, его ролики предостерегали бразильцев от заговоров школьных учителей с целью промывания мозгов детям и преследования консервативных учеников. В 2018 году Жорди получил место в Палате депутатов Бразилии (нижняя палата бразильского Конгресса) как один из самых преданных сторонников Болсонару. В интервью Fisher Жорди откровенно заявил: "Если бы социальных сетей не существовало, меня бы здесь не было, а Жаир Болсонару не был бы президентом". Последнее утверждение вполне может быть преувеличением, но нельзя отри