[66], а не просто наблюдать его фантастические воплощения на Maker Faires![67]
Все сказанное означает, что Винер думал о мире – физическом, биологическом и (в «Человеческом применении») социальном – совершенно особым образом. Он анализировал мир как непрерывность переменных, что сам объяснял в главе 1, ссылаясь на термодинамику и статистику Гиббса[68]. Еще он предложил слабую и неубедительную модель информации как обмена сообщениями между физическими и биологическими сущностями. На мой взгляд, спустя семьдесят лет эволюции эти идеи и модели выглядят прискорбно непригодными для описания механизмов, лежащих в основе биологических систем, а вдобавок он не задумывался о том, каким образом подобные механизмы могут в конечном счете быть воплощены в технологических вычислительных системах, что происходит сегодня. Нынешние доминирующие технологии разрабатываются в мире Тьюринга и фон Неймана, а не в мире Винера.
В ходе первой промышленной революции люди научились использовать энергию пара и вращение водяного колеса вместо грубой физической силы. Вместо того чтобы и дальше обращаться к последней, люди сделались модуляторами, контролирующими использование сторонней энергии. Но поскольку паровые двигатели и водяные колеса по необходимости имели большие размеры, чтобы работать эффективно, и поскольку в XVIII столетии единственной технологией для пространственного распределения энергии было механическое перемещение на чрезвычайно малые расстояния, приходилось привлекать к процессу множество работников. Винер правильно отмечал, что именно возможность передачи энергии в форме электричества вызвала вторую промышленную революцию. Теперь источник энергии мог находиться далеко от места применения, и с начала XX столетия производство рассредотачивалось благодаря распространению распределенных электросетей.
Далее Винер утверждал, что очередная новая технология, на сей раз в виде зарождающейся вычислительной техники его времени, приведет к новой революции. Машины, о которых он писал, выглядят аналоговыми и (возможно) цифровыми по своим параметрам; в «Человеческом применении человеческих существ» он указывал, что, поскольку такие машины способны принимать важные решения, синие и белые воротнички[69] со временем рискуют превратиться в винтики гораздо более крупной машины. Он опасался, что люди начнут эксплуатировать и изводить друг друга при посредстве организационных структур, которые породит эта способность машин. Мы воочию наблюдали происходящее в последние шестьдесят лет, и процесс «завинчивания» еще далек от завершения.
Впрочем, приверженность физике не позволила Винеру предугадать, насколько плохо все может оказаться. Он воспринимал способность машин к общению как новый, менее человечный, если угодно, способ управления и контроля. Он не предполагал, что всего за несколько десятилетий вычислительные системы сделаются чрезвычайно схожими с биологическими системами, и, судя по описанию в главе 10 его книги, где обсуждаются его собственные опыты моделирования ряда биологических ситуаций, он, к сожалению, сильно недооценивал сложность биологии в сравнении с физикой. Сегодня мы находимся в гораздо более сложном положении, чем рисовалось Винеру, и лично меня беспокоит, что это положение кажется намного отчаяннее его худших воображаемых страхов.
В 1960-х годах вычисления развивались в русле, «прорытом» Тьюрингом и фон Нейманом; эти цифровые вычисления опирались на идею конечного алфавита символов, важную для обоих ученых. Последовательность или строка произвольной длины, образованная символами конечного алфавита, может быть закодирована как уникальное целое число. Формализм вычислений, как и в случае самих машин Тьюринга, стал формализмом вычисления целочисленной функции единичного целочисленного входа.
Тьюринг и фон Нейман ушли из жизни в 1950-е годы, и вот как они в ту пору рассматривали вычисления и компьютеры. Никто не предвидел экспоненциальный рост вычислительных возможностей по закону Мура или стремительное распространение вычислительного оборудования. Также они не предвидели двух новшеств в нашем моделировании вычислений, каждое из которых представляет немалую угрозу для человеческого общества.
Первое связано с теми самыми абстракциями, от которых отталкивались Тьюринг и фон Нейман. Пятидесятилетнее, подгоняемое законом Мура состязание в производстве программного обеспечения, которое учитывало бы удвоение мощности компьютеров каждые два года (по сути, типичная инженерная деятельность), оказалось отодвинутым на второй план. Разработка программного обеспечения велась быстро и провоцировала ошибки. Эта ускоренная разработка программного обеспечения вне стандартов качества позволила обнаружить множество способов использования хранилища данных и инструкций в архитектуре фон Неймана (в одной и той же памяти). Среди наиболее распространенных способов можно отметить «переполнение буфера», когда число на входе (или длинная строка символов) больше, чем ожидал программист, и «перетекает» в область хранения инструкций. Намеренно задавая входное число намного больше, некто с помощью соответствующего программного обеспечения может внедрить в компьютер сторонние инструкции и тем самым изменить его функционирование. Вот фундамент разработки компьютерных вирусов, названных так из-за сходства с биологическими вирусами. Последние внедряют в клетку дополнительную ДНК, и механизм транскрипции и трансляции клетки слепо интерпретирует новые данные, творя белки, которые могут нанести урон клетке-хозяину. Кроме того, клеточный механизм репликации обеспечивает размножение вируса. Так малая чужеродная сущность может взять под контроль гораздо большую сущность и заставить ту неожиданно изменить свое поведение.
Эти и прочие формы цифровых атак лишили нашу повседневную жизнь былой безопасности. Ведь мы полагаемся на компьютеры практически во всем. Мы передали им управление инфраструктурой (электричество, газ, дороги, автомобили, поезда, самолеты), а инфраструктура теперь уязвима. Мы полагаемся на компьютеры в банковских операциях, в оплате счетов, накоплении пенсий, ипотеке, при покупке товаров и услуг – и опять-таки рискуем. Мы полагаемся на компьютеры в наших развлечениях, наших коммуникациях, деловых и личных, в обеспечении физической безопасности, в получении информации о мире и на выборах; все это сегодня далеко не безопасно. В ближайшем будущем исправить ситуацию вряд ли получится. Между тем многие сферы нашего общества остаются уязвимыми для атак – со стороны обычных преступников и со стороны враждебных государств.
Второе новшество заключается в том, что вычисления оставили далеко позади рамки вычислительных функций. Вместо этого программы постоянно находятся онлайн и могут собирать данные о последовательностях запросов. В соответствии со схемой Винера / Тьюринга / фон Неймана мы могли думать, что шаблон коммуникации для веб-браузера будет следующим:
Пользователь: Покажи мне веб-страницу А.
Браузер: Вот веб-страница А.
Пользователь: Покажи мне веб-страницу Б.
Браузер: Вот веб-страница Б.
Ныне же все может выглядеть так:
Пользователь: Покажи мне веб-страницу А.
Браузер: Вот веб-страница А. [И я запомню, что ты хотел увидеть веб-страницу А.]
Пользователь: Покажи мне веб-страницу Б.
Браузер: Вот веб-страница B. [Я вижу корреляцию между ее содержанием и содержанием ранее запрошенной веб-страницы A, поэтому обновляю свою модель твоего поведения и передаю ее в компанию, которая меня изготовила.]
Когда машина перестает просто вычислять функции, а начинает вместо этого фиксировать состояния, она может приступить к формулировке выводов о человеке на основании последовательностей запросов, ей задаваемых. Когда разные программы устанавливают корреляции между разными потоками запросов – скажем, сопоставляют поиск в интернете с сообщениями пользователя в социальных сетях, оплатой каких-то покупок или временем на просмотр конкретной рекламы, а также с местонахождением пользователя (благодаря смартфонам с поддержкой GPS), – тогда совокупность сведений, доступных многим программам, которые взаимодействуют друг с другом и с базами данных, оборачивается совершенно неожиданной утратой конфиденциальности. Громадный скачок в технологическом развитии множества компаний Западного побережья[70] объясняется тем, что они принялись монетизировать эти сведения без ведома пользователей, взаимодействующих с вычислительными платформами.
Винер, Тьюринг и фон Нейман не могли предвидеть, сколь сложными сделаются эти платформы, которыми люди охотно пользуются, не обращая внимания на юридическую абракадабру пользовательских соглашений и нисколько не подозревая, на что дают согласие; тем самым они добровольно отказываются от прав, которыми никогда бы не пренебрегли в общении один на один с другим человеком. Эти вычислительные платформы стали щитом, из-за которого отдельные корпорации бесчеловечно эксплуатируют людей. В ряде стран сами правительства поддерживают такие манипуляции, причем целью является не прибыль, а подавление инакомыслия.
Человечество угодило в любопытную ловушку: нас эксплуатируют компании, как ни парадоксально, предоставляющие услуги, которые нам нужны, и в то же время наша жизнь зависит от множества программных систем, уязвимых перед нападением. Вырваться из этой ловушки – вот наш долгосрочный план. Нам понадобятся технологии, законотворчество и, самое главное, моральное лидерство. Но последнее является, увы, наиболее серьезной проблемой.