Теперь рассмотрим вариации мест. Западные страны на технологической передовой неизменно получают самые высокие баллы по показателям демократии и соблюдения прав человека, тогда как многие отсталые, но крепкие государства числятся в отстающих, и там нередко преследуют или убивают критиков правительства. Отсутствие корреляции между технологиями и репрессиями не выглядит удивительным, если проанализировать каналы распространения информации в любом человеческом обществе. Чтобы диссиденты обрели влияние, они должны передать свое послание по широкой сети и по любым доступным каналам связи – через памфлеты, выступления, посиделки в кафе и пабах, через сарафанное радио. Эти каналы объединяют влиятельных диссидентов в широкую социальную сеть, что позволяет легко их идентифицировать и выследить. Это тем более верно, когда диктаторы заново открывают для себя проверенную временем практику натравливания людей друг на друга, наказывая тех, кто не осуждает и не наказывает других.
По контрасту, технологически развитые общества уже давно имеют возможность устанавливать подключенные к интернету камеры наблюдения, контролируемые государством, в каждом баре и каждой спальне. Но этого не происходит, потому что у демократических правительств (даже у нынешней американской администрации с ее вопиющими антидемократическими потугами) нет ни воли, ни средств для реализации этой возможности на практике, нет возможности следить за всеми, кто привык свободно выражать вслух свои мысли. Порой меры профилактики ядерного, биологического или кибертерроризма побуждают спецслужбы к таким шагам, как несанкционированный обществом сбор метаданных мобильных телефонов, но эти малоэффективные действия, скорее, игра, чем полицейский произвол, не оказывают существенного влияния ни на безопасность, ни на свободу. По иронии судьбы, технические пророчества отчасти стимулируют подобные шаги. Распространяя панику по поводу потенциальных экзистенциальных угроз, скажем, ядерных бомб в чемоданах или биологического оружия, изготовленного подростками в гараже, они оказывают давление на правительства, и тому приходится демонстрировать, что оно печется о благе и безопасности Америки.
Дело не в том, что политические свободы могут позаботиться о себе самостоятельно, а в том, что наибольшую угрозу представляют собой сети идей, норм и институтов, которые обеспечивают (или не обеспечивают) обратную связь для коллективных решений и понимания. В отличие от химерических технологических угроз, сегодня реальной угрозой выглядит гнетущая политкорректность, которая погубила ряд озвученных гипотез, отпугнула многих умных людей от интеллектуального труда и спровоцировала яростную реакцию. Другая реальная угроза состоит в сочетании прокурорского надзора и обширной книги законов, полной двусмысленных формулировок. В результате каждый американец невольно совершает «три преступления в день» (как называется книга либертарианца Харви Сильвергейта) и находится под угрозой тюремного заключения всякий раз, когда этого может захотеться правительству. Именно такое оружие делает всесильным оруэлловского Большого Брата, а отнюдь не экраны повсюду. Лучше бы направлять усилия против правительственных программ надзора и контроля на борьбу с чрезмерными юридическими полномочиями власти.
Другой фокус многих современных технических пророчеств – это искусственный интеллект, будь то в оригинальной научно-фантастической версии обезумевших компьютеров, которые порабощают человечество в неудержимом стремлении к мировому господству, или в более новой версии, согласно которой они порабощают нас случайно, двигаясь к некой цели, поставленной перед ними, и не обращая внимания на побочные эффекты вроде угрозы благополучию людей (проблема выравнивания ценностей, обобщенная Винером). Обе эти угрозы кажутся мне химерическими, порожденными узкотехнологическим детерминизмом, который пренебрегает сетями информации и управления в интеллектуальных системах, наподобие компьютера, человеческого мозга или человеческого же общества.
Страх перед подчинением коренится в скверно прописанной концепции интеллекта, которая больше восходит к Великой Цепи Бытия и ницшеанской воле к власти, чем к винерскому анализу интеллекта и цели с точки зрения информации, вычислений и контроля. В этих жутких сценариях интеллект изображается как всесильное, подвластное страстям нечто, в разной степени присущее его носителям. У людей его больше, чем у животных, а у искусственного интеллектуального компьютера или робота будет больше, чем у людей. Поскольку мы, люди, использовали свой умеренный объем интеллекта для одомашнивания или истребления менее разумных животных (и поскольку технологически развитые общества обыкновенно порабощают или уничтожают технологически примитивные), отсюда делается вывод, что сверхразумный ИИ поступит с нами точно так же. Раз ИИ будет мыслить в миллионы раз быстрее нас и воспользуется своим суперинтеллектом для рекурсивного улучшения своего сверхразума, то, стоит включить, его уже будет не остановить.
Но эти сценарии основываются на путанице, на смешении интеллекта с мотивацией, убеждений с желаниями, умозаключений с целями, вычислений, описанных Тьюрингом, и контроля, описанного Винером. Даже изобрети мы однажды сверхчеловечески разумных роботов, зачем им желать порабощения своих хозяев или покорения мира? Интеллект есть способность применять новые средства для достижения цели. Но сами цели ставятся независимо от интеллекта: быть умным – не то же самое, что чего-то хотеть. Так уж вышло, что интеллект Homo Sapiens является продуктом дарвиновского естественного отбора, который, по сути, представляет собой процесс конкуренции. В нашем мозге мышление связано с такими целями, как доминирование над конкурентами и накопление ресурсов. Но будет ошибкой принимать участок в лимбической системе определенного вида приматов за интеллект как таковой. Нет такого закона сложных систем, который гласил бы, что интеллектуальные агенты обязательно превращаются в безжалостных мегаломаньяков.
Второе заблуждение состоит в том, чтобы воспринимать интеллект как безграничный континуум возможностей, как чудесный эликсир, способный решить любую проблему и достичь любой цели. Это заблуждение приводит к бессмысленным вопросам – скажем, когда «ИИ превзойдет человеческий уровень мышления», – и порождает фантазии о богоподобном «общем искусственном интеллекте» (ОИИ), всеведущем и всемогущем. На самом деле интеллект есть совокупность гаджетов, программных модулей, которые усваивают (через программирование) знания о том, как добиваться различных целей в разных случаях. Умеют находить пропитание, завоевывать друзей и оказывать влияние на других[96], выстраивать отношения с будущими партнерами по браку, воспитывать детей, перемещаться по миру и преследовать другие человеческие цели и развлекаться. Компьютеры можно запрограммировать на решение ряда перечисленных задач (например, на распознавание лиц) и проигнорировать часть из них (то же умение очаровывать будущую жену), а также на решение задач, неподвластных людям (скажем, моделирование климата или сортировка миллионов учетных записей). Задачи, как видим, различны – и различны знания, необходимые для их решения.
Однако вместо того, чтобы признать значимость знания для интеллекта, антиутопические сценарии уподобляют общий искусственный интеллект будущего демону Лапласа, мифическому существу, которому ведомы положение и скорость каждой частицы во Вселенной и которое вставляет эти параметры в уравнения, выражающие физические законы, чтобы рассчитывать состояния всего на свете в любой момент в будущем. По многим причинам демона Лапласа никогда не воссоздать в кремнии. Реальная интеллектуальная система должна получать информацию о беспорядочном мире объектов и людей, взаимодействуя с одной областью одновременно, причем длительность цикла взаимодействия определяется скоростью, с которой разворачиваются события в физическом мире. Это одна из причин того, почему понимание не подчиняется закону Мура: знание приобретается путем формулирования объяснений и проверки на соответствие реальности, а не ускорением выполнения алгоритма. Поглощение информации из интернета также не принесет всеведения: большие данные по-прежнему конечны, зато вселенная знаний бесконечна.
Третья причина скептического отношения к фантазиям о внезапном господстве ИИ над миром заключается в том, что мы слишком уж всерьез воспринимаем инфляционную фазу той шумихи, которая нас сегодня окружает. Несмотря на несомненный прогресс в машинном обучении, особенно в области многослойных искусственных нейронных сетей, современные системы искусственного интеллекта далеки от уровня общего интеллекта (даже если допустить обоснованность этой концепции). Они ограничиваются выполнением задач, связанных с обработкой четко заданных входных данных и выведением строго сформулированных ответов там, где доступны «обучающие наборы» информации гигантского масштаба, где успех опознается немедленно и точно, где среда обработки не изменяется и где нет необходимости в ступенчатых, иерархических или абстрактных рассуждениях. Многие успехи ИИ достигнуты не благодаря лучшему пониманию работы интеллекта, а благодаря мощности более быстрых микросхем и большим данным, позволяющим обучать машины на миллионах примеров и обобщать результаты для новых данных. Каждая система представляет собой невежественного мудреца, малоспособного справляться с вызовами, решения которых не предусматривалось ее программистами, и едва способного на решение задач, под которые ее создавали. Скажу банальность – ни одна из этих систем не пыталась захватить лабораторию или поработить программистов.
Даже вздумай система искусственного интеллекта проявить волю к власти, без сотрудничества людей она останется бессильным мозгом в чане. Суперинтеллектуальная система в своем стремлении к самосовершенствованию должна каким-то образом создавать более быстрые процессоры для работы, моделировать инфраструктуру питания и изготавливать роботизированные устройства для контакта с миром; все это нево