Иными словами, реальный риск ОИИ состоит не в его злонамеренности, а в компетентности. Сверхразумный ОИИ будет реализовывать собственные цели; если окажется, что эти цели не совпадают с нашими, у нас возникнут проблемы. Люди не задумываются о затоплении муравейников при строительстве гидроэлектростанций, но не стоит помещать человечество в положение этих муравьев. Большинство исследователей утверждают, что, если мы когда-нибудь создадим сверхразум, он, как выразился пионер исследований по безопасности ИИ Элиезер Юдковски, должен быть «дружественным» (то есть таким, который будет действовать на благо человечества).
Вопрос морального свойства о том, какими должны быть цели ИИ, актуален ничуть не меньше технических вопросов о согласовании целей. Например, какое общество мы рассчитываем создать, откуда берутся смысл и цели нашей жизни, даже если мы, строго говоря, планете не нужны? Мне часто отвечают следующим образом: «Давайте создадим машины, которые умнее нас, а затем спросим у них!» Налицо ошибочное отождествление разума и морали. Интеллект сам по себе ни добрый, ни злой, он морально нейтрален. Это лишь способ достигать сложных целей, хороших или плохих. Нельзя утверждать, что все сложилось бы намного лучше, окажись Гитлер умнее. Действительно, откладывать рассмотрение этических вопросов до момента появления ОИИ с согласованными целями было бы безответственно – и потенциально катастрофично. Совершенно послушный сверхразум, цели которого автоматически совпадают с целями творцов-людей, будет похож на нацистского оберштурмбаннфюрера Адольфа Эйхмана на стероидах[80]. Лишенный моральных устоев и собственных ограничений, он с безжалостной эффективностью станет реализовывать цели своего хозяина, каковы бы те ни были.
Когда я говорю о необходимости изучить технологические риски, меня порой упрекают в паникерстве. Но здесь, в Массачусетском технологическом институте, где я работаю, мы знаем, что анализ рисков – не паникерство, а соблюдение техники безопасности. Перед полетом астронавтов на Луну НАСА систематически проверяло, что может дать сбой в 110-метровой ракете, наполненной легковоспламеняющимся топливом, потому что в космосе им уже никто не сможет помочь (если коротко, очень многое могло дать сбой). Это паникерство? Нет, это техника безопасности, которая обеспечила успех миссии. Точно так же мы должны проанализировать, что может пойти не так в области ИИ, чтобы убедиться в правильности происходящего.
Итак, если наши технологии опережают обретение мудрости, благодаря которой мы с ними справляемся, это обстоятельство может привести к нашему исчезновению. По некоторым оценкам[81], оно уже привело к исчезновению от 20 до 50 процентов всех видов живых существ на Земле, и было бы странно, не окажись мы сами следующими в очереди. Вдобавок будет жаль, если так случится, учитывая возможности ОИИ – поистине астрономические, сулящие процветание жизни на протяжении миллиардов лет, не только на Земле, но и во многих уголках космоса.
Вместо того чтобы упускать такую возможность из-за псевдонаучного отрицания рисков и скверного планирования, давайте будем амбициозными! Ведь Homo Sapiens амбициозен по природе, о чем напоминают знаменитые строки Уильяма Эрнеста Хенли из стихотворения «Непокоренный»: «Я властелин моей судьбы, / Я капитан моей души»[82]. Хватит дрейфовать как корабль без руля и ветрил, морально готовясь отправиться на свалку истории, давайте соберемся и преодолеем технические и социальные проблемы, стоящие между нами и благим высокотехнологичным будущим. А что насчет экзистенциальных проблем, связанных с моралью, целеполаганием и смыслом? В физических законах смысл не закодирован, и не стоит пассивно ждать, пока наша Вселенная ниспошлет его нам; давайте признаем и порадуемся, что именно мы, сознательные существа, придаем смысл нашей Вселенной. Давайте созидать наши собственные смыслы, содержащие нечто более важное, нежели наличие рабочих мест. ОИИ может помочь нам наконец-то стать хозяевами своей судьбы. Давайте сделаем эту судьбу по-настоящему прекрасной!
Глава 9Диссидентские послания
Яан Таллинн
программист, физик-теоретик и инвестор, разработчик программ Skype и Kazaa.
Яан Таллинн родился и вырос в Эстонии, когда та еще была советской социалистической республикой в составе СССР, и является одним из немногих разработчиков компьютерных игр с советским прошлым. В своем очерке он сравнивает диссидентов, уничтоживших железный занавес, с новыми диссидентами, которых тревожит быстрое развитие искусственного интеллекта. Парадоксальным образом он находит корни этого нового диссидентства среди пионеров в области ИИ, будь то Винер, Алан Тьюринг и И. Дж. Гуд[83].
Яана беспокоят экзистенциальные риски; на его взгляд, ИИ выделяется из прочих своим «экстремизмом». В 2012 году Таллинн стал соучредителем Центра по изучению экзистенциальных рисков – междисциплинарного исследовательского института, который стремится минимизировать риски, «связанные с новыми технологиями и деятельностью человека», – при Кембриджском университете; компанию ему составили философ Хью Прайс и королевский астроном Мартин Рис [84].
Однажды он охарактеризовал себя как «убежденного последователя», подразумевая, что достаточно убежден доказательствами для того, чтобы передать большую часть своего предпринимательского дохода Институту будущего жизни (соучредителем которого он является), научно-исследовательскому институту машинного интеллекта и другим подобным организациям, призванным минимизировать риски развития. Макс Тегмарк писал о нем: «Если вы – разумная форма жизни, читающая этот текст спустя миллионы лет и поражающаяся буйству жизни вокруг, не исключено, что вы в долгу перед Яаном».
Недавно в Лондоне мы с Яаном принимали участие в семинаре по искусственному интеллекту «Марафон Серпентайн-гэллери» в лондонской ратуше; ведущим семинара был Ханс-Ульрих Обрист (еще один из авторов настоящей книги). Поскольку затрагивался мир искусства, тем вечером в ратуше состоялся гламурный ужин, на который собрались творческие люди Лондона – художники, фотомодели, олигархи, звезды сцены и экрана. Побродив по залу и пообщавшись с публикой в своей привычной непринужденной манере («Привет, меня зовут Яан»), Таллинн внезапно воскликнул: «Пора танцевать хип-хоп!», рухнул на пол и принялся демонстрировать экзотические движения ошеломленным представителям «списка А». Позже он отправился в танцевальный клуб, как, по-видимому, всегда поступает в поездках. Ну что тут сказать?
В марте 2009 года я сидел в сетевой закусочной рядом с шумной калифорнийской автострадой. Мы договорились там встретиться с одним молодым человеком, блог которого я почитывал. Чтобы я мог его узнать, он нацепил на грудь значок с надписью: «Говори правду, даже если голос дрожит». Этого человека звали Элиезер Юдковски, и следующие четыре часа мы обсуждали его послание миру – именно оно привело меня в эту закусочную и в конечном счете определило характер моей дальнейшей работы.
В «Человеческом применении человеческих существ» Норберт Винер рассматривал мироздание сквозь призму коммуникации. Он видел перед собой Вселенную, которая марширует в лад со вторым законом термодинамики и движется к неизбежной тепловой смерти. В такой Вселенной единственными (мета)стабильными сущностями оказываются сообщения – информационные структуры, распространяющиеся во времени, подобно волнам, которые разбегаются по поверхности водоема. Даже нас, людей, можно трактовать как сообщения, поскольку атомы наших тел живут слишком недолго, чтобы отождествлять их с личностью. Мы лишь «послания», передаваемые телесными функциями. Как заметил Винер: «Сама структура, поддерживаемая этим гомеостазисом, является, если угодно, критерием нашей личной индивидуальности».
Мне привычнее считать фундаментальными «кирпичиками» мироздания процессы и вычисления. Тем не менее точка зрения Винера позволяет выявить ряд любопытных аспектов, которые иначе наверняка остались бы в тени, – а ведь они во многом определили мою жизнь. Речь о двух, скажем так, посланиях, восходящих ко Второй мировой войне. Они составлялись изначально как скромные диссидентские послания того сорта, на который люди обычно не обращают особого внимания, даже если в целом молчаливо и, возможно подсознательно, одобряют. Первое послание гласило: Советский Союз возник из череды незаконных оккупаций. Это должно прекратиться раз и навсегда.
Будучи эстонцем, я вырос за железным занавесом – и очутился в первых рядах зрителей, когда этот занавес падал. Это первое послание я улавливал в ностальгических воспоминаниях моих дедушек и бабушек и среди треска глушилок, пытавшихся помешать трансляциям «Голоса Америки». Послание зазвучало громче в эпоху Горбачева, ибо государство начало более снисходительно относиться к диссидентам, и достигло крещендо в эстонской «певческой революции»[85] в конце 1980-х годов.
В подростковом возрасте я был свидетелем того, как послание распространялось среди широкой публики, от активных диссидентов, которые озвучивали его на протяжении полувека, не жалея и не щадя себя, вплоть до художников и литераторов, а также членов компартии и политиков, постепенно усваивавших новую идеологию. Эта новая элита представляла собой эклектичное сочетание диссидентов первой волны, сумевших пережить репрессии, интеллектуалов и (к великому раздражению упомянутых диссидентов) даже бывших коммунистов. Оставшиеся догматики – среди них были даже выдающиеся люди – в конце концов очутились на обочине истории, некоторые из них перебрались в Россию.