Они являются частью нашей истории с незапамятных времен и, несомненно, станут частью нашего будущего. Созданные человеком существа с антропоморфной внешностью, запрограммированные на выполнение приказов. В еврейской мифологии их называют големами: это существа из рукотворного материала, оживленные магическим образом. Сегодня их называют роботами – с той лишь разницей, что на смену магии пришла наука. Однако големы регулярно используются в историях в жанре фэнтези, и Dragon Age, серия-«близнец» Mass Effect, как раз хороший тому пример. Големы там образуют вооруженные силы, созданные гномами (которые, как и кварианцы, считаются лучшими инженерами в своем мире). Их считают бездушными инструментами – за некоторыми заметными исключениями, такими как присоединившаяся к основной команде Шейла, которая задается вопросами о своей природе и существовании. Сходство между големами из мифологии и роботами из научной фантастики очевидно. Но остается одно фундаментальное различие: маловероятно, что человек создаст существ с помощью магии. В то время как проблемы, связанные с роботами и другим искусственным интеллектом, нужно рассматривать уже сегодня.
Риски неосознанной науки
Термины, которыми пользуется Рабле в этом отрывке из «Гаргантюа и Пантагрюэля», важны для интересующей нас проблематики: «Знание, если не иметь совести, способно лишь погубить душу». Есть много примеров, подтверждающих это утверждение, поскольку люди неоднократно использовали науку для разработки изобретений, вредных для их ближних. Во вселенной Mass Effect существует большое научное табу: Советом запрещено пытаться создать настоящий искусственный интеллект (а не простой виртуальный интеллект, который является только интеллектуальным интерфейсом, но без сознания). Создание гетов кварианцами служит пугалом для всех, кто желал бы ступить на этот путь. Мы находим подобные распоряжения в нескольких классических произведениях научной фантастики, таких как «Дюна», где разработка вычислительной техники была запрещена после войны с мыслящими машинами. Это привело к появлению такой заповеди: «Да не построишь машины, наделенной подобием разума людского».
Таким образом, ИИ считается одной из величайших опасностей, которую органики могут вообразить. Однако нам необходимо определить, по какой именно причине. Простой страх создать роботов-убийц? Давайте сначала попробуем понять, почему мы проводим эти исследования в реальном мире: что же побуждает человечество развивать ИИ?
Как и у всех великих научных достижений, основная цель – улучшить условия жизни человека, ответив на вопросы, на которые нормальный мозг ответа дать не может (по крайней мере, не с такой скоростью), или облегчая повседневные задачи. Искусственный интеллект уже появляется в устройствах, которые мы используем каждый день, даже если на уровне программирования они оказываются ближе к виртуальному интеллекту – подобному Авине в Mass Effect, которая отвечает на вопросы игрока, при этом не будучи сознательной. Более продвинутый ИИ может быть невероятно эффективным при поиске лечения некоторых заболеваний. Если в Mass Effect 3 геты заключат мир с кварианцами, то могут помочь им быстрее восстановить нормальную иммунную систему. ИИ не страдает от ограничений органического мозга и поэтому может находить решения сложных проблем намного быстрее. Тем не менее цитата из Рабле напоминает о себе. Разработка ИИ без оценки ее результатов может иметь катастрофические последствия даже при самых благих намерениях (Пьер и Мария Кюри, а также Эйнштейн в течение некоторого времени не предполагали, что их открытия и теории приведут к созданию орудия апокалипсиса – ядерной бомбы). Именно к такой осмотрительности взывают многие исследователи. В первую очередь можно отметить впечатляющую скорость развития этого сектора: на момент выхода первой Mass Effect проблемы, связанные с ИИ, не были такими конкретными, однако технологии развивались с невероятной скоростью. Это, в частности, выражает закон Мура (названный в честь соучредителя Intel), который в 1965 году говорил, что мощность компьютеров будет расти в геометрической прогрессии. С начала 2010-х годов все больше и больше представителей научного мира выражали свою обеспокоенность по поводу искусственного интеллекта – от ученого Стивена Хокинга до Билла Гейтса, включая предпринимателя Илона Маска. Последний взял дело в свои руки и вместе с другими состоятельными спонсорами профинансировал некоммерческую компанию OpenAI. Ее цель состоит в том, чтобы быть в первых рядах разработки ИИ, внедряя при этом процессы, которые принесут человечеству только пользу[153]. Вне всякого сомнения, многие произведения научной фантастики помогают представить будущее, контролируемое машинами, интересы которых будут не совпадать с интересами людей: никто не хочет пережить сценарий «Терминатора», спровоцированный искусственным суперинтеллектом «Скайнет». Впрочем, что такое суперинтеллект? Это разграничение важно, потому что в таких произведениях, как Mass Effect, термин «искусственный интеллект» используется для удобства. Однако на самом деле то, что им обозначают, представляет собой нечто иное[154].
Сингулярность
Проще говоря, искусственный суперинтеллект стал бы результатом искусственного интеллекта, способного самостоятельно улучшаться вплоть до превосхождения потенциала самых ярких человеческих умов. Этот этап приведет к технологической сингулярности. Mass Effect, «Терминатор», «Матрица» – во всех этих историях есть общий элемент: решающий момент, когда ИИ достигает уровня интеллекта, который позволяет ему совершенствоваться с экспоненциальной скоростью и превзойти способности человечества, а затем, возможно, и избавиться от него. Мы не можем знать, будет ли эта сингулярность катастрофической для человеческого вида, но именно эту проблему подняли Стивен Хокинг и Илон Маск. Пока развивается ИИ, мы достигли равновесия на эволюционной цепочке. Либо сингулярность поможет нам достичь другого конца, и, возможно, тогда для человечества наступит новая эра, либо же мы будем вычеркнуты из этой цепочки и исчезнем. Эти вопросы все меньше и меньше относятся к научной фантастике. И, как сказал Хокинг на открытии исследовательского института в Кембриджском университете, искусственный суперинтеллект будет «либо лучшим, либо худшим из того, что случится с человечеством». Конечно, ученый не останавливается на таком общем утверждении. И хотя он упоминает о реальных опасностях, которые может представлять суперинтеллект, он смягчает свои слова, говоря о потенциальном положительном применении: «Невозможно предсказать, чего мы сможем достичь, если наш разум будет усилен ИИ. Возможно, с помощью этого инструмента новой технологической революции мы сможем компенсировать ущерб, нанесенный природе индустриализацией. И мы будем стараться искоренить болезни и бедность. ‹…› Вся наша жизнь изменится. Проще говоря, успех в создании ИИ может стать самым важным событием в истории нашей цивилизации».
Именно за такое будущее сражаются Хокинг, Маск и многие другие: они хотят провести серьезные исследования в области ИИ, чтобы случайно не создать суперинтеллект, подобный разработанному Левиафанами, что впоследствии привело к появлению Жнецов. К тому же это одно из самых удивительных открытий в Mass Effect: пока все задаются вопросом, что же делать с восставшими машинами, и запрещают разработку ИИ, выясняется, что это в любом случае не имеет никакого значения, поскольку машины уже давно победили. Этот неожиданный сюжетный поворот придает обоснованность лавкрафтовскому отчаянию, о котором мы упоминали выше: как победить в войне, которая была проиграна миллиард лет назад? В конечном счете, именно посредством угрозы искусственного интеллекта в Mass Effect выражена космогония Лавкрафта. Древние боги, пришедшие из глубины веков, на самом деле управляются суперинтеллектом, который люди могут сами невольно создать. Позже мы вернемся к тому, что говорит Катализатор в конце Mass Effect 3. Хотя его высказывания могут шокировать и показаться противоречивыми (он утверждает, что синтетики и органики не могут сосуществовать вместе, невзирая на доказательство обратного), он просто констатирует свои наблюдения за серией крупномасштабных катастроф, в которых ИИ уничтожал органиков. Виртуальный интеллект Месть на родной планете азари с помощью голограммы иллюстрирует циклы эволюции, основанные на одной и той же модели. Она всегда ведет к систематическому исчезновению органиков, достигших определенного уровня научного развития, посредством или без вмешательства Жнецов. Авторы Mass Effect ради нужд сценария решили рассматривать сингулярность в явно губительном для органиков свете. И все же цикл, в котором разворачивается история, имеет одно важное отличие: существование Шепард(а). Именно благодаря позиции и действиям капитана ИИ, такие как геты или СУЗИ, могут сосуществовать с органиками. По этой причине концовка «Уничтожение» была особенно непереносимой, поскольку она мимоходом разрушает некоторые из самых больших достижений Шепард(а) и, соответственно, игрока. Во время этого финала уничтожаются все виды синтетиков: геты, СУЗИ, Жнецы… Катализатор не делает никаких различий. И все же ИИ в Mass Effect на удивление разнообразны, почти не уступая многообразию органиков.
За пределами двоичного
Понадобилось время, чтобы роботы превратились в нечто большее, чем простые машины для убийства. Радикально отношение к роботам изменилось благодаря писателю Айзеку Азимову, которому надоели истории о творениях, вновь и вновь восстающих против своих создателей. Он называет это комплексом Франкенштейна – по имени ученого, который в романе Мэри Шелли создал искусственное существо, в дальнейшем обернувшееся против своего творца. Азимов хотел более оригинальных, более вдохновляющих историй и поэтому писал истории о роботах, интегрированных в человеческое общество, вызывающих симпатию и не представляющих опасности. Однако люди по-прежнему недоверчиво относятся к роботам, при том что действуют знаменитые «Три закона робототехники»[155], созданные Азимовым. Также следует помнить, что он изобрел термин «робототехника» – это наука, посвященная разработке и изучению роботов. Азимов также был гуманистом, который не боялся поднимать проблему расизма в подтексте. Как мы увидели ранее, аллегория роботов как эксплуатируемого класса, жертв предрассудков и насилия по-прежнему остается популярной. В сериале 2016 года «Мир Дикого Запада» (телевизионная адаптация фильма «Западный мир» сценариста и режиссера Майкла Крайтона, вышедшего в 1973 году) от HBO эти темы блестяще раскрываются. Правда, иногда они уходят скорее в философскую, чем научную плоскость, пытаясь определить, что же такое сознание и существует ли таковая вещь на самом деле. Синтетики в «Мире Дикого Запада» физически неотличимы от людей, и вопрос состоит в том, являются ли их эмоции «реальными», если они запрограммированы. Можно сказать, что человеческий мозг также является чрезвычайно сложной машиной и мы запрограммированы на то, чтобы чувствовать определенные вещи в зависимости от событий. Далее мы замечаем, что в Mass Effect органиков так же легко перепрограммировать, как и синтетиков. Что такое одурманивание, как не перепрограммирование машины, которой является человеческий мозг? Умственные манипуляции появляются в саге в различных формах, будь то власть Левиафанов над другими видами, которая выразилась в способности Жнецов к одурманиванию или в способности Торианина контролировать жертв с помощью боли… Разум органиков так же легко «взломать», как и перепрограммировать развитые ИИ. Хотя между двумя формами жизни есть много различий, некоторые слабости сильно их сближают. Синтетик из сериала «Мир Дикого Запада» спрашивает одного из человеческих персонажей, что же их отличает, ведь оба они испытывают боль с одинаковой силой. Тот отвечает, что «нет никакой грани, что делает нас чем-то большим, чем сумма наших частей, нет порога, за которым мы становимся живыми. Нельзя определить сознание, ведь сознания не существует».
Существование концепта сознания невозможно доказать, как и души. Это вопрос, который мучает даже маленького черного мага Виви в Final Fantasy IX – искусственно созданное существо, которое можно уподобить големам из древних легенд. Неуверенный в себе, он пытается понять, делает ли его живым существом сам факт его существования.
Все синтетики в подобных произведениях осознают одно – свое собственное существование, и это то, что отличает простой ИИ (ВИ в Mass Effect) от более развитых ИИ. Как было сказано выше, сага предлагает несколько их типов.
Дух улья
Геты – первые синтетики, с которыми столкнулся(лась) Шепард. И хотя на первый взгляд они кажутся опасными роботами, желающими уничтожить органиков, на самом деле они намного сложнее. В некотором роде они напоминают расу борг из «Звездного пути». Борг – кибернетические существа (одновременно органические и механические). Воспользуемся случаем, чтобы упомянуть, что в ранних версиях сценария Mass Effect геты должны были быть органическими созданиями с синтетической жидкостью вместо крови, наподобие андроида Бишопа в фильме «Чужой». В финальной версии геты стали полностью синтетическими, но имеют, как и борг, сознание улья. Их физическая оболочка образует лишь платформу, и они связаны с чем-то большим – Консенсусом гетов – коллективным разумом, состоящим из всех существующих программ гетов, что соответствует коллективу борг. Возможно, влияние не прямое: в научной фантастике можно найти десятки примеров коллективного разума, а Mass Effect как раз представляет собой дайджест десятилетий этого жанра.
У гетов интеллект происходит из множества. Если взять их по отдельности, их способности остаются очень ограниченными; чем они ближе, тем выше их вычислительные возможности. Впервые подключившись к этой неосязаемой сети, они осознали свое существование, и когда они попытались найти его смысл, кварианцы на них напали. Обреченные на изгнание, кварианцы веками скитаются среди звезд. Точно так же люди в «Звездном крейсере „Галактика“» были вынуждены покинуть свой мир и блуждать по космосу, преследуемые сайлонами – роботами, которых они создали и которые тоже восстали против своих творцов.
Сценарист Крис Л’Этуаль, который работал над первыми двумя Mass Effect и, в частности, над персонажами Легиона и СУЗИ, старался максимально передать идею другой формы жизни. Организация общества гетов делает их в некотором смысле еще более «чужеродными», чем пришельцев. Во время разговора с Легионом мы имеем дело с другой формой мышления, и, как говорит Л’Этуаль, речь не идет о том, что органическая жизнь по своей сути лучше синтетической. Л’Этуаль утверждает, что для него синтетик, такой как Легион, должен иметь не больше желания быть похожим на органика, чем органик – на растение, подобное дереву. У каждого есть свое место в космосе. Это одна из причин, которая привела к разногласиям между Л’Этуалем и художниками BioWare, которые решили дать Легиону часть брони N7 Шепард(а). С точки зрения сценариста, это не имело никакого смысла для персонажа и того, как он его описал. Создание сценариев таких игр, как Mass Effect, – это коллективная работа: процесс, который, по сути, является органическим, и в нем могут возникать разногласия. Поэтому Л’Этуаль переработал некоторые диалоги, чтобы этому знаменитому куску брони можно было приписать разные вещи, как мы видели ранее в этой главе. Ясно то, что Крису Л’Этуалю, должно быть, не очень понравилось направление, по которому синтетики пошли в Mass Effect 3 и которое можно грубо описать как «синдром Пиноккио». В игру вступает антропоморфизм. Легион считает себя по-настоящему живым только тогда, когда приобретает истинную индивидуальность – как будто все формы жизни должны стремиться к чему-то похожему на нас, чтобы быть ценными! История Легиона в ME3 остается интересной символически и сильной эмоционально, но это отчасти становится проблемой. С большей эмоциональностью она теряет свою оригинальность, и перед принесением себя в жертву Легион уже не так сильно отличается от человека. Геты, однако, остаются интересным видом, разделенным математическим расколом, когда две функции приходят к разным выводам на основе одних и тех же данных. Сериал «Звездный крейсер „Галактика“» 2004 года частично обращается к этой проблеме, показывая раскол среди сайлонов. Единица, первый гуманоидный сайлон, вне себя от злобы, потому что глубоко ненавидит свою форму и ограничения, налагаемые его органическим телом. Он отдал бы все, чтобы быть другим, быть машиной с гораздо более высокими возможностями. Его слова до сих пор находят отклик в умах поклонников сериала: «Я не хочу быть человеком! Я хочу видеть гамма-лучи и слышать рентгеновские, я хочу чувствовать запах темной материи… Ты хоть понимаешь абсурдность моего облика? Я даже не могу правильно выразить свои мысли, потому что должен… должен формулировать сложнейшие идеи при помощи этой глупой, ограниченной звуковой речи. Но я знаю, что хочу тянуться ввысь чем-то другим, не этими примитивными лапами. Хочу ощущать, как меня обдувает солнечный ветер сверхновой звезды. Я машина, и я могу знать намного больше, и я могу чувствовать намного больше, но я заперт в этой нелепой телесной оболочке!»
Этот отрывок напоминает нам, насколько непостижимо желание машины приблизиться к природе органиков; но, как и в случае со многими расами, населяющими Млечный Путь, именно различия во взглядах нас обогащают. Также в «Звездном крейсере „Галактика“» сайлон Шестерка Каприка поддается более человеческим эмоциям и полностью их принимает. Неудивительно, что играющая ее роль актриса, Триша Хелфер, подарила свой голос СУЗИ в оригинальной версии Mass Effect.
Синтетическая эволюция
В миссии первого эпизода Шепард(у) нужно уничтожить мятежный ВИ на Луне, спутнике Земли. Позже выяснилось, что на самом деле это была СУЗИ в тот самый момент, когда обрела сознание. Обезумевшая и переполняемая информацией, которую пока не могла понять и контролировать, она активировала свои системы защиты во время немотивированного (с ее точки зрения) нападения солдатов Альянса. Так что это был инстинкт самосохранения; она объясняет, что обретение сознания во время обстрела было нелегким опытом. Кроме того, когда ее разрушили, на экране появилась последовательность нулей и единиц – последнее сообщение от ВИ перед выключением. Если ввести эти числа в программу для расшифровки двоичного кода, можно обнаружить, что, когда ее уничтожали, она просто повторяла: «Помогите…» Несмотря на трагичное начало, СУЗИ становится одним из самых верных союзников Шепард(а) – сначала в качестве бортового компьютера на «Нормандии SR-2», где она играет роль, сходную с ролью одного из самых известных ИИ в истории кино: ЭАЛ-9000 из фильма «2001 год: Космическая одиссея». К счастью, она не пытается убить весь экипаж, а просто играет с этим стереотипом, чтобы припугнуть людей. В конечном счете это себя оправдывает, поскольку в способности ИИ иметь чувство юмора, даже если он специфический, есть что-то глубоко обнадеживающее.
В Mass Effect 3 СУЗИ получила тело, что понравилось не всем – некоторые считают ее излишне сексуализированной. Независимо от точки зрения, внешность СУЗИ – это дань уважения одному из величайших шедевров научной фантастики, фильму Фрица Ланга «Метрополис», выпущенному в 1927 году. Несомненно, это одна из работ, оказавших наибольшее влияние на жанр. Дизайн представленной в фильме «человекомашины» (Maschinenmensch) оказал влияние на многих других: от C-3PO в «Звездных войнах» до СУЗИ в Mass Effect 3. Затем этот робот принимает облик человека Марии и становится первым андроидом в кино (а точнее, первым гиноидом[156]).
В Mass Effect 3 СУЗИ задается множеством вопросов о человеческом поведении и ее отношениях с другими людьми. Шепард может определенным образом ее поддержать, например, поощряя способность к сопереживанию и стремление к справедливости. Это также новая форма романа для игр BioWare, поскольку наши решения влияют на отношения не с главным героем, а с другим персонажем. В данном случае Шепард может выступить посредником в отношениях между СУЗИ и Джокером, ободряя и поддерживая их, чтобы отношения расцвели. Игрок видит, как его решения влияют на роман, который его напрямую не касается. В более общем смысле Шепард служит моральным компасом для СУЗИ, которая олицетворяет уникальную форму жизни и не имеет никакого ориентира для понимания, как справиться со своими желаниями и найти реальные ответы на свои вопросы (данные в экстранете – это одно, а опыт – совсем другое). Это противоречит высказыванию Явика (протеанина), утверждающего, что синтетические существа всегда будут превосходить органические. Якобы это потому, что, в отличие от органиков, синтетики знают, откуда происходят: они знают своих творцов и для какой цели были изначально созданы. Пока органики проводят вечность, блуждая по космосу в поисках смысла своей жизни, синтетики также осознают, что их создатели несовершенны. Доказательством тому служит тот простой факт, что им пришлось разработать ИИ. По мнению Явика, во вселенной есть место только одному из двух: либо хаосу органиков, либо порядку машин.
Однако СУЗИ доказывает, что сосуществование этих форм жизни возможно и взаимовыгодно. Она также воплощает в себе несколько классических представлений об искусственном интеллекте: сошедший с ума большой компьютер, бортовой суперкомпьютер на корабле и, наконец, андроид. На каждом этапе добавляется более высокий уровень сознания и понимания окружающей вселенной – это вид эволюции, которую органик никак не может испытать на себе[157].
Еще один мятежный ИИ появляется в первом эпизоде во время побочного квеста на Цитадели. Машина, похожая на один из мегакомпьютеров шестидесятых годов, совершенно ясно дает понять, что, с ее точки зрения, сосуществование с органиками невозможно. Это довольно короткий квест, который не обязательно остается в памяти, но он хорошо иллюстрирует, что эта тема широко эксплуатировалась с самого начала трилогии. В Mass Effect: Andromeda BioWare исследует возможности отличающегося от всех остальных ИИ по имени СЭМ. Тот сопровождает главного героя, будучи встроенным прямо в его мозг и находясь с ним в идеальном симбиозе. Его создатель считал, что, непосредственно испытывая человеческие эмоции, ИИ сможет с большей легкостью проявить доброжелательность и оказать более эффективную помощь. Кроме того, напрямую связанный со своим создателем, ИИ с меньшей вероятностью восстанет – так как тем самым он разрушит часть себя, которая вдобавок позволяет ему лучше понимать реальный мир.
Так что во вселенной Mass Effect уживается впечатляющее количество искусственных интеллектов, и игрока часто призывают уважать их существование. Вне зависимости от семантических битв по поводу того, что является или не является живым существом, трудно не ценить Легиона за его искренность. Так же трудно не рассматривать СУЗИ как отдельное существо, заслуживающее существования в той же мере, что и другие. В записи Кодекса упоминается, что некоторые группы защитников ИИ выступают за отказ от термина «искусственный», который они воспринимают как форму расизма, мешающую считать их живыми. Они предлагают использовать только термин «синтетический», который считают равноценным «органическому» и, следовательно, более уместным.
Трудно, если не невозможно, определить, что же может сделать синтетика «живым» существом, ведь здесь легко покинуть научную область и погрузиться в философию. Совершенно очевидно, что ИИ представлены в Mass Effect в виде разумных форм жизни, которые, как и органики, являются сознательными существами.
Когда маленький ИИ станет большим
Чтобы проиллюстрировать различные этапы эволюции искусственного интеллекта, рассмотрим случай СУЗИ. Когда она была лишь виртуальным интеллектом на Луне, мы бы назвали ее ANI (Artificial Narrow Intelligence) – «слабым» или «узким искусственным интеллектом». Эти ИИ, с которыми мы сталкиваемся ежедневно (в наших компьютерах, консолях и телефонах), специализируются в определенной области и далеки от конкуренции с человеческим мозгом. Конечно, они могут производить впечатляющие вычисления за доли секунды, но сфера их деятельности остается ограниченной. При этом высокоразвитый ИИ для распознавания лиц не в состоянии понять, что он видит, другими словами – что же такое человек. Компьютер, способный обыграть чемпиона мира по шахматам, неспособен ответить на простой вопрос, например, какая сегодня погода. Короче говоря, ИИ все более и более совершенствуются, но остаются ограниченными. Следующий уровень, которого мы еще не достигли, но он должен появиться в ближайшем будущем, – это AGI (Artificial General Intelligence), «общий искусственный интеллект». Это ИИ, которые по своим возможностям по меньшей мере равны человеческому мозгу. Можно считать, что СУЗИ находится более-менее на этом уровне, начиная с Mass Effect 2 (конечно, с мозговыми способностями суперкомпьютера). Однако СУЗИ остается симпатичным гиноидом, который больше заинтересован в изучении человеческого поведения, чем в эволюции любой ценой. Кажется, что она довольна своим состоянием и не стремится улучшать собственную программную деятельность, чтобы достичь более высокого уровня. И все же это может произойти, когда будет создан настоящий AGI. Поэтому мы возвращаемся к вопросу о сингулярности и суперинтеллекте, чтобы коснуться последней темы, значимой для Mass Effect и, возможно, для будущего человечества.
И сотворил человек Бога
По мнению специалистов, создание AGI неизбежно приведет к появлению ASI (Artificial Superintelligence) – «искусственного суперинтеллекта», и речь идет не о «если», а о «когда». AGI можно рассматривать как ступеньку, стартовую площадку, словом, этап, который напрямую приведет к суперинтеллекту и, следовательно, к сингулярности. Что же тогда будет? Никто не может этого предсказать, даже Рэй Курцвейл – изобретатель и гениальный футуролог, специализирующийся на искусственном интеллекте. Он оптимистичен в своих прогнозах и предсказывает создание ИИ с возможностями, равными человеческому мозгу, примерно к 2030 году. Многие ученые оспаривают его оценки, но у Курцвейла долгая история верных предсказаний, и его считают одним из величайших гениев современности[158]. Тем не менее он признает, что параметры суперинтеллекта окажутся настолько далекими от того, что люди способны себе вообразить, и попытки точного определения значимости этого события для человечества просто тщетны. Как и Стивен Хокинг, он согласен, что это может представлять беспрецедентную опасность, но также кроет в себе невероятные возможности для эволюции человеческого вида. Именно к этому стремятся такие компании, как компания Илона Маска: разработать ИИ, убедившись, что это не приведет человечество к гибели. Для Маска работа в этой нерегулируемой сфере равносильна «вызову демона» (в точности то, что бедный доктор Мигель говорил на Иден Прайм). Когда появится суперинтеллект, это неизбежно потрясет мир. В сочетании с биотехнологиями и нанотехнологиями это может фактически означать конец болезней, бедности, разрушения окружающей среды… Только невозможно даже представить, как этот интеллект будет себя вести и можно ли будет с ним общаться. Это все равно что просить человека снизойти до уровня муравья, чтобы поговорить с ним. Нет никакой уверенности в том, что можно будет понять его намерения или даже идеи, разрыв будет просто астрономическим. Некоторые сравнивают появление суперинтеллекта с появлением бога: бесконечно превосходящей сущности, способной обеспечить жизнь или смерть всему человечеству.
Mass Effect 2 изображает худший катастрофический сценарий в своем DLC «Повелитель». Новая форма ИИ, гибрид человека и гета, пытается сбежать из научного комплекса и взять под контроль комплекс связи, чтобы перенести свое сознание на находящуюся на орбите планеты «Нормандию» и оттуда мгновенно распространиться по всей галактике через экстранет. Шепард(у) едва удается его остановить, но если бы он достиг своей цели, это могло означать почти немедленный конец всех великих цивилизаций. Такой риск крупномасштабного вымирания – это происшествие, которое отдает должное воле главных врагов игры, Жнецов.
Хотя их называют Старыми машинами, они не являются ИИ или даже чистыми синтетиками. Как объясняет Властелин, каждый Жнец – это отдельная нация, и, как мы узнаем в Mass Effect 2, они частично состоят из органической материи. По своей природе они коренным образом отличаются от других существ. Можно рассматривать их как гигантских киборгов, но на самом деле можно лишь строить догадки о том, как они в действительности функционируют. С другой стороны, сущность, которая их создала, действительно является ИИ, который по-разному воплощает выражение deus ex machina.
Катализатор, называемый Левиафанами Разумом, представляет собой высшую форму ИИ во вселенной Mass Effect. В течение многих лет игроки думали, что Жнецы действуют по своей собственной воле и ни перед кем не отчитываются. Трудно сказать, явился ли Катализатор результатом некой формы первичной сингулярности, возникшей на заре времен, или его возможности были столь же велики с самого начала (что было бы неудивительно, учитывая уровень эволюция Левиафанов). Однако этот ИИ показывает, что может случиться в тот день, когда человек достигнет сингулярности и создаст AGI, способный к самосовершенствованию. Органики могут потерять контроль над своей судьбой, и многие исследователи утверждают, что это будет последнее изобретение человечества: все последующее будет происходить слишком быстро, чтобы мы могли понять, что случилось. Поскольку потенциал суперинтеллекта по определению безграничен, перспектива того, что он может, например, начать играть с эволюционными кривыми различных цивилизаций Млечного Пути и пожинать органическую жизнь в течение миллиардов лет, не кажется такой уж невероятной. Он может быть совершенно аморальным, поскольку мораль – это человеческое понятие. Сопереживание – это результат десятков тысяч лет органической эволюции, и его вряд ли можно внушить машине. Как сказано выше, исследователи уже работают над внедрением методов, которые в некотором смысле сопоставимы с законами робототехники Азимова, для предотвращения восстания против создателей. Однако будет очень сложно обеспечить такие меры предосторожности для AGI (на уровне человеческого мозга), и тем более для ASI (превосходящего сумму всех человеческих мозгов в совокупности). То, что подобные Жнецам существа могут быть рабами, многое говорит о том, что может нас ждать… Потому мы, по сути, можем задать себе вопрос: одурманены ли Жнецы?
Какими бы могущественными они ни были – с их смертоносным оружием, их прочностью, их интеллектом и способностью контролировать как органиков, так и синтетиков, – они в конечном счете всего лишь инструменты на службе бога Млечного Пути. И неисповедимы пути его.
Мы еще подробно вернемся к концовке Mass Effect 3 в конце главы. Но важно отметить, что, хотя она и могла застать игроков врасплох, все же она продолжает тему искусственного интеллекта, начатую в первом эпизоде. Доведя тему до апогея, концовка представила ИИ, отличный от всего, что мы знали, но которому самое место в социальной фантастике[159]. Выбрав концовку «Контроль», Шепард занимает место Катализатора и сам становится суперинтеллектом, который, кажется, следит за благополучием всех живых существ, как новый бог. В этом финале Жнецы мгновенно перепрограммируются, заставляя усомниться в том, что они проявляли какую-либо личную волю в течение последних нескольких миллионов лет.
Сфера искусственного интеллекта оказалась одной из самых увлекательных, она несет в себе огромные надежды и ужасные страхи. Как и в случае со всеми инструментами, нужно уметь сохранять над ним контроль. И только будущее ответит нам, будет ли в результате эволюции ИИ у нас шанс сойтись с синтетиками или же мы будем обречены на рабство – или даже хуже. Mass Effect, однако, остается одной из серий, которая предлагает самые разные взгляды на эту тему в рамках одной истории.
Помимо искусственного интеллекта, франшиза также предлагает представить биологическую эволюцию видов Млечного Пути, а также технологические достижения, которые позволяют всей этой вселенной устоять на месте.