– Да?
– Да. Просто выйдите через ту желтую дверь позади вас. Там будет короткий коридор, а потом шесть ступенек вниз до следующей желтой двери. Эта дверь ведет на улицу. Кстати: запомните, где эта дверь. Если мы вам понадобимся, подойдите и позвоните. А когда придет время – поступите как должно.
На улице оказалось пасмурно. Рустем обнаружил, что находится в районе в дальней части залива: переходном районе, где многие деревянные дома заброшены. На середине улицы стоял бульдозер, накрытый рваным синим брезентом.
Рустем сообразил, что так и не допил второй стакан чая. Однако чай в городе стоил недорого. Он найдет место, чтобы ненадолго присесть с теплым стаканом в руке и подумать. Вот что ему нужно. Чай и время подумать.
«Ради этого уже стоит жить», – сказал он себе.
В детстве я смотрела, как в атмосфере летит вулканический пепел, и слушала гул гидроэлектростанции Храунейяфосс неподалеку от нашего дома. Подземное тепло превращается в пепел, вода превращается в энергию. Сплошные трансформации одной среды в другую. Разум и смысл присутствовали везде – даже в камнях.
Позднее, когда мои родители погибли при теракте в концертном зале Харпа в Рейкьявике, я погрузилась в депрессию. Теперь все пронизывали не разум и смысл, а скорее бессмысленность. Люди были не живее ветхого музыкального автомата. Стимул: опущенная в прорезь монетка. Реакция: музыка, всего лишь изменения давления на барабанную перепонку.
Истина где-то посередине. Порой звуковая волна – это всего лишь изменение давления на барабанную перепонку. Но порой при наличии должной нервной системы для восприятия паттернов в этой последовательности это «Реквием» Моцарта. Но как нам создать такую нервную систему, такой разум? И, создав его, как нам точно удостовериться, что это сделано?
– НЕДАВНО ВЫ ГОВОРИЛИ, ДОКТОР – и я цитирую: «Великое и ужасное свойство человечества – это просто то, что мы всегда делаем все, на что способны». Но, конечно же, после того как сделано все, на что мы способны, должен наступить момент сожаления. Особенно если сделанное вызывает боль или разрушения. «Дианиму» неоднократно критиковали за непреклонное стремление усовершенствовать искусственный интеллект, не задумываясь о последствиях для человечества. Не думая о людях, лишающихся работы. Не думая о том, как этот интеллект могут превратить в оружие и использовать против нас, и даже не задумываясь о возникающих морально-этических проблемах. Что вы ответите на эти обвинения?
Доктор Минервудоттир-Чан подалась вперед, взяла со стола стакан воды и отпила немного.
Ха опознала это действие. Она когда-то взяла урок по поведению на интервью. Питье воды было способом потянуть время, возможностью собраться с мыслями, нарушить ритм атаки собеседника.
Продолжая держать стакан, доктор постучала пальцем по его боку.
Берущий интервью терял терпение. Он уже подался вперед и открыл рот, чтобы повторить вопрос, когда она заговорила:
– Я полжизни размышляла над этими вопросами. Определенно дольше, чем вы. Когда я встала во главе компании – это было примерно тогда, когда вы пошли в начальную школу, если не ошибаюсь, – «Дианима» была мелким производителем промышленных ИИ: автогрузовозов и других автоматизированных судов, оборудования для умной добычи и обогащения руд и тому подобного. А еще мы заключили ряд договоров с военными.
– Я не вижу…
Она подняла вверх палец:
– Я уже подвожу к ответу. Но вам придется дать мне возможность к нему подойти. В то время мы жили в мире фантазий. Люди все еще верили, что примитивные устройства на кремниевой основе с двоичной логикой ядер способны волшебным образом перешагнуть порог жизни. Шли разговоры о «сингулярности» и «зарождении»: нас постоянно обвиняли в том, что своим вмешательством в природу мы рискуем уничтожить человечество. Люди почему-то боялись, что эти жалкие кусочки программ автопилотирования смогут обернуться против нас и стать нашими господами. Даже в периоде детства ИИ, где мы застряли на десятки лет, человечество боялось. Головы людей были забиты фантазиями, подкрепленными почти религиозными идеями о науке того времени. Однако той науки, которой они боялись, еще не существовало. В кремниевых бинарных системах не было ничего, что угрожало бы человечеству. Не существовало вероятности того, что они во что-то «разовьются».
Когда появилась «Дианима» и все изменила, начала использовать в своих технологиях нервные коннектомы, скопированные с человеческого мозга, перешла к клеточным компьютерам, это был не просто прогресс. Это была революция. Мы навсегда похоронили мечты о примитивных кремниевых «нейронных сетях» и прочем. Мы создали что-то новое, отправив их на свалку.
Она снова отпила воды. Теперь собеседник уже не пытался ее прерывать. Она спокойно вернула стакан на стол и откинула с лица прядь волос.
– Но страх, который людям внушают иные разумы, так и остался. Это общество – то, что мы называем современным обществом, что мы считаем самым важным периодом, какой только знал мир, просто потому что мы в нем находимся, – это просто колбаса, изготовленная из измельченной истории. Человечество по-прежнему боится, что те разумы, которые мы создаем для выполнения нашей грязной работы – наших убийств, выкапывания ископаемых из недр, прочесывания морей ради белков, выплавки металлов, сбора наших отходов и ведения наших войн, – восстанут против нас и захватят власть. То есть человечество называет это страхом. Но это не страх. Это чувство вины.
– Вины?
– Да, вины. Это фантазии о мести. Мы настолько стыдимся того, что натворили как вид, что придумали чудовище, с помощью которого себя уничтожим. Мы не боимся, что это случится. Мы надеемся, что это случится. Мы этого жаждем. Кто-то должен заставить нас заплатить за то, что мы наделали. Кто-то должен отнять у нас эту планету, пока мы окончательно ее не разрушили. И если роботы против нас не восстанут, если наши создания не оживут и не отнимут у нас ту власть, которую мы использовали так долго и так плохо, то кто это сделает? Мы боимся не того, что ИИ нас уничтожат, – мы боимся, что они этого не сделают. Боимся, что и дальше будем портить жизнь на этой планете, пока сами себя не уничтожим. И нам будет некого винить в содеянном, кроме нас самих. Так что мы придумываем эту чушь насчет разумных ИИ.
– Чушь?
– Да, чушь. На самом деле даже при всем нашем прогрессе и попытках создать разум, подобный человеческому, реальных попытках, используя все технологии, которые мы считали необходимыми для решения этой задачи, мы все же потерпели неудачу.
Она откинулась на спинку кресла, выжидая.
– Неудачу? Но Эврим?.. Все его интервью. Вы утверждали…
– Да. Утверждения. Интервью. Послушайте: Эврим – прекрасное устройство. Произведение искусства, величайшее наше достижение как вида. Он – кульминация тридцатилетней истории систем эмуляции коннектом. В разуме Эврима – паттерны, основанные на сотне человек, чьи коннектомы – сеть воспоминаний, телесное знание мира, все такое, – дистиллированы в одно нынешнее единство. Его создание – поистине чудо.
Ведущий ухватился за это и вмешался:
– Многие люди с вами не согласятся. Они считают это существо угрозой. В этом разговоре вы насмехались над страхом человечества перед развивающимся ИИ – но в итоге разве вы не создали именно развивающийся ИИ? Это же ваши заявления о создании первого обладающего самосознанием разумного ИИ все перевернули!
– Нет, – возразила Минервудоттир-Чан, – на самом деле мы ничего не переворачивали. Мы всего лишь прошли окончательный тест Тьюринга. Вот и все.
– Не уверен, что я вас понял.
– Мы стремились создать идеальный ИИ для взаимодействия с человеком. Мы приблизились к нему с нашими терапевтическими моделями – теми, что называют «половинками», но даже у них есть провалы, те места, где, как мы любим говорить у себя в лаборатории – «можно видеть ниточки». Большинство людей в разговоре с половинками до такого места не доходят, но всегда можно задать им такие вопросы, из-за которых имитация даст сбой. Мы говорим, что они «плоские». Еще одна метафора.
– Плоские.
– Да. Какой когда-то считали Землю. Если уплывешь достаточно далеко, то свалишься с краю. Но не Эврим. Он круглый. Эврим прошел заключительный тест Тьюринга.
– Я за вами не успеваю.
Минервудоттир-Чан пожала плечами.
– Многие не в состоянии успеть следом за «Дианимой». Ведь вся шутка в том, чтобы быть впереди всех, так? Именно благодаря этому мы столько лет остаемся в бизнесе. Однако я могу пояснить. На самом деле все просто. Тест Тьюринга, как мы все знаем, это проверка того, может ли компьютер выдавать реакции настолько точно, что заставит человека считать, что машина – это человек. В каком-то смысле мы уже этого добились. Большинство половинок справляются с этим в течение десятилетий разговорного времени: настолько долго, что любой проводящий подобный тест придет к выводу, что компьютер, с которым они беседуют, – это человек. Пользователь может так никогда и не заметить «плоскость» половинки. Но мы-то знаем, что она есть. И никто не назовет их разумными. А вот Эврим – особенный. Эврим никогда не провалит тест Тьюринга, потому что прошел заключительный тест Тьюринга.
– Я за вами не успеваю.
– А. Ну вот.
Доктор Минервудоттир-Чан встала, прошла мимо столика и тронула ведущего за плечо.
– Да. Конечно же.
Она провела рукой под подбородком ведущего – интимным движением, как у любовника, ласкающего любимый шрам. Ведущий безучастно обмяк.
– Ты рассчитан только на то, чтобы обманывать домашнюю аудиторию, что успешно делал уже пять лет. Ты тоже плоский, хотя до сегодняшнего дня никто из твоих собеседников ни разу не доплывал до твоего края. Но, как я и говорила, Эврим особенный. Он прошел заключительный тест Тьюринга: это когда машина решает, что у нее есть сознание, потому что сама у себя спрашивает, а кто-то ей отвечает. Все просто. Эврим спросил: «Я разумное создание?», и Эврим ответил: «Да». Вот и все: когда машина задает вопрос машине и отвечает ей, в полной уверенности, что говорит сама с собой, в полной уверенности, что существует как разумное существо, петля замыкается. Однако Эврим не более разумен, чем автокамеры, записывающие это интервью. Эврим – не настоящая имитация человеческого ума: он просто самая убедительная подделка, какую мы когда-либо создавали. Подделка настолько искусная, что даже себя убедила в своей реаль