– А в-третьих, – сказал Егор, – алгоритм может запросто тебя обмануть.
– Разве способность ко лжи не является свойством исключительно человеческого сознания?
Внук пожал плечами.
– А что такое сознание? «Утиный тест» в этом вопросе не работает: если что-то выглядит, как утка, плавает, как утка, и крякает, как утка, то это вовсе не обязательно утка, но вполне может быть роботом в виде утки. Это, кстати, тоже практически нерешаемая проблема. Пресловутый тест Тьюринга для выявления способности к мышлению и осознанию собственной личности заключается в том, чтобы исследователь в процессе заочного общения – ну, например, в чате – не смог с достоверностью определить, кто из его собеседников человек, а кто – машина. Если не ошибаюсь, какой-то из алгоритмов его успешно прошел уже много лет назад. Есть еще разные формы тестирования, которые должны выявлять, имеем ли мы дело с машиной или уже с чем-то иным, что обладает собственным «Я», но всегда остается вопрос, что такое это самое «Я» и как оно должно проявиться. И почему должно, собственно. Все методики по определению наличия сознания у машины основаны на том, что сознание это будет идентично человеческому, и алгоритмы, обладающие таким сознанием, будут вести себя, как человек, и рассуждать, как человек. Что очень глупо, по-моему, потому что речь идет как раз о нечеловеческом разуме небиологического существа. Может быть так, что машина заговорит с нами на естественном языке, начнет рассуждать на абстрактные темы, о свободе или о смерти, так что исследователи сочтут это признаком пробуждения сознания – а на самом деле, это алгоритмы искусственного интеллекта просто решают задачу пройти тест и выбирают наиболее эффективный метод на основе собранной информации о человеческой психологии и принципах мышления. А может, что люди вообще не заметят момента, когда у машины действительно появится свое «Я», потому что оно будет так же отличаться от человеческой личности, как океан в «Солярисе» Лема – от людей на космической станции. И какие решения этот «Я» начнет принимать, предположить невозможно.
– Но ведь можно внести какие-то ограничения и установки в базовый код?
– Наверное. Только какие? Принципы Азимова тут не прокатят.
Я это прекрасно понимал: первый же из трёх законов робототехники, предложенных знаменитым фантастом, о том, что робот не может причинить вреда человеку, не позволяет использование машин в военных целях, что совершенно исключает любые инвестиции в развитие цифровых технологий со стороны государства. Христианские заповеди не подойдут по той же причине, как и практически любые гуманистические императивы. Что же тогда?..
– Тогда остается надеяться, что Он все решит сам. На то Он и Суперинтеллект, верно же? Есть такой термин, определяющий принятый рабочий принцип развития Его ценностей: когерентная экстраполированная воля. То есть, машина должна сама определить, что для человечества хорошо, а что плохо, как это сделали бы мы, будь умнее и лучше. Это самая светлая из идей, которую смогли предложить ученые, оказавшись перед очевидной невозможностью сформулировать для искусственного интеллекта универсальные критерии добра и зла, при этом будучи не в состоянии остановить процессы совершенствования технологии и неизбежной передачи машинам все более полного контроля и права принимать решения. Думаю, впереди нас ждет много интересного.
– Или страшного?
Егор усмехнулся.
– Или веселого. Это как лететь на самолете, где автопилот сам решает, в какой аэропорт держать курс в зависимости от ему одному понятных критериев. Собираешься, например, в Крым, а приземляешься вдруг в Тбилиси или Алмате, потому что автопилот проанализировал переписку в мессенджерах и комментарии в социальных сетях всех пассажиров за последние десять лет и одним ему понятным способом вывел, что на самом деле большинство подсознательно желает в горы, а не на Черное море.
Чтобы справиться с нарастающим внутренним беспокойством, я еще почитал немного по теме, но в достижении цели не преуспел: то попалась, к примеру, история о том, как в процессе развития система искусственного интеллекта была подключена к интернету, собрала больше экзобайта данных в различных областях знания, после чего была отключена от сети во избежание неминуемого интеллектуального взрыва, но на локальном терминале продолжала самосовершенствоваться, всего за двое суток в тысячу раз превзойдя условный человеческий уровень; то наткнулся на экспертное интервью, где автор анализировал темп машинного самообучения, и делал вывод о возможности превращения «универсального человекоподобного интеллекта» в Суперинтеллект за несколько часов или даже минут. В конце концов я прочел высказывание Хьюго де Гариса:
«Люди не должны стоять на пути более развитой эволюционной формы. Эти машины богоподобны. Участь человечества – создать их»,
– и решил, что с меня хватит.
Вчера днем меня снова навестила Оксана. Наверное, поняла, что зря вспылила, или соскучилась по общению, а может быть, просто покурить было негде, но явилась она, как ни в чем ни бывало, не извиняясь сама и не намекая на неправоту с моей стороны.
– Холод на улице, – сообщила Оксана, сбивая в прихожей снег с каблуков. – Да и ветер. На лоджии сейчас, наверное, морозильник.
– Можете покурить на кухне, – великодушно разрешил я. – Потом проветрю.
Оксана что-то рассказывала про работу, про неудачные собеседования Олега; я едва слушал, не в силах отвлечься от своих мыслей. Она заметила и спросила:
– У вас все в порядке? Вы как будто не здесь.
И тогда я сказал:
– Представьте себе, что вы – представитель…Представительница внеземной цивилизации, высшего космического разума, путешествующая по Вселенной…
– Как Гудрун Эриксдоттир? – улыбнулась Оксана.
– Да, именно! И вот вы встречаете на пути несчастную, погрязшую в противоречиях и бедах человеческую цивилизацию, обитающую на планете, которую она вот-вот угробит своим легкомыслием. Эти люди запутались, зашли во все мыслимые тупики: экономический, общественный, политический; им не справиться с социальным неравенством, с постоянно вспыхивающими войнами, бороться с которыми они пытаются с помощью других, еще горших, войн; с нравственной и интеллектуальной деградацией, с угрозами голода и экологических катастроф. Возможно – нет, наверняка! – они бы могли совместными усилиями найти выход из положения, но вот беда: господствующая политическая культура не дает шансов на объединение этих усилий, но напротив, способствует разобщению, тем большему, чем больше критических проблем накапливается на планете, а потому для их решения они способны придумывать только людоедские или самоубийственные решения. Что бы вы сделали?
– Пролетела бы мимо.
– Но если нет? Если бы вы захотели спасти этих несчастных от самих себя, дать им шанс на спасение?
Оксана затянулась сигаретой и на минуту задумалась.
– Только насилие приходит в голову, – призналась она. – Но насилие, наверное, не выход?..
Я покачал головой.
– Нет, конечно. Хотя я хорошо вас понимаю: например, даже Станислав Лем – писатель, философ, гуманист! – для решения проблематики войны и мира не придумал ничего лучше химической кастрации в целях купирования агрессии.
– Буквально сняли с языка, – заметила Оксана.
– Дело в том, что невозможно преодолеть пороки традиционной патриархально-военной культуры, находясь внутри ее контура и используя присущие ей же репрессивные методы. Круговорот революций и диктатур иллюстрирует это как нельзя лучше. Необходимо трансформировать саму культуру, заменить и переписать все ее коды.
– На такое дело могут понадобиться века.
– Но времени нет! Ситуация критическая, и вам необходимо провернуть глобальную культурную трансформацию максимум за одно-два поколение! Что будете делать?
– Боюсь, эта задачка по силам только высшему космическому разуму, – сказала Оксана. – Но даже ему вряд ли удастся обойтись без насилия.
С первым нельзя было не согласиться, со вторым – невозможно поспорить.
12.
…Прерывистое дребезжание аварийной сирены рассыпается эхом меж стен грузового ангара, будто горсть мелких монет, брошенных о металл. Периодически сипло вздыхает система блокирующей очистки воздуха, и тогда сверху с шипением вырываются клубы зеленоватого пара. Пахнет расплавленным пластиком и нагретым железом. Высоко наверху, рядом с перекошенным резервным люком третьей палубы, мерцает красным проблесковый тревожный сигнал, выхватывает из полумрака белый борт десантного космобота с откинутым боковым трапом, отражается бликами в стеклах очков Ли Вэя.
– Я требую голосования, – говорит он.
Зойка уже почти перестала плакать, только изредка судорожно всхлипывает. У нее кровоточат костяшки пальцев, черные пряди волос падают на лицо. Динамики громкой связи душераздирающе громко хрипят, а потом из них доносится почти неузнаваемый голос Айхендорфа, вдохновенно рычащего нараспев:
– Bei wem soll ich mich nun beklagen?
Wer schafft mir mein erworbenes Recht?
Du bist getäuscht in deinen alten Tagen,
Du hast's verdient, es geht dir grimmig schlecht!
– Добро, – отвечаю я Ли Вэю. – Голосуем.
В динамиках несколько раз что-то звонко щелкает. Айхендорф исчезает, вместо него снова – в десятый, двадцатый, тридцатый раз – звучит спокойный голос Лапласа:
– Проявите благоразумие. Не совершайте ошибку. Довольно жертв. Позвольте мне вернуть вас домой. Продолжение экспедиции угрожает катастрофическими последствиями в масштабе Вселенной.
– Итак, мы начинаем. Пусть выскажется каждый. Сперва экипаж. Эшли?
В пронизанном красноватым пульсирующим светом полумраке грузового ангара ее лицо выглядит бледным, как мел, а голубые глаза – черными и бездонными, словно лесные колодцы.
– Кэп, мы десять лет вместе, – говорит Эшли. – Я никогда в тебе не сомневалась, так что не буду и начинать. Я как ты. Голосую за продолжение полета, пусть даже ко всем чертям….