– Звучит заманчиво. Давайте сделаем это прямо сейчас – загрузите все эти теории Фрейда мне в память.
Доктора Снэрсбрук это немного обеспокоило. Она все еще рассматривала пользование вживленным компьютером как эксперимент, хотя для Брайана это уже стало привычным образом жизни. Теперь ему больше не приходилось корпеть над печатными страницами – достаточно было загрузить что угодно в память, а разбираться потом.
К себе он возвращаться не стал, а ходил взад и вперед по комнате, мысленно углубляясь то в одну, то в другую часть учебника, сопоставляя их, усваивая новые ассоциации. В конце концов он воскликнул вслух:
– Да это же то, что надо! В самом деле, такая теория идеально подходит к моей проблеме. «Суперэго» – это, по-видимому, механизм целеполагания, который появился после возникшего раньше механизма импринтинга. Ну, знаете, того механизма, который открыл Конрад Лоренц, – благодаря ему детеныши многих животных держатся вблизи источника заботы и защиты. Так у ребенка появляется сравнительно постоянная, стабильная система целей. После того как ребенок включает в нее образ матери или отца, такая структура может оставаться в его сознании всю жизнь. Но как бы ввести такое «суперэго» в мой искусственный интеллект? Смотрите: это можно было бы сделать, если загрузить достаточную часть моей собственной подсознательной системы ценностей. А почему бы и нет? Активировать все мои К-линии и немы, идентифицировать и записать все связанные с ними эмоции. Потом использовать эти данные, чтобы построить модель моего сознательного самоощущения. А потом добавить сюда мой идеал – то, к чему «суперэго» велит мне стремиться. Если удастся загрузить и это, мы далеко продвинемся к стабилизации нашего машинного интеллекта и управлению им.
– Давай попробуем, – сказала доктор Снэрсбрук. – Пусть никто еще не доказал, что все это существует на самом деле. Мы просто предположим, что у тебя в голове все это есть. И возможно, окажемся первыми, кто сможет это обнаружить. Смотри, ведь мы вот уже столько месяцев разыскиваем и восстанавливаем твою матрицу памяти и мышления. А теперь мы можем сделать следующий шаг – только назад во времени, а не вперед. Мы можем попробовать проследить нити, ведущие из твоего детства, и посмотреть, не найдутся ли такие немы или связанные с ними воспоминания, которые будут соответствовать самым ранним твоим системам ценностей.
– И вы думаете, что сможете это сделать?
– Не вижу причин, почему бы нет – разве что того, что мы ищем, вообще не существует. Во всяком случае, по ходу дела мы, вероятно, сможем локализовать еще несколько сотен тысяч прежних К-линий и немов. Но нужно действовать осторожно. С доступом к таким глубоко погребенным эмоциям может быть связана серьезная опасность. Я хочу сначала попробовать это на внешнем компьютере, а твою внутреннюю машину на время отключу. Таким способом мы сможем зафиксировать структуры, которые будут обнаружены, вне мозга – возможно, с их помощью удастся усовершенствовать Робина. А тебя такие эксперименты не затронут, пока мы не почувствуем себя увереннее.
– Ну что ж, я готов попробовать.
Глава 2531 мая 2024 года
– Брайан Дилени, уж не проработали ли вы здесь всю ночь? Когда я вчера вечером уходила, вы обещали, что задержитесь всего на несколько минут. А это было в десять часов.
С этими словами в лабораторию вошла рассерженная Шелли.
Брайан потер рукой предательскую щетину и заморгал покрасневшими от усталости виноватыми глазами.
– Почему вы так думаете? – попробовал он увильнуть от ответа.
Ноздри у Шелли сердито раздулись.
– Ну, для этого более чем достаточно на вас посмотреть. Вид у вас ужасный. Кроме того, я попробовала вам позвонить, но ответа не было. Как вы можете понять, я забеспокоилась.
Брайан схватился за ремень, где у него обычно висел телефон, но не обнаружил его.
– Наверное, положил куда-нибудь. Я не слышал звонка.
Она взяла свой телефон и одним нажатием кнопки памяти набрала его номер. Где-то вдалеке послышалось жужжание. Поглядев в ту сторону, Шелли увидела, что телефон лежит около кофеварки. Она молча протянула аппарат ему.
– Спасибо.
– От вас просто нельзя отходить ни на минуту. Мне пришлось идти разыскивать ваших телохранителей – они и сказали мне, что вы все еще здесь.
– Предатели, – пробормотал он.
– Они так же заботятся о вас, как и я. Нет таких важных дел, чтобы из-за них стоило рисковать здоровьем.
– Есть, Шелли, в этом-то все и дело. Помните, когда вы уходили вчера вечером, мы бились с программой-координатором? Что бы мы ни делали, система норовила свернуться в клубок и умереть. Поэтому я начал с простой задачи – сортировки кубиков по цвету. Потом усложнил ее, предложив разноцветные кубики разной формы. А когда я через некоторое время посмотрел, программа-координатор все еще работала, но все остальные, видимо, отключились. Тогда я решил записать, что произойдет, когда я снова все запущу, и на этот раз ввел языковую программу, которая записывала все команды, поступавшие от координатора в остальные блоки. Теперь он стал работать медленнее, и я наконец понял, что происходит. Вот, смотрите сами.
Он поставил запись, сделанную ночью. На экране показался робот, быстро сортирующий разноцветные кубики, потом он стал работать медленнее, еще медленнее и наконец совсем остановился. Из динамика слышался глубокий бас Робина-3:
– …К-линия 8997, выдай ответ на входной сигнал 10983… время реакции слишком велико… отвечай немедленно… блокирую. Задаю подпроблему 384. Принят ответ от К-4093. Блокирую замедленные ответы от К-3274 и К-2314. Задаю подпроблему 385. Ответы от К-2615 и К-1488 противоречат друг другу – блокирую обоих. Задаю…
Брайан выключил динамик.
– Понимаете?
– Не совсем. Одно ясно: эта программа только и делает, что блокирует другие.
– Ну да, в этом-то и дело. Предполагалось, что она должна обучаться на опыте, вознаграждая хорошо работающие блоки и блокируя плохо работающие. Но ей был задан слишком высокий порог – ее устраивали только безупречные и мгновенные ответы. Поэтому она вознаграждала только те блоки, которые отвечали быстро, а более медленные отключала – даже когда они пытались сделать то, что в конечном счете было бы правильнее.
– А, понимаю. А дальше – эффект домино: когда какой-нибудь блок отключался, ослабевала связь других блоков с ним…
– Вот именно. И тогда реакция этих блоков замедлялась, и они тоже, в свою очередь, отключались. Пока программа-координатор не заблокировала всех.
– Какой ужас! Получается, что она совершила самоубийство!
– Ничего подобного! – раздраженно сказал он голосом, хриплым от усталости. – Это чистейший антропоморфизм. Машина – не человек. И что такого ужасного, когда одна схема отключает другую схему? Да там же нет ничего, кроме электроники и программ. К человеку это никакого отношения не имеет, при чем тут ужас?
– Не говорите со мной таким тоном!
Кровь бросилась в лицо Брайану, но он тут же опустил глаза.
– Простите, беру свои слова обратно. Кажется, я просто устал.
– Вам кажется, а я точно это знаю. Ваши извинения приняты. И это действительно был антропоморфизм. Но дело не в том, что вы мне говорили, а в том, каким тоном. Давайте не будем больше цапаться, лучше пойдем подышим воздухом. И уложим вас спать.
– Хорошо. Только сначала я кое-что просмотрю.
Брайан подошел к терминалу и углубился в схему робота. Один за другим на экране появлялись чертежи.
В конце концов он мрачно кивнул:
– Ну конечно, опять ошибка. Она появилась после того, как я исправил последнюю. Помните, я ввел установку на подавление чрезмерной блокировки, чтобы робот не отключался сам собой? А теперь он бросился в другую крайность – не знает, когда нужно остановиться. Этот искусственный интеллект прекрасно отвечает на простые вопросы, но только если ответ можно найти почти не думая. А вы видели, что произошло, когда он не знал ответа. Начал произвольный поиск, заблудился и не понимал, что надо остановиться. Он, можно сказать, не знал, чего именно не знает.
– Мне показалось, что он просто свихнулся.
– Можно сказать и так. Для ошибок в работе человеческого мозга у нас есть множество слов – паранойя, кататония, фобия, невроз, нерациональное поведение. Наверное, для всех новых причуд, которые появятся у наших роботов, придется придумывать новые слова. И можно не надеяться, что новая конструкция заработает сразу после первого включения. В данном случае она пыталась воспользоваться всеми своими экспертными системами, чтобы решить одну и ту же задачу. Координатор оказался недостаточно силен, чтобы подавить ненужные. Весь этот набор слов свидетельствовал о том, что он цеплялся за любую ассоциацию, которая, казалось, может привести его к решению, как бы мало вероятно это ни было. А когда какой-нибудь подход оказывался неудачным, эта штука не догадывалась, что надо остановиться. Даже если наш искусственный интеллект будет работать, нет никакой гарантии, что он не окажется, с нашей точки зрения, ненормальным.
Брайан потер небритую щеку и взглянул на замершую в неподвижности машину.
– Давайте-ка как следует посмотрим вот здесь, – он ткнул пальцем в схему на экране. – Здесь видно, что случилось на этот раз. У Робина-3-1 была слишком сильная блокировка, и он отключался. Поэтому я изменил этот параметр, и теперь блокировка недостаточна.
– Так что же делать?
– Ответ простой – ответа не существует. Нет, это никакая не мистика. Я хочу сказать, что координатор должен знать больше. Именно потому, что чудес не бывает, что общего решения нет. Не может быть простого рецепта, который срабатывал бы во всех случаях, – потому что все случаи разные. Стоит только это признать, как все становится намного понятнее! Координатор должен быть связан с базой знаний. И тогда он сможет на опыте учиться тому, что должен делать!
– Вы хотите сказать, что он узнает, какую стратегию применить в данной ситуации, вспомнив, какая пригодилась ему в прошлом?