– У него произошёл перегруз системы и сейчас он опасен. Не говори ему, где я, и тебе я тоже не советую с ним видеться.
– Я не пойму, объясни мне.
Он присел на край кровати и задумался. Собравшись с мыслями, он посмотрел на меня и принялся объяснять:
– Он сказал тебе правду, да. Но не всю. Видишь ли, он сам не знает, что он робот. Годами мы работали над системой, которая бы смогла быть идеальной для взаимодействия с живыми людьми в судах. И мы создали её. Но не бывает идеала. Наша цель была создать компьютерный интеллект. Перед нами ставили ежедневную задачу – сделать его лучше, чем был вчера, и так каждый день. Но когда уже казалось, что созданный разум для робота – это потолок, который и отличает его от человека, мы всё равно продолжили. Мы попытались стереть границы в разуме, в котором бы заканчивался робот и начинался человек. Корпорация засекретила эти разработки. Мы работали и не знали, над чем работаем, даже мне, занимающему на то время очень высокий пост, не была ясна вся картина целиком, лишь маленькие её части, из которых невозможно было сложить всё воедино. Затем разработки перевели в новый недавно созданный секретный отдел, изолированный от остальных работников корпорации, где мы продолжили свою работу. И в этом отделе мы стали получать больше знаний о том, что делаем. Мы пытались научить роботов чувствам, пытались моделировать их поведение в ситуациях, которые и близко не были похожи на судебные. Словно делали всё, чтобы приспособить роботов к обычной жизни. К жизни схожей на человеческую. И когда после очередного повышения я получил новый уровень доступа, вся картина сложилась для меня целиком. Justice-Tech создавала робота, который был призван заменить человека. Но главное – чтобы робот сам не идентифицировал себя как робота, а люди вокруг него и подавно. Таковой была задача нового отдела. Поведение робота до точности должно было копировать человеческое, впрочем, как и внешний вид. Идея была такова: чтобы я был робот, но жил как человек, и все думали, что я человек. И чтобы я сам также думал – что я человек. Но мои мысли, спонтанно приходящие мне в голову и определяющие мои жизненные цели, приходили ко мне из главного центра в Justice-Tech. Но суть в том, что созданная органическая машина, биоробот, способна к самообучению. Она может получать какие-то мысли из Justice-Tech, а другие к ней будут приходить сами – вследствие деятельности его биороботного мозга. Конечно, приоритет всё равно оставался на выполнение приказов, посылаемых из корпорации, но, чтобы робот воспринимал их как свои собственные идеи.
– Если действительно такой создан, то, как его отличить от живых людей?
– Стороннему человеку практически никак. Даже чувство усталости у них есть, потому что специальная программа выбрасывает определённые элементы, которые слегка затрудняют их работу. Одни элементы восстанавливаются только после сна, а другие – после приёма пищи. Они чувствуют потребность в воде, в исправлении нужды, в сексе, в конце концов. У них есть Программа, она анализирует нагрузку как интеллектуальную, так и физическую, которая была у робота и на основе этого «прививает» ему усталость. На самом деле это совсем не обязательно, и они могут работать круглосуточно, но такая принудительная блокировка функций сделана специально для соответствия с живыми людьми.
Чем больше Стив говорил, тем больше развеивался мой скептицизм. Это не были речи больного человека. Хотя те же шизофреники являлись умнейшими людьми. Но если слова Стива были правдой, то я влип в очень запутанную историю, масштабов несравнимых с моими предыдущими делами. Мне хотелось ему не верить. Я и не верил до конца.
– То, что Терри – робот? Откуда ты узнал? Из базы данных, к которой получил доступ? – спросил я.
Внезапно за спиной щелкнула дверь, и заглянул доктор Хилл. Без слов он показал на руку, где должны располагаться часы.
– Дайте мне немного времени, я добавлю, – попросил я его.
Он нервно посмотрел по сторонам в коридоре, а потом на камеру, расположенную внутри и недоуменно спросил:
– Что добавите?! Я не понимаю, о чём вы! – вид у него был возмущённый. Но всё же он вышел и перед тем, как вновь закрыть дверь, произнёс одними губами, – потом.
– Нет, нет, – продолжил Стив, – информация эта засекречена абсолютно, и я предполагаю, что доступ к ней имеют лишь члены исполнительного совета корпорации, а может лишь только сам Директор. Потому я не знаю, когда был запущен первый робот и один ли, не знаю настоящих имен. Но я думаю, что первый пошёл в люди около года назад. Я не слышал, чтобы он называл себя Крис Терри, но такое название имела программа искусственного интеллекта, к которой я получил доступ. И когда я всё понял, я был ошеломлен, я возмутился, я был подавлен. Мы не имеем права создавать такое. Мы не Господь Бог, чтобы творить жизнь из ничего. Только он может создавать человека, но не мы.
Стив обреченно опустил голову. Глубоко вздохнул и продолжил:
– Я пришёл к Эдгару, потому что за последний год он стал моим близким другом, которому я мог доверять. Мне больше не с кем было поделиться своими переживаниями, а они у меня до сих пор такие, что не передать словами. Ведь я собственноручно помог запустить этот бесчеловечный механизм. И я пришёл выговориться к Эдгару. Я тогда не думал, что они приспособили робота-юриста к жизни инженера, но теперь понимаю, что это не сложно. Просто заменили знание законов на знание техники и электроники, изменили у него алгоритм, вот и все. Сейчас то я анализирую, что если робот был запущен год назад, то и с Эдгаром я познакомился приблизительно тогда же. Это подстроила корпорация, когда перевела его под моё прямое руководство. Они хотели, чтобы он взаимодействовал и развивался близко к одному из своих создателей, но, чтобы никто из нас не знал правды. Робот не знает, что он робот. Он убеждён, что он человек. Ранее у нас с ним не было неординарных ситуаций. Я, бывало, жаловался ему на свою жену, которая меня бросила, а он, согласно смоделированным ему реакциям, вроде бы жалел и поддерживал меня… Но, когда я рассказал всё, что обнаружил, он попытался приободрить меня, убедить, что такое невозможно и я ошибаюсь. Он вообще был весёлым парнем. И как-то я и сам не заметил, что в шутку сказал, что каждый может быть роботом. Что он сам может быть роботом, а я этого и не знаю. Вот тогда он и повёл себя крайне странно. Около минуты он стоял на месте, словно отключившись, я забеспокоился, что с ним произошёл какой-то припадок, но затем он словно очнулся и сразу же накинулся на меня. Попытался схватить. Я еле смог сбежать. После чего он пришёл к руководству Justice-Tech и сдал меня. Я был схвачен, помещён сюда. Не могу быть до конца уверен в причинах, почему у него произошёл сбой, но это случилось, и он стал опасен.
– Объясни поподробней, – попросил я. Услышанное не укладывалось в моей голове, если он был прав, то мир словно переворачивался с ног на голову и мои худшие опасения, которые я упрямо не впускал в область моего мозга, отвечавшие за правду, подтверждались.
– Понимаешь ли, они живут в равновесии. В своём мире. В мире, который состоит из юриспруденции для юристов, в мире технологий и символов для инженеров. Когда-то ты был одним из тестеров роботов, сейчас я вспомнил. Вы ставили им юридические ситуации, из которых они не находили выхода. Когда нашли – мы поняли, что создали идеального робота-юриста. Но жизненная среда людей намного сложнее понятных и логичных законодательных актов. Если робот столкнётся со стечением определённых жизненных факторов и обстоятельств, на которые у него не запрограммирована или ещё не выработана в процессе самообучения по аналогии и логики реакция, согласно человеческим психоданным, его система не выдержит нагрузки, как было во времена, когда вы их тестировали, и он может довести себя до самоуничтожения.
– В каком смысле самоуничтожения?
– В прямом. На создание идеального интеллекта для машины, которая бы смогла абсолютно уживаться с людьми могут уйти года. Десятилетия. Но на создание им настоящих чувств – целая бесконечность. Люди рождаются с разным набором предрасположенностей к тем или иным чувствам. Именно благодаря чувствам люди не предсказуемы. И когда мы пытаемся поиграть в Бога и привить чувства роботам, мы потерпим неудачу. И наша неудача делает роботов непредсказуемыми – они не знают, какую модель поведения выбрать, в них не заложена информация как человек поступил бы, доверяя своим эмоциям. Они могут быть даже опасными в некоторых ситуациях, правда, я не могу с уверенностью сказать в каких. Наверное, в тех, из которых не могут найти выхода. Тогда их действия не поддаются никаким прогнозам. Эдгар не смог найти выход из ситуации, когда я рассказал ему о своём открытии, а затем пошутил, что он может быть одним из роботов. Его система не нашла выход. Включилась программа самозащиты, он воспринял информацию как угрозу своей системе, следовательно, и меня воспринял как угрозу, потому напал на меня.
– Как я смогу убедиться, что он робот?
– Определить только можно будет в сфере, касающейся его чувств. Мы запрограммировали в интеллект набор стандартных ситуаций, которые он якобы пережил. Попытайся расспросить его об этом, а, получив ответы, узнай – почему именно так.
– Какие вопросы? – спросил я. Я всё ещё ему не верил, но попытаться проверить стоило.
– Первое – о религии. Мы не стали делать их верующими. Второе – о любви. У него отсутствует близкий человек, которого он любил бы. Женщины нет, и объясняет он это будто бы неудачным прошлым опытом, после которого разочаровался в отношениях. Третье – родственные связи. С родственниками он не общается, либо их уже нет в живых. Четвертое – досуг. Он не знает ничего, кроме своей работы, он не желает развлекаться, ему это неинтересно. Пятое – счастье. Он не знает, что это такое, но говорит, что его работа делает его счастливым. И шестое – это событие. В нашем случае – год назад Эдгара перевели на другое рабочее место, и он думает, что из-за работы теперь ограничено его общение с бывшими друзьями, на которых у него не стало времени – всё это для того, чтобы они ничего не заподозрили, чтобы не заметили никаких изменений в нём, ведь роботы не создаются как новые личности, корпорация проводит замену реальных людей. Можешь задать ещё другие вопросы насчёт чувств, это те, которые мне сразу пришли в голову. Но будь крайне осторожным выпытывая детали и объяснения. Не найдя их в памяти, он сам не будет понимать почему они отсутствуют, у него произойдёт перегруз, который сделает его опасным для тебя.