ас. И что самое главное, мы сумеем лучше понять, что представляет собой интеллект человека, а это практически невозможно сделать, изучая только его.
Робот как враг?
В 1942 году я изобрел Три закона роботехники. Самым важным из них является, естественно, Первый закон. Он гласит: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред». В своих рассказах я всегда старался подчеркнуть, что законы, особенно Первый, являются неотъемлемой частью робота, и он не может их нарушить.
Кроме того, я старался, хотя, возможно, и не так настойчиво, дать понять своим читателям, что эти законы не являются врожденными. Материал, из которого сделан робот, не содержит в себе этих законов. Они совершенно сознательно вносятся в мозг готового робота, иными словами, в компьютеры, которые контролируют его деятельность. Может так получиться, что какой-то определенный робот окажется не наделен знанием Трех законов, поскольку его примитивная конструкция не позволяет внести в него поведенческие схемы, достаточно сложные, чтобы он был вынужден им подчиняться, или поскольку человек, который создает робота, решит сознательно не вносить в его мозг знание Трех законов.
Пока — и, возможно, так будет еще достаточно долго — мы имеем дело с первой причиной. Роботы слишком примитивны, чтобы предвидеть, что какой-то их поступок может причинить вред человеку, и изменить свое поведение, чтобы этого не произошло. В настоящий момент у нас имеются лишь компьютеризированные устройства, которые способны выполнять набор определенных действий и не могут отойти в сторону от данных им инструкций. В результате роботы уже стали причиной смерти людей (как, впрочем, и обычные машины). Это ужасно, но вполне объяснимо, и мы можем предполагать, что по мере создания роботов с более сложной системой восприятия и способностью гибкого реагирования на изменение ситуации увеличится вероятность того, что в них будут внесены защитные блоки, эквивалентные Трем законам.
А как насчет второй альтернативы? Станут ли люди сознательно создавать роботов, не наделяя их знанием Законов роботехники? Боюсь, что такая возможность тоже существует. Уже идут разговоры о роботах-охранниках. Роботы могут патрулировать какие-нибудь территории или даже охранять вестибюли. В их задачу будет входить общение с людьми, которые появляются на данной территории или в здании. Вероятно, тот, кто имеет право войти или приглашен, получит карточку, идентифицирующую его личность, и тогда робот его пропустит. В наше время, когда столько внимания уделяется вопросам безопасности, такие идеи могут показаться вполне разумными, поскольку они явятся надежным способом борьбы с вандализмом и терроризмом, — получается, что робот будет выполнять роль дрессированной сторожевой собаки.
Однако стремление к безопасности порождает усложнение системы. Робот сумеет остановить непрошеного гостя, но сигнала тревоги может оказаться недостаточно. Людям захочется наделить его способностью изгнать посетителя, даже если при этом робот причинит ему вред — собака ведь тоже может укусить вас за ноги или перегрызть глотку. А что произойдет, если, например, глава фирмы забудет свою карточку в других брюках и, расстроившись, не успеет покинуть здание достаточно быстро? Или ребенок случайно войдет на охраняемую территорию? Я подозреваю, что, если робот причинит вред человеку, который не имеет никаких дурных намерений, мгновенно поднимется шум и ученые получат задание внести соответствующие изменения, чтобы ошибка не повторилась.
Рассмотрим другую крайность — разговоры об оружии. Компьютеризированные самолеты, танки, артиллерия и тому подобное, которые с нечеловеческим упорством будут без устали сражаться с врагом. В качестве довода в защиту подобного оружия можно сказать, что таким образом мы сохраним жизнь солдатам. Устроившись со всеми удобствами у себя дома, мы предоставим машинам воевать за нас. Если какие-то из них будут уничтожены — ну, это же всего лишь машины. Такой подход к ведению военных действий может оказаться особенно полезным, если у вас такие машины есть, а у врага — нет.
Но даже и в этом случае, можем ли мы быть абсолютно уверены в том, что машины сумеют безошибочно отличать врагов от друзей? В ситуации, когда все наше оружие контролируют руки и мозги людей, существует проблема «дружественного огня». Американское оружие может случайно убить американских солдат или гражданских людей, что нередко происходило в прошлом. Речь идет об ошибках, которые допускали люди, однако от этого не легче. А что, если наше роботизированное оружие откроет «дружественный огонь» и начнет уничтожать американцев или даже американскую собственность? Принять такое будет еще труднее (в особенности если враг разработает специальные стратегические мероприятия, направленные на то, чтобы сбить программы наших роботов и повернуть их огонь против нас). Нет, я уверен, что попытки применения роботов без специальных защитных систем провалятся и в конце концов мы все равно вернемся к Трем законам.
Разумы, действующие совместно
В эссе «Наши разумные инструменты» я упомянул о том, что может сложиться ситуация, когда роботы станут такими умными, что в конце концов нас заменят. Я предположил с некоторым цинизмом, что, учитывая поведение людей, подобная замена может оказаться очень даже полезной. С тех пор прошло время, и роботы начали занимать все более важное место в промышленности, и хотя они продолжают оставаться довольно тупыми (если говорить об уровне интеллектуального развития), они очень быстро развиваются.
В таком случае, пожалуй, нам следует еще раз взглянуть на возможность возникновения ситуации, когда роботы (или компьютеры, которые в действительности управляют роботами) нас заменят. Результат, разумеется, зависит от того, насколько разумны будут компьютеры и станут ли они настолько умнее нас, что наступит время, когда они будут относиться к нам как к домашним животным (в лучшем случае) или паразитам (в худшем). Получается, что степень разумности — штука настолько простая, что ее можно измерить каким-нибудь прибором вроде линейки или градусника либо при помощи теста, а потом выразить цифрами. Если умственное развитие среднего человека можно обозначить цифрой 100 по шкале интеллектуального развития, получается, что, как только компьютер минует эту отметку, у нас появятся проблемы.
Впрочем, так ли все просто? Вне всякого сомнения, такая сложная вещь, как интеллект, должна характеризоваться множеством факторов и иметь массу разнообразных видов — если можно так сказать. Мне представляется, что нужно обладать до определенной степени развитым интеллектом, чтобы написать логично выстроенное эссе, выбрать правильные слова и поставить их в правильном порядке. Я также полагаю, что человек, изучающий сложное устройство, должен быть наделен развитым интеллектом, иначе он не поймет, как оно работает и что следует сделать, чтобы его усовершенствовать — или починить, если оно вдруг сломалось. Что касается литературного труда, я обладаю чрезвычайно высокоразвитым интеллектом; а вот в работе с разного рода машинами и устройствами я абсолютно ничего не понимаю. В таком случае, кто я — гений или идиот? Ответ таков: ни то ни другое. Просто какие-то вещи получаются у меня хорошо, а какие-то плохо. Это можно сказать про любого из нас.
В таком случае давайте немного поразмышляем о природе интеллекта человека и компьютера. Мозг человека состоит из протеина и нуклеиновых кислот; он развивался в течение трех миллиардов лет путем проб и ошибок; главными силами, толкавшими его вперед, были приспособление и выживание. С другой стороны, компьютеры состоят из металла и электронных схем; они являются продуктом экспериментов и разработок, которыми люди занимаются вот уже сорок лет; главной силой, заставляющей людей усовершенствовать компьютеры, является их желание создать машину, которая облегчила бы жизнь человеку. Если сами люди отличаются друг от друга уровнем и качеством своего интеллекта, разве не естественно, что интеллекты человека и машины будут категорически отличаться друг от друга в силу того, что они возникли и развивались в абсолютно разных условиях, сделаны из разных материалов и их усовершенствование обусловливают такие разные силы?
Может показаться, что компьютеры, даже самые простые, исключительно эффективны в определенных вопросах и областях. Они обладают солидной памятью, реагируют практически мгновенно и демонстрируют способность совершать бесконечное число повторяющихся арифметических действий без ошибок и видимой усталости. Если это можно считать мерилом интеллекта, в таком случае компьютеры уже стали намного умнее нас. Благодаря тому, что они настолько нас превосходят, мы используем их миллионами разных способов и отлично знаем, что наша экономика развалится, если все компьютеры одновременно перестанут работать.
Однако эта способность компьютера не является единственным определителем разумности. По правде говоря, мы считаем ее такой незначительной, что, вне зависимости от скорости и сложности решения, относимся к компьютеру как к громадной логарифмической линейке, не обладающей вообще никаким разумом. Когда речь идет о человеке, наделенном развитым интеллектом, мы имеем в виду его способность увидеть проблему в целом, интуитивно найти ее решение, разглядеть новые комбинации, построить необычные предположения и творческие догадки. Можем ли мы запрограммировать компьютер, чтобы он вел себя так же? Вряд ли, поскольку мы не знаем, как это у нас получается.
В таком случае складывается впечатление, что компьютеры будут с каждым днем становиться все эффективнее в выполнении простых однообразных задач с ближней перспективой и их «мозг» станет развиваться именно в этом направлении. А человек (благодаря накоплению знаний и все лучшему пониманию того, что представляет собой человеческий мозг, а также благодаря успехам генной инженерии) сумеет развивать до бесконечности свои творческие способности. Оба этих вида интеллекта имеют свои преимущества, и в сочетании мозг человека и компьютера — дополняя и компенсир