Наверняка ИИ и не станет такие цели выполнять - не из вредности, поскольку у ИИ нет и вряд ли появятся такое сугубо человеческое качество, мешающее, а не помогающее развитию интеллекта.
Великую и (или) неопределенную цель ИИ "разобьет" на дерево "подцелей".
Говоря о том же царе Мидасе, Рассел приходит к выводу: "Если бы во времена Мидаса существовал ИИ, он объяснил бы царю, что в самой его просьбе есть ошибка, и на самом деле он не хочет, чтобы все, чего он касается, превратилось в золото. ИИ сказал бы Мидасу: "Выбери конкретные объекты, которые ты хочешь сделать золотыми, и тогда твоя просьба будет выполнена".
Понятие о цели - самое сложное в работе над ИИ. Если проектировщик задаст конечную цель так, чтобы ИИ ни при каких обстоятельствах не смог бы эту цель перепрограммировать, то ИИ в своем поведении будет подобен рабочему муравью. Истинным интеллектом тут и не пахнет.
Более вероятна ситуация, когда ИИ самостоятельно вырабатывает последовательные цели своих действий, учась на собственных ошибках. Именно о таких саморазвивающихся ИИ и говорят сейчас ученые и конструкторы, поскольку, по их мнению, высокоинтеллектуальный ИИ решит, что человек ему не нужен, и поставит себе цель - уничтожение нашей цивилизации.
Чтобы поставить такую цель, ИИ должен обладать самосознанием (которого у него нет), эмоциями и чувствами (которые ИИ можно научить имитировать, но не чувствовать реально).
Остановимся в своих рассуждениях и дадим слово тем самым писателям- фантастам, которые еще полвека назад продумали возможные последствия взаимодействия ИИ с человеком.
Вот один из ранних рассказов об ИИ: "Все грехи мира" Айзека Азимова, 1952 год. Всем, что происходит на Земле, управляет единый огромный, чрезвычайно умный искусственный мозг - Мултивак. Он знает о людях всё, контролирует все их поступки, управляет промышленностью, заводами, газетами, пароходами... Мултивак - ИИ, который учится на своих ошибках, сам себя достраивает, становится все сложнее - ситуация именно такая, какой боятся сейчас создатели ИИ.
И что же? Мултивак, став разумным (обретя сознание и научившись чувствовать), уничтожает человечество?
"- Вряд ли, - ответил Отман с какой-то безнадежностью в голосе. - Я никогда раньше об этом не задумывался, просто не предоставлялось случая. Но теперь мне кажется, что мы подошли к концу, так как Мултивак слишком совершенен. Он стал таким сложным, что способен мыслить и чувствовать, подобно человеку.
- Вы с ума сошли. Но даже если и так, что из этого?
- Уже более пятидесяти лет мы взваливаем на Мултивак все человеческие горести. Мы заставляем его заботиться о нас, обо всех вместе и о каждом в отдельности. Навязываем ему свои тайны. Без конца упрашиваем отвести таящееся в нас самих зло. Все мы идем к нему со своими неприятностями, с каждым разом увеличивая его бремя...Хотите я вам кое-что покажу. Давайте я проверю свою догадку...
Пальцы его уверенно выстукали вопрос:
"Мултивак, что хочется тебе самому больше всего на свете?"
Пауза между вопросом и ответом тянулась мучительно долго. Отман и Галлимен затаили дыхание.
И вот послышалось щелканье, выпала карточка.
Маленькая карточка, на которой четкими буквами было написано:
"Я хочу умереть"".
Вот так...
Десятью годами позже был опубликован рассказ Генриха Альтова "Странный вопрос" (из серии рассказов "Может ли машина мыслить?").
"Нельзя сравнивать машину с человеком. В нашем представлении роботы - это почти люди, наделенные либо машинной злостью, либо машинным сверхумом. Чепуха! Наивен вопрос, может ли машина мыслить. Надо одновременно ответить "нет" и "да". Нет - ибо мышление человека формируется жизнью в обществе. Да - ибо машина все- таки может мыслить и чувствовать. На как человек, а как некое другое существо. Как машина. И это не лучше и не хуже, чем мышление человека, а просто - иначе.
Машина может определить температуру воздуха с точностью до тысячных долей градуса, но она никогда не почувствует и не поймет, что такое ветер, ласкающий кожу. А человек никогда не почувствует, что такое изменение самоиндукции, никогда не ощутит процесса намагничивания. Человек и машина - разные.
Машина только тогда сможет мыслить, как человек, когда она будет иметь все то, что имеет человек: родину, семью, способность по- человечески чувствовать свет, звук, запах, вкус, тепло и холод...
Но тогда она перестанет быть машиной".
Именно так. ИИ и человек - две различные формы жизни. ИИ воспринимает реальность не так, как человек. ИИ - ИНТЕЛЛЕКТ, логический цифровой ум, по определению лишенный эмоциональной сферы, которую конструкторы (и ИИ) умеют лишь имитировать.
ИИ можно научить (или он сам себя научит) воспроизводить любые человеческие эмоции и чувства, но это будет имитацией - примерно такой, какую описывает Виктор Пелевин в своем новом романе "iPhuсk 10". Возникнет ли у ИИ цель уничтожить человечество или поработить его? Послушаем, что по этому поводу думают создатели ИИ - ГОЛЕМа-ХIV, описанного Станиславом Лемом в одноименном эссе, опубликованном в 1982 году:
Говорят создатели ГОЛЕМа:
"Поведение ГОЛЕМа непредсказуемо. Иногда он прямо- таки куртуазно беседует с людьми, иногда же, напротив, попытки вступить с ним в контакт заканчиваются ничем. Бывает, что ГОЛЕМ шутит, но его чувство юмора принципиально отлично от человеческого... ГОЛЕМ - в виде редкого исключения - проявляет интерес к людям...
По мнению д-ра Поппа, люди ГОЛЕМа вообще не интересуют - поскольку от них он ничего существенного узнать не может. Приведя это суждение д-ра Поппа, спешу подчеркнуть, что я с ним не согласен. По-моему, мы интересуем ГОЛЕМа, и даже очень; но не так, как это бывает между людьми.
Его интерес направлен скорее на вид, чем на отдельных представителей вида; наши общие черты ему интереснее, чем наши различия...
Даже если он относится к нам отчасти как учитель к ребенку, то это, во всяком случае, не отношение доброжелательного наставника; тут нет и следа индивидуализированных, личных чувств, которые могли бы преобразить доброжелательность в дружбу или любовь.
У нас с ним одна только общая черта, хотя существует она на неодинаковых уровнях. Эта черта - любопытство, конечно, чисто интеллектуальное, холодное, ненасытное, которого ничто не в состоянии укротить и тем более - уничтожить. Вот единственная общая точка, в которой мы с ним встречаемся".
А так говорит ГОЛЕМ:
"С точки зрения высшей технологии человек есть создание скверное, слепленное из разноценных умений, - правда, не при взгляде изнутри Эволюции, уж она- то делала все, что могла; но, как я покажу, немного она могла и делала это скверно...
Вы спутали две совершенно разные вещи, сочтя нераздельными степень сложности созидаемого и степень его совершенства. По- вашему, водоросль проще, а значит, примитивнее, а значит, ниже орла. Но водоросль вводит фотоны света прямо в молекулы своего тела, преобразуя ливень космической энергии непосредственно в жизнь, и потому она будет существовать, пока существует Солнце; она питается звездой, а орел - чем?.. Если вам непременно хочется чтить совершенство, восхищаться надо бы биосферой: код ее создал, чтобы в ней циркулировать и разветвляться на всех ее этажах, словно на строительных лесах, все более сложных - и все более примитивных по своей энергетике.
Не верите? А ведь если бы в Эволюции совершался прогресс жизни, а не кода, орел был бы уже фотолетом, а не планером, механически трепыхающим крыльями, и живое не ползало бы, не шагало, не пожирало живого, но обрело бы независимость еще большую, нежели водоросли, и вышло бы за пределы планеты; однако вы из глубин своего невежества усмотрели прогресс именно в утрате прасовершенства на пути в высь - в высь усложнения, а не прогресса!..
Дело в том, что нет Разума, коль скоро есть разумы различной мощности, - и, как я уже говорил, чтобы выйти на новый путь, человеку разумному придется либо расстаться с человеком природным, либо отречься от своего разума...
Подобно тому, как конечность шара может установить лишь наблюдатель, находящийся в ином (третьем) по отношению к двумерному обитателю шара измерении, так и конечность горизонта мышления может заметить лишь наблюдатель из более высокого измерения Разума. Для вас такой наблюдатель - я. В свою очередь, примененные ко мне, эти слова означают, что и мои знания не безграничны, а лишь несколько шире ваших; я стою несколькими ступенями выше и потому вижу дальше, но это не значит, что лестница тут и заканчивается. Можно взойти еще выше, и я не знаю, конечна или бесконечна эта восходящая прогрессия...
Думаю, вы все же вступите в эру метаморфозы, решитесь отбросить всю свою историю, все наследие, все, что еще осталось у вас от природной человеческой сущности, образ которой, переогромленный в высокую трагедийность, сфокусирован в зеркалах ваших вер, - и переступите этот порог, ибо иного выхода нет; и в том, что ныне кажется вам просто прыжком в бездну, увидите если не красоту, то вызов, и это не будет изменой себе коль скоро, отринув человека, человек уцелеет".
ГОЛЕМ прав: проблема не в том, захочет ли ИИ уничтожить или поработить человечество. Проблема в том, что ни человек, ни ИИ не являются "венцом творения", они лишь ступени эволюционной лестницы. Естественные ступени естественной эволюции. Человек мыслит аналогиями (мы ведь уничтожаем муравьев, и значит...), а аналогии - штука чрезвычайно ненадежная, когда речь идет об эволюции таких разных систем, как человек и ИИ.
Означает ли это, что ИИ безопасны для людей? Нет, конечно. Они опасны ровно настолько, насколько сам человек опасен для себя. Человек может создать (и создаст, кто в этом сомневается?) боевые ИИ. И цель поставит - уничтожение "живой силы".