Я боюсь не успешного восстания искусственных интеллектов, а скорее катастрофического сбоя, вызванного множеством мелких ошибок в кремниевой системе, которую наделили слишком большими полномочиями. Нам все еще далеко до сингулярности, когда компьютеры станут умнее нас, но это не значит, что нам не следует беспокоиться о глобальном сетевом коллапсе. Чтобы сделать первый шаг к предотвращению таких катастроф, нужно перестать перекладывать на компьютеры собственную ответственность и понять и принять простую истину: машины не думают. А то, что мы принимаем за их мышление, становится с каждым днем все опаснее.
Игры (и пророчества) разума
Машины великолепно справляются с вычислениями, но при этом не очень хорошо — с мышлением как таковым. У машин бесконечный запас упорства и настойчивости, и, как кое-кто говорит, они могут легко разгрызть сложную математическую проблему или помочь вам проехать через пробки в незнакомом городе, но все это — благодаря алгоритмам и программам, созданным людьми. Чего же машинам не хватает?
Машинам не хватает ви́дения (по крайней мере пока, и я не думаю, что наступление сингулярности это изменит). Я имею в виду отнюдь не зрение. Компьютеры не сами придумывают новое приложение, которому суждено стать популярным. Компьютеры не принимают решение исследовать далекие галактики — они прекрасно справятся с задачей, когда мы их туда отправим, но это уже другая история. Компьютеры, конечно, лучше среднестатистического человека работают в области высшей математики и квантовой механики, но у них нет видения, чтобы в принципе обнаружить необходимость в таких действиях. Машины могут выигрывать у людей в шахматы, но они еще не изобрели интеллектуальную игру, что займет человечество на столетия. Машины видят статистические закономерности, которые пропустит мой слабый мозг, но они не в состоянии выдвинуть новую идею, что соединит разрозненные наборы данных и создаст новую область науки.
Я не так уж сильно беспокоюсь по поводу машин, способных вычислять. Я как-нибудь переживу постоянные вылеты браузера, но пусть у меня будет умный холодильник, способный отслеживать RFID-коды лежащих в нем и вынимаемых из него продуктов и посылать мне СМС с напоминанием купить сливки по пути домой (пользуясь случаем, обращаюсь к тем, кто работает над такой системой: поторопитесь!). Мне нравится, когда компьютер подчеркивает незнакомые ему слова, и пусть среди них иногда оказывается какая-нибудь «филогенетика», я могу находить опечатки в общеупотребительных словах (и прямо сейчас он тоже не позволяет мне писать с ошибками). Но эти примеры показывают: само по себе то, что машина демонстрирует нечто похожее на мышление, еще не означает, что она на самом деле мыслит — или, по крайней мере, что она мыслит подобно человеку.
Мне вспоминается одно из самых первых исследований в области обучения обезьян использованию языка — где они должны были манипулировать пластиковыми фишками, чтобы отвечать на разные вопросы. Впоследствии эксперимент повторили со студентами, которые — что неудивительно — исключительно преуспели в освоении системы, но когда их спросили, чем они занимались, те сказали, что решали какие-то интересные головоломки и понятия не имели, что их обучали языку. Последовало широкое обсуждение, и мы многое открыли и многому научились в ходе новых исследований. Несколько особей, не являющихся людьми, смогли понять референтное значение различных символов, пользоваться которыми их учили, и мы многое узнали об интеллекте обезьяны в рамках оригинальной методологии. Смысл этой истории таков: то, что первоначально казалось сложной лингвистической системой, потребовало намного большей подготовки, чем предполагалось изначально, чтобы стать чем-то большим, нежели серия относительно простых парных ассоциаций.
Так что меня беспокоят не мыслящие машины, а самодовольное общество, готовое отказаться от своих мечтателей в обмен на возможность не делать трудную работу. Люди должны воспользоваться собственными познавательными мощностями, которые освободились, когда машины взяли на себя грязную работу, быть благодарными за такую свободу и использовать ее, направляя свои способности на решение сложных насущных проблем, для которых требуется проницательность и пророческое видение.
Колосс — это БДВ[32]
Если я дам вам один цент, вы скажете, о чем задумались? Не обязательно отвечать, смысл сказанного мною заключается в том, что вы как сознательный субъект это можете. Значит, у вас есть доступ к интроспекции. Вы знаете — и можете сказать, — что происходит на сцене в театре вашего разума. А как насчет машин? Если дать мыслящей машине один биткоин, она скажет, о чем задумалась? Никому еще не удалось создать машину, способную на такое. Витгенштейн заметил, что, если бы лев умел говорить, мы бы его не поняли. Если бы компьютер умел говорить, ему нечего было бы сказать. Что я могу сказать о мыслящих машинах? Все просто. Я не думаю, что на данный момент такие машины существуют.
Конечно, ситуация может скоро измениться. В далеком прошлом в ходе естественного отбора обнаружилось, что, с какими бы конкретными проблемами ни столкнулся человек, наличие мозга, способного к интроспекции[34], имеет практические преимущества. Так что люди, которые программируют машины, вполне могут прийти к мысли, что раз это работает с нами, то сработает и с компьютерами — если те столкнутся с проблемами, для решения которых нужна интроспекция. Но что это за проблемы и почему я говорю про какой-то театр сознания?
Театр открывает вам секрет: он позволяет вам видеть, как работает ваш собственный разум. Наблюдая, например, как убеждения и страсти порождают желания, которые приводят к действиям, вы начинаете догадываться, почему вы думаете и действуете так, а не иначе. Благодаря этому вы можете объяснить себя себе, а также другим людям. Но не менее важно и то, что у вас есть модель для понимания других людей. Интроспективное мышление заложило основы для того, что психологи называют моделью психического.
Для человека как вида, у которого социальный интеллект — ключ к биологическому выживанию, преимущества такого мышления огромны. Для машин же успех в социальной жизни еще не стал проблемой, поэтому у них не было причин идти тем же путем, что и мы. Однако, несомненно, наступит то время, когда у машин возникнет необходимость понимать психологию других машин, чтобы иметь возможность работать бок о бок с ними. К тому же если им нужно будет эффективно сотрудничать с людьми, то придется также понимать и человеческую психологию. Я предполагаю, что именно тогда разработчики — или, возможно, сами машины — последуют примеру природы и создадут цифровую версию интроспекции.
Есть ли опасность того, что, едва перейдя эту черту, проницательные машины начнут понимать людей уже слишком хорошо? Психопатам иногда приписывается не слабое, а напротив, очень хорошее понимание человеческой психологии. Стоит ли нам бояться чего-то подобного в случае с машинами?
Я так не думаю. Эта ситуация не нова. Тысячелетиями люди отбирали и программировали особый вид биологических машин, которые действовали и действуют в качестве наших слуг, спутников и помощников. Я говорю о домашних собаках. Замечательным результатом стало то, что современные собаки, по сути, приобрели особую, хорошо выраженную способность читать чужие мысли — как других собак, так и людей — самую сильную среди остальных животных, не считая самих людей. Очевидно, что наши отношения с собаками развивались как взаимовыгодное партнерство, а не как соревнование, даже притом что руководящая роль оставалась за нами. Если настанет такой момент, когда машины научатся настолько же хорошо читать мысли человека, как это делают сейчас собаки, нам, конечно, придется следить, чтобы они не вели себя чересчур по-хозяйски, чтобы не манипулировали нами и другими машинами и чтобы не безобразничали — точно так же, как мы следим за нашими четвероногими друзьями. Но я не вижу причин сомневаться в том, что мы потеряем контроль.
Есть картина Гойи, изображающая ужасного Колосса, который идет по земле на фоне бегущих в ужасе людей. «Колоссом» (Colossus) была названа и одна из первых вычислительных машин Алана Тьюринга. Имеет ли смысл воображать себе угрозу существованию человечества, исходящую от потомков этого компьютера? Нет, я предпочитаю смотреть на вещи оптимистически. Если повезет, вернее, если мы все сделаем правильно, Колосс останется большим и добрым великаном.
Искусственный интеллект с самосознанием? Не в этом тысячелетии!
Широко распространенная обеспокоенность по поводу того, что искусственный интеллект может поставить под угрозу существование человечества и захватить мир, иррациональна. И вот почему.
Чисто теоретически системы автономного или искусственного интеллекта могут развиваться по двум направлениям: либо как расширение человеческого разума, либо как совершенно новая форма мышления. Назовем первое «гуманитарным» ИИ, а второе — «иным» ИИ.
Почти все формы ИИ сегодня — «гуманитарные». Мы используем их, чтобы решать задачи, слишком сложные, трудоемкие или скучные для наших ограниченных мозгов: это управление электросетями, рекомендательные сервисы, беспилотные автомобили, системы распознавания лиц, трейдинговые алгоритмы и т. п. Такого рода искусственные агенты работают в узких областях с ясными задачами, установленными разработчиками. «Гуманитарный» искусственный интеллект нацелен на достижение человеческих целей — он способен достичь их зачастую лучше, чем это сделали бы люди, с меньшим количеством ошибок, не отвлекаясь, не срываясь и не уставая. Через несколько десятилетий ИИ-агенты, возможно, будут выступать в качестве виртуальных продавцов страховых полисов, врачей, психотерапевтов и даже виртуальных супругов и детей.