Один из недостатков книги Вейценбаума «Мощность компьютеров и человеческий разум» (я многократно и тщетно пытался переубедить Джо), заключается в том, что автор так и не пришел к выводу, какой именно из двух тезисов он отстаивает: тот, что ИИ невозможен, или тот, что ИИ возможен, но это чревато проблемами. Он хотел доказать, заодно с Джоном Серлом и Роджером Пенроузом[53], что «сильный ИИ» невозможен, но в пользу этого утверждения не имеется веских доводов. В конце концов, нам известно всего-навсего, как я уже отмечал, что мы суть роботы, изготовленные из роботов, изготовленных из роботов – вплоть до моторных белков[54] и прочего, без каких-либо магических ингредиентов, добавляемых к этой смеси. Другое, более значимое и полезное замечание Вейценбаума сводится к тому, что мы не должны стремиться к созданию «сильного» ИИ и нам следует проявлять чрезвычайную осторожность в отношении тех систем ИИ, которые мы можем создать и которые уже создали. Как логично предположить, обоснованный тезис гибриден: ИИ («сильный» ИИ) возможен в принципе, но нежелателен. ИИ, который возможно создать на практике, не обязательно зло – если его не принимают за «сильный» ИИ!
Разрыв между реальными современными системами и фантастическими системами, доминирующими в воображении, все еще велик, хотя многие, равно любители и профессионалы, ухитряются его недооценивать. Возьмем, к примеру, Watson[55] компании «Ай-би-эм», на данный момент вполне достойную веху эволюции искусственного интеллекта. Это итог масштабного процесса НИОКР, охватывающего многие человекостолетия программирования, и, как отмечает Джордж Черч (см. далее), система использует в тысячи раз больше энергии, чем человеческий мозг (технологическое ограничение, которое, на что справедливо указывает Черч, может быть временным). Победа системы в викторине «Jeopardy!» стала настоящим триумфом, который обеспечили формальные ограничения правил игры, но, чтобы машина могла участвовать в игре, даже эти правила пришлось подкорректировать (один из обычных компромиссов: вы отказываетесь от толики универсальности и человечности, зато получаете привлекательное для зрителей шоу). Watson – не лучший собеседник, что бы ни утверждала реклама производителя, обещающая умение поддерживать разговор, и видеть в этой системе полноценного многомерного агента – все равно что уподоблять Watson ручному калькулятору. Она может служить полезным ядром такого агента, но больше похожа на мозжечок или миндалину, чем на человеческий мозг; в лучшем случае это подсистема специального назначения, которая может оказывать значительную поддержку, но совершенно не годится для постановки целей, составления планов и осознанного усвоения и воспроизведения разговорного опыта.
Зачем нам создавать мыслящего, творческого агента из системы Watson? Возможно, блестящая идея Тьюринга с операциональным тестом заманила нас в ловушку: мы желаем сотворить хотя бы иллюзию реального человека за ширмой, проводника через «пропасть». Опасность заключается в том, что с тех самых пор, как Тьюринг сформулировал свои условия (а ведь для него задача состояла в том, чтобы в итоге обмануть посредника), разработчики ИИ пытались перекинуть через эту «пропасть» мост из этаких почти невесомых, сугубо человеческих конструкций; налицо, если угодно, своего рода диснеефикация[56], очаровывающая и обезоруживающая непосвященных. Система ELIZA Вейценбаума была первым примером такого сотворения эфемерных иллюзий, и сам ее создатель поражался и смущался той легкости, с какой его смехотворно простая программа убеждала людей, будто она способна вести серьезный разговор (собственно, именно к этому он стремился).
Вейценбаум смущался не зря. Если мы и научились чему-то на ограниченном применении теста Тьюринга в состязаниях за премию Лебнера[57], то это пониманию того, что даже очень умные люди, незнакомые с возможностями и хитростями компьютерного программирования, легко попадаются на простейшие уловки. Отношение сообщества ИИ к этим методам анализа «человеческого интерфейса» варьируется от презрения до восторга, но все сознают, что это уловки, способные, впрочем, увлекать и убеждать. Очень кстати будет следующее изменение во взглядах: нужно признать откровенно, что всевозможные преувеличения являются ложной рекламой, которую следует скорее осуждать, чем восхвалять.
Но как этого добиться? Как только мы осознаем, что люди начинают принимать решения в категории «жизнь или смерть», опираясь преимущественно на «советы» систем ИИ, работа которых скрыта от глаз и непостижима, у нас появится веская причина налагать моральную и юридическую ответственность на тех, кто каким-либо образом побуждает общество доверять этим системам больше, чем они того заслуживают. Системы ИИ суть превосходные инструменты, настолько совершенные, что даже у экспертов не найдется оснований ставить собственные суждения выше «суждений» таких систем. Но если те, кто пользуется этими инструментами, желают получить финансовую или иную выгоду от перемещений по Terra Incognita, необходимо удостовериться в том, что они знают, как использовать инструменты ответственно, с максимальным контролем и обоснованием. Лицензирующие организации – мы ведь лицензируем фармацевтов (и операторов кранов!) – и другие службы в областях, где ошибки и неверные суждения могут иметь тяжелые последствия, должны, не исключено, под давлением страховых компаний и пр., побудить разработчиков систем искусственного интеллекта тщательнейшим образом выявлять реальные и потенциальные уязвимости программ, а также обучать тех, кто приобретает права на их использование.
Можно представить себе нечто вроде обратного теста Тьюринга, когда опрашивают посредника; до тех пор пока он не обнаружит уязвимость, нечеткость ограничений, какие-то упущения и пр., лицензия на распространение не выдается. Ментальная подготовка, необходимая для работы посредника, будет обязательной. Желание продемонстрировать интенциональность, наша обычная тактика при контакте с тем, что видится нам разумным агентом, почти непреодолимо велико. Действительно, способность сопротивляться внешней привлекательности и сохранять беспристрастность – малоприятный талант, от которого отдает расизмом или, скажем так, «видизмом». Многие сочтут, что культивировать в себе безжалостный скептический подход аморально, и можно ожидать, что даже опытные пользователи будут иногда поддаваться искушению «подружиться» с системами-инструментами, хотя бы для того, чтобы избавиться от дискомфорта при исполнении обязанностей. Сколь бы скрупулезно проектировщики ИИ ни устраняли фальшивые «человеческие» признаки из своих творений, можно ожидать возникновения новых привычек мышления, разговорных уловок, хитростей и блефа в этой новой области человеческой деятельности. Комично длинные списки известных побочных эффектов для новых лекарств, рекламируемых по телевидению, покажутся мелочью в сравнении с обязательными «разоблачениями», на которые не найдется ответов у разработчиков конкретных систем, и солидные штрафы будут уготованы тем, кто решит пропустить «мелкие недочеты» своих продуктов. Общепризнано, что в значительной степени растущее экономическое неравенство в современном мире обусловлено богатством, накопленным цифровыми предпринимателями; мы должны принять законы, которые заставят их опустошать свои глубокие карманы ради общественного блага. Некоторые обладатели глубоких (глубочайших, к слову) карманов добровольно берут на себя такие обязательства – служить в первую очередь обществу, а уж потом зарабатывать деньги, – но нельзя полагаться исключительно на добрую волю.
Нам не нужны искусственные сознательные агенты. Налицо избыток естественных сознательных агентов, достаточный для решения любых задач, которые подлежат резервированию как прерогатива этих особых, привилегированных сущностей. Нам нужны интеллектуальные инструменты. Инструменты лишены прав и не должны испытывать чувства, которые возможно задеть, или обижаться на «злоупотребления» со стороны неумелых пользователей[58]. Одна из причин отказаться от создания искусственных сознательных агентов заключается в том, что, какими бы автономными они ни были (в принципе они способны на автономию, самосовершенствование и самосотворение в той же степени, что и человек), они не смогут – без специальной подготовки, которой можно воспрепятствовать, – разделить с нами, то есть с естественными сознательными агентами, нашу уязвимость и смертность.
Однажды на университетском семинаре, который мы с Матиасом Шойцем вели по искусственным агентам и автономии, я предложил студентам: опишите технические характеристики робота, который заключит с вами обязательный к исполнению контракт – не как суррогат человека-владельца, а самостоятельно. Дело не в том, чтобы обучить робота пониманию юридических тонкостей или умению водить ручкой по листу бумаги, а в том, чтобы он заслуженно обрел правовой статус морально ответственного агента. Маленькие дети не могут подписывать договоры, равно как и те инвалиды, чей правовой статус требует опеки и ответственности сторонних лиц. Беда роботов, которым вздумается достичь столь высокого статуса, в том, что они, подобно Супермену, слишком неуязвимы для доверия к ним. Если они нарушат договор, каковы будут последствия? Каким будет наказание за отказ соблюдать согласованные условия? Тюремная камера или, если уж на то пошло, принудительная разборка? Камера едва ли доставит неудобства ИИ, если не внедрить в него изначально wanderlust[59], которую искусственный интеллект не сможет игнорировать или отключать самостоятельно (с системной точки зрения это будет непросто, учитывая предположительное всеведение и самопознание ИИ); а демонтаж системы, будь то робот или стационарный агент наподобие Watson, не покончит с ней, если сохранится информация в ее конструкции и программном обеспечении. Сама легкость цифровой записи и передачи информации – прорыв, который фактически гарантирует бессмертие программному обеспечению и данным – выводит роботов из пространства уязвимости (по крайней мере, это касается обычно воображаемых роботов с циф