Этот образ не покидает меня вот уже более тридцати лет.
В мире ИИ вещи проделали путь от мифических до прозаических. Сегодня дети растут с роботами-питомцами и цифровыми куклами. Они считают естественным болтать со своими телефонами. Я бы определила точку, в которой мы находимся, как “роботизированный момент”[315], и дело тут не в достоинствах наших машин, а в нашей готовности к тому, чтобы они составили нам компанию. Еще до того, как мы создаем роботов, мы пересоздаем самих себя, готовясь стать компаньонами для автоматических устройств.
Долгое время надежды людей на роботов были выражением неисчерпаемого технологического оптимизма, веры в то, что наука движется в правильном направлении, даже если все остальное – нет. В сложном мире то, что нам могут обещать роботы, всегда казалось чем-то вроде помощи в трудной ситуации. Роботы спасают людей в зонах военных действий; они могут функционировать в космосе и в море – в сущности, везде, где людям может грозить опасность. Роботы проводят медицинские процедуры, с которыми люди не могут справиться; они внесли поистине революционные изменения в дизайн и производство.
И все же они дают нам надежду на большее: не только на помощь в трудной ситуации, но и на простое избавление. Что значит простое избавление? Это надежда, что роботы будут нашими компаньонами. Что забота о нас станет их работой. Что их общество и беседа с ними принесут нам утешение. Это остановка в нашем “путешествии забывания”.
О чем мы забываем, беседуя с машинами? Мы забываем, что такого особенного в том, чтобы быть людьми. Мы забываем, что значит вести подлинную беседу. Машины запрограммированы на то, чтобы поддерживать беседу так, “как будто” они понимают, о чем идет речь. Следовательно, когда мы говорим с ними, мы и сами оказываемся низведены до этого “как будто”.
Десятилетиями я слышала, как крепнут надежды на то, что роботы станут нашими компаньонами, хотя у большинства людей даже нет опыта общения с полноценным роботом-компаньоном: в основном люди общаются с кем-то вроде Siri, цифровой помощницы Apple, беседа с которой, как правило, сводится к фразам “найти ресторан” или “найти друга”.
Тем не менее, всего лишь попросив Siri “найти друга”, люди вскоре начинают мечтать о том, чтобы найти друга в Siri. Я часто слышу, что люди с нетерпением ждут того времени (а оно должно наступить достаточно скоро), когда Siri или кто-то из ее ближайших кузенов или кузин станет для них кем-то вроде лучшего друга, а в чем-то даже и лучше: с ним всегда можно поговорить, он никогда не сердится, его невозможно разочаровать.
И действительно, в первой телевизионной рекламной кампании Apple, где появилась Siri, “ее” представляли не как функцию, не как удобный способ получить информацию, а как компаньона. В рекламе снялась группа кинозвезд – Зоуи Дешанель, Сэмюэл Л. Джексон, Джон Малкович, – относившихся к Siri как к своей задушевной подруге. К примеру, Дешанель в роли легкомысленной инженю говорит о погоде и о том, как ей не хочется надевать туфли или прибираться в доме в дождливый день. Она просто хочет танцевать и лакомиться томатным супом. В свою очередь Siri исполняет роль лучшей подруги, способной понять героиню Дешанель. Джексон ведет с Siri беседу, пронизанную пикантными намеками на страстное свидание: в ожидании своей дамы он колдует на кухне над гаспачо и ризотто. Ему нравится шутить со своей закадычной подругой Siri насчет плана соблазнения. Малкович, восседающий в глубоком кожаном кресле в комнате с тяжелыми портьерами и лепниной на стенах – возможно, где-то в Париже или Барселоне, – всерьез обсуждает с Siri смысл жизни. Ему нравится, что у Siri есть чувство юмора.
Во всех этих ситуациях нас приучают вести беседы с машинами, которые способны приблизительно пошутить, но совершенно не понимают, о чем именно мы говорим; во всех этих беседах вся работа ложится на наши плечи, но мы нисколько не возражаем против этого.
Я была приглашена на радиопередачу, посвященную Siri, где присутствовала группа специалистов – инженеров и социологов. Вскоре участники передачи стали обсуждать, почему людям нравится беседовать с Siri; отчасти этот общий феномен объясняется тем, что люди не испытывают скованности, обращаясь к машине. Им нравится ощущать, что их никто не судит. Один из гостей передачи – социолог – предположил, что весьма скоро тюнингованная и отчасти приглаженная версия Siri смогла бы выступать в качестве психиатра.
Кажется, этого социолога не смутило, что в роли психиатра Siri принялась бы консультировать людей по поводу их жизни, хотя собственной жизни у нее нет. По словам социолога, если Siri может вести себя, как психиатр, значит, она может быть психиатром. Если никого не смущает, что “как будто” и реальность – не одно и то же, значит, пусть машина займет место человека. В этом и есть прагматизм роботизированного момента.
Однако с концепциями робота-друга или терапевта (о, это простое избавление, даруемое нам роботизированным моментом!) все обстоит далеко не так просто.
Хотя машины запрограммированы, чтобы подражать множеству действий, и общаются с нами так, как будто им есть до нас дело, на самом деле они понятия не имеют о том, что такое дуга человеческой жизни. Когда мы говорим с ними о таких человеческих проблемах, как любовь и утрата, или об удовольствии есть томатный суп и танцевать босиком в дождливый день, они могут только имитировать эмпатию и контакт.
Вот что может знать искусственный интеллект: ваше расписание, буквальное содержание ваших электронных сообщений, ваши кино-, теле- и кулинарные предпочтения. Если вы наденете те или иные датчики, ИИ узнает, что способно на вас эмоционально воздействовать, ведь он сделает эти выводы на основе психологических маркеров. Однако ИИ не сможет понять, что все эти вещи значат для вас.
Но мы же хотим, чтобы машины понимали именно значение вещей. И мы готовы тешиться иллюзиями, что они это действительно понимают.
Мы уже очень долго играем с искусственным интеллектом в игры с уязвимостью – еще с тех пор, когда программы были несравнимо проще нынешних. В 1960-х компьютерная программа ELIZA[316], созданная Джозефом Вейценбаумом из МТИ, смогла освоить “отражающий” стиль психотерапевта, практикующего роджерианский (клиент-центрированный) подход. Таким образом, если бы вы напечатали фразу: “Почему я ненавижу свою мать?”, ELIZA могла бы ответить: “Я слышу, вы говорите, что ненавидите свою мать”. Эта программа успешно создавала иллюзию умного слушателя – по крайней мере в течение короткого периода времени. И вот еще какой момент: мы хотим говорить с машинами, даже если нам известно, что они не заслуживают нашего доверия. Я называю это “эффектом ELIZA”.
Вейценбаум был потрясен следующим фактом: люди (к примеру, его секретарша и магистранты), знавшие, что ELIZA обладает весьма ограниченной способностью понимать, все же хотели оставаться с программой наедине для доверительного общения. ELIZA показала, что люди (за очень редкими исключениями) проецируют человеческие свойства на программы, претендующие на человекоподобие. Этот эффект усиливается, когда люди оказываются в обществе роботов, именуемых “коммуникабельными” машинами: такие машины способны проследить за вашими движениями, установить визуальный контакт и запомнить ваше имя[317]. Тогда люди чувствуют, что рядом находится кто-то знающий, кто-то, кому есть до них дело. Двадцатишестилетний мужчина беседует с роботом по имени Kismet, способным устанавливать визуальный контакт, опознавать выражения лица и издавать звуки, напоминающие модуляции человеческой речи. Этот молодой человек настолько дорожит поддержкой робота Kismet, что готов обсуждать с ним позитивные и негативные моменты своего дня[318].
Машины, наделенные голосами[319], обладают особой силой внушать нам, что они нас понимают. Впервые дети знакомятся с матерями, привыкая узнавать их голоса, причем происходит это еще в утробе. Во время нашей эволюции единственной речью, которую мы слышали, была речь других людей. Теперь, по мере развития сложной искусственной речи, мы оказались первыми людьми, чьей задачей стало отличать речь людей от речи машин[320]. С точки зрения неврологии, мы не обладаем качествами, необходимыми для такого рода деятельности. Поскольку прежде – скажем, в течение 200 000 лет – люди слышали только человеческие голоса, требуются серьезные умственные усилия, чтобы отличить речь человека от речи, генерируемой машинами. Для нашего мозга речь – это то, что делают люди.
Особой силой обладают также машины с человекоподобной внешностью.
У людей форма улыбки или гримасы высвобождает химические вещества, воздействующие на психологическое состояние. Наши зеркальные нейроны возбуждаются как при выполнении действий, так и при наблюдении за действиями других. Мы сами чувствуем эмоции, которые видим на лице другого человека. Выразительное лицо робота тоже может оказать на нас влияние. По мнению философа Эмманюэля Левинаса, присутствие лица влечет за собой действие этического договора между людьми. Лицо сообщает: “Не убивай меня”. Появление лица связывает нас обязательствами еще до того, как мы узнаем, что за ним стоит, – еще до того, как мы, возможно, узнаем, что это лицо машины, которую нельзя убивать. И, с точки зрения Левинаса, лицо робота, безусловно, говорит: “Не покидай меня”. Опять-таки, это этический и эмоциональный договор, связывающий нас обязательствами, но не имеющий смысла, если наши чувства обращены к машине