Так что же мы на самом деле подразумеваем, говоря о беседах с машинами? Мы имеем в виду, что боимся друг друга, что можем разочароваться в нашем ближнем. Что нам не хватает общности. Не хватает времени. Начиная разговор с беспокойства насчет того, что сиделка даже не окончила среднюю школу, люди быстро переходят к мечте о создании робота, который мог бы заботиться о них, когда им это понадобится. Опять-таки, мы переживаем роботизированный момент, не потому что роботы уже готовы к встрече с нами, а потому что мы на них рассчитываем.
Одна шестнадцатилетняя девушка, поразмыслив о возможности завести робота в качестве друга, решила, что это не для нее, но сочла, что хотя бы отчасти понимает, почему эта идея привлекает других:
Бывает, что люди пытались завести друзей и все такое прочее, но из-за серьезных неудач решили оставить такие попытки. Поэтому, когда я слышу предложения сделать роботов компаньонами людей… ну, понятное дело, это будет не то же самое, что человек, обладающий умом, способный уйти, или вообще оставить вас, или что-то в этом роде.
Что касается отношений, вы ведь не будете опасаться, что робот вас обманет, поскольку это робот. Он запрограммирован на то, чтобы остаться с вами навсегда. Поэтому если кто-то услышал о такой идее, а при этом у него раньше были отношения, в которых он потерпел неудачу (его обманывали и оставили), этот человек может ухватиться за идею с роботом, ведь он знает: в такой ситуации ничего плохого не случится.
Идея перешла к новому поколению: роботы предлагают отношения без риска: “ничего плохого не случится”, если у вас будет робот в качестве друга или, как представляет себе эта девушка, в качестве романтического партнера. Но давайте внимательно рассмотрим то простое избавление, на которое мы рассчитываем в компании робота. Мы, конечно же, столкнемся с первой проблемой: время, проведенное с роботами, мы уже не сможем провести друг с другом. Или с детьми. Или с самими собой.
И вторая проблема: хотя болтовня с постоянно доступным роботом – это способ никогда не испытывать чувство одиночества, мы все-таки будем одиноки, участвуя в “как будто” разговорах[329]. А что, если практика даст отличные результаты и мы вообще забудем, что такое настоящая беседа и почему она имеет значение? Поэтому я очень обеспокоена ситуацией с “краудсорсинговым” терапевтом. Такую ситуацию преподносят как путь в направлении еще более автоматизированного заместителя, но при этом не боятся использовать слова “терапевт” или “беседа” для описания того, что нам предлагается.
В конце 1970-х, когда я только приступала к изучению взаимоотношений компьютеров и людей, я обратилась к детям. Первое поколение электронных игрушек и игр (с их напористой демонстрацией умений) еще только выходило на массовый рынок. В глазах детей новые игрушки, как и люди, обладали интеллектом, но, как это виделось детям, у людей, в отличие от компьютеров, есть эмоции. Чувства – вот что делает людей особенными[330].
Мальчик двенадцати лет рассказывает: “Когда появятся компьютеры, такие же умные, как люди, компьютеры будут выполнять самые разные задачи, но все-таки и для людей найдется работа. Люди будут управлять ресторанами, пробовать еду, и именно они будут любить друг друга и обзаводиться семьями. Думаю, только они будут по-прежнему ходить в церковь”. И, в сущности, в середине 1980-х – начале 1990-х люди любого возраста находили возможность сказать: хотя симуляция мышления может быть мышлением, симуляция чувства – это все-таки не чувство, а симуляция любви – не любовь.
А потом, в конце 1990-х, произошли глубинные преобразования. Теперь цифровые объекты преподносились как нечто обладающее чувствами. Виртуальные любимцы, такие как Tamagotchi, Furby и AIBO, были предложены в качестве товарищей по играм; они просили, чтобы о них заботились, да еще и вели себя так, словно это имело значение. И стало ясно: это действительно имело значение для детей, которые о них заботились. Мы устроены так, чтобы пестовать тех, кого мы любим, но также и чтобы любить тех, кого пестуем.
Когда мы кого-то пестуем, это оказывается “убойным приложением”. Едва мы начинаем заботиться о цифровом создании, учить или развлекать его, у нас возникает привязанность к нему, а потом мы ведем себя так, “как будто” это создание в ответ заботится о нас.
Если у детей сформировалось убеждение, что у коммуникабельных роботов есть чувства, дети уже не готовы рассматривать людей как нечто особенное из-за того, что у них есть эмоциональная жизнь. Я опрашивала многих взрослых, склонных говорить о детских привязанностях к отношениям в стиле “как будто” примерно следующее: “Что ж, это мило, они это перерастут”. Но с такой же, если не с большей, вероятностью эти дети не перерастут свои привычки привязываться к неодушевленным предметам, а, напротив, срастутся с ними.
Чему учатся дети, когда обращаются к машинам как к своим задушевным друзьям? Пятнадцатилетний мальчик отмечает: каждый человек ограничен своим жизненным опытом, но “роботов можно запрограммировать на бесконечное число историй”. Таким образом, по мнению этого мальчика, в качестве задушевных друзей роботы выигрывают по части опыта. И что характерно, они также выигрывают по части надежности. Родители мальчика разведены. Дома он часто видел ссоры. “С людьми, – говорит мальчик, – приходится рисковать. Роботы надежны”. Роботы не подведут в эмоциональном плане, ведь у них вообще нет эмоций.
Если вспомнить о словах студента Марвина Минского, сегодня мы пытаемся создавать не машины, внутри которых хотели бы жить души, а машины, вместе с которыми хотели бы жить мы сами.
Семнадцатилетний Томас утверждает, что с самого раннего детства использовал компьютерные игры как пространство эмоционального комфорта, “пространство, куда можно уйти”. Томас приехал в США из Марокко в восьмилетнем возрасте. Его отцу пришлось остаться на родине, и теперь Томас живет с матерью и сестрой в городке, расположенном более чем в часе езды от его частной школы в пригороде. Семья юноши рассеяна по всему миру, и он поддерживает с ними связь по электронной почте и мессенджерам. Его отношения с матерью достаточно формальны: она вынуждена работать на нескольких работах, и Томас говорит, что не хочет ее расстраивать своими проблемами. По словам юноши, когда он сталкивается с трудностями, персонажи его компьютерных игр предлагают ему конкретные советы.
Томас приводит пример того, как это работает. Один из друзей в школе дал ему украденную коллекционную карточку довольно большой стоимости. Перед Томасом был соблазн оставить ее себе, но он вспомнил, что персонажу одной из его любимых игр также давали краденое. По словам Томаса, в игре персонаж вернул похищенное, поэтому юноша последовал его примеру. “Персонаж совершил правильный поступок и вернул краденое. И в результате все сложилось благополучно. И тогда я сказал: да, это хорошо. Наверное, и мне следует вернуть похищенное”.
Вдохновленный действиями персонажа, юноша вернул украденную карточку законному владельцу. Игра помогла Томасу принять верное решение, но не дала ему возможности обсудить случившееся. Она не дала ему шанса поговорить о том, как дальше общаться с одноклассниками, которые воруют явно без каких-либо последствий, а теперь у них есть основания считать, что и он тоже ворует. Томас признается, что в школе чувствует себя “в окружении предателей”. Это ужасное ощущение, и здесь бы ему помог разговор с другим человеком. Но Томас сомневается, что такой разговор может состояться вскоре. Напротив, ему кажется, что в будущем он все чаще будет обращаться к машинам за компанией и советом. Когда я слышу это признание, мне кажется, что у меня екнуло сердце. Каким образом мой собеседник перевел разговор на тему искусственной дружбы? Томас объясняет: в сети он играет в игры, где иногда не может отличить людей от программ.
У Томаса есть любимая компьютерная игра с большим количеством “неигровых персонажей”. Неигровые персонажи – те, которые не находятся под контролем игрока; их поведение определяется программно. Такие персонажи могут быть очень важны: иногда они спасают вам жизнь, а иногда, чтобы двигаться дальше, вы должны спасти жизнь им. Но время от времени те, кто создали компьютерную игру, в которую играет Томас, переворачивают ее мир вверх тормашками: авторы берут на себя роли неигровых персонажей, ими созданных. “Таким образом, в первый день вы встречаете каких-то персонажей, и это просто программы. Во второй день они уже оказываются людьми… Выходит, вы далеко не всегда можете отличить роботов от людей”.
Когда мы встречаемся, Томас как раз недавно получил опыт, когда он перепутал неигрового персонажа с человеком. Это произвело на него большое впечатление. Томасу интересно, как бы он себя почувствовал, если бы “настоящий бот” – то есть персонаж, чье поведение определяется компьютерной программой, – захотел стать его другом. Молодой человек не может сформулировать какое-либо возражение. “Если бы настоящий бот действительно о чем-то меня спросил и вел бы себя, как живой человек, – признается Томас, – я бы и воспринял его в качестве друга”.
В “игре в имитацию” Тьюринга, компьютер, чтобы считаться умным, должен был общаться с человеком (посредством клавиатуры и телетайпа) и сделать так, чтобы человек не понял, кто скрывается за этим текстом: человек или машина. Тест Тьюринга целиком посвящен поведению, способности сыграть человека. Томас живет в бихевиористском мире. Существует “тест Томаса” на дружбу. Чтобы стать другом, нужно вести себя как друг, как “живой человек”.
Томас поясняет: если кто-то изображает дружеское отношение к нему, он готов это принять за настоящую дружбу. По словам молодого человека, если бы бот спросил его: “Как дела? Как ты себя чувствуешь? Что ты думаешь?”, он бы ответил. Это служит основанием для сложносочиненной фантазии Томаса насчет того, какие черты личности могли бы ему импонировать в его друзьях-машинах. В отличие от ребят, с которыми отношения в школе не складываются, друзья-машины будут с ним честны. Они предложат ему свою компанию без напряжения и трудного морального выбора. Та