Прошло несколько десятилетий, и вот компьютеры способны на многие из тех удивительных вещей, которые упоминал докладчик, — в этом не остается никаких сомнений, и, боюсь, ответ на вопрос о том, что́ их достижения будут означать для человечества, таков: машины нас совершенно деморализуют и оставят не у дел. Я расстроился, когда Deep Blue обыграл Гарри Каспарова в шахматы. Я мгновенно впал в депрессию, когда IBM Watson, его наследник, обошел своих соперников в Jeopardy! и, конечно, мы знаем, что машины уже умеют писать композиции, которые поразили бы самого Джона Кейджа!
Что будет с моральным настроем людей, когда любую их работу машины научатся делать на более высоком уровне? Как относятся пилоты самолетов к тому, что машина справляется с их обязанностями лучше, чем они? Сколько пройдет времени, прежде чем эта профессия устареет подобно сотням других? Как отнесутся бухгалтеры, финансисты и юристы к тому, что все, чем они зарабатывают себе на хлеб с маслом, станут выполнять машины, причем гораздо эффективнее и несравнимо быстрее? А врачи, физики и психотерапевты?
Как мы отнесемся к тому, что для нас просто не останется сколько-нибудь важной работы? Что машины будут сеять и жать вообще без нашего участия? Что машины научатся создавать еще более совершенные машины, о каких человек и помыслить бы не мог? Или что они станут более интересными собеседниками, чем самые умные из ваших друзей?
Стив Джобс сказал, что потребитель не обязан знать, чего он хочет. Компьютеры могут заявить, что люди не обязаны знать, чего хотят.
Как и вы, я люблю читать, слушать музыку, смотреть фильмы и спектакли, бывать на природе. Но я также люблю работать — и чувствовать, что моя работа интересна, по крайней мере, для меня, а может быть, она еще и улучшает чью-то жизнь. Как отнесутся люди вроде меня или вас к тому, что их работа окажется бессмысленной и что у них останутся только развлечения?
Мы уже знаем, как сказался на некоторых народах технический прогресс. Никому не нужно изготавливать собственные луки и стрелы и ходить на охоту с иной целью, кроме развлечения. Либо сажать, обрабатывать и собирать урожай кукурузы или бобов. Отдельные культуры, построенные вокруг подобных занятий, развалились и потеряли значимость для людей. Взять, к примеру, племена индейцев Юго-Запада США или сельское население Южной Дакоты, Алабамы, Нью-Мексико с их тоской, апатией и наркоманией. Стоит как следует подумать, смогут ли люди всего мира хладнокровно встретить новость о том, что им будет нечем заняться, кроме развлечений.
Это не значит, что невозможно определенным образом эволюционировать, воспринимая отсутствие работы как нечто приемлемое или даже приятное. Есть места, где людям почти нечего было делать целую вечность, и они это вполне нормально перенесли. Представители некоторых южнотихоокеанских культур вполне могли просто подождать, пока с дерева упадет кокос, или пройтись по лагуне и без особых усилий наловить рыбы. В некоторых южноафриканских культурах мужчины никогда не занимались ничем, что можно назвать работой, за исключением пары недель в году, когда требовалось их участие в посевной. А потом были еще праздные богачи, скажем, в Англии в 1920-е годы, проводившие время за бесконечной игрой в карты, бессчетными переодеваниями на завтрак, обед и ужин и серийными прелюбодеяниями с участием весьма привлекательных особ.
А что если наиболее оптимистичный вариант состоит в том, чтобы эволюционировать и наслаждаться бесконечными развлечениями, вообще не занимаясь сколько-нибудь важной, существенной работой? Это может выглядеть отталкивающе для нас, но оказаться очень даже приятным для наших праправнуков, и они, наверное, еще пожалеют нас, проживших такую заполошную и скучную жизнь. Кто-то может сказать, что авангард уже здесь: взять, например, Портленд в штате Орегон — его описывают как город, в который переезжают молодые люди, выходя на пенсию.
Нахес от наших машин
Хоть мне и любопытно, каким образом появятся мыслящие машины, гораздо больше меня интересует то, как мы — общество — отреагируем на их появление. Например, пока им не удается продемонстрировать что-то похожее на самосознание или чувствительность, мы считаем их умными, но первое место на когнитивном пьедестале оставляем за собой.
А что, если эти мыслящие машины так же умны, как и мы, или даже намного умнее? Что, если они умны по-другому и не ограничиваются нашими моделями мышления? Не так уж невероятно, поскольку компьютеры уже хорошо справляются с тем, что у нас не получается: их кратковременная и долговременная память лучше, они быстрее считают и не подвержены иррациональным влияниям, от которых страдает наш разум. Если мы экстраполируем это, то увидим, что мыслящие машины могут быть одновременно и умными, и иными.
Так как нам реагировать? Один вариант — назвать их монстрами, неописуемыми чудовищами, способными исследовать неизвестное, как нам никогда не суметь. Многие люди наверняка отреагируют именно так, если мы создадим машины, которые думают о мире совершенно иным образом.
Но зачем? Я предпочту более оптимистичную реакцию, нахес — это слово на идише означает радость и гордость, часто компенсаторную гордость. Например, вы испытываете нахес, или, на идише, вы «шеп нахес», когда ваши дети оканчивают колледж, женятся или благополучно минуют еще какой-нибудь важный этап жизни. Это не ваши личные достижения, но вы ими все равно очень гордитесь и очень им рады.
То же самое может быть верно и для наших машин. Даже если мы не поймем их мыслей, открытий или технологических достижений, они останутся нашими машинами, и их создатели могут «шеп нахес» от успехов потомков, скажем компьютерных программ, которые генерируют уточненные произведения искусства или музыкальные композиции. Я думаю, что разработчики таких программ будут гордиться полученными картинами или музыкальными произведениями, даже если сами ничего подобного создать не способны.
Такое значение нахес можно расширить. У многих из нас есть любимая команда, победами которой мы гордимся, хотя не имеем к ним никакого отношения. Мы радуемся, когда гражданин нашей страны выигрывает золото на Олимпийских играх, совершает научное открытие или получает престижную награду. То же самое должно относиться и к нашим мыслящим машинам и всему человечеству: мы можем болеть за то, что создали люди, хотя это и не наше личное достижение — и даже если мы его не до конца понимаем. Многие из нас рады технологическим достижениям, от iPhone до интернет, хотя мы и плохо понимаем, как они работают.
Когда наши дети делают что-то удивительное, но в мы в этом не очень разбираемся, то мы не отчаиваемся и не волнуемся; мы рады их успехам и благодарны за них. На самом деле благодарность — это подходящее слово для отношения многих из нас к технологиям. Мы не полностью понимаем наши машины, но они мощные и полезные, и мы за это благодарны. Мы можем так же отнестись к нашим будущим технологическим творениям, к мыслящим машинам, которые нам до конца не понять. Вместо того чтобы бояться или беспокоиться, от них надо испытывать нахес.
Общей модели психического не будет
Мои мысли по поводу вопроса Edge в этом году сформированы под влиянием наблюдения, описанного Марком Твеном в книге «Янки из Коннектикута при дворе короля Артура»: «Опытному специалисту всегда легче предсказывать за пятьсот лет, чем за пятьсот секунд». Твен был великодушен: забудьте про 500 секунд — нам никогда наверняка не узнать, что произойдет даже через одну. Однако люди могут предугадывать будущее, что обеспечило Homo sapiens огромное эволюционное преимущество. Этот талант стал двигателем прогресса и источником творческих способностей человека.
Мы построили машины, которые, в несколько упрощенной форме, уже мыслят, решая задачи или выполняя функции, сформулированные нами. На данный момент машины подчиняются алгоритмам, которые следуют правилам логики, будь она «четкой» или «нечеткой». Компьютерный интеллект, несмотря на обширную память и постоянно развивающиеся механизмы обработки информации, все еще примитивен. В теории, когда эти машины станут сложнее, у них в какой-то момент сформируется самосознание (определим его здесь как способность сознавать, что ты что-то сознаешь). Вероятнее всего, этого произойдет за счет объединения свойств кремниевых и углеродных, цифровых, аналоговых и, возможно, квантовых вычислительных систем, а также нейросетей с временной задержкой.
Такая форма сознания, однако, будет лишена субъективных чувств и эмоций. Согласно ряду утверждений, чувства инициируются мыслями и образами, которые сочетаются с определенной эмоцией. Страх, радость, гнев и похоть — это примеры эмоций; к чувствам относятся удовлетворение, тревога, счастье, горе, любовь и ненависть.
Мое мнение о том, что машины будут лишены этого аспекта сознания, основывается на двух соображениях. Первое — то, каким образом мы пришли к способности чувствовать и испытывать эмоции. Как человеческие существа, мы являемся результатом эволюции, происходившей под действием естественного отбора — процесса, который начался среди примитивных организмов приблизительно 3,5 миллиарда лет назад. За это огромное время мы были не одиноки среди животного царства в своей способности испытывать чувства и эмоции. Но примерно 150 000 или 300 000 лет назад Homo sapiens оказался единственным видом, сформировавшим язык и символическое мышление — части нашего разума, которые помогают нам понимать свои ощущения и наблюдать за окружающим миром. Чувства, эмоции и разумное восприятие теснейшим образом переплетены с тем, как мы мыслим. Мы не просто сознаем, что у нас есть сознание, наше мышление также дает нам возможность помнить прошлое и представлять будущее. Используя эмоции, чувства и разум, мы формируем модель психического, которая помогает нам понимать мышление других людей, что, в свою очередь, позволяет обмениваться знаниями и тем самым создавать общества, культуры и цивилизации.