зможно, если потенциальные жертвы-люди не передадут ей контроль над обширными секторами инженерного пространства. Конечно, всегда можно вообразить некий компьютер Судного дня, злонамеренный, наделенный универсальными возможностями, всегда включенный и защищенный от несанкционированного доступа. Способ борьбы с этой угрозой прост: не создавайте такой компьютер.
А что насчет новой угрозы ИИ, проблемы выравнивания ценностей, которую Винер описывает в притчах об обезьяньей лапке, джинне и царе Мидасе? Суть проблемы в том, что желающий начинает сожалеть о непредвиденных побочных эффектах своего желания. Опасаются, что мы поставим перед системой ИИ некую цель, а затем нам придется беспомощно стоять в стороне и наблюдать, как система неуклонно и буквально реализует собственную интерпретацию этой цели, игнорируя все другие наши интересы. Если поставить ИИ цель поддержания конкретного уровня воды в водохранилище, система способна затопить город, не заботясь о людях, которые в нем живут. Если поставить перед ней цель производить скрепки для бумаг, она может превратить в скрепки всю материю в достижимой части Вселенной, в том числе наше имущество и наши тела. Если попросить ИИ максимизировать человеческое счастье, он способен влить в нас все произведенные запасы дофамина внутривенно или «перемонтировать» мозг, чтобы нам доставляло счастье сидеть в кувшинах, или, если его научили представлению о счастье через изображения улыбающихся лиц, заполнить Галактику триллионами наноизображений смайликов.
К счастью, эти сценарии сами себя опровергают. Они зависят от допущения, что (1) люди настолько одарены от природы, что могут создать всеведущий и всемогущий искусственный интеллект, но настолько глупы, что уступят ему власть во Вселенной, даже не проверив, как он работает; и что (2) ИИ окажется настолько умен, что сможет постичь, как преобразовывать химические элементы и «перемонтировать» мозг, но настолько глуп, что учинит хаос вследствие элементарных грубых ошибок и непонимания. Возможность выбора действия, которое наилучшим образом соответствует конфликтующим целям, не является неким дополнением к интеллекту, которое инженеры могут забыть установить и протестировать; это сам интеллект. Как и способность интерпретировать интенции носителя языка по контексту высказываний.
Отбрасывая фантазии вроде цифровой мании величия, мгновенного всеведения и совершенного знания и контроля за каждой частицей во Вселенной, мы обнаруживаем, что искусственный интеллект схож с любой другой технологией. Он разрабатывается поэтапно, предназначается для удовлетворения многочисленных условий, тестируется перед внедрением и постоянно дорабатывается в целях эффективности и безопасности.
Последний критерий особенно важен. Культура безопасности в развитых обществах являет собой образец гуманизирующих норм и каналов обратной связи, которые Винер называл могучей каузальной силой и которые он считал оплотом борьбы с авторитарным или эксплуататорским применением технологий. На рубеже XIX и XX столетия западные общества сталкивались с шокирующим числом увечий и смертей в результате несчастных случаев на производстве, в быту и на транспорте, но в следующее столетие ценность человеческой жизни значительно выросла. Как следствие, правительства и инженеры на основании обратной связи для статистики несчастных случаев внедрили бесчисленные правила, техники и конструктивные изменения, призванные сделать технологии более безопасными. Тот факт, что некоторые нормативные акты (например, использование мобильного телефона рядом с газовым насосом) затрагивают нелепую склонность к риску, означает, что нынешнее общество одержимо безопасностью, и это принесло фантастические преимущества: показатели промышленного, бытового и транспортного травматизма снизились более чем на 95 процентов (а кое-где и на 99 %), если взять за максимум первую половину XX века[97]. Впрочем, технические пророки продолжают сулить пришествие злонамеренного или «забывчивого» искусственного интеллекта, как если бы этого важного изменения не случилось, как если бы инженеры и вправду передали полный контроль над физическим миром непроверенным машинам, не обращая внимания на последствия такого шага для человека.
Норберт Винер объяснял идеи, нормы и институты с точки зрения вычислительных и кибернетических процессов, понятные для науки и каузально мощные. Он характеризовал человеческие красоту и ценность как факторы, которые встречаются «только локально и временно, в противостоянии с Ниагарским водопадом возрастающей энтропии», и выражал надежду, что открытое общество, руководствуясь обратной связью от человеческого благополучия, сможет наращивать эту ценность. К счастью, его вера в каузальную силу идей способствовала тому, что он меньше беспокоился об угрозе со стороны новых технологий. По его словам, «опасность автоматизации для общества исходит не от самой машины, а от ее применения человеком». Лишь памятуя о каузальной силе идей, мы в состоянии точно оценить угрозы и возможности, которые сулит современный искусственный интеллект.
Глава 11Награды и наказания – что дальше?
Дэвид Дойч
квантовый физик, сотрудник Центра квантовых вычислений при лаборатории Кларендона в Оксфордском университете, автор книг «Ткани реальности» и «Начало бесконечности».
Наиболее значимые события в сегодняшней науке (то есть те, которые оказывают влияние на жизнь всех людей на планете) связаны с достижениями в области программного обеспечения и вычислений, основаны на них или реализуются с их использованием. Ключевой фигурой для будущего этих разработок является физик Дэвид Дойч, пионер в области квантовых вычислений, чья статья 1985 года об универсальных квантовых компьютерах оказалась революционной и впервые познакомила публику с этой дисциплиной; алгоритм Дойча – Йожи [98]стал первым квантовым алгоритмом и продемонстрировал колоссальную потенциальную мощь квантовых вычислений.
Когда Дэвид начал рассуждать на эту тему, квантовые вычисления казались практически невозможными. Но прорыв в разработке простых квантовых компьютеров и квантовых систем связи никогда не случился бы без его работ. Он также внес важный вклад в развитие таких областей, как квантовая криптография и многомировая интерпретация квантовой механики. В философской статье, написанной совместно с Артуром Экертом[99], он обосновывает полезность отдельной квантовой теории вычислений и доказывает, что наши знания математики опираются на знание физики и определяются последним (хотя математические истины не зависят от физики).
Поскольку значительную часть своей карьеры Дэвид занимался тем, что менял мировоззрение людей, репутацию интеллектуала среди коллег он заслужил и укрепил не только своими научными достижениями. Он утверждает (вслед за Карлом Поппером), что научные теории суть «смелые предположения», не основанные на доказательствах, а проверяемые ими. Два основных направления его исследований в настоящее время – это теория поля кубитов[100] и конструкторская теория – вполне приложимы к идее вычислений и могут послужить ее важными дополнениями.
В очерке ниже Дэвид в целом присоединяется к тем, кто видит в искусственном интеллекте человеческого уровня провозвестие лучшего мира, а не Апокалипсиса. На самом деле он фактически требует создания ОИИ со свободой действий, и такое стремление ряд других авторов настоящего сборника сочли бы опасным заблуждением.
Первый убийца
Нет, мы люди.
Макбет
О да, людьми вас числят в общем списке,
Как гончих, мопсов, пуделей, овчарок,
Борзых и шавок – всех равно зовут
Собаками… [101]
На протяжении большей части истории человеческого вида наши предки едва ли могли считаться людьми. Дело не в какой-то ущербности их мозга. Напротив, даже до появления анатомически современного человеческого подвида они изготавливали вещи, например одежду, и разводили костры, используя знания, отнюдь не заложенные в их генах. К этому они пришли через мышление и передавали опыт из поколения в поколение, младшие подражали старшим. Более того, это должно было быть знание в смысле понимания, поскольку невозможно подражать новому комплексному поведению вроде обозначенного выше, не понимая, что означают его составные элементы[102].
Такая «осведомленная» имитация зависит от успешного угадывания объяснений, словесных и прочих, связанных с пожеланиями и устремлениями другого, а также того, как соотносится с сутью объяснения каждое его действие – например, когда он прорезает паз в дереве, собирает хворост на растопку и т. д.
Сложное культурное знание, подразумеваемое такой формой подражания, должно было считаться чрезвычайно полезным. Это способствовало быстрой анатомической эволюции, включавшей увеличение объема памяти и появление более гибкого (менее жесткого) скелета, соответствующих более зависимому от технологий образу жизни. Ни одна обезьяна – речь не о человекообразных – не обладает такой способностью имитировать новые сложные формы поведения. Как и любой современный искусственный интеллект. Зато наши доразумные предки ею обладали.
Любая способность, основанная на угадывании, должна опираться на некие средства корректировки сделанного, поскольку большинство догадок поначалу окажутся ошибочными. (Способов ошибиться всегда намного больше, чем правильных.) Байесовское обновление не годится, потому что оно не способно генерировать новые догадки о цели действий и позволяет лишь уточнять уже сделанные – в лучшем случае, выбирать среди них. Необходимо творчество. Как объяснял философ Карл Поппер, творческая критика, чередующаяся с творческими догадками, есть тот способ, каким люди изучают поведение друг друга, в том числе язык, и извлекают смысл из высказываний друг друга