17 флопсов{64}. Что примерно соответствует вычислительной мощности Sunway TaihuLight (рис. 3.7), самого быстрого суперкомпьютера в мире на 2016 год, стоимостью около $300 млн. Даже если бы мы знали, как его использовать для симуляции мозга высококвалифицированного работника, прибыль от этого могла бы случиться только при условии, что аренда TaihuLight для нас оказалась меньше, чем почасовая оплата труда работника. Но нам, вероятно, придется платить даже еще больше, потому что, как считают многие ученые, для точного воспроизведения работы мозга нам недостаточно рассматривать его как математически упрощенную модель нейронной сети из главы 2. Возможно, нам вместо этого нужно симулировать его работу на уровне отдельных молекул или даже субатомных частиц, что требует значительно большего числа флопсов.
Рис. 3.7
Sunway TaihuLight — самый быстрый суперкомпьютер в мире по состоянию на 2016 год. Как утверждается, его первичная вычислительная мощность превосходит мощность человеческого мозга.
Проще ответить на вопрос 3: я мучительно плохо умножаю 19-значные числа, и каждое такое действие потребовало бы много минут, даже если бы вы позволили мне воспользоваться карандашом и бумагой. Это сразу отправляет меня в диапазон 0,01 флопса, отъедая 19 порядков от ответа на вопрос 1! Огромное несоответствие объясняется тем, что человеческий мозг и суперкомпьютер оптимизированы под очень разные задачи. Похожие расхождения мы бы получили, пытаясь ответить на такие вопросы:
Насколько хорошо трактор может выполнить работу болида Формулы 1?
Насколько хорошо болид Формулы 1 может выполнить работу трактора?
И какой же из этих двух вопросов о быстродействии поможет нам спрогнозировать будущее искусственного интеллекта? Ни тот и ни другой! Если бы мы хотели симулировать работу человеческого мозга, ответ на вопрос 1 был бы нам интересен, но чтобы понять, какой уровень быстродействия нужен для создания универсального искусственного интеллекта на уровне человеческого, нам надо ответить на вопрос, располагающийся посередине — вопрос 2. На него пока еще никто не знает ответа, но вычислительная мощность самого мозга может оказаться значительно ниже той, которая требуется для симуляции его работы, и всё обойдется дешевле, если мы либо адаптируем «софт», чтобы он лучше соответствовал современным компьютерам, или создадим «хард», больше похожий на мозг (чему будет способствовать быстрый прогресс так называемых нейроморфных чипов).
Ганс Моравец сделал оценку ответа, произведя сравнения типа «баш на баш» для вычислений, в которых и наш мозг, и современные компьютеры достаточно эффективны: некоторые виды низкоуровневой обработки изображений, которые сетчатка человека выполняет в задней части глазного яблока перед отправкой его результатов в мозг по оптическому нерву{65}. По этой оценке репликация вычислений на сетчатке с помощью обычного компьютера потребует около миллиарда флопсов, а весь мозг делает примерно в десять тысяч раз больше вычислений, чем сетчатка (Моравец использовал соотношение объемов и количества нейронов), так что вычислительная мощность мозга около 1013 флопсов — это примерно соответствует мощности оптимизированного компьютера за $1000 в 2015 году!
Конечно, нет абсолютно никакой гарантии, что мы преуспеем в создании универсального искусственного интеллекта на уровне человеческого при нашей жизни — или вообще когда-нибудь. Но нет и ни одного «железного» аргумента, что нам это точно не удастся. Нет никаких убедительных оснований думать, что нам не хватает «скорострельности» нашего «харда» или что он окажется слишком дорог. Мы не знаем, как далеки мы от финишной ленточки в отношении архитектуры, алгоритмов и программного обеспечения, но прогресс быстр, и возникающие затруднения успешно преодолеваются растущим мировым сообществом талантливых исследователей искусственного интеллекта. Иными словами, мы не можем исключить возможности, что универсальный искусственный интеллект рано или поздно достигнет человеческого уровня, а может, и превзойдет его. Поэтому давайте посвятим следующую главу изучению этой возможности и посмотрим, к чему такое может привести.
• Уже нынешний прогресс искусственного интеллекта обладает колоссальным потенциалом к значительному улучшению нашей жизни бесконечным числом способов: от решения личных проблем каждого конкретного члена общества, увеличения эффективности электросетей и избегания кризисов на финансовых рынках до сокращения смертности — на дорогах в автомобильных авариях благодаря беспилотным автомобилям, на операционных столах благодаря использованию хирургических ботов и просто от болезней благодаря диагностическим системам с искусственным интеллектом.
• Принципиальный вопрос при передаче под контроль искусственному интеллекту реальных систем состоит в том, чтобы научиться следить за его надежностью, гарантировать, что искусственный интеллект делает именно то, чего мы от него хотим. Это сводится к решению сложных технических проблем, связанных с тестированием, валидацией, обеспечением надежности и управляемости.
• Необходимость повышения устойчивости особенно важна для AI-систем оружия, где ставки исключительно высоки.
• Многие ведущие исследователи в области искусственного интеллекта и робототехники призывают к подписанию международных соглашений о запрещении некоторых видов автономного оружия, чтобы избежать начала новой неконтролируемой гонки вооружений, чреватой появлением легкодоступных видов убивающих автоматов, которые смогут приобретать все, у кого есть хотя бы немного денег в бумажнике и ненависти в сердце.
• Искусственный интеллект может сделать наши судебные инстанции более справедливыми и эффективными, если только мы сможем понять, как сделать работу роботов-судей прозрачной и непредвзятой.
• Правовой системе надо быстрее реагировать на изменения ситуации с искусственным интеллектом, которые способствуют возникновению неожиданных казусов, связанных с конфиденциальностью, регулированием и привлечением к ответственности.
• Задолго до того, как у нас появятся основания беспокоиться о вытеснении нас разумными машинами из жизни вообще, они будут все больше вытеснять нас на рынке труда.
• Это не обязательно плохо — до тех пор, пока общество перераспределяет долю создаваемого искусственным интеллектом богатства ради всеобщего блага.
• Тем не менее, по утверждениям многих экономистов, сохраняется опасность значительного увеличения неравенства.
• При опережающем планировании общество с низкой занятостью может процветать не только в материальном плане, но и обеспечить людей чувством осмысленного существования за счет деятельности за пределами профессии.
• Карьерный совет для нынешних детей: идите в те профессии, с которыми машинам сложнее справиться: где надо работать с другими людьми, где выше доля непредсказуемости и творчества.
• Возможностью, что создаваемый универсальный искусственный интеллект может достичь человеческого уровня или даже превзойти его, нельзя пренебрегать. Мы изучим ее в следующей главе.
Глава 4Взрыв разума?
Если машина может мыслить, то она, возможно, будет мыслить разумнее, чем мы это делаем, и где же мы тогда будем? Даже если мы сможем держать машины в подчиненном положении, мы все равно, как вид, почувствуем себя униженными.
Первая ультраразумная машина — это последнее изобретение, которое надо сделать человеку, при условии, что эта машина будет достаточно к нам расположена, чтобы сообщить, каким образом мы сможем держать ее под своим контролем.
Поскольку мы не можем полностью отвергнуть возможность, что рано или поздно универсальный искусственный интеллект человеческого уровня будет создан, давайте посвятим эту главу исследованию того, к чему это может привести.
Может ли искусственный интеллект и в самом деле захватить власть над миром, или помочь людям сделать это?
Если вы закатываете глаза, когда слышите разговоры о вооруженном захвате роботами-терминаторами всего мира, то ваша реакция точна: такой сценарий совсем не реалистичен. Эти голливудские роботы не могут оказаться умнее нас, да и вообще оказаться умными. По-моему, опасность, таящаяся в истории о Терминаторе, заключается не в том, что может случиться нечто подобное, а в том, что она отвлекает наше внимание от подлинных рисков и опасностей, связанных с искусственным интеллектом. Переход от нынешнего мира к миру, в котором верх и вправду одержан универсальным искусственным интеллектом, требует трех логических шагов:
• Шаг 1-й. Создать универсальный искусственный интеллект (AGI) на уровне человеческого.
• Шаг 2-й. Использовать этот AGI для создания сверхразума.
• Шаг 3-й. Использовать сверхразум для захвата мира или дать ему возможность сделать это самостоятельно.
В предыдущей главе мы видели, что невозможно отмести шаг 1 как заведомо исключенный. Мы также видели, что если шаг 1 сделан, то становится сложно отмести шаг 2 как безнадежный, так как созданный AGI будет вполне в состоянии непрерывно совершенствовать себя в пределах, определенных исключительно законами природы, которые, по всей видимости, допускают существование разума, превосходящего человеческий. Наконец, поскольку мы, люди, смогли обойти все остальные формы земной жизни, оказавшись умнее, предположение, что сверхразум сможет обойти нас, оказавшись умнее, выглядит также правдоподобным.
Эти рассуждения о правдоподобии выглядят обескураживающе смутными и неопределенными, однако — дьявол в деталях. Может ли искусственный интеллект и