сохраняла удачные варианты. Она проделала пошаговый путь без всякого представления о том, что ждет впереди».
Оптимизм Юдковски в отношении создания УЧИ отталкивается от мысли, что интеллект человеческого уровня был однажды создан природой в виде человека. Около 5 млн лет назад на земле жил общий предок человека и шимпанзе. Сегодня человеческий мозг вчетверо крупнее мозга шимпанзе. Получается, что примерно за 5 млн лет «глупый» естественный отбор вчетверо увеличил размер мозга и создал существо, которое намного умнее всех остальных.
«Умный» человек видит цель и стремится к ней. По идее, создать интеллект человеческого уровня он должен намного быстрее, чем это сделал естественный отбор.
Но опять же, предостерегает Юдковски, возникнет гигантская, буквально галактическая проблема, если кто-то создаст УЧИ прежде, чем он или кто-то другой придумает дружественный ИИ или способ надежно контролировать УЧИ. Если УЧИ возникнет в результате пошагового конструирования после удачного сочетания направленных усилий и случайностей, как предполагает Гертцель, то разве нам не следует ожидать интеллектуального взрыва? Если УЧИ сознает себя и способен к самосовершенствованию, как мы его определили, разве он не будет стремиться к удовлетворению базовых потребностей, которые могут оказаться несовместимыми с нашим существованием (мы говорили об этом в главах 5 и 6)? Иными словами, разве не следует ожидать, что вышедший из-под контроля УЧИ может убить нас всех?
«УЧИ — это тикающий часовой механизм, — сказал Юдковски. — Это крайний срок, к которому мы непременно должны построить дружественный ИИ, что труднее. Нам необходим дружественный ИИ. За возможным исключением нанотехно- логий, бесконтрольно выпущенных в мир, в целом каталоге катастроф не найдется ничего, что могло бы сравниться с УЧИ».
Разумеется, между теоретиками ИИ, такими как Юдковски, и его производителями, такими как Гертцель, возникают противоречия. Если Юдковски утверждает, что создание УЧИ — катастрофическая ошибка, если этот УЧИ не будет доказанно дружественным, то Гертцель хочет получить УЧИ как можно скорее, прежде чем автоматизированная инфраструктура облегчит ИСИ захват власти. Гертцелю приходили по электронной почте письма, хотя и не от Юдковски или его коллег, в которых его предупреждали, что если он будет продолжать развитие небезопасного УЧИ, то «будет виновен в холокосте».
Но вот парадокс. Если Гертцель откажется от работы над УЧИ и посвятит свою жизнь пропаганде отказа от подобных намерений, это никак и ни на что не повлияет. Другие компании, правительства и университеты будут и дальше гнуть свою линию. По этой самой причине Виндж, Курцвейл, Омохундро и другие считают, что отказ от разработки УЧИ невозможен. Более того, на свете много отчаянных и опасных стран — возьмите хотя бы Северную Корею и Иран, — а организованная преступность России и финансируемые государством преступники Китая запускают в Сеть все новые и новые вирусы и производят кибер- атаки, так что отказ от разработки УЧИ означал бы попросту сдачу будущего безумцам и гангстерам.
Оборонительной стратегией, которая помогла бы обеспечить выживание человечества, может оказаться деятельность, которую уже начал Омохундро: разработка научных основ понимания и управления системами, обладающими самосознанием и способностью к самосовершенствованию, то есть УЧИ и ИСИ. А учитывая сложности создания противоядия, такого как дружественный ИИ, прежде создания УЧИ, развитие этой науки должно идти параллельно работам над УЧИ. Тогда к появлению УЧИ система контроля над ним будет готова. К несчастью для всех нас, разработчики УЧИ получили огромную фору; к тому же, как говорит Виндж, ветер глобальной экономики надувает их паруса.
Если проблема с программным обеспечением окажется неразрешимо сложной, то в колчане разработчика УЧИ останется еще по крайней мере пара стрел. Во-первых, не исключено, что проблему можно будет решить при помощи более быстрых компьютеров, а во-вторых, структуру мозга можно воспроизвести методом обратного проектирования.
Превращение системы ИИ в УЧИ методом грубой силы означает повышение функциональности аппаратной части ИИ, в первую очередь ее скорости. Интеллект и творческие возможности повышаются, если работают во много раз быстрее. Чтобы понять, как это происходит, представьте себе человека, способного сжать тысячу минут размышлений в одну минуту. В некоторых очень важных вопросах он оказывается во много раз умнее человека с тем же IQ, но думающего с обычной скоростью. Но обязательно ли интеллект должен начинаться на человеческом уровне, чтобы скорость имела значение? К примеру, если ускорить работу собачьего мозга в тысячу раз, что получится: шимпанзеподобное поведение или просто очень умная собака? Нам известно, что при четырехкратном увеличении размеров мозга, от шимпанзе до человека, человек получил по крайней мере одну суперспособность — речь. Более крупный мозг развивался постепенно, намного медленнее, чем та скорость, с которой обычно возрастает скорость процессоров.
В целом неясно, может ли скорость процессора компенсировать отсутствие разумных программ и проложить путь к УЧИ и далее, к интеллектуальному взрыву. Но согласитесь, это не кажется невозможным.
А теперь обратимся к так называемому «обратному проектированию» мозга и выясним, почему этот метод может оказаться безотказным средством решения проблемы сложности программного обеспечения. Мы уже рассмотрели кратко противоположный подход — создание когнитивной архитектуры, которая стремится в общих чертах моделировать мозг в таких областях, как восприятие и навигация. Создатели этих когнитивных систем опираются на то, как работает мозг или, скорее, — и это важно — на то, как исследователь представляет себе работу мозга. Такие системы часто называют de novo, или «с начала», поскольку их авторы не отталкиваются от реального мозга, а начинают «с нуля».
Проблема в том, что системы, вдохновленные когнитивными моделями, в конечном итоге могут недотянуть до человеческих возможностей. Да, конечно, есть перспективные результаты в работе с естественным языком, зрением, системами «вопрос-ответ» и роботами, но при этом почти любой аспект методологии и принципов, которые должны продвинуть исследователей в направлении УЧИ, вызывает горячие споры. Сколько исследователей, столько и мнений. Новые узкие области исследований и смелые универсальные теории вырастают как грибы на почве любого успеха, как индивидуального, так и коллективного. Проходит немного времени, и они исчезают без следа. Как сказал Гертцель, не существует общепринятой теории разума и общепринятых представлений о том, как можно воспроизвести разум вычислительными методами. К тому же существуют такие функции человеческого сознания, для моделирования которых нынешние программные методики, судя по всему, годятся плохо; среди них общее обучение, объяснение, осмысление и контролирующее внимание.
Итак, чего в действительности удалось добиться в области ИИ? Вспомним старую шутку о пьянице, который потерял ключи и ищет их под фонарем. Полицейский присоединяется к поискам и спрашивает: «Где именно вы потеряли свои ключи?» Человек показывает в темную подворотню. «Там, — говорит он, — но здесь светлее».
Поиск, распознавание речи, компьютерное зрение и контекстный анализ (своего рода машинное обучение, с помощью которого Amazon и Netflix определяют, что вам может понравиться) — некоторые из областей ИИ, в которых достигнуты большие успехи. Конечно, успех — результат нескольких десятилетий работы, но следует отметить, что области эти относятся к числу простейших, так что пока работы идут в основном там, «где светлее». Сами ученые говорят, что снимают пока «низко висящие плоды». Но если наша конечная цель — УЧИ, то все приложения и инструменты на базе слабого ИИ могут показаться низко висящими плодами; все они лишь едва-едва приближают нас к цели — человеческому уровню интеллекта. Некоторые исследователи уверены, что приложения на слабом ИИ вообще не являются продвижением к УЧИ. Это всего лишь неинтегрированные специальные приложения. В настоящий момент ни одна система искусственного интеллекта не может сравниться с человеческим интеллектом. Вы тоже разочарованы большими обещаниями и скромными результатами исследований ИИ? Не исключено, что на ваши чувства повлияли два очень распространенных наблюдения.
Во-первых, как говорит директор Института будущего человечества Оксфордского университета Ник Востром, «многие самые передовые ИИ просочились в распространенные приложения. Там их часто не называют ИИ, потому что, как только нечто становится достаточно полезным и распространенным, его перестают называть ИИ». Еще совсем недавно ИИ не был задействован в банковском деле, медицине, транспорте, инфраструктуре жизнеобеспечения и автомобилях. Но сегодня, если все ИИ вдруг исчезнут, вы не сможете получить кредит, электричество в вашем доме перестанет работать, а машина ехать; остановится большинство наземных и подземных поездов. Производство начало бы давать сбои и замерло, краны высохли, а пассажирские самолеты попадали бы с небес. В магазинах закончились бы продукты, и восполнить запасы оказалось бы невозможно. А когда, собственно, были внедрены все эти ИИ-системы? В последние тридцать лет, пока стояла так называемая ИИ-зима — период долгого спада уверенности инвесторов после излишне оптимистичного начала и несбывшихся предсказаний. Но на самом деле никакой зимы не было. Чтобы избавиться от ярлыка «искусственный интеллект», ученые перешли на технические термины, такие как «машинное обучение», «разумный агент», «вероятностные выводы», «продвинутые нейронные сети» и т. п.
Кстати говоря, и проблема классификации тоже никуда не делась. Области, которые когда-то считались прерогативой человека — шахматы и «Своя игра», к примеру, — сегодня принадлежат компьютерам (хотя нам по-прежнему позволяется играть). Но считаете ли шахматную программу, установленную на вашем компьютере, «искусственным интеллектом»? Что такое Watson — человекоподобная машина или всего лишь специализированная мощная система «вопрос-ответ»? Как мы будем называть ученых, когда компьютеры, такие как Golem (подходящее название!) Хода Липсома из Корнеллского университета, начнут заниматься наукой? Я хочу сказать, что с того самого дня, когда Джон Маккарти дал науке о машинном интеллекте имя, исследователи энергично создают ИИ, и с течением времени он становится все умнее, быстрее и мощнее.