Чем они способны нам помочь? Даже простое наблюдение за такими ИИ даст нам глубокие фундаментальные знания. Например, люди долгое время спорили по поводу того, отражают ли математические понятия платоновские «идеи» (которые существуют независимо от того, как мы намерены их использовать) или же, напротив, отражают изобретения, которые создаются для решения определенных проблем. Другими словами, следует ли нам принять математический реализм или математический конструктивизм? Есть ли у математических понятий собственная жизнь или они всего лишь порождения нашего ума, сформулированные так, как нам удобно?
В этом контексте очень помогло бы наблюдение за «далекими ИИ», обладающими совсем другими, нежели у нас, концептуальными структурами и решающими совсем другие проблемы. Предположим, что мы сможем наблюдать за тем, как «далекие ИИ» используют математику; тогда, если они разработают те же понятия, что и мы, это будет аргументом против конструктивизма.
Одни искусственные интеллекты могут работать рядом с нами, а другие могут быть помещены в чуждую среду, например на поверхность Луны или на дно глубокой океанической впадины, и поставлены перед необходимостью решать оригинальные проблемы вроде всепроникающей мелкодисперсной пыли или огромного давления воды. «Далекие ИИ» следует создавать самообучаемыми, чтобы они могли эффективно эволюционировать и работать в своей среде без участия человека, вообще без контакта с ним. При соблюдении необходимых предосторожностей, связанных с отношением ИИ к нам, мы должны позволить им развить наиболее подходящие для них концептуальные структуры.
Короче говоря, мы что-то получим и от тех искусственных интелектов, что созданы по нашему образу и подобию, и от тех, что не похожи на человека. Так же, как в случае с друзьями-людьми и коллегами-людьми, в конечном счете многообразие пойдет на пользу всем.
Нарративы и наша цивилизация
В понедельник 19 октября 1987 года волна биржевых продаж, начавшаяся в Гонконге, пересекла Европу и ударила по Нью-Йорку, вызвав падение индекса Доу — Джонса на 22 %. «Черный понедельник» стал одним из величайших падений в истории финансовых рынков, и было в нем кое-что особенное. Впервые, по мнению большинства экспертов, виноваты во всем оказались компьютеры: именно алгоритмы решали, когда и сколько покупать и продавать на бирже. Компьютеры должны были помочь трейдерам минимизировать риски, но в действительности увеличивали их, поскольку двигались все в одном направлении. В то время широко обсуждалась идея о прекращении автоматизированных торгов, но в итоге этого не случилось.
Напротив, мы наблюдаем обратную тенденцию: с момента кризиса доткомов в марте 2000 года компьютеры все больше участвуют в принятии сложных решений на финансовом рынке. Они теперь просчитывают всевозможные корреляции между невероятными массивами данных. Они анализируют эмоции, выражаемые людьми в интернете, распознавая значение слов; они находят паттерны и прогнозируют поведение; им позволено автономно выбирать сделки; они создают новые машины — ПО, называемые «деривативами», которые уже ни один человек не в силах понять.
Искусственный интеллект координирует действия своеобразного коллективного разума, работая в тысячи раз быстрее, чем человеческий мозг, и это влияет на нас множеством способов. Признаки последнего кризиса появились в Соединенных Штатах в августе 2007 года, и он произвел ужасное воздействие на жизнь людей в Европе и во всем мире. Многие чрезвычайно пострадали из-за принимаемых компьютерами решений. Эндрю Росс Соркин в своей книге «Слишком большие, чтобы рухнуть» (Too Big to Fail)[60] показал, что даже самые могущественные банкиры оказались бессильны перед последствиями кризиса. Ни один человеческий мозг, по-видимому, не мог управлять ходом событий, чтобы попытаться предотвратить кризис.
Может этот пример нас научить тому, как нужно думать о мыслящих машинах?
Они автономно осмысливают контекст и принимают решения. И они контролируют множество сфер жизни человека. Это ли не начало постчеловеческой эры? Нет, мыслящие машины — человеческие творения, они созданы инженерами, программистами, математиками, экономистами, менеджерами. Не являются ли они еще одним инструментом, который мы можем использовать во вред или во благо? Нет, на самом деле особого выбора у нас нет: мы создаем машины, не думая о последствиях, мы просто обслуживаем нарратив. Эти машины сформированы нарративом, который мало кто ставил под сомнение.
Согласно этому нарративу, рынок есть лучший способ распределение ресурсов, никакое политическое решение неспособно улучшить ситуацию, риском можно управлять, неограниченно увеличивая прибыли, а банкам должно быть позволено делать все, что они пожелают. Есть только одна цель и одно мерило успеха: прибыль.
Не машины изобретали финансовый кризис, о об этом нам напоминает биржевой крах 1929 года. Без компьютеров никто не справится со сложностью современных финансовых рынков. Лучшие искусственные интеллекты создавались усилиями лучших умов благодаря крупнейшим инвестициям. Они не находятся под управлением какого-то одного человека. Они не разработаны каким-то одним человеком. Они сформированы определенным нарративом и делают этот нарратив эффективнее. И он довольно ограничен.
Если имеет значение только прибыль, экстерналии[61] не важны. Культурные, социальные и экологические экстерналии не интересуют финансовые институты. Искусственные интеллекты, сформированные этим нарративом, создадут контекст, в котором люди не будут чувствовать никакой ответственности. И тут появляется риск: машины настолько могущественны и так хорошо обслуживают нарратив, что препятствуют тому, чтобы мы задавали вопросы по поводу общей картины, снижая тем самым вероятность появления новых точек зрения на существующие проблемы. Точнее, так происходит до очередного кризиса.
То же самое верно и для других проблем. Медицина, электронная торговля, национальная и международная безопасность, даже знакомства и обмен информацией стали территориями, где начинает работать тот же вид искусственного интеллекта. Он сформирован в соответствии с узким нарративом; он имеет склонность сводить к минимуму человеческую ответственность и не учитывает экстерналии. Каким окажется медицинский искусственный интеллект? Будет ли он сформирован нарративом, который стремится спасать жизни, или тем, что экономит деньги?
О чем нам это говорит? Это говорит нам о том, что искусственный интеллект — вещь человеческая, а не постчеловеческая и что люди могут уничтожить себя и свою планету множеством способов, из которых ИИ — еще не самый извращенный.
Умные машины сформированы человеческим образом мышления, а также тем, о чем люди недостаточно глубоко задумываются. Все нарративы освещают одни вещи и игнорируют другие. Машины реагируют и находят ответы в определенном контексте, подкрепляя тем самым его основные принципы. Но задавать фундаментальные вопросы — все еще человеческая функция. И люди никогда не устанут это делать, даже если их вопросы не согласуются с господствующим нарративом.
Без мыслящих машин нам, видимо, не обойтись во все усложняющемся мире. Но всегда будут разные нарративы, с помощью которых их можно формировать. В естественных экосистемах монокультура[62] уязвима, хоть и является более эффективным решением; подобным образом в культурной экосистеме единственная линия мышления даст эффективные, но хрупкие отношения между людьми и их средой, какие бы искусственные интеллекты люди ни строили. Многообразие в экосистемах и плюрализм мнений в человеческой истории — вот источники различных проблем и вопросов, генерирующих обильные результаты.
Думать о мыслящих машинах — значит думать о создающем их нарративе. Если новые нарративы возникают в рамках открытого, экологичного подхода, если они могут взрастить нейтральную сеть, то они сформируют новое поколение искусственных интеллектов — многообразных и готовых помогать людям в понимании экстерналий. Искусственный интеллект поставит под сомнение не существование человека как вида, но его цивилизацию.
Ответственность человека
Есть такие задачи, даже профессии, с которыми лучше всего справляются мыслящие машины, — по крайней мере, это задачи, связанные с сортировкой, сопоставлением, принятием определенного рода решений и постановкой проблем, выходящих за пределы когнитивных возможностей большинства (всех?) людей. Алгоритмы Amazon, Google, Facebook и др. построены на основе коллективного разума, но превосходят его в быстродействии и, возможно, в точности. С машинами, способными выполнять за нас часть умственной и физической работы, мы приблизимся к марксистской утопии, освободившись от нудного и унижающего человеческое достоинство труда.
Но у свободы есть цена. Для благополучия людей мало заменить рабочих машинами. Важно и то, как те, кто потеряет работу, будут содержать себя и своих детей, как будут проводить появившееся время. Первую проблему потенциально можно решить внедрением безусловного базового дохода — ответ, который вызывает встречный вопрос: как мы, наши общества, распределяем и перераспределяем материальные блага и организуем самоуправление? Вторая проблема еще сложнее. Реальность, конечно, сильно отличается от марксистских представлений о рыбной ловле днем и философских размышлениях за ужином. Люди, а не машины, должны тщательно обдумывать образование, досуг и те виды работ, с которыми машины справляются плохо или не справляются вовсе. Хлеб и зрелища способны задобрить население, но в таком случае мыслящие машины могут создать общество, которого мы не желаем, — антиутопическое или безобидно-бездеятельное. Работа механизмов определяется их архитектурой; то же верно и для социума. И за нее отвечают люди, а не машины.