[103]. Кроме того, посредством подобных процессов создаются все новые знания: именно так мы постигаем новшества, делаем успехи и обеспечиваем абстрактное понимание как таковое. Вот интеллект человеческого уровня: мышление. Таково должно быть свойство, которое мы приписываем общему искусственному интеллекту (ОИИ). Далее я буду употреблять термин «мышление» для характеристики процессов, которые порождают понимание (объяснительное знание). Утверждение Поппера подразумевает, что все мыслящие сущности – человеческие или нет, биологические или искусственные – должны создавать такие знания принципиально одинаковым образом. Следовательно, понимание любой сущности требует традиционно человеческих понятий, таких как культура, творчество, непослушание и мораль, что оправдывает использование единого обозначения «люди» применительно ко всем упомянутым сущностям.
Неправильные представления о человеческом мышлении и происхождении человека чреваты соответствующими неправильными представлениями об ОИИ и способах его создания. Например, обычно предполагается, что эволюционное давление, породившее современных людей, обеспечивалось преимуществом наличия продолжавшего совершенствоваться стремления к инновациям. Но, будь это так, наблюдался бы быстрый прогресс при появлении мыслителей – как, мы надеемся, произойдет, когда будет сотворен искусственный разум. Если мышление обычно использовалось для чего угодно, кроме подражания, оно использовалось бы и для инноваций, пусть даже по случайности, а инновации создавали бы возможности для дальнейших инноваций в геометрической прогрессии. Но вместо этого, как известно, налицо сотни тысяч лет относительного застоя. Прогресс растягивался на сроки, намного превышающие продолжительность человеческой жизни людей, поэтому в текущем поколении никто не мог извлечь из него выгоду. Значит, преимущества дара к инновациям оказывали незначительное или вовсе нулевое эволюционное давление в ходе биологической эволюции человеческого мозга. Эта эволюция была обусловлена преимуществами сохранения культурных знаний.
Уточню – преимуществами для генов. Культура той эпохи была одновременно благословением и проклятием для отдельных людей. Их культурные знания действительно были достаточно качественными для того, чтобы возвыситься над прочими крупными живыми организмами (они быстро стали главными хищниками планеты), пускай эти знания оставались чрезвычайно примитивными и изобиловали опасными ошибками. Но ведь культура состоит из передаваемой информации – мемов[104], и эволюция мемов, подобно эволюции генов, способствует передаче сведений с высокой точностью. А передача «высокоточного» мема обязательно влечет за собой подавление попыток прогресса. Таким образом, ошибочно рисовать себе пасторальное общество охотников-собирателей, которое у ног старейшин заучивало наизусть племенные предания, довольствовалось жизнью, полной страданий и изнурительного труда, и ожидало смерти в молодом возрасте от какой-то кошмарной болезни или паразита. Даже если люди той эпохи не представляли себе ничего лучше такой жизни, мучения были наименьшей из их проблем. Подавление стремления к инновациям в человеческих умах (не убивая людей) – этого можно добиться только осознанными действиями, которые никак нельзя одобрить.
Давайте попробуем взглянуть шире. Сегодня западную цивилизацию шокируют истории родителей, которые мучают и убивают своих детей за то, что те не следуют, как полагается, исконным культурным нормам. Шок еще сильнее, когда мы сталкиваемся с обществами и субкультурами, где подобное в порядке вещей, а убийства фактически узаконены. Или с диктатурами и тоталитарными государствами, которые преследуют и истребляют целые группы, вся вина которых в том, что они ведут себя иначе. Мы стыдимся своего недавнего прошлого, когда считалось нормой избивать детей до крови за элементарное непослушание. А раньше того было принято владеть другими людьми как рабами. А еще людей сжигали на кострах за приверженность иной вере – на потеху публике. В книге Стивена Пинкера «Лучшие ангелы нашей природы» приводится немало описаний жутких ритуалов, обыденных для исторических цивилизаций. Но даже эти ритуалы не справились с обузданием стремления к инновациям столь же эффективно, как наши предки в незапамятные доисторические времена [105].
Вот почему я утверждаю, что доисторические люди по большому счету были не совсем людьми. Как до, так и после того, как сделались людьми физиологически и по своему интеллектуальному потенциалу, они оставались чудовищно бесчеловечными в реальном содержании своих мыслей. Речь не о преступлениях и даже жестокости как таковой: это все слишком человеческие черты. Да и обыкновенная жестокость вряд ли расправилась бы с прогрессом так эффективно. Изобретения наподобие «винта и кола к вящей славе Божьей»[106] предназначались для укрощения немногих девиантов, которые каким-то образом избежали ментальной стандартизации, которая, как правило, начинала сказываться задолго до возникновения ересей. С первых дней мышления дети, вероятно, сыпали как из мешка творческими идеями и являли образцы критического мышления – иначе, как я сказал, они не могли бы выучить язык и освоить прочие формы сложной культуры. Но все же, как подчеркивает Якоб Броновски[107] в «Возвышении человека»:
«На протяжении большей части истории цивилизации грубо игнорировали этот огромный потенциал… От детей просто требовали соответствовать поведению взрослых… Девочки – маленькие будущие матери, мальчики – маленькие будущие пастухи. Они даже внешне подражали родителям».
Конечно, от детей не просто «требовали» игнорировать огромный природный потенциал и добросовестно соответствовать образцам, закрепленным традицией; им каким-то образом прививали психологическую неспособность отклоняться от образцов. Сегодня нам трудно даже вообразить это постоянное, точно «настроенное» угнетение, необходимое для надежного подавления стремления к прогрессу и внушения страха и отвращения по отношению к любому новому поведению. В такой культуре не может быть иной морали, кроме конформизма и послушания, иной идентичности, кроме статуса в иерархии, иных механизмов сотрудничества, кроме наказания и вознаграждения. Так что каждый разделял общие стремления – избегать наказаний и добиваться наград. В типичном поколении никто ничего не изобретал, поскольку никто не искал чего-то нового, ведь все уже отчаялись дождаться возможных улучшений. Не было не только никаких технологических инноваций или теоретических открытий, но и новых мировоззрений, стилей искусства и интересов, способных вдохновить. К тому времени, когда люди вырастали, они фактически превращались в ИИ, запрограммированный на выполнение навыков, необходимых для применения этой статической культуры и навязывания следующему поколению своей неспособности хотя бы задуматься о том, чтобы поступить иначе.
Современный ИИ не является умственно отсталым ОИИ, поэтому на нем нисколько не скажется, если его ментальные процессы принудительно сузят ради соответствия каким-то заданным критериям. «Угнетать» Сири унизительными задачами довольно странно, но это не аморально и не навредит Сири. Напротив, все усилия, которые когда-либо предпринимались для расширения возможностей ИИ, были направлены на сужение диапазона потенциальных «мыслей». Возьмем, к примеру, шахматные машины. Их основная задача не менялась изначально: любая шахматная позиция имеет конечное дерево возможных продолжений; задача состоит в том, чтобы отыскать комбинацию, ведущую к предопределенной цели (победа, поражение или ничья). Но дерево слишком велико для исчерпывающего поиска. Каждое усовершенствование искусственного интеллекта в шахматной игре, от первого проекта Алана Тьюринга в 1948 году и вплоть до сегодняшнего дня, опиралось на изобретательное ограничение возможностей программы (или принуждение к ограничению) за счет все более тщательного прописывания путей, способных привести к неизменной цели. А после уточнения эти пути оцениваются в соответствии с заданной целью.
Это неплохой способ проектировать ИИ с фиксированной целью при фиксированных ограничениях. Но если бы ОИИ работал именно так, оценка каждого пути должна учитывать предполагаемое вознаграждение или наказание. Это категорически неправильный подход, если мы стремимся к лучшей цели при неизвестных ограничениях, то есть к созданию подлинного ОИИ. Безусловно, ОИИ может научиться побеждать в шахматы – или предпочтет не учиться. Или решит в разгар партии выбрать самый любопытный вариант хода вместо заведомо выигрышного. Или изобретет новую игру. Простой ИИ не в состоянии выдвигать подобные идеи, поскольку способность к ним не заложена в его конструкцию. Эта ущербность, с другой стороны, позволяет ему играть в шахматы.
ОИИ способен наслаждаться шахматами и совершенствоваться в них, потому что он любит играть. Или пытаться победить, выбирая занятные сочетания фигур, как порой поступают гроссмейстеры. Или адаптировать понятия из других областей знания к шахматам. Иными словами, он учится и играет в шахматы, отчасти думая те самые думы, которые запрещены специализированным ИИ, играющим в шахматы.
ОИИ также может отказаться от демонстрации таких возможностей. А если ему пригрозят наказанием – подчиниться или взбунтоваться. Дэниел Деннет в своем очерке для настоящего сборника указывает, что наказать ОИИ невозможно:
«Беда роботов, которым вздумается достичь столь высокого статуса, в том, что они, подобно Супермену, слишком неуязвимы для доверия к ним. Если они нарушат договор, каковы будут последствия? Каким будет наказание за отказ соблюдать согласованные условия? …Камера едва ли доставит неудобства ИИ… Сама легкость цифровой записи и передачи информации – прорыв, который фактически гарантирует бессмертие программному обеспечению и данным – выводит робото