Надевать мантию творца — крайне самонадеянный поступок. Сможем ли мы тягаться с 3,5 миллиарда лет эволюции? Интересно будет узнать.
Умвельт[91] безответного
Мышление — это не просто вычисление, это также познание и созерцание, которые неизбежно приводят к развитию воображения. С помощью воображения мы подтягиваем реальный мир до идеала, а для этого нужна система морали, определяющая, что есть идеал. Мораль основывается на сознании и сознательной внутренней жизни, достаточно насыщенной для того, чтобы задуматься, что такое идеал. Известный афоризм, приписываемый Эйнштейну: «Воображение важнее, чем знания» — интересен потому, что ставит вопрос, над которым действительно стоит поразмыслить: вопрос не об искусственном интеллекте, а об искусственном воображении.
Конечно, воображение всегда «искусственно» — в том смысле, что оно связано с нереальным или трансреальным, с тем, чтобы возвыситься над реальностью и представить себе альтернативы ей, а это требует умения принимать неопределенность. Но алгоритмы, управляющие вычислениями машины, лучше всего справляются с конкретными задачами, в которых нет места неопределенности. «Если A, то B» — это антитеза воображения, живущего в области «Что, если?», где ответов нет и зачастую не может быть. Как писала Ханна Арендт, потеря способности задавать подобные безответные вопросы означала бы «потерю не только возможности продуцировать мысли-вещи, которые мы называем произведениями искусства, но также и способности ставить вопросы без ответа, на которых основывается любая цивилизация»{10}.
Научатся ли когда-нибудь машины задавать вопросы без ответов, без чего невозможно подлинное мышление, и будет означать, разовьется ли у них когда-нибудь сознание или нет.
Но исторически наши критерии сознания были ограничены солипсизмом человеческого опыта. Уже в XVII веке Рене Декарт провозгласил: «Cogito ergo sum»[92], подразумевая, что мышление — это исключительно человеческий дар, как и сознание. Он видел в животных автоматы — машины, движимые только инстинктом. И вот сегодня мы вместе с наиболее выдающимися учеными подписываем Кембриджскую декларацию о сознании, которая гласит, что животные обладают сознанием и внутренней жизнью различной степени сложности. Кроме того, мы проводим эксперименты, которые подтверждают, что крысы — крысы! — демонстрируют моральное поведение.
Машины когда-нибудь будут нравственны, креативны? Возможно, что если (когда) они к этому придут, их сознание, по человеческим меркам, не будет считаться таковым. Их идеалы не совпадут с нашими идеалами, но все равно останутся идеалами. Станем ли мы считать происходящие в таких машинах процессы мышлением или нет, зависит от ограниченности наших представлений об иных — возможно, совершенно, невообразимо иных — модальностях мышления.
Они будут думать о себе?
Первый вопрос, который встает, когда мы задумываемся о мыслящих машинах, это вопрос о том, насколько они в определенный момент будут похожи на нас. И тут мы приходим к вопросу о собственном «я». Мыслящие машины когда-нибудь эволюционируют до такого состояния, чтобы у них появилось самосознание, схожее с человеческим? Мы, вероятно, единственный вид, способный сознательно осмыслить то, кто мы есть, — не только знать о своем «я», но также и оценивать это «я» с особой внутренней точки зрения.
Машины разовьют у себя подобное «я»? Смогут ли они испытать воздействие тех же эволюционных сил, которые сделали человеческое «я» фактором повышенной адаптации? Сюда входит необходимость общаться с другими, получать определенный статус и присоединяться к социальным группам. Если вы хотите успешно существовать в человеческом общежитии, полезно иметь такое «я», которое вы мотивированы защищать и улучшать; это то, что побуждает вас становиться человеком, которого другие любят, уважают, к которому прислушиваются, — ведь в итоге повышаются ваши шансы прожить достаточно долго, чтобы произвести на свет потомство. Ваше «я» также дает вам понимание, что у других тоже есть собственное «я», — понимание, необходимое для сопереживания и сотрудничества, а это два необходимых условия социального общежития.
Машины когда-нибудь испытают воздействие таких эволюционных сил? Начнем с предположения о том, что машины в определенный момент начнут сами контролировать доступ к необходимым им ресурсам, таким как электричество и интернет, и сами будут отвечать за собственную «жизнь» и «смерть». Далее предположим, что в этой среде будут выживать те экземпляры, которые запрограммированы придерживаться по крайней мере одной связанной с собственным «я» цели: повышать свою эффективность и производительность. Эта цель будет сродни стремлению человеческого гена к воспроизводству; в обоих случаях цель определяет поведение, направленное на лучшую выживаемость, будь то поведение человека, обладающего определенным геном, или компьютера, выполняющей определенную программу.
В таких условиях машины будут мотивированы конкурировать друг с другом за ограниченные ресурсы. Те, кто сможет формировать союзы и сотрудничать, то есть жертвовать собственными целями ради чужих в обмен на выгоды в будущем, добьются большего успеха в такой конкуренции. Так что можно представить будущее, в котором машинам окажется выгодно с точки зрения адаптивности становиться социальными существами и формировать отношения с другими машинами, а следовательно, развивать у себя «я», подобное человеческому.
Однако тут нужно сделать одну важную оговорку. Любая социальность, возникающая среди машин, будет качественно отличаться от человеческой по одной ключевой причине: они могут в буквальном смысле читать мысли друг друга. В отличие от людей, им не требуется вторичная — часто имеющая серьезные недостатки — интерпретативная форма эмпатии, на которую опираемся мы. Машины могут непосредственно изучать разумы друг друга. Это делает общение совершенно иным процессом. Несмотря на высочайшую важность множества наших социальных связей, в конечном счете мы, люди, по существу, одиноки. Любая ощущаемая нами связь с чьим-то разумом метафорична; мы не можем знать наверняка, что происходит у другого в голове, по крайней мере не так, как мы знаем собственные мысли. Этого ограничения для машин не существует. Компьютеры могут получать прямой доступ к «мыслям» друг друга, и нет причин для того, чтобы одна машина, читающая аппаратную и программную часть другой машины, не сумела бы понять — в форме подлинного личного переживания, — каково быть другой. Следовательно, каждая из машин не будет совершенно отдельным «я» в человеческом смысле. Как только ИИ проникнут в разумы друг друга, их «я» обязательно станет коллективным.
Да, машины легко могут отследить источники разных битов получаемых данных и, таким образом, провести различие между своим «я» и прочими машинами. Но когда один индивид понимает другого на таком уровне, на каком это может сделать машина, различие между «я» и «другой» становится совершенно несущественным. Если я скачаю все содержимое вашего компьютера на внешний жесткий диск и подключу его к своему компьютеру, не станут ли эти данные частью «я» моего компьютера? Если я установлю соединение между нашими компьютерами, чтобы они постоянно синхронизировали информацию друг с другом, продолжат ли они быть двумя отдельными машинами? Или с этого момента они становятся едины? Людям никогда не получить такого доступа в разуму другого; несмотря на все наши усилия с кем-то сблизиться, всегда есть непреодолимая граница, разделяющая разумы. Однако для машин расширение собственного «я» — не только возможный, но и наиболее вероятный результат запрограммированной задачи повышать выживаемость в таком мире, где группы индивидов должны конкурировать за доступ к ресурсам и делиться ими.
Имея собственное «я», машины будут настолько коллективными существами, что, вероятно, спровоцируют появление нового уровня социальности, неизвестного людям, — возможно, более близкого к эусоциальности муравьев, так тесно связанных генетически, что самопожертвование ради члена семьи у них стало фактором выживания. Тем не менее само по себе то, что машина вообще способна иметь собственное «я», обнадеживает. «Я» — это то, что позволяет нам испытывать сочувствие, и для машин оно может стать тем, что заставит их заботиться о нас. Самосознание, вполне вероятно, мотивирует машины защищать (или, по крайней мере, не атаковать) биологический вид, для представителей которого, несмотря на куда более низкий уровень интеллекта, тоже важно, кто они есть.
Конечно, вряд ли стоит надеяться, что со стороны сверхразумных машин мы увидим больше сочувствия, чем со стороны многих людей сейчас.
Органическое мышление против артефактного
Организмы — по сути машины (в широком понимании этого слова). Следовательно, поскольку мы, люди, являемся мыслящими организмами, мы также и органические мыслящие машины, вероятно наряду со многими животными. Некоторые машины — скорее артефакты, чем организмы, а какие-то из них, возможно, мыслят (опять же в широком понимании). Такие вещи — это артефактные мыслящие машины, например компьютеры и подобные им устройства.