Они до сих пор остаются такими, несмотря на закон Мура и все прочее. Улучшения есть, но происходят они очень медленно. Поисковые системы, например, в определенных ситуациях стали вполне годным средством протезирования памяти для некоторых из нас. Но они все еще довольно глупые. Так что я очень жду того момента, когда я смогу сказать своему компьютеру: «Эй, как ты думаешь: не является ли идея Роберта Нозика о развитии государства крайним случаем действия сетевых эффектов?» — и получить ответ, который будет хотя бы приблизительно так же хорош, как ответ обычного аспиранта.
Но до этого, увы, еще далеко. Прямо сейчас мне довольно сложно убедить программу, преобразующую то, что я диктую, в текст, и когда я говорю «Бруно Латур», то имею в виду вовсе не «баран ли тур?». Но, по крайней мере, приложение «Персональный помощник» в моем смартфоне знает, что когда я прошу показать прогноз погоды, то мне нужен прогноз для британского Кембриджа, а не для одноименного города в Массачусетсе.
Но приложение «Персональный помощник» на самом деле довольно убого. Вот что мне и вправду хотелось бы получить, так это машину, которая будет функционировать подобно настоящему личному помощнику, что-то, что позволит мне работать эффективнее. Иначе говоря, машину, которая может думать самостоятельно. Как узнать, когда технологии будут достаточно развитыми для этого? Очень просто: когда мой личный помощник, обладающий искусственным разумом, сможет придумать нормальную отговорку, позволяющую не делать того, чего мне делать не хочется.
Стоит ли мне беспокоиться по поводу возможного появления мыслящих машин? Вероятно, стоит. Ник Бостром определенно считает, что стоит. Он утверждает, что наша зацикленность на желании сделать компьютер, который продемонстрировал бы интеллект человеческого уровня, — результат заблуждения. Мы рассматриваем машины, которые могут пройти тест Тьюринга, как конечную цель научных поисков Дага Энгельбарта. Но Бостром считает, что прохождение теста — лишь полустанок на пути к чему-то намного более тревожному. «Этот поезд, — говорит он, — может проскочить станцию „Человеково“, не останавливаясь и даже не снижая ход. Скорее всего, он со свистом пронесется мимо»{4}. И Бостром прав. Так что мне стоит быть осторожнее с желаниями.
Мы пока что стоим в самом начале пути
Прежде чем говорить о том, что я думаю по поводу мыслящих машин, я скажу вот что: мы по большей части слишком поспешно стремимся сформировать мнение по этой сложной теме. Многие пожилые ученые до сих пор не знают о новом корпусе научных идей, который появился на основе допущения о появлении сверхразума. Существует тенденция приспосабливать любую сложную новую идею под знакомый шаблон. И по какой-то странной причине многие считают, что надо обсуждать события, описанные в различных научно-фантастических романах и фильмах, когда заходит разговор о будущем искусственного интеллекта (хотя предостережение Джона Брокмана, высказанное комментаторам Edge, о том, что не следует так поступать, можно считать смягчающим фактором).
Что ж, я снял эту тяжесть с груди и теперь выскажусь по поводу мыслящих машин: машины на данный момент очень плохо думают, за исключением определенных узких областей. Возможно, когда-нибудь они научатся делать это лучше нас, точно так же, как уже сейчас они стали намного сильнее и быстрее, чем любое биологическое существо.
У нас мало информации о том, как далеки мы от этой точки, так что в попытках определить возможное время появления сверхразума нам надо использовать широкое вероятностное распределение. Переход от искусственного интеллекта уровня человеческого к сверхразуму, скорее всего, произойдет быстрее, чем переход от нынешнего уровня ИИ до уровня человеческого (хотя в зависимости от архитектуры понятие «человеческого уровня» может и не иметь особого смысла в этом контексте). Сверхразум запросто способен оказаться лучшим или худшим, что когда-либо случалось в истории человечества, по причинам, которые я описал в других своих работах.
Вероятность благоприятного исхода в основном определяется внутренней сложностью проблемы — тем, каковы ее основные движущие силы и насколько трудно ими управлять. Последние исследования указывают на то, что она сложнее, чем можно было предположить. Однако мы пока что стоим в самом начале пути, и есть вероятность, что у проблемы имеется какое-то простое решение или же все сложится хорошо и без особых усилий с нашей стороны.
Тем не менее то, насколько хорошо мы подготовимся, способно повлиять на распределение вероятностей. Самое полезное, что мы можем сделать на данном этапе, — это форсировать развитие крошечной, но растущей области исследований, которая разрабатывает проблему сверхразума и его управляемости, а также такие вопросы, как перенос человеческих ценностей в программное обеспечение. Причина развивать данное направление прямо сейчас отчасти состоит в том, чтобы скорее получить первые результаты по проблеме управляемости, отчасти в том, чтобы привлечь к этой работе величайшие умы современности, — и тогда, когда природа проблемы станет более ясной, они уже будут в курсе дела. Похоже, что математика, теория вычислительных систем и, возможно, философия — сейчас самые важные дисциплины. Вот почему уже предпринимаются значительные усилия, чтобы привлечь в эту область талантливых ученых и финансирование, а также начать разрабатывать план действий.
Эволюционирующий искусственный интеллект
Разве научится искусственный интеллект думать, чувствовать, предполагать, сопереживать, дружить, общаться, извлекать мораль? На самом деле он способен делать это любым из способов, которые мы могли бы представить себе, и множеством других, совершенно невообразимых способов. Чтобы встряхнуть воображение, можно рассмотреть различные формы естественного интеллекта, которые встречаются в современных биологических системах, и поразмышлять о вариантах, которыми обладали 99 процентов всех видов, когда-либо живших на Земле, но давно исчезнувших, — благодаря информации, донесенной до нас теми немногими счастливчиками, что завещали свои окаменелые останки пантеону истории эволюции. У нас есть право стимулировать наше воображение подобным образом, потому что, согласно нашим лучшим теориям, интеллект — это функциональное свойство сложных систем, а эволюция, помимо прочего, является алгоритмом поиска, который находит такие функции. Таким образом, формы интеллекта, обнаруженные до настоящего времени естественным отбором, уменьшают нижнюю границу оценки разнообразия возможных вариантов. Эволюционная теория игр предполагает, что верхней границы нет: достаточно всего четырех конкурирующих стратегий для хаотической динамики и странных аттракторов.
Когда мы рассматриваем естественные формы интеллекта, полученные эволюционным путем, то обнаруживаем неоднородность, предполагающую разумоцентрическое представление об интеллекте, которое так же правдоподобно, как геоцентрическое представление о космосе. Интеллект, что мы считаем эталонным, — всего лишь одна из многих точек (притом бесконечно малая) во вселенной чужих разумов, во вселенной, которая не крутится вокруг нашего вида, а большей частью игнорирует его.
Например, самка богомола Pseudomantis albofimbriata, когда бывает голодна, использует сексуальные уловки, чтобы добыть пищу. Она испускает феромон, который привлекает самцов, а затем поедает тех, кто явился на свидание. Старший птенец в выводке голубоногой олуши, когда бывает голоден, прибегает к факультативному каинизму. Он убивает младшего птенца, заклевывая его до смерти или выбрасывая из гнезда, где тот погибает от переохлаждения. Мать смотрит на это не вмешиваясь. Вот вам варианты естественного интеллекта, варианты, которые мы готовы назвать одновременно чужими и подозрительно знакомыми. Они нарушают привычные нам каноны сочувствия, сосуществования и морали, но все же и в переменчивой истории человечества есть примеры людоедства и братоубийства.
Наше исследование обнаруживает другую важнейшую особенность естественного интеллекта: у каждого примера свои пределы применимости — те точки, где интеллект передает эстафету глупости. Самка серого гуся нежно заботится о кладке — но только если поблизости нет волейбольного мяча. Она оставит свой выводок в безнадежной погоне за необычайным яйцом. Самец жука-златки Julodimorpha bakewelli летает в поисках самки для спаривания — если только не приметит подходящую пивную бутылку. Тогда он оставит самку ради бутылки и будет пытаться спариться с холодным стеклом, пока смерть не разлучит их.
Человеческий интеллект тоже передает эстафету. Эйнштейну приписывают такую цитату: «Есть только две бесконечные вещи: Вселенная и человеческая глупость. Хотя насчет Вселенной я не вполне уверен». Некоторые пределы человеческого интеллекта вызывают замешательство. Например, набор функций целых чисел к целым числам неисчислим, тогда как набор вычислимых функций является счетным. Следовательно почти все функции невычислимы. Но попробуйте придумать хоть одну! Оказывается, нужен гений вроде Алана Тьюринга, чтобы найти пример, подобный проблеме остановки[40]. А чтобы понять такой пример, нужен исключительный ум, совсем чуть-чуть не дотягивающий до гениальности.
Другие пределы попадают ближе к цели: диабетики, которые не могут отказаться от десерта, алкоголики, которые не могут отказаться от выпивки, игроки, которые не могут отказаться от игры. Но дело не только в тех, у кого есть пагубн