Интересно, что по мере распространения послания от группы к группе его содержание уточнялось. Вначале все было просто и бескомпромиссно («Оккупация должна закончиться!»); так утверждали диссиденты, полагавшие, что правда важнее личной свободы. Широкая публика, не готовая на жертвы, поначалу воспринимала послание в смягченной форме, скажем, заявляла, что было бы целесообразно в долгосрочной перспективе передать решение местных вопросов на местный уровень. (Разумеется, встречались исключения: ряд интеллектуалов-лидеров озвучивали исходное диссидентское послание дословно.) В итоге первоначальное послание – просто потому, что оно было правдиво – возобладало, а смягченные варианты исчезли. Эстония вернула себе независимость в 1991 году, а последние советские войска покинули ее территорию три года спустя.
Люди, которые рискнули сказать правду (в Эстонии и в других странах Восточного блока), сыграли колоссальную роль в достижении результата, изменившего жизнь сотен миллионов людей, в том числе мою. Они говорили правду, даже когда их голоса дрожали.
Мое знакомство со вторым революционным посланием состоялось благодаря блогу Юдковски; этот блог побудил меня связаться с его автором и договориться о встрече в Калифорнии. Суть послания была такова: дальнейшее развитие ИИ может спровоцировать изменения космических масштабов; это безудержный процесс, который, вероятно, убьет всех на планете. Нужно приложить серьезные дополнительные усилия, чтобы этого не случилось.
После встречи с Юдковски я попытался заинтересовать его посланием своих коллег по Skype и ближайших соратников. У меня ничего не вышло. Послание казалось едва ли не безумным, уж точно откровенно диссидентским. Время прислушаться к нему еще не наступило.
Лишь много позже я узнал, что Юдковски не сам пришел к этой мысли, что не его следует считать первым диссидентом от ИИ. В апреле 2000 года Билл Джой, соучредитель и главный научный сотрудник «Сан майкросистемс», опубликовал в журнале «Wired» довольно-таки длинную статью «Почему будущее обойдется без нас». Он предостерегал:
«Привыкнув к жизни, где крупные научные открытия сделались практически повседневной рутиной, мы уже примирились с тем фактом, что самые передовые технологии XXI столетия – робототехника, генная инженерия и нанотехнологии – представляют собой угрозу, отличную от угрозы технологий, освоенных ранее. В частности, роботы, инженерные организмы и наноботы обладают общей и чрезвычайно опасной характеристикой – они способны самовоспроизводиться… Один бот может размножиться и быстро выйти из-под контроля».
Несложно догадаться, что статья Джоя вызвала много шума, но, по сути, ничего не изменилось.
Еще удивительнее для меня было то, что предупреждения о рисках ИИ стали раздаваться почти одновременно с возникновением информатики как научной дисциплины. В лекции 1951 года Алан Тьюринг заявил: «Кажется вероятным, что с началом развития метода машинного мышления не понадобится много времени, чтобы машина превзошла наш слабый разум… Поэтому на каком-то этапе мы вправе ожидать, что машины возьмут все под контроль…»[86] Десять лет спустя коллега Тьюринга по Блетчли-парку И. Дж. Гуд писал: «Первая же ультраинтеллектуальная машина станет последним изобретением, которое человек когда-либо сделает, при условии, что машина будет достаточно послушной и поведает нам, как именно следует ее контролировать»[87]. Признаться, я насчитал с полдюжины мест в «Человеческом применении человеческих существ», где Винер намекает на те или иные особенности «проблемы управления» (скажем, такое: «подобна джинну, не факт, что она будет машина, способная к обучению и принятию решений на базе этого обучения, принимать те решения, какие приняли бы мы сами или какие были бы приемлемыми для нас»). Очевидно, что первыми диссидентами, предупреждавшими о рисках ИИ, были сами пионеры разработки ИИ!
Известно множество аргументов – обоснованных и не слишком – в доказательство того, что «проблема управления» реальна, что это не какая-то нелепая фантазия. Позвольте привести всего один, отлично иллюстрирующий масштаб проблемы.
В последнюю сотню тысяч лет мир (подразумевается Земля, но этот аргумент приложим и к Солнечной системе, а также, возможно, к Вселенной в целом) существовал, скажем так, в восприятии человеческого мозга. Это означает, что мозг Homo Sapiens признавался наиболее сложным механизмом формирования будущего (вообще-то, некоторые утверждали, что во Вселенной и вовсе не найти объекта сложнее и изощреннее). Изначально мы использовали мозг только для выживания и проведения племенной политики в сообществе охотников за едой, но сегодня возможности мозга намного превосходят эффекты естественной эволюции. Планета прошла путь от производства лесов до производства городов.
Согласно предсказанию Тьюринга, когда появится сверхчеловеческий ИИ («метод машинного мышления»), главенство человеческого мозга закончится. Оглянитесь вокруг – мы являемся свидетелями финальной фазы восприятия мира, длившейся сотню тысяч лет. Сама эта мысль должна заставить задуматься, прежде чем расценивать ИИ как очередной инструмент. Один из ведущих мировых исследователей ИИ недавно признался мне, что для него будет большим облегчением узнать, что искусственный интеллект человеческого уровня невозможен.
Конечно, нам наверняка понадобится много времени для разработки человекоподобного ИИ. Но есть все основания подозревать, что дело не во времени. В конце концов, эволюция – слепой и неуклюжий процесс оптимизации – длилась относительно недолго, когда затронула животных, но привела к появлению человеческого интеллекта. Или возьмем в качестве примера многоклеточную жизнь. Пожалуй, вынудить клетки держаться вместе для эволюции было гораздо труднее, чем создать людей, когда появились многоклеточные организмы. Не говоря уже о том, что наш уровень интеллекта ограничивается такими гротескными факторами, как ширина родового канала. Вообразите, что разработчик ИИ остановил исследования только потому, что не сумел настроить размер шрифта на своем компьютере!
Здесь налицо любопытная симметрия: формируя людей, эволюция создавала систему, которая во многих важных отношениях оказалась более талантливым планировщиком и оптимизатором, чем она сама. Мы – первый вид, осознавший, что наше появление есть следствие эволюции. Кроме того, мы создали множество артефактов (радио, огнестрельное оружие, космические корабли), создать которые эволюция вряд ли способна. Поэтому наше будущее будет определяться нашими собственными решениями, а не биологической эволюцией. В этом смысле эволюция пала жертвой своей персональной «проблемы контроля».
Можно лишь уповать на то, что здесь мы окажемся умнее эволюции. Да, мы точно умнее, но будет ли этого достаточно? Давайте попробуем выяснить.
Итак, вот и мы – через полвека с лишним после первых предупреждений Тьюринга, Винера и Гуда, через десятилетие после того, как люди вроде меня стали обращать внимание на послание об угрозах ИИ. Приятно видеть, что мы добились значительного прогресса, но понятно, что конечная цель далеко не достигнута. Риски ИИ перестали считаться табуированной темой, однако не полностью осознаются исследователями искусственного интеллекта – что уж говорить об обществе как таковом. Если проводить параллели с первым диссидентским посланием, я бы сказал, что мы находимся приблизительно в 1988 году, когда рассуждения о советской оккупации уже не грозили репрессиями, но когда все равно приходилось несколько смягчать свою позицию. Сегодня довольно часто я слышу заявления наподобие следующего: «Меня не беспокоит сверхразумный ИИ, но безусловно имеются некоторые подлинные этические проблемы в повальной автоматизации»; или «Хорошо, что некоторые люди изучают риски создания ИИ, но это дело далекого будущего»; и даже очень как будто разумные утверждения: «Это маловероятные сценарии, хотя их потенциально серьезные последствия оправдывают повышенное внимание».
Что касается распространения посланий, то мы приближаемся к переломному моменту. Недавний опрос исследователей ИИ, участников двух крупных международных конференций по ИИ в 2015 году, показал, что 40 процентов из них считают риски деятельности высокоразвитого ИИ либо «важной проблемой», либо «одной из важнейших проблем в этой области»[88].
Конечно, были коммунисты-догматики, категорически не желавшие менять свою точку зрения, и сегодня почти гарантированно найдутся люди, которые никогда не согласятся с тем, что ИИ может быть опасен. Многие упомянутые коммунисты принадлежали к советской номенклатуре; многие «отрицатели» рисков ИИ руководствуются финансовыми и иными прагматическими соображениями. Чаще всего мотивом выступает корпоративная прибыль. ИИ – чрезвычайно прибыльное направление исследований и разработок; даже в тех случаях, когда это не так, вы демонстрируете приверженность моде и умение держать нос по ветру, что полезно для компании. Поэтому многие пренебрежительные отзывы диктуются корпоративным пиаром и юридическими контрактами. В определенном смысле большие корпорации суть нечеловеческие машины, преследующие собственные интересы, и их интересы могут не совпадать с интересами любого сотрудника такой корпорации. Как замечал Винер в «Человеческом применении человеческих существ»: «Когда человеческие атомы сплачиваются в организацию, в которой они используются не в соответствии со своим назначением, как разумные человеческие существа, а подобно зубцам, рычагам и стержням, не имеет большого значения то обстоятельство, что их «сырьем» послужили плоть и кровь».
Другим сильным стимулом закрывать глаза на риски ИИ оказывается человеческое (слишком человеческое) любопытство, которое не ведает границ. «Когда вы видите что-то технически полезное, то идете вперед и делаете, а с последствиями разбираетесь, только когда добились технического успеха. Так было с атомной бомбой», – сказал когда-то Дж. Роберт Оппенгеймер. Его слова недавно повторил Джеффри Хинтон, которого считают основоположником глубинного обучения; он говорил о рисках ИИ: «Я мог бы привести обычные доводы, но правда в том, что перспектива открытий манит неудержимо».