Если на минуту забыть о сложности алгоритмов, то, на мой взгляд, не останется других препятствий для того, чтобы создать компьютер, действительно обладающий самосознанием. Прежде чем это случится, решения, которые принимают машины, будут играть все более значительную роль в нашей жизни. Многие люди испытывают беспокойство, но это тянется не первый десяток лет. Начиная, наверное, с простейших вычислительных машин — лифтов, которые решают, как и когда нам добраться до своей квартиры, мы позволяем им быть нашими автономными проводниками. Мы летаем на самолетах, управляемых автопилотом, наши автомобили умеют определять, когда пора пройти техобслуживание или подкачать колеса, и уже совсем скоро, наверное, станут полностью самостоятельными.
Для многих, если не для большинства относительно автоматических задач машины принимают решения намного лучше, чем люди, и мы должны быть рады тому, что у них есть возможность сделать рутинные дела безопаснее и эффективнее. Мы не утратили контроль, потому что мы создаем условия и исходные алгоритмы, которые определяют процесс принятия решений. Мне представляется, что интерфейс «компьютер — человек» — это вроде работы с хорошим помощником; чем умнее становятся машины, тем лучше становятся помощники. Всякое партнерство требует определенного доверия и частичного отказа от контроля, но если выгоды перевешивают потери, то мы продолжаем быть партнерами. Если нет — мы разрываем отношения. Я не вижу разницы между партнером-человеком и партнером-машиной.
Есть одна область, в которой надо быть осторожнее с таким партнерством — это системы командования и управления современными вооружениями. Поскольку у нас есть способ уничтожить большую часть человечества на этой планете, мысль о том, что разумные машины смогут когда-нибудь контролировать большую красную кнопку — или даже хотя бы что-то менее опасное — довольно неприятна. Это происходит оттого, что когда мы принимаем решения, то часто опираемся на интуицию и межличностные коммуникации, а не только на рациональный анализ (Карибский кризис — хороший тому пример), и мы полагаем, что у разумных машин таких способностей не будет.
Однако интуиция — результат опыта, как и коммуникация, а они в современном мире не ограничены телефонными или личными разговорами. Опять же разумный замысел, лежащий в основе систем, со множеством встроенных в них ограничений и мер безопасности, говорит о том, что решения, принимаемые машинами, даже в случае с насилием и военными действиями, не обязательно будут хуже решений, принимаемых людьми.
То же самое касается и поводов для беспокойства. Разрешите мне закончить эту статью тем, что, как мне кажется, является самым замечательным аспектом искусственного разума. Машины сейчас помогают нам заниматься наукой, делая за нас вычисления. За исключением простой арифметики, большинство старшекурсников-физиков теперь зависят от программы Mathematica, которая делает за них большую часть алгебраических операций. Когда я был студентом, нам приходилось все считать самим. Но копнем глубже.
Мне интересно, чем захотят заниматься машины, когда смогут выбирать не только ответы, но также и вопросы. Что они выберут? Что их заинтересует? Будут ли они изучать физику так же, как мы? Конечно, квантовые компьютеры, если они когда-нибудь станут применяться на практике, будут обладать значительно лучшим «интуитивным» пониманием квантовых явлений, чем мы. Смогут ли они быстрее разобраться в фундаментальных законах природы? Когда первая машина получит Нобелевскую премию? Подозреваю, что самые интересные вопросы — это, как обычно, те вопросы, о которых мы еще даже не задумывались.
Проектировочные машины для решения проблемы сложности мира
В 1950 году Алан Тьюринг разумно заметил, что вопрос: «Способны ли машины думать?» — бесполезен, и заявил: «Мне нужно заменить этот вопрос другим». В итоге он создал набор тестов, измеряющих возможности машины на основе того, насколько успешно она их выполняет, и, таким образом, заменил бинарный ответ на вопрос: «Способны ли машины думать?» — детальной оценкой: «Какие задачи способны выполнять машины?»
Потому давайте рассмотрим, что умеют делать машины.
Здесь и много где еще умные люди говорят нам, чтобы мы не беспокоились по поводу искусственного интеллекта, в то время как другие, не менее умные, люди заявляют, что беспокоиться надо. Так кому верить? Пессимисты предостерегают нас: мол, мы не знаем, как делать большие, сложные системы ИИ безопасными и надежными. Это вполне разумно. Мы также не знаем, как делать безопасными и надежными большие, сложные системы без ИИ. Нам надо лучше прогнозировать, контролировать и сдерживать непредвиденные последствия использования машин, которые мы строим. Например, мы изобрели двигатель внутреннего сгорания 150 лет назад, и он по большей части хорошо служит человечеству, но его появление также привело к повсеместному загрязнению окружающей среды, политической нестабильности, вызванной проблемой доступа к нефти, более чем миллиону смертей ежегодно в результате автомобильных аварий и (как говорят некоторые) снижению социальной сплоченности людей.
Искусственный интеллект дает нам мощные инструменты для построения систем, и, как в случае с большинством мощных инструментов, использование построенных с их помощью систем неизбежно будет иметь и ожидаемые, и непредвиденные последствия. Интересными проблемами, уникальными для ИИ, являются адаптивность, автономность и универсальность.
Системы, которые используют машинное обучение, адаптивны. Они изменяются со временем в зависимости от того, что они освоили на основе примеров. (Несмотря на то что вопрос о способности машин думать лингвистически противоречивый, в разговорном языке словосочетание «машины обучаются» вполне прижилось.) Адаптивность полезна. Мы хотим, например, чтобы программы автоматической проверки орфографии обучались новым терминам, таким как «биткоин», и чтобы нам при этом не надо было ждать очередной редакции словаря. Но иногда адаптивные программы можно подтолкнуть, пример за примером, к такому состоянию, когда их ответы будут неверными. Как проектировщикам мостов приходится решать проблему бокового ветра, так и разработчикам систем искусственного интеллекта тоже надо решать такие проблемы.
Некоторые критики опасаются, что системы ИИ строятся в рамках базовой схемы, ориентированной на максимальную полезность. Такая система оценивает текущее состояние мира, рассматривает все действия, какие может предпринять, моделирует их вероятные результаты, а затем выбирает то, что приведет к наилучшему. Она может совершать ошибки в любой момент в ходе этого процесса, но главная проблема тут состоит в определении наилучшего результата, того, чего именно мы хотим. Если мы неверно опишем наши пожелания, то можем получить совсем не то, что нам нужно. История свидетельствует, что такое случается с самыми различными системами, которые мы создаем, а не только с искусственным интеллектом. Предположим, что Конституция США — это компьютерная программа, в которой описаны наши желания; в таком случае отцы-основатели сделали то, что мы сейчас считаем ошибкой в определении, и мы потеряли более 600 000 жизней, прежде чем Тринадцатая поправка исправила эту ошибку. Подобным образом мы создали систему фондовых бирж, дающую нам возможность создавать пузыри, которые уже не раз лопались. Эти проблемы имеют важное значение для проектирования систем; мир сложен, и в нем непросто действовать.
Теперь коротко расскажу об автономности. Если системы ИИ действуют независимо, то они способны допускать ошибки, которых могли бы избежать, если б в контур был включен человек. Опять же это разумное замечание не относится исключительно к искусственному интеллекту. Возьмем нашу систему автоматических светофоров, которая заменила регулировщиков-людей, как только число машин стало столь большим, что возникла нехватка полицейских. Она допускает отдельные ошибки, но это считается разумным компромиссом. Мы и впредь будем идти на компромиссы при развертывании автоматизированных систем. В какой-то момент мы можем увидеть повсеместный рост разнообразных машин, которые вытесняют людей, что, вероятно, приведет к росту безработицы и неравенству доходов, — для меня это важнейшая проблема будущего развития систем ИИ. В технологических революциях прошлого — сельскохозяйственной и промышленной — менялся характер работы, но изменения происходили в течение жизни поколений, а не за несколько лет, что всегда приводило к появлению новых профессий, заменяющих старые. Мы можем переживать более быстрые потрясения, которые способны изменить само понятие постоянной работы (оно, кстати, существует всего-то несколько веков).
Постоянная работа защищает от перемен, гарантируя работнику стабильный источник дохода, при том что он вполне мог бы зарабатывать больше, будь они фрилансером или предпринимателем. В свою очередь, работодателю, вероятно, не нужен работник в течение всего года, но он готов платить за стабильный доступ к необходимым кадровым ресурсам. Таким образом, постоянная занятость обеспечивает стабильность, но не вполне оптимальна для обеих сторон. Если работников повсеместно заменить автоматами, то нам потребуется способ для восстановления этой стабильности.
Еще одна проблема — универсальность разумных машин. В 1965 году британский математик Ирвинг Джон Гуд написал, что «сверхразумная машина сможет создавать еще более умные машины; вне всякого сомнения, произойдет „взрыв разума“, а разум человека останется далеко позади. Таким образом, сверхразумная машина — это последнее изобретение, которое когда-либо совершит человек»{6}