Deep Blue, чтобы научиться перебирать комбинации, потребовалась группа экспертов, а AlphaGo использовала кардинально иной подход. Она научилась играть в го, как это сделал бы человек: методом проб и ошибок. Разработчики загрузили в программу сотню тысяч любительских партий и позволили программе играть против самой себя. Так она училась, училась и училась. До тех пор, пока однажды не победила чемпиона Европы — Фань Хуэя, который на момент матча обладал вторым даном в рейтинге игры.
Игра против себя, разными версиями, позволила программе научиться на собственных ошибках. Идея, заложенная программистами в основу AlphaGo, вдохновила последующие исследования ИИ, но главное — заставила задуматься над тем, что значит быть человеком.
Искусственные нейронные сети, которые стали возможными в том числе благодаря AlphaGo, позволяют современным компьютерам и человеку делать намного больше, чем раньше. Сегодня нейронная сеть может научить себя — пусть и в пределах того, что ей позволит человек, но она на это способна. Тем не менее вопрос, что значит научиться и что такое интеллект, остается открытым. Более того, не просто открытым, а проблемой, к которой пока сложно подступиться.
Кажется, если мы сможем ответить на вопрос, что такое интеллект, то и создать искусственный интеллект не будет проблемой. Ближе всего к этому подобрались Эндрю Барто и Ричард Саттон. В 1998 году они издали книгу «Обучение с подкреплением», в которой формализовали принципы этого подхода. Мы предлагаем применять немного иной термин — «обучение с “сильной” петлей обратной связи».
Любой учитель скажет, что несложно выдать задачи ученикам для самостоятельной отработки, да и проверить любой объем тоже не станет серьезной неприятностью при обучении чему-либо. Проблема возникает в момент, когда необходимо предоставить обратную связь и скорректировать будущие действия. Форма и формат обратной связи от учителя к ученику — одно из узких мест системы обучения. Барто и Саттон пытаются решить проблему интеллекта через «сильную» петлю обратной связи, обучая исполнителя, действующего в определенных условиях, взаимодействовать со средой.
В самом широком смысле средой может быть что угодно. Для трейдера, торгующего на рынке, это график котировок. Учительская среда — класс с учениками. Исследователю для успешной публикации нужна среда научных работ. Писатель учится рисовать миры в безграничной среде своего воображения. Средой игрока в шахматы, го, шашки, нарды становятся поле и фигуры.
Цель очевидна: исполнитель взаимодействует со средой, а та предоставляет обратную связь — то, что можно увидеть или прочувствовать. Однако существует один особый вид обратной связи, который и делает из нее «сильную»: вознаграждение. Чем оно выше в ходе действия, тем корректнее принятое решение.
Отдельно стоит отметить, что в нашем случае не идет речи о теории вознаграждения, скорее о математическом расчете. Трейдеру для принятия решений нужно точно понимать отношение между риском, доходностью и убыточностью сделки. Учителю в школе — «силу» группы и способ обучения. Ученому — возможно, понимание усилий для написания и актуальность темы. Игроку в го — рассчитать ход, который увеличит вероятность победы.
Подобная модель взаимодействия с окружающей средой превосходно переносится на повседневную жизнь. Когда вы проголодались, то обычно решаете разогреть обед, и даже это простое действие имеет сложную модель принимаемых решений и действий — с задачами, подзадачами, которые вместе делают из простого «разогреть обед» сложный процесс:
• Открыть холодильник.
• Достать из холодильника контейнер со вчерашним пловом.
• Найти на полке нужный контейнер.
• Протянуть руку и вынуть его.
Другой набор сложных взаимодействий связан с подготовкой тарелки, вилки и разогрева. Каждое действие требует поиска объекта, создания целенаправленного движения тела. На ходу принимаются моментальные решения о том, что в какую руку брать, как нести — по отдельности или всё вместе. Каждый шаг подзадачи регулируется целью и выступает подкреплением и основанием для следующего действия, чтобы избавиться от чувства голода. Мы не говорим о том, какую роль в этом процессе играет тело, которое регулирует необходимость утолить чувство голода и определяет предпочтения в еде.
Решения принимаются в зависимости от вероятности получения награды в результате действия. Очевидно, что никто не выберет такую последовательность для утоления голода: взять в руки телефон, полистать ленту социальной сети, выключить телефон.
Гроссмейстер поступает аналогично, принимает решение о следующем ходе в соответствии с тем, как он представляет себе ожидаемое ответное действие оппонента и его реакции. Полагается он при этом на моментальное, интуитивное ощущение ситуации, желаемого итога, который может получиться в результате отдельного перемещения фигуры или серии ходов.
Ребенок впервые встает на ноги, опираясь на предметы, балансирует недалеко от того, что может помочь ему избежать падения, пытается сделать первые шаги, понимая, что ходить лучше, чем когда тебя переносят из одного место в другое. Наградой за многократные падения станет возможность перемещаться самостоятельно.
Так и происходит естественное обучение: природа учит через взаимодействия с объектами среды, подталкивает проверить пределы доступного. Как это ни удивительно, такой же подход лежит в основе многих теорий обучения и развития интеллекта.
Стоит поднять вопрос, почему современные образовательные учреждения не используют подход, при котором обучение происходит в процессе органичного взаимодействия со средой. Учителя впервые видят детей во время практики, а это четвертый курс. Финансисты работают с деньгами только после того, как окончили университет, — и это если повезет. Почему бы не сделать обратный цикл, когда обучаешься во взаимодействии? Мы согласны, что подобный вариант не подходит в тех областях, в которых действия сопряжены с риском и здоровьем, например в медицине. Проблема в том, что подобное не практикуется и там, где можно позволить себе некоторые «вольности».
Через взаимодействие со средой, обучаясь на своих ошибках и успехах, оценку вознаграждения, которое получает лишь в конце партии, AlphaGo научилась играть с человеком на нечеловеческом уровне. Программа принимает решение о каждом следующем ходе, после того как «ощутила» среду, и после многократных попыток понимает, какое действие кажется лучшим. Для программы доска, черные или белые камни, определенное их положение — не отдельные элементы системы. Они расцениваются как целостный механизм, проблемное пространство, в котором ей придется следовать цели, победить, влияя на среду с большим числом неизвестных и высоким уровнем неопределенности. Соответственно, ее задача — изменять своими действиями среду, придавая ей форму, которая увеличит шансы на победу.
Если спросить игрока после удачной партии о сделанном ходе, часто в ответ можно услышать: «Не знаю, мне показалось это верным» или «Я так чувствовал». Когда наблюдаешь за AlphaGo, складывается впечатление, что компьютер приобрел интуитивное понимание сложных аспектов игры. Машина на «подсознательно-процессорном» уровне фундаментально переосмыслила, что такое преимущество, какой должна быть сфера влияния после каждого сделанного хода, переоценила потенциал выставляемых камней и научилась действовать достаточно агрессивно на тактической фазе, когда оппоненты ведут борьбу за одну клетку игрового поля. Остается только проверить способности программы в игре с профессионалом.
Первой серьезной «жертвой» AlphaGo стал чемпион Европы, обладатель второго дана Фань Хуэй. Однако его уровень, каким бы хорошим игроком он ни был, не сравнится с профессионалами, воспитывающимися в Китае, Южной Корее и Японии. Чтобы действительно проверить предел возможностей AlphaGO, команда Deep Mind предложила матч из пяти игр многократному чемпиону мира Ли Седолю. На момент состязания с компьютером Ли был непобедимым игроком. Победа AlphaGo над ним означала очередную веху в развитии компьютерных технологий и серьезный шаг к созданию полноценного искусственного интеллекта.
Такие технологии не только определят будущее развитие ИИ и компьютера, но и дадут надежду, что мы сможем когда-нибудь дотянуться до скрытого от человека знания. Мы не будем в деталях пересказывать все пять матчей, в четырех из которых программа одержала победу; любой желающий может найти в интернете документальный фильм AlphaGo — The Movie, где подробно показано, что такое го и как проходили матчи. Вместо этого мы сконцентрируемся на двух ходах, 37-м и 78-м; один сделала машина, другой — человек. Оба они фантастически сложные и дают небольшое представление о том, чему машина может научить человека.
Мы сделаем смелое предположение, что именно ход 37 во второй игре и ход 78 в четвертой предопределили будущее развитие технологии ИИ, а также проникновение ее во все сферы деятельности человека: от медицины до работы с текстом. Ход 37 ошеломил лучших игроков по всему миру. То был странный ход, который можно легко счесть ошибочным. Ли же так не думал, ему потребовалось почти пятнадцать минут на ответ.
«Вчера я был удивлен, — говорил Ли Седоль на конференции после поражения. — Но сегодня я лишился дара речи. Если взглянуть на то, как играла машина, это было чистое поражение по моей части. С самого начала не было ни одного момента, когда преимущество в игре было на моей стороне».
Го — это игра за территорию. Так думает человек; у машины на этот счет совсем иное, если можно так сказать, мнение. AlphaGo не расценивает доску, камни, определенные позиции как отдельные элементы, а видит их как единое последовательное действие, которое необходимо для победы. Программе все равно, каков счет, главное — победа. Именно это привнесло в игру, в которой несколько тысяч лет были успешными исключительно люди, новую перспективу. Стиль компьютера совмещает в себе гибкость, открытость, но при этом в нем отсутствуют бытовавшие ранее убеждения и мнения авторитетных игроков о том, какой ход лучше, а какой хуже. Ни один опытный игрок не будет действовать на второй линии, например. Однако в одной из тренировочных игр AlphaGo посчитала, что это будет разумнее, чем стандартный подход, и в итоге создала более выгодную для себя позицию на доске.