стродействия вычислительной техники.
Во время учебы в аспирантуре Хинтона сильно задели нападки Мински и Пейперта на нейронные сети. В Англии стоило ему сказать, что он занимается искусственными нейронными сетями, в ответ раздавалось: «Разве ты не знаешь, что от них нет толку?» Его консультант рекомендовал ему забыть о своем увлечении и прочитать диссертацию Терри Винограда. Все это впоследствии стало символической логикой. Но Хинтон выбрал другой путь. Он работал над концепцией, названной им позднее «инженерией на основе нейронауки». Хинтон не ударился в крайность, характерную для некоторых в новой области биологических компьютеров. На его взгляд, рабское копирование биологии было бы ошибкой. Споры по этому вопросу не утихли и десятилетия спустя. В 2014 г., когда Европейский союз выделил швейцарскому исследователю Генри Маркраму $1 млрд для создания модели человеческого мозга в мельчайших деталях, Хинтон не сомневался – проект обречен на неудачу.
В 1982 г. Хинтон организовал летний семинар по параллельным моделям ассоциативной памяти, в котором должен был участвовать Терри Сейновски. Молодого физика интересовали возможности моделирования мозга с использованием новых схем. Это была первая научная конференция, организованная Хинтоном. Он понимал, что соберет публику, которая встречалась уже не раз, и что эти, на его взгляд, «пожилые профессора за 40» непременно затянут старую песню. Тем не менее рекламный листок был разослан по департаментам вычислительной техники и психологии. В качестве приманки листок обещал оплатить расходы тем, у кого есть новые идеи. Как и следовало ожидать, большинство откликнувшихся занимались решением проблем традиционными методами. Но одно из предложений выделялось на общем фоне. Оно поступило от молодого ученого, заявлявшего, что он разгадал «машинный код мозга».
Примерно тогда же Хинтон оказался на конференции, в которой участвовал известный исследователь машинного зрения из Массачусетского технологического института Дэвид Марр, и поинтересовался у него, в своем ли уме этот парень. Марр ответил, что знает его, что у него светлая голова и что не имеет представления, сошел ли тот с ума. Было ясно одно, что Сейновски делает нечто новое в области когнитивных исследований.
На семинаре Хинтон и Сейновски встретились впервые. В Калифорнийском университете уже предложили новый подход к созданию модели работы мозга. Так называемая параллельная распределенная обработка была альтернативой символьному подходу, который тогда доминировал в области искусственного интеллекта и когнитивных наук. Двое исследователей быстро поняли, что смотрят на проблему одинаково. Они видели силу нового подхода на основе сетей датчиков, или «нейронов», взаимосвязанных представляющей силу связей матрицей параметров. Чтобы сеть распознавала образ при таком подходе, нужно было представить его в виде графа весовых коэффициентов. Этот подход оказался несравненно эффективней, чем первоначальная символьная модель искусственного интеллекта.
Все изменилось в 1982 г., когда бывший научный руководитель Сейновски по физике Джон Хопфилд создал то, что получило название нейронной сети Хопфилда. Подход Хопфилда отличался от прежних моделей нейронных сетей, созданных разработчиками первых персептронов, тем, что позволял отдельным нейронам независимо менять свои параметры. Свежий взгляд на идею нейронных сетей вдохновил Хинтона и Сейновски на тесное сотрудничество.
Молодые ученые к этому времени получили свои первые преподавательские должности: Хинтон – в Университете Карнеги – Меллона, Сейновски – в Университете Джона Хопкинса, но они достаточно крепко сдружились, чтобы четырехчасовая поездка не была препятствием для встреч по выходным. Было понятно, что найден способ превращения первоначальной модели нейронных сетей в более мощную обучающуюся систему. Они знали, что люди учатся путем наблюдений и обобщений, и сконцентрировались на имитировании этого процесса. Новый вид многослойной сети назвали «машиной Больцмана» в честь австрийского физика Людвига Больцмана. В эту модель они заложили более эффективный подход к машинному обучению и добились самого значительного прогресса со времени первого однослойного алгоритма обучения, разработанного Розенблаттом.
Политический спор вокруг персептронов миновал Сейновски. Как студент-физик, он был далек от мира искусственного интеллекта в конце 1960-х гг., когда Мински и Пейперт заварили бучу. Но он прочел книгу «Персептроны», и она понравилась ему прекрасными геометрическими построениями. Тогда он пропустил мимо ушей их вывод о том, что персептрон не удастся применить к миру многоуровневых систем. Теперь появилась возможность доказать, что они ошибались.
Хинтон и Сейновски создали альтернативную модель, но им нужно было доказать ее эффективность по сравнению с популярными в то время системами, основанными на правилах. Чтобы продемонстрировать преимущества новой технологии, Сейновски с помощью аспиранта в течение лета занимался проблемами языка, обучая свою нейронную сеть произносить английские фразы. В то время у него не было опыта в лингвистике, поэтому он пошел в школьную библиотеку и взял учебник с изложением правил произношения. Нужно было знать весь этот невероятно сложный набор правил и исключений, чтобы правильно говорить по-английски.
В разгар работы по созданию нейронной сети, способной освоить правильное произношение, в Балтимор приехал Хинтон. Он был настроен скептически.
«Вряд ли из этого что-то выйдет, – сказал он. – Английский – невероятно сложный язык, и простая сеть не освоит его».
Друзья решили начать с упрощенной версии языка. Они вновь отправились в библиотеку и нашли книжку для детей с очень небольшим набором слов. Теперь сеть была настроена на усвоение языка из детской книги. В течение часа после того, как система начала работать, исследователей одолевали сомнения. Сначала она генерировала невнятные звуки, похожие на лепет младенца, но по мере обучения их качество улучшалось. Наконец пара слов прозвучала правильно, и процесс продолжался до тех пор, пока речь не стала идеальной. Машина запоминала и общие правила, и исключения.
Исследователи вернулись в библиотеку и взяли другое учебное пособие, где на одной стороне страницы приводилась транскрипция рассказа пятиклассника о делах в школе и о поездке к бабушке, а на другой – правильное звучание каждого слова, транскрибированное фонологом. Это было то, что нужно для обучения, и информацию пропустили через нейронную сеть. Объем текстов был относительно небольшим, но система начала говорить, как пятиклассник. Исследователи были поражены и раззадорены.
Они взяли словарь на 20 000 слов и решили посмотреть, как далеко можно зайти с их нейронной сетью. На этот раз программу запустили на неделю на довольно мощном для того времени мини-компьютере VAX компании Digital Equipment Corp. Она училась, училась и училась и в конце концов стала произносить слова, которые раньше не видела. Результаты были удивительно хорошими.
Программа получила имя Nettalk. Она состояла из 300 смоделированных элементов, которые разработчики называли нейронами. Они были организованы в виде трех слоев – входного для считывания слов, выходного для генерирования речи и «скрытого», связывавшего первые два. Нейроны соединялись друг с другом с помощью 18 000 «синапсов» – связей, имевших численные значения, которые могли рассматриваться как веса. Если такие простые сети могли «учиться» слышать, видеть, говорить и в целом повторять многое из того, что делают люди, они, очевидно, были перспективным новым направлением и в сфере искусственного интеллекта, и в сфере усиления интеллекта.
После успеха с Nettalk пути Сейновски и Хинтона разошлись. Сейновски переехал в Калифорнию и стал работать в Институте Солка, где сосредоточился на теоретических проблемах нейробиологии. Занимаясь исследованиями мозга, он уверовал в силу разнообразия как базового принципа биологии и, таким образом, фундаментально отошел от пути, по которому шло развитие современных цифровых вычислений. Хинтон получил место в отделении информатики Торонтского университета и за следующие два десятилетия усовершенствовал машину Больцмана. К первоначальной контролируемой модели он добавил возможность неконтролируемого (автоматического) обучения. Интернет стал божьим даром, открыв доступ к огромным массивам изображений, видео– и аудиозаписей. Разработки двух исследователей в конечном итоге открыли новые возможности таким компаниям, как Google, Microsoft и Apple, горевшим желанием создать интернет-сервисы на основе распознавания речи и образов.
Полный разворот судьбы персептрона в какой-то мере связан и с правильно организованной пиар-кампанией, продолжавшейся не один год. Еще до первой встречи Сейновски и Хинтона в Сан-Диего пренебрежительным отзывом Сеймура Пейперта о персептроне заинтересовался способный молодой французский студент Ян Лекун. Увидев его, Лекун направился в библиотеку и проштудировал все что можно о способных обучаться машинах. Сын авиаинженера, он с детства возился с авиационной аппаратурой и был помешан на электронике еще до поступления в колледж. Лекун изучал астрофизику, но больше все же интересовался тонкостями программирования. Он прочитал всю литературу о персептроне, начиная с 1950-х гг., и пришел к выводу, что эту тему забросили. На начало 1980-х гг. пришелся расцвет экспертных систем, и никто не писал о нейронных сетях.
В Европе Лекун был одиноким рыцарем. На последнем курсе он изучал электротехнику и начал работу над диссертацией под руководством человека, который не имел представления о его теме. Вскоре после поступления в аспирантуру ему попалась малоизвестная статья Хинтона и Сейновски о машине Больцмана. «Я должен поговорить с этими ребятами! Похоже, только они что-то понимают», – подумал он.
По счастливой случайности им удалось встретиться зимой 1985 г. во французских Альпах на научной конференции по вопросу соединения идей физики и нейронауки. Сеть Хопфилда, служившая первой моделью памяти человека, вызвала новый интерес в научном сообществе. Хотя Сейновски участвовал в конференции, он пропустил выступление Лекуна. Молодой французский ученый впервые делал доклад на английском и страшно волновался в немалой мере потому, что присутствовавший на конференции физик из Bell Laboratories сопровождал едкими замечаниями каждое выступление. Сидевшие рядом с Лекуном участники сказали ему, что это стиль Bell Labs – или идеи не на должном уровне, или для ученых лаборатории они уже не новость. Как ни странно, но после его выступления на ломаном английском ученый из Bell Labs встал и выразил одобрение. Через год Bell Labs предложила Лекуну работу.