…коннекционизмом. Термин «коннекционизм» чаще относят к движению в когнитивной науке, возникшему в 1980-х годах и стремившемуся понять человеческое сознание с пом ощью моделирования нейронных сетей, построенных по принципу «неравноценного голосования». Философы, занимавшиеся проблемами сознания, противопоставляли такой подход «символическому» уподоблению сознания компьютеру. Но эти жаркие споры давно канули в прошлое, и теперь, как мне представляется, лучше использовать этот термин в более широком смысле, о котором я и веду речь. Ведь связанная с этим учением интеллектуальная традиция, берущая начало еще в XIX столетии, продолжает развиваться.
…возникать из восприятия образа или из наших мыслей. Некоторые считают СЧЛД своеобразной верхушкой иерархии, о которой мы говорили ранее (см. рис. 51). В нижней части этой иерархии – области коры, отвечающие лишь за восприятие как таковое. Процесс мышления не активирует (или, по крайней мере, не очень сильно активирует) нейроны в этих областях. Похоже, грань между восприятием и мышлением не так уж тонка. Судя по всему, нейроны могут в различной степени вовлекаться в процесс мышления, и эта степень тем больше, чем выше нейрон находится на этой иерархической шкале.
…память никогда не работает идеально… Отдельные теоретики утверждают: ингибирующие нейроны могут с большей точностью контролировать распространение активности, чем это проделывают нейронные пороги, вот откуда берутся внезапные вспышки неожиданно ярких воспоминаний.
…катастрофической информационной перегрузки… Ингибирующие нейроны увеличивают емкость памяти, препятствуя распространению нейронной активности. Чтобы выполнять такую «мешающую» функцию, связям ингибирующего нейрона вообще не очень-то нужна какая-то слишком уж сложная организация. Если каждый из них получает синапсы от случайного набора возбуждающих нейронов, он будет активироваться, когда активируется эта «толпа». Если он направляет синапсы другому случайному набору возбуждающих нейронов, это будет оказывать сдерживающее действие на их «толпу». Инженер сказал бы, что ингибирующие нейроны дают эффект «отрицательной обратной связи» при воздействии на возбуждающие нейроны. Классический пример отрицательной обратной связи – термостат домашней системы отопления. Если температура в нагретой комнате переваливает за определенный предел, термостат отключает нагрев; если температура понижается, термостат снова его включает. В обоих случаях термостат действует так, чтобы противостоять изменению температуры. Подобным же образом и ингибирующие нейроны действуют так, чтобы противостоять изменениям активности возбуждающих нейронов. С этой точки зрения, ингибирующие нейроны играют лишь вспомогательную роль в функционировании мозга, так что их связи и не должны быть слишком уж избирательными и специфичными.
…распространяется слева направо. Похоже на лежащий на боку перцептрон, правда? Но хотя синаптическую цепочку можно рассматривать как частный случай перцептрона, она во многом отличается от типичного перцептрона, который используется для моделирования человеческого восприятия. Нейроны одного слоя перцептрона обычно детектируют различные стимулы, поэтому каждый из них соединен со своим поднабором нейронов из предыдущего слоя. (А если они подключены к одним и тем же нейронам, синапсы различаются по своей силе.) Все нейроны одного слоя синаптической цепочки активируются вместе, так что их связям с предыдущим слоем нет нужды быть различными. Синаптическую цепочку многие описывали математическими моделями (см, например: Amari, 1972; Abeles, 1982). Схожие модели в 1980-х годах построил американский физик-теоретик Джон Хопфилд (John Hopfield).
Теорию коннекционизма создавало… Идею и название клеточного ансамбля предложил Дональд Хебб (Hebb, 1949). Первые компьютерные модели нейронных сетей с участием клеточных ансамблей относятся к 1950-м годам. Английский теоретик Дэвид Марр и японский теоретик Шуничи Амари – два выдающихся исследователя, которые еще в шестидесятых – семидесятых годах прошлого века без всякого компьютера, с помощью карандаша и бумаги, выводили уравнения, описывающие такие модели (см., например, Marr, 1971; Amari, 1972). Но подлинный взлет коннекционизма наступил в 1980-х, с появлением программных работ Джона Хопфилда (Hopfield, 1982; Hopfield, Tank, 1986). С помощью редкостных математических методик, позаимствованных из области физики, именуемой теорией спиновых стекол, физики-теоретики сумели с блеском рассчитать емкость памяти – путем статистической обработки результатов исследования эффектов перекрывания клеточных ансамблей (Amit, 1989; Mezard, Parisi и Virasoro, 1987; Amit et al., 1985). К 1990-м годам пыл этих исследователей несколько поутих, однако они успели выявить массу любопытных свойств данных моделей. Примерно в это же время «PDP Research Group», коллектив ученых-когнитивистов, опубликовал двухтомный манифест, содержащий множество интересных коннекционистских моделей и оказавший большое влияние на дальнейшее развитие науки (Rumelhart, McClelland, 1986).
…статью «Проблема серийности и порядка в поведении»… Лешли приписывал создание «модели ассоциативной цепочки» британскому психологу Эдварду Титченеру, цитируя его книгу 1909 года. На самом деле оба автора имели в виду скорее цепочки психологических ассоциаций, чем нейронные связи. Нейробиолог Лешли почему-то не использовал в своей статье термин «синапс». Тем не менее из текста статьи явствует: речь идет именно о синаптических цепочках.
…бесконечное количество разнообразных последовательностей сигналов. Должны также существовать места, где две цепочки сливаются в одну, иначе нам бы очень скоро не хватило нейронов. (Мы имели бы дело с геометрической прогрессией, и уже после 40-го ветвления необходимое число нейронов превысило бы триллион. – Прим. перев.)
…проблемы синтаксиса. В том же русле критики лежат возражения некоторых ученых-компьютерщиков, заявляющих, что взаимоотношения между идеями богаче и сложнее, нежели простое ассоциирование. Сказать, что идеи рыбы и воды связаны друг с другом (ассоциированы), не означает полностью описать их взаимодействие и взаимозависимость. Куда информативнее сообщить, что рыба живет в воде. Специалисты по искусственному интеллекту представляют такие взаимодействия в виде «семантической сети» (семантического поля), которая выглядит как коннектом, только над каждой стрелкой в ней надписан тип связи.
…пытались отвечать на второе возражение Лешли… Эти коннекционистские модели достигают большей вычислительной мощи благодаря включению в них скрытых переменных – чтобы усилить роль переменных, которые используются для выражения неявных идей и понятий.
Глава 5. Собирание воспоминаний
…камни весом по две с половиной тонны… Каменные блоки пирамид отличаются по размерам. Мы приводим здесь их приблизительную среднюю массу (см.: Petrie, 1883). Большинство блоков состояли из известняка, но имелись среди них и гранитные.
…2,3 миллиона блоков… Petrie, 1883.
…сотни тысяч рабочих… Как писал Геродот, сто тысяч рабов двадцать лет трудились над тем, чтобы переправить эти блоки из отдаленной каменоломни к пирамиде. Многие современные египтологи не согласны с этой оценкой: они полагают, что главные каменоломни находились поблизости от места строительства, что количество строителей было меньше и что они не были рабами.
«В уме у человека существует как бы восковая доска…» Платон, «Theatetus».
Затем специальным инструментом с плоским краем воск разглаживали… Draasima, 2000.
Скульпторы и инженеры… Термин «пластичность» пришел из материаловедения. Пластичный материал сохраняет новую форму после деформации; эластичный же материал после деформации быстро обретает первоначальную форму снова. Поскольку воск пластичен, он может сохранять отпечатки, а значит, удерживать в себе информацию о прошлом. В техническом смысле прилагательное «пластичный» описывает отклик материалов на деформацию.
…это явление я называю рекомбинацией связей. Различие между изменением синаптического веса (ИСВ) и рекомбинацией связей проявляется четче всего, если между нейроном А и нейроном Б есть самое большее один синапс (как это обычно и предполагается в рамках данной главы). Различие размывается, если между А к Б больше одного синапса: тогда при возникновении и последующем исчезновении синапсов какие-то нейроны могут оставаться связанными, будет меняться лишь число импульсов, которые нейрон А посылает нейрону Б. Это, в свою очередь, изменит «удельный вес» голосов нейрона А в импульсообразовании нейрона Б, в итоге вызвав скорее ИСВ, нежели рекомбинацию связей.
В 1960-е годы нейробиологи полагали… Я говорю о «большинстве нейробиологов», скорее опираясь на разговоры профессионалов, мне трудно документировать это утверждение. Один из примеров – австралийский нейробиолог сэр Джон Эклс, который писал, что процесс обучения (усвоения новой информации) включает в себя «всего-навсего укрупнение и рост эффективности тех синапсов, что уже существуют, а не выращивание новых связей» (Eccles, 1965). Розенцвейг (Rosenzweig, 1996) представил исторический обзор проблемы с точки зрения нейробиолога, но этот вопрос следует изучить историкам науки.
…возникают и исчезают даже в мозгу взрослого человека. Ученые наблюдали также, как дендритные шипики меняются в размерах, а значит, синапсы при этом, возможно, изменяют свою силу.
Рис. 23. Данные, которые легли в основу этого изображения, получены в ходе эксперимента, описанного в: Yang, Pan, Gan, 2009.
…подсчитывая синапсы… Greenough, Black, Wallace, 1987.
…предложить неофренологическую теорию… Некоторые исследователи обращали внимание не только на количество синапсов, но и на их размеры. Есть свидетельства, что размер синапса коррелирует с его силой. Ученые обнаружили, что «обогащенная» среда увеличивает средний размер синапсов коры головного мозга подопытных крыс. Однако не следует напрямую связывать обучение с увеличением размера синапсов, как и с увеличением их количества. В ходе других аналогичных экспериментов было показано, что средний размер синапсов, напротив, уменьшается. Какая из этих тенденций бу