повышением частоты разрядов: как в нижней части песочных часов постепенно увеличивается количество песка, так и количество разрядов («спайков») некоторых нейронов линейно увеличивается со временем. Такая картина обычно наблюдается в тех случаях, когда животных тренируют производить какое-то действие после определенного интервала времени. Но пока мы не знаем, сами ли эти нейроны отсчитывают время, или они считывают показания с других сетей нейронов, чтобы в нужный момент запустить ожидаемый ответ151.
До сих пор мы с вами принимали как должное одно важнейшее свойство любых часов — воспроизводимость показаний. Если пространственно-временна́я активность популяции нейронов используется для отсчета времени, она должна воспроизводиться из раза в раз в ответ на одну и ту же ситуацию или один и тот же стимул. В описанных выше экспериментальных исследованиях это условие соблюдалось: каждый раз, когда певчая птица исполняет свою песню, обнаруживается одна и та же нейронная траектория (хотя в каждом исследовании варьируется множество параметров). Однако загадка все еще остается загадкой: как именно мозгу удается вновь и вновь воспроизводить одну и ту же последовательность действий?
Компьютерное моделирование показывает, что схемы активации нейронов в рекуррентных сетях152 могут постоянно эволюционировать, что теоретически может использоваться для кодирования времени. Проблема заключается в том, что такие эволюционирующие схемы часто не воспроизводятся, а такие сети ведут себя хаотически.
В математике слово «хаос» используется для описания систем, чрезвычайно чувствительных к «шуму» и начальным условиям (состоянию системы в момент начала конкретного эксперимента). Классический пример — погода и так называемый «эффект бабочки», когда самое незначительное событие в какой-то точке пространства и в какой-то момент времени способно вызвать «эффект домино»: например, взмах крыльев бабочки в долине Амазонки в полдень 1 февраля может привести к изменению погоды в Нью-Йорке через неделю.
Хаотические процессы часто наблюдаются в нелинейных физических системах с обратной связью, таких как погода или поведение бильярдных шаров. Сети нейронов обладают обоими этими свойствами. Во-первых, поведение нейронов нелинейно: отклик нейрона не пропорционален полученному им стимулу. Во-вторых, как указывалось выше, кортикальные сети характеризуются высокой степенью рекуррентности: это означает, что активность нейрона в момент времени t1 влияет на поведение других нейронов в момент времени t2, что, в свою очередь, влияет на поведение первого нейрона в момент времени t3.
Чтобы понять, почему хаотические процессы мешают определять время в нелинейных динамических системах, рассмотрим простое математическое уравнение, называемое логистическим уравнением (рис. 6.5). Это уравнение описывает эволюцию параметра x (в пределах от 0 до 1) через определенные временны́е интервалы. На каждой следующей стадии значение параметра x полностью определяется его значением на предыдущей стадии. Несмотря на простоту задачи, результат выглядит достаточно сложно, и минимальные вариации значения x могут вызвать чрезвычайно сильные изменения этого параметра в дальнейшем.
Рис. 6.5. Пример хаотической системы. Значение параметра x на каждой последующей стадии (в момент времени t+1) определяется значением x на текущей стадии. Даже если в двух раундах процесс начинается с очень близких значений x (0,99 и 0,99001), со временем значения x начинают расходиться, что видно из таблицы и из графика. Поначалу это расхождение незаметно, но примерно после 18-й стадии значения x в двух раундах не имеют между собой ничего общего
Заметьте, что представленную на рис. 6.5 таблицу можно использовать в качестве своеобразного таймера. Если известно, что исходное значение x равнялось 0,9900, а текущее значение составляет 0,5471, можно определить, что от начала раунда прошло 16 стадий. Таким образом, в принципе, физические системы, подчиняющиеся такому логистическому уравнению, можно использовать в качестве часов.
Однако проблема заключается в том, что эти системы чрезвычайно чувствительны к помехам или самым незначительным погрешностям измерений. Например, если во втором раунде исходное значение x равно не 0,9900, а 0,99001, на 16-й стадии мы вместо 0,5471 получим 0,7095. Состояние хаотической системы (в данном примере значение параметра x) быстро изменяется в результате самых ничтожных пертурбаций, а это означает, что из раза в раз система ведет себя по-разному. Поэтому хаотические системы — довольно скверные часы.
Компьютерное моделирование систем со случайным распределением связей между нейронами показывает, что такие рекуррентные сети со случайными связями между нейронами могут создавать самовоспроизводящиеся схемы активности, в которых в каждый следующий момент времени сеть находится в ином состоянии. В принципе, такие пространственно-временны́е схемы могут использоваться для определения времени. Однако в 1980-х гг. израильский физик, информатик и нейробиолог Хаим Сомполинский и его коллеги доказали, что во многих случаях такие рекуррентные сети со случайной связью нейронов создают хаотические схемы активности153. Это поставило нейробиологов в сложную ситуацию. С одной стороны, кора головного мозга состоит из рекуррентных сетей нейронов, способных создавать воспроизводимые динамические схемы активности — в противном случае мы не могли бы несколько раз сыграть на пианино одну и ту же пьесу или воспроизводить собственную подпись. С другой стороны, теоретические исследования показывают, что кортикальные сети являются хаотическими.
Мы пока еще не знаем, как сети нейронов мозга решают проблему хаоса. Было выдвинуто несколько гипотез, объясняющих способность рекуррентных нейросетей создавать сложные нехаотические образы — такие, которые можно воспроизвести вновь и вновь. Одна модель предполагает, что сети нейронов могут избегать хаоса и воспроизводить специфические траектории возбуждения благодаря обучению синапсов. По крайней мере, в теории, при правильной настройке синапсов в модельной сети нейронов удается получать сложные и нехаотические схемы возбуждения. Как продемонстрировано на рис. 6.6, такой подход является мощным инструментом для создания сложных изменяющихся во времени схем двигательной активности.
Данная модель иллюстрирует характер активности десяти нейронов из сети, состоящей из 800 связанных между собой нейронов, в серии многочисленных испытаний. Каждое испытание начинается с короткого импульса, приводящего все нейроны модельной сети в исходное состояние. Начиная с этой исходной позиции, система изменяется динамическим образом: сеть автономным образом изменяется вдоль траектории, выстроенной в 800-мерном пространстве. Мы наблюдаем упрощенную версию процесса в трехмерном пространстве. Чтобы оценить потенциал данной модельной сети, мы можем соединить все 800 нейронов всего лишь с двумя выходными нейронами и предположить, что эти двигательные нейроны контролируют движение карандаша на листе бумаги относительно осей координат X и Y.
Возможно, это не очень понятно на интуитивном уровне, но если рекуррентная сеть заставляет два двигательных нейрона создавать сложный (точнее, многомерный) динамический образ, то эти выходные нейроны могут создавать практически любой рисунок (что достигается путем настройки силы синапсов между рекуррентной сетью и выходными нейронами). В данном примере два выходных нейрона «написали» слово chaos.
Важно отметить, что рекуррентные связи были соответствующим образом настроены, и поэтому сеть не является хаотической. Можно нарушить активность сети в середине траектории, но она все равно возвращается к тому, что делала раньше. Грубо говоря, эта система обладает памятью. У рекуррентных сетей есть интересное свойство: они способны запоминать свои действия. И даже если сбить систему с исходной траектории, она может «вернуться» и закончить начатую работу.
Рис. 6.6. Рекуррентная нейросеть с динамической схемой активности. Данная модельная сеть состоит из взаимосвязанных элементов, имитирующих нейроны (схематично изображено в середине верхней панели). Эти элементы рекуррентной сети получают краткий входной сигнал и передают его двум выходным элементам. Активность этих выходных элементов соответствует положению карандаша по осям X и Y на нижнем графике. Тренировка заключается в настройке весомости связей между элементами сети и выходными элементами в соответствии с правилами обучения. После тренировки в ответ на краткий входной сигнал рекуррентная сеть создает сложную схему активности с такими выходными сигналами, которые заставляют карандаш написать слово «Chaos». Двигательные образы, такие как написанные от руки знаки, являются временны́ми образами, так что данная сеть в каком-то смысле кодирует еще и время. Точки на линиях отмечают время. Эта сеть не является хаотической, поскольку после пертурбаций на подъеме при написании буквы «h» образы воспроизводимо накладываются друг на друга (представлены результаты десяти испытаний). Воспроизводится с модификациями в соответствии со статьей Laje and Buonomano, 2013.
Кроме того, как вы видите, написание слова chaos требует хронометрированного контроля движений, так что движение карандаша можно использовать для определения времени.
Жирные точки на рисунке — это отметки времени: зная текущее положение карандаша, можно определить, сколько времени прошло от момента получения входного сигнала. Таким образом, хаотические рекуррентные сети нейронов можно «приручить» путем настройки силы синаптических связей.
Теперь не помешает на минутку остановиться и задать вопрос: