Существуют тесты, в ходе которых испытуемому создают подобную иллюзию, и тот перестает различать, что слышит на самом деле – дождь или жарящийся бекон. Психологи используют эти тесты, чтобы определить источник зрительно-слуховой кроссмодальности. Один из таких тестов – иллюзия двойной вспышки – очень прост: перед испытуемым включается одна световая вспышка, сопровождаемая двумя звуковыми сигналами в быстрой последовательности. Большинство людей, проходящих этот тест, видят две вспышки света вместо одной. Время между двумя звуковыми сигналами – критический фактор для появления этой иллюзии: если оно меньше ста миллисекунд, субъект с большей вероятностью воспринимает две вспышки. Иллюзия перестает работать при пересечении порога в сто миллисекунд, и именно этот четко зафиксированный временной промежуток позволил исследователям сделать вывод об универсальности данного фактора, определяющего взаимодействие зрения и слуха в мозге. Роберто Сесере, Герайнт Рис и Винченцо Ромей изучили, можно ли считать визуальное восприятие в условиях действительности результатом интеграции информации от нескольких органов чувств. В процессе интеграции каждая доля информации оценивается в режиме реального времени для получения «единой интерпретации события» как функции мозга и для формирования так называемых альфа-волн (см. вставку 14.2). Сесере и его коллеги предположили, что слуховые стимулы попадают в одну фазу альфа-волны и мозгу необходимо очень быстро решить вопрос зрительного и слухового соперничества. Мозг спешит сделать это до того, как следующая альфа-волна пройдет через затылочную долю. Именно эта синфазность слуховых стимулов и спешка мозга в принятии решения и есть причины того, что испытуемые наблюдают две вспышки света, когда звуковые сигналы следуют с промежутком меньше ста миллисекунд.
Есть две возможные причины такого странного поведения нашего мозга. Джесс Керлин и Кимрон Шапиро предполагают, что одна из причин – это «неудачное следствие» эволюционного процесса: соединение слуха со зрением в мозге, которое приводит к артефакту зрительного восприятия (второй вспышке света). Вторая причина куда более сложна и касается того, как работает наш мозг. Керлин и Шапиро ссылаются на функциональную причину этой иллюзии, предполагая, что наш мозг выполняет вероятностный анализ информации в соответствии с тем, что предложил преподобный Томас Байес, английский пастор XVIII века и любитель теории вероятности. Байес признал, что вероятность – это «произведение вероятности наступления события и вероятности проведения наблюдения при условии наступления события, деленное на безусловную вероятность проведения наблюдения».
14.2 Затылочные альфа-волны
О затылочных альфа-волнах известно довольно много, потому что они являются наиболее очевидной физической формой волны, которую можно измерить в головном мозге. Свойство испускать волны – полезная функция мозга, и ее можно использовать для измерения многих характеристик высшей нервной деятельности. В частности, амплитуда или сила альфа-волны используется для измерения степени участия коры головного мозга в решении различных задач. Однако, как мы видели в предыдущих главах, волны имеют фазы, и оказывается, что их распределение для альфа-волн составляет 100 миллисекунд. Исследователи предполагают, что каждая альфа-волна, проходящая через мозг, доставляет определенную информацию, которая должна быть обработана. И эти данные не могут быть дополнены новыми сведениями до тех пор, пока через 100 миллисекунд не пройдет следующая волна.
Эта причудливая формулировка XVIII века просто предполагает, что при оценке вероятности чего-то, например вспышки света, необходимо рассчитать влияние информации о событии, полученной из наблюдений, и некоторых предварительных знаний того, что происходит, поделенных на воздействие происходящего. Современный язык не слишком упрощает понимание, да? Суть в том, что предварительное знание того, что происходит, становится очень важным при рассмотрении мира в байесовском контексте. Итак, согласно Керлину и Шапиро, мозг, оценивая вероятность события «второй звуковой сигнал сопровождается вспышкой», применяет байесовский подход, используя предварительное знание «звуковой сигнал сопровождается вспышкой света». Априорная вероятность вспышки света, сопровождающей звуковой сигнал, достаточно высока для того, чтобы мозг начал интерпретировать каждый звуковой сигнал как вспышку. Когда звук и вспышка разнесены по времени (то есть между ними проходит более ста миллисекунд), априорная вероятность события «звуковой сигнал сопровождается вспышкой» оценивается мозгом как низкая, поэтому и вычисленная мозгом (на основе этой априорной вероятности) общая вероятность данного события очень низка. В этом байесовском сценарии мозг непрерывно делает вероятностные заключения о происходящих событиях, и, когда мы находимся в подвешенном состоянии и нам требуется дополнительная информация (например, в середине стомиллисекундной фазы альфа-волны), мы используем эту вероятность для формирования нашего восприятия событий. Я не знаю, какая версия мне больше нравится. «Неудачная» версия, на мой взгляд, не так неудачна, как предполагают Керлин и Шапиро. Для меня это просто эволюция, и она показывает, насколько мозг на самом деле представляет собой «его несовершенство». Но если мозг действительно принимает решения на основе байесовского анализа, это очень здорово.
Я уже говорил о некоторых кроссмодальных взаимодействиях осязания и зрения (случай со скрещенными руками), но существуют тактильные кроссмодальные взаимодействия и с другими органами чувств. Пожалуй, самый известный, но не менее удивительный пример тактильно-слуховой кроссмодальности связан с персонажами Кики и Буба (рис. 14.3). Но кроссмодальность звуков с формой или текстурой идет еще дальше, чем Кики и Буба. Когда антропологи исследовали названия животных и растений в языках коренных народов, они обнаружили удивительную связь: безобидные мелкие животные и мягколиственные растения имели мягко звучащие названия, в которых использовались мягкие согласные; жестко звучащие согласные используются в названиях опасных или хищных животных и колючих растений. И действительно, как мы скоро увидим, вкусы также могут быть кроссмодально связаны со звуками и формами слов.
Кики и Буба – это нарисованные фигуры с отходящими от центра отростками. Кики – остроугольная фигура, а Буба – округлая, ее отростки похожи на вытянутые пузыри. Кики выглядит острой и строгой, Буба – мягкой и податливой. Если показать кому-то двух- или трехмерные изображения этих фигур и попросить выбрать для каждой имя, подавляющее большинство людей свяжет имя Кики с острыми лучами, а Бубу – с амебообразными отростками. Эта ассоциация не зависит ни от возраста, ни от культуры, ни от языка: люди всех возрастов из разных стран угадывают, кто где. Резкий звук слога «ки» и мягкий «бу» связаны с формами фигур, скорее всего, через кроссмодальный процесс в мозге.
Рис. 14.3. Кики и Буба. Угадайте, кто где
Но на наше восприятие влияют не только звуки, но и зрение. Когда мы видим что-то, к чему хотим прикоснуться, что хотим взять или, возможно, по чему хотим пройти, вполне логично, что перед предпринятой попыткой мы оцениваем вид и текстуру объекта. Если вялыми пальцами потянуться за рыхлым куском пищи, тот точно упадет, а если резво поскакать по скользкой поверхности, то определенно можно сломать себе шею. Таким образом, принятие тактильного суждения от визуальных стимулов вполне может быть важным аспектом выживания приматов. Уже более века в качестве зрительного инструмента для оценки текстуры и изучения взаимодействия тактильного восприятия и визуальных сигналов используется глянцевость объектов. Прибор Ингерсолла для оценки глянца бумаги, впервые выпущенный на рынок в 1922 году, применялся в то время и в психологических экспериментах для измерения блеска объектов. Но ученые быстро поняли, что глянец слишком многогранный параметр, он более сложен для измерения, и до недавнего времени исследования с использованием глянцевости не проводились.
В настоящее время известно, что восприятие глянца представляет собой сложное взаимодействие тактильного ожидания и зрительного раздражителя. Используя устройство, которое может изменять как глянцевый внешний вид объектов, так и степень их скользкости, Венди Адамс, Иона Керриган и Эрих Граф провели эксперименты, чтобы раскрыть роль глянца в восприятии тактильных раздражителей. Эти исследователи смогли совместить блеск со скользкостью по континууму: «без блеска, без скользкости» на одном конце и «с экстремальным блеском и экстремальной скользкостью» на другом. Результаты исследования показывают, что участники интегрируют уровень блеска с уровнем скользкости объектов. В частности, люди указывают на увеличение блеска при увеличении скользкости. Обратный эксперимент, где глянцевитость уменьшена, а скользкость увеличена (контринтуитивная ситуация), практически совсем не изменил восприятия. Другими словами, парадоксальная крайность в представлении человека не воспринимается иначе: глянцевый предмет всегда расценивается как скользкий. Это как если бы мозг интегрировал сигналы от блеска и скользкости, чтобы сделать какой-то вероятностный вывод (привет, преподобный Байес!), искажающий восприятие скользкости и глянца.
Взаимодействие зрения, звука и осязания, о котором я говорил, довольно очевидно. Но есть также взаимодействия и кроссмодальности, которые включают равновесие, запах и вкус. Для равновесия зрение играет огромную роль, но не всегда. Помните вращающихся фигуристов, которые, используя зрение, переориентируют информацию из вестибулярной системы в зависимости от движения головы (см. главу 7)? Но эта зрительно-вестибулярная кроссмодальность работает только при определенных обстоятельствах. Недавние эксперименты с гальванической вестибулярной стимуляцией, или ГВС (см. вставку 14.3), действительно могут частично показать роль зрения в равновесии и продемонстрировать, как механосенсорная информация от вестибулярной системы во внутреннем ухе кроссмодулируется зрением. Как правило, чем лучше человек приспособлен к колебаниям, тем критичнее он относится к информации, поступающей из вестибулярного аппарата, и тем больше полагается на данные, предоставленные зрительной системой. Поэтому и постоянный подсознательный подсчет положения оси тела, которая поддерживает равновесие, производится с учетом высокого приоритета зрительной информации и потери интереса к сведениям, поступающим из вестибулярной системы. Фигуристы вынуждены тренироваться снова и снова, шлифуя пируэты и прыжки, чтобы приспособиться к этим удивительным движениям. Если человек не привык к подобному, то активное вращение тела способно посеять хаос в его чувство равновесия, и это будет происходить, пока он не отработает это движение неоднократными повторениями на тренировках. Мозг фигуристов-новичков не обладает способностью воспринимать вестибулярную и зрительную информацию с заново расставленными приоритетами, и поэтому вестибулярная система у них работает сама по себе.