Долина правдоподобности
Зададимся более глобальным вопросом: как мы чувствуем себя в мире, в котором многие проблемы легко решаемы, а вот к другим не дает подступиться объективная неосведомленность? Прежде всего, там, где объективная неосведомленность непреодолима, мы должны со временем осознать бесполезность магического кристалла применительно к событиям в жизни людей. Однако жизнь ничему нас не учит. Наоборот, как показали предыдущие главы, мы демонстрируем постоянную готовность давать смелые прогнозы на будущее на основе лишь жалких крох полезной информации. В данной главе мы обратим внимание на распространенное заблуждение, что события, которые никак нельзя спрогнозировать, тем не менее можно понять.
Что означает в действительности такая уверенность? Мы обсудим этот вопрос в двух контекстах: социологическом и применительно к повседневной жизни.
Прогнозирование жизненного пути
В 2020 году группа из 112 исследователей под руководством Сары Макланахан и Мэтью Салганика, профессоров социологии Принстонского университета, опубликовала в журнале Pro-ceedings of the National Academy of Sciences необычную статью 143. Исследователи задались целью разобраться, представляют ли в действительности социологи, как в будущем сложится жизнь социально уязвимых семей. Насколько успешно социологи могут предугадать события в жизни семьи, зная то, что они знают? В частности, какого уровня точности могут добиться эксперты в своих прогнозах, используя информацию, которую обычно собирают и затем применяют в своих исследованиях социологи? В рамках нашей терминологии целью исследования было измерить уровень объективной неосведомленности, который остается после того, как социологи сделали свою работу.
Авторы статьи воспользовались материалами программы FFCWS[11] – широкомасштабного долгосрочного исследования, в ходе которого детей наблюдали с рождения до пятнадцати лет. Огромная база данных содержала несколько тысяч элементов информации о семьях, где росли почти пять тысяч детей из крупных городов США. Большинство детей воспитывались не состоящими в браке родителями. Эти данные включали в себя такие сведения, как уровень образования и род занятий бабушек и дедушек, состояние здоровья всех членов семьи, показатели экономического и социального положения, ответы на множество анкет и тесты на когнитивные установки и личностные качества. Социологи сумели как нельзя лучше распорядиться таким обилием ценной информации: на основе полученных от FFCWS данных было написано более 750 научных статей. Во многих из этих документов анализировались социальные условия, в которых воспитывались дети, чтобы объяснить их последующие достижения и неудачи: например, успехи в средней школе или привлечение к уголовной ответственности.
Исследования принстонской команды сосредотачивались на прогнозируемости развития событий по шести различным категориям к тому времени, когда ребенку исполнится пятнадцать лет, таким как выселение из квартиры, средний балл в школе и общая оценка материального положения семьи. Организаторы использовали метод, названный ими «метод типовых задач». Они пригласили команды ученых для состязания в вынесении прогнозов по шести выбранным категориям с использованием доступного массива данных о каждой семье, участвовавшей в программе FFCWS. Подобный тип задач нестандартен для социологии, хотя вполне обычен для информатики, где команды часто приглашают для состязания, например, в машинном переводе стандартных текстов или в распознавании животных по большому набору фотографий. Достижения команды-победителя устанавливают планку для следующих состязаний. В социологических задачах прогнозирования, где невозможно ожидать быстрых улучшений, разумно использовать в качестве меры предсказуемости развития событий наиболее точный прогноз из всех, участвовавших в состязании, – другими словами, остаточный уровень объективной неосведомленности.
Исследование вызвало заслуженный интерес среди специалистов. Последний доклад представил результаты 160 высококвалифицированных команд, выбранных из внушительного международного пула претендентов. Большинство из выбранных конкурентов использовали методы машинного обучения и позиционировали себя как специалистов по базам данных.
На первом этапе состязаний команды участников имели доступ ко всем данным на половинной выборке; данные включали варианты развития событий по шести категориям. Команды использовали эти «тренировочные данные» для обучения алгоритма. Затем алгоритмы применялись ко второй выборке, которая не участвовала в тренировке. В качестве единицы измерения точности использовали MSE: погрешность прогнозирования в каждом случае определялась как квадрат разности между реальным и прогнозируемым результатом.
Насколько хороши были модели победителей? Продвинутые алгоритмы на основе методов машинного обучения, прошедшие тренировку на больших массивах данных, конечно, обогнали простые линейные модели (и смогли бы оставить позади опытных экспертов, будь у них такая возможность). А вот превосходство моделей на основе ИИ над самой простой моделью оказалось совсем незначительным, и точность их прогнозов осталась плачевно низкой. С прогнозированием случаев выселения из квартиры лучшая модель добилась корреляции 0,22144145 (ПС=57 %). Схожие результаты были выявлены для других однократных событий – например, был ли первый опекун уволен, имел ли он профессию или на сколько баллов ребенок оценил свою так называемую «хватку» – черту характера, которая сочетает в себе упорство и настойчивое стремление к конкретной цели. Здесь корреляция колебалась между 0,17 и 0,24 (ПС=55–58 %).
Две из шести категорий представляли из себя комплексные показатели и потому более подходили для прогнозирования. Корреляция по среднему баллу, полученному ребенком в школе, составила 0,44 (ПС=65 %), а корреляция по суммарному индексу материальных затруднений за предшествующие 12 месяцев – 0,48 (ПС=66 %). Этот индекс определялся ответами на 11 вопросов, таких как «Постоянно ли вы голодали?» и «Отключали ли вам телефон за неуплату?». Комплексные показатели зарекомендовали себя как более подходящие для прогнозирования и более предсказуемые в категориях разовых событий. Основной вывод по результатам исследований был следующим: большой объем предиктивной информации недостаточен для прогноза разовых событий в жизни людей, и даже прогноз комплексных показателей довольно серьезно ограничен.
Наблюдаемые здесь результаты типичны; во многих случаях заявленная социологами корреляция попадает в этот диапазон. В более обширном обзоре по социальной психологии146, включающем в себя 25 тысяч исследований и 8 миллионов предметов обсуждения за период более ста лет, был сделан вывод, что «результативность прогнозов в социальной психологии довольно низка: коэффициент корреляции обычно не превосходит 0,21». Более высокая корреляция – например упомянутая ранее корреляция порядка 0,60 между ростом и размером стопы взрослого человека – обычна для физических параметров и крайне редко встречается в социологии. Обзор 708 исследований147 на поведенческую и когнитивную тематику выявил, что всего в 3 % из них корреляция оказалась 0,50 и выше.
Настолько невысокий коэффициент корреляции может вас удивить, если вы начитались статей, в которых результаты заявлены как «статистически значимые» или даже «весьма значимые». Статистические термины зачастую вводят непрофессионалов в заблуждение, и «значимый» – наихудший тому пример. Когда результат объявляется «значимым», из этого не следует, что описываемый эффект устойчив. Это по сути всего лишь утверждение типа «маловероятно, что выявленная зависимость всего лишь игра случая». На достаточно большой выборке корреляция может быть одновременно и «очень значимой», и, наоборот, «слишком незначительной, чтобы ее обсуждать».
Ограниченная предсказуемость однократных событий в знаменитом исследовании доносит до нас отрезвляющую весть о разнице между пониманием и прогнозом. Программа FFCWS оказалась настоящим сокровищем для социологии, и, как мы увидели, собранные в ходе ее проведения данные использованы весьма плодотворно. Ученые, которые проводили эти исследования, несомненно ощущали уверенность, что их работа будет способствовать пониманию проблем, с которыми сталкиваются уязвимые семьи. К несчастью, ощущение прорыва не может соперничать со способностью делать дискретные прогнозы отдельных событий в жизни отдельных людей. Вступление к статье об эксперименте с базой данных программы FFCWS содержит грозное предостережение: «Исследователи должны согласовывать148 свои фантазии насчет понимания людских судеб с тем фактом, что ни один из прогнозов не окажется достаточно точным».
Понимание и прогнозирование
Логика, лежащая в основе столь пессимистичного вывода, требует некоторого уточнения. Когда авторы эксперимента с программой FFCWS приравняли понимание к прогнозированию (скорее отсутствие одного к невозможности другого), они использовали термин понимание в особом смысле. У этого слова есть и другие значения: понимание математической формулы или сущности любви не наделяет вас способностью делать конкретные прогнозы.
Тем не менее в социологических исследованиях и повседневных разговорах утверждение о том, что мы понимаем какие-то вещи, равносильно заявлениям о том, что нам понятны их причины. Социологи, подбиравшие и изучавшие тысячи переменных при работе с программой FFCWS, искали причины наблюдаемых событий. Врачи, которые понимают, что именно беспокоит пациента, заявляют: причиной наблюдаемых симптомов является диагностированная ими патология. Понять – значит описать причинную цепочку149. Способность делать прогнозы является мерой того, правильно ли была идентифицирована такая цепочка. А корреляция как мера точности прогнозов – это мера того, сколько причинных связей мы можем объяснить.
Последнее утверждение может вас удивить, если вы попали под чары элементарной статистики и запомнили часто повторяющееся предупреждение: «корреляция не подразумевает причинно-следственной связи». Рассмотрим, например, корреляцию между размером обуви и математическими способностями детей: вполне очевидно, что одна переменная не зависит от другой. А корреляция возникает ввиду того, что и размер обуви, и познания в математике увеличиваются с возрастом. Эта корреляция реальна и подкрепляет прогноз: если вам известно, что у конкретного ребенка большой размер стопы, вы можете спрогнозировать и больший уровень его познаний в математике; а тот ребенок, у которого маленький размер стопы, знает меньше. Однако из этой корреляции вам не следует делать выводы о причинной связи.
Тем не менее мы должны помнить: несмотря на то, что корреляция не подразумевает причинной связи, причинная связь подразумевает корреляцию. Где есть причинная связь, там ищите и корреляцию. Если вы не обнаружили корреляцию между возрастом и размером обуви у взрослых людей, можно с уверенностью заключить: после определенного возраста размер стопы больше не связан с количеством прожитых лет, и искать объяснение тому, что людям требуется обувь разного размера, следует в чем-то другом.
Итак, если есть причинно-следственная связь, то есть и корреляция. Из этого вытекает, что там, где есть причинно-следственная зависимость, мы способны прогнозировать – причем корреляция, точность нашего прогноза, является мерой того, насколько верно мы понимаем причинно-следственную зависимость. Отсюда и выводы принстонских ученых: пределы, которыми ограничена возможность прогнозирования таких событий, как выселение из квартиры (вспомним корреляцию 0,22!), являются признаком того, насколько много – или насколько мало – социологи понимают, как может сложиться в будущем жизнь этих семей. Объективная неосведомленность устанавливает верхний предел не только нашим прогнозам, но и нашему пониманию.
Что же тогда имеют в виду большинство профессионалов, с уверенностью заявляя – они все понимают в своей области? Как можно убедительно говорить о том, что именно вызвало пневмонию у больного, и давать уверенные прогнозы течения болезни? Короче говоря, почему профессионалы – да и все мы – явно недооценивают свою объективную неосведомленность о происходящем в нашем мире?
Каузальное мышление
Если, читая начало этой главы, вы задавались вопросами, какие обстоятельства привели к выселению из квартиры и к другим событиям в жизни уязвимых семей, вы использовали тот же самый тип мышления, что и исследователи, чьи работы мы описали. Вы обрели статистическое мышление, а именно задумались об общих категориях: уязвимые семьи как социальная группа и статистические данные, которые эту группу описывают, включая средние значения, статистические отклонения, корреляцию и тому подобное. На частных случаях вы не сосредотачивались.
Другой способ мышления, более естественный для нашего разума150, мы назовем здесь каузальным мышлением, то есть выражающим связь причины и следствия. Каузальное мышление изобретает сюжеты, в которых отдельные события, люди и объекты оказывают друг на друга воздействие. Чтобы проникнуться каузальным мышлением, представьте себя социальным работником, который курирует много семей с низким доходом. Вы только что узнали, что семью Джонсов выселили из квартиры. Ваша реакция на событие вызвана тем, что вам известно о Джонсах. А известно вам следующее: Джессика Джонс, единственный кормилец семьи, несколько месяцев назад была уволена. Найти другую работу она не смогла и поэтому оказалась неспособна вносить арендную плату в полном объеме. Она вносила частичную оплату, несколько раз умоляла управляющего домом об отсрочке и даже просила вас вмешаться (и вы вмешались, однако он остался непреклонным). С учетом обстоятельств выселение Джонсов для вас событие прискорбное, но вполне ожидаемое. По сути это стало логическим завершением цепочки событий, неизбежной развязкой предопределенной трагедии.
Когда мы проникаемся чувством неизбежности, то упускаем из виду, что обстоятельства легко могли сложиться иначе – подобно тому, как на каждой развилке дороги фортуна могла выбрать иной путь. Джессика могла сохранить свою работу или быстро найти другую. Ей мог помочь кто-то из родственников. Вы как социальный работник могли более успешно защитить ее. Управляющий домом мог оказаться более отзывчивым и дать семье отсрочку на несколько недель, что позволило бы Джессике найти работу и погасить долги по арендной плате.
Альтернативные сценарии так же правдоподобны, как и основной – при условии, что исход известен. Каким бы ни был исход (выселение состоялось или семья сохранила квартиру), как только он реализовался, каузальное мышление представляет его вполне объяснимым – а значит, и предсказуемым.
Понимание в долине правдоподобности
Мы предлагаем вам психологическое объяснение этому наблюдению. Некоторые события непредсказуемы: смертельная пандемия, террористическая атака на башни-близнецы, ведущий хеджевый фонд, который на поверку оказался работавшей по схеме Понци[12] пирамидой… Да и у каждого из нас в жизни время от времени случаются потрясения: любовь с первого взгляда к незнакомому человеку, внезапная безвременная смерть близкого родственника, неожиданное наследство. Бывают и активно ожидаемые события, такие как возвращение ребенка-второклассника из школы в назначенное время.
Однако чаще всего то, что случается с людьми, находится где-то между этих двух крайностей. Иногда мы пребываем в состоянии активного ожидания конкретного события; иногда события сваливаются нам на голову. Но большинство событий происходит в широкой долине правдоподобности: их нельзя назвать ни безусловно ожидаемыми, ни совершенно неожиданными. В данный момент, к примеру, у вас нет конкретных ожиданий насчет содержания следующего параграфа. Вы наверняка поразитесь, перейди мы внезапно на турецкий язык, а все остальное, что мы можем написать и при этом вас не шокировать, находится в широчайшем диапазоне.
В долине правдоподобности события развиваются по сценарию, аналогичному сценарию выселения Джонсов: в ретроспективе они выглядят естественными, хотя до сегодняшнего дня не ожидались, и мы никак не могли предсказать выселение. Так происходит, потому что процесс понимания реальности – это взгляд в прошлое. Эпизод, который мы не предвидели наверняка (выселение Джонсов), запускает в памяти поиск возможных причин (сложная обстановка на рынке вакансий, несговорчивый управляющий). Поиск останавливается, когда в памяти находится хороший сценарий. Дайте нам противоположный исход, и поиск выдаст равно неотразимые аргументы в его пользу (упорство Джессики Джонс, отзывчивый управляющий).
Как показывает данный пример, многие события в реальной жизни в буквальном смысле кажутся самоочевидными. Возможно, вы заметили, что управляющий домом в двух версиях истории с выселением как бы не один и тот же человек: первый был черствым, а второй покладист. Однако для вас единственным ключом к разгадке характера управляющего было его поведение. С учетом того, что мы о нем знаем сейчас, его поступок кажется логичным. Факт наступления события сам подсказал вам его причину.
Когда вы объясняете неожиданные, однако правдоподобные события таким образом, предопределение, которое в конечном счете свершилось, всегда приобретает смысл. Это мы и подразумеваем под пониманием сюжета; оно-то и заставляет реальность казаться предсказуемой – задним числом. И вследствие того, что событие, когда оно происходит, объясняет само себя, мы становимся жертвой иллюзии и верим – его можно было предугадать.
В более широком смысле ощущение того, что мы понимаем этот мир, зависит от нашей необычайной способности конструировать сюжеты, объясняющие наблюдаемые события. Поиск причин почти всегда успешен, потому что причины могут быть извлечены из неиссякаемого источника фактов и представлений о мире. Например всякий, кто слушает вечерние новости, знает, что значительные колебания курсов на фондовой бирже редко остаются необъясненными. Одна и та же лента новостей может «объяснить» как падение фондового индекса (пессимистичные инвесторы переживают!), так и его рост (оптимистичные инвесторы надеются на лучшее!).
Когда поиск очевидной причины заканчивается неудачей, наша первая спасительная мысль – соорудить объяснение путем заполнения пробелов в нашей модели мира. Так мы и подразумеваем факт, нам ранее неизвестный (допустим, управляющий – необыкновенно добрый человек). И только когда наша модель мира не может быть откорректирована, чтобы сгенерировать нужный нам результат, мы объявляем этот результат неожиданным и начинаем искать более тщательно выстроенную версию произошедшего. Подлинная неожиданность случившегося имеет место, лишь когда обычной ретроспективы не хватает.
Непрерывный поиск причин – вот как мы «понимаем» мир. Мы понимаем жизнь как поток событий – словно идем по долине правдоподобности и все время оглядываемся назад. И это ощущение в корне каузально: новые события, едва свершившись, исключают альтернативные варианты, и этот сценарий практически не оставляет места неопределенности. Как известно из классических исследований феномена, получившего название «Я так и знал!»151152, даже когда субъективная неопределенность какое-то время существует, воспоминания о ней почти полностью стираются, едва эта неопределенность заканчивается.
Взгляд изнутри и взгляд со стороны
Мы сопоставили два способа мышления: статистическое и каузальное. Каузальный режим избавляет нас от трудоемкого мыслительного процесса, в реальном времени сортируя события по категориям: нормальные и аномальные. Аномальные события поспешно мобилизуют драгоценные ресурсы на поиск релевантной информации – как в окружающем мире, так и в своей памяти. Состояние активного ожидания – то есть настойчивое ожидание чего-то – также требует усилий. А вот наблюдение за потоком событий в долине правдоподобности почти не нагружает ум. Когда вы встречаетесь с соседом, он улыбается вам или, изобразив занятость, лишь кивает головой – ни одно из этих событий не привлекает особого внимания, поскольку они довольно часто случались в прошлом. А если его улыбка необыкновенно широка или кивок подчеркнуто небрежен, вы, скорее всего, тут же начнете рыться в памяти в поисках возможных причин. Каузальное мышление избегает ненужных усилий, зато помогает сохранить бдительность, необходимую для того, чтобы фиксировать аномальные события.
А вот статистическое мышление очень затратно. Оно требует ресурсов внимания, которые может предоставить только Система 2153 – режим мышления, ассоциирующийся с медленным, тщательным обдумыванием. Чтобы выйти на уровень выше среднего, статистическое мышление нуждается также в специальном обучении. При этом типе мышления разум начинает с подбора и обдумывания отдельных случаев, а затем переходит к более широким категориям. Выселение Джонсов уже не представляется конечным результатом цепочки отдельных событий, а рассматривается как статистически вероятный (или маловероятный) исход, обусловленный предшествующим наблюдением за другими семьями, имеющими сходные с Джонсами предиктивные характеристики.
Разграничение этих двух подходов – лейтмотив нашей книги. Источник ошибок в прогнозировании состоит в том, что при рассмотрении единичного случая мы полагаемся на каузальное мышление. И лишь взглянув на события со статистической точки зрения, которую мы будем называть еще взглядом со стороны, можно постараться избежать этих ошибок.
Здесь хотелось бы подчеркнуть, что каузальный режим представляется нам более естественным. Даже объяснения, которые по сути должны относиться к статистическим, легко можно превратить в сказки о причинах и следствиях. Только послушайте утверждения типа «неудача постигла их из-за нехватки опыта» и «они добились цели, потому что у них был блестящий лидер»! Вы легко можете вспомнить противоположные примеры, когда неопытная команда добилась успеха, а блестящий лидер потерпел поражение. Корреляция опыта или блестящих личных качеств с успехом в лучшем случае окажется средней – а вероятнее всего, низкой. Однако итоговый результат с легкостью приписывают воздействию причинно-следственных связей. Там, где причинно-следственная связь правдоподобна, наш разум легко обращает корреляцию, какой бы низкой она ни была, в конкретную движущую силу. Наличие блестящего лидера предстает здесь достаточным условием успеха, а неопытность объясняет неудачу.
Доверия к некорректным объяснениям, вероятнее всего, не избежать, если в качестве альтернативы предлагается отказ от понимания этого мира. Тем не менее каузальное мышление и иллюзия понимания прошлого способствуют излишне самоуверенным прогнозам на будущее. Как мы увидим, склонность к каузальному мышлению также способствует игнорированию шума как источника ошибок, потому что шум является одним из фундаментальных статистических понятий.
Каузальное мышление помогает нам объяснить мир, который гораздо менее предопределен, чем нам кажется. Оно также объясняет, почему мы видим мир более предсказуемым, чем в реальности. В долине правдоподобности нет места неожиданностям и противоречиям. Будущее кажется таким же предсказуемым, как и прошлое. А на шумовые помехи никто не обращает внимания.
К разговору о границах понимания
«Корреляция порядка 0,20 (ПС=56 %) в обычной жизни вполне нормальное явление».
«Корреляция не подразумевает причинно-следственной связи, однако причинная связь подразумевает корреляцию».
«Большинство рутинных событий нельзя назвать ни ожидаемыми, ни неожиданными. И их вовсе не нужно объяснять».
«В долине правдоподобности события нельзя назвать ни ожидаемыми, ни неожиданными. Они просто объясняют сами себя».
«Нам кажется, мы понимаем, что происходит; однако могли ли мы это предвидеть?»