Смерть экспертизы. Как интернет убивает научные знания — страница 46 из 55

Люди слишком многого ждут от экспертных прогнозов, хотя некоторые эксперты готовы и дальше торговать своими способностями предсказывать события. На протяжении нескольких десятилетий профессор политологии Брюс Буэно де Мескита использовал «свой личный софт», чтобы делать прогнозы о событиях в мире как для широкой общественности, так и для частных клиентов. В числе клиентов его фирмы, просуществовавшей более тридцати лет, были и сотрудники ЦРУ. В исследовании, проведенном данным ведомством в 1993 году, было указано, что из сотен его прогнозов он «попадал в яблочко» в два раза чаще, чем их собственные аналитики.

Другие эксперты не могли проверить утверждения Буэно де Мескиты, так как его методы и модели защищены правом коммерческой собственности и не были широко представлены в виде опубликованных работ. Как отмечалось в досье New York Times в 2009 году:

«Несмотря на то что Буэно де Мескита опубликовал множество своих прогнозов в академических журналах, бо́льшая их часть была сделана в условиях секретности для корпоративных или правительственных клиентов, а потому ни один независимый эксперт из академической среды не может проверить их достоверность. «Мы понятия не имеем, прав ли он в 9 случаях из 10 или в 9 из сотни или в 9 из тысячи», – говорит профессор из Гарварда Стивен Уолт.

Уолта также не впечатлило исследование ЦРУ, согласно которому Буэно де Мескита оказывался прав в 90 процентах случаев. «Сотрудник ЦРУ среднего звена говорит: «Это удобный инструмент», – замечает Уолт.

«Это совсем не то же самое, как когда-то Брент Скоукрофт[41] говорил: «В администрации Буша мы не принимали ни одного решения, не проконсультировавшись с Буэно де Мескита»{117}.

Но, несмотря на то, что точность оценок Буэно де Мескита не проверишь, самое главное здесь то, что существует значительный спрос на его прогнозы. Организации, у которых многое поставлено на карту – жизнь, деньги или и то и другое – неизбежно прибегают к поискам информации, прежде чем рисковать. Эксперт, который утверждает, что он или она может заглянуть в будущее, всегда будет более востребован, чем тот, кто предлагает более ограниченную помощь.

Таким консультантам, как Буэно де Мескита, платят за то, чтобы они предсказывали ход событий, и клиенты вольны оценивать их работу. Но другие эксперты и интеллектуалы тоже дают прогнозы, и многочисленные промахи в их прогнозах существенно подорвали доверие общества к ученым и профессионалам. Когда люди, которые не предвидели развала Советского Союза – или обещавшие, что масштабная война с Ираком станет легкой победой – пробуют в очередной раз дать совет в том, что касается жизненно важных решений, то скептицизм публики вполне понятен.

Если мы отложим в сторону вопрос о том, должны ли эксперты делать прогнозы, мы все равно никуда не денемся от другой проблемы – они все-таки делают прогнозы, и их прогнозы зачастую поразительно плохи. В ставшем широко известным исследовании событий типа «черный лебедь» – непредвиденные моменты, которые способны изменить ход истории – Нассим Николас Талеб порицал «эпистемическую самонадеянность» самого процесса прогнозирования.

«Но мы ведем себя так, как будто можем предсказывать исторические события или, что еще хуже, способны изменить ход истории. Мы строим планы относительно дефицита бюджета социального обеспечения и цен на нефть сроком на 30 лет, не осознавая того, что не можем предсказать этого даже на следующее лето.

Наши совокупные ошибки в прогнозах политических и экономических событий настолько чудовищны, что каждый раз, когда я смотрю на шарлатанские отчеты, мне приходится щипать себя, чтобы убедиться, что это не сон»{118}.

Предупреждение Талеба о постоянстве неопределенности – важное замечание. Но его настаивание на бесполезности прогнозов непрактично. Человек никогда не сдастся и не откажется от любой возможности применить экспертные знания в качестве упреждающей защиты от потерь.

Вопрос не в том, следует ли экспертам заниматься прогнозированием. Они будут это делать. То общество, в котором они живут, и те лидеры, которые им управляют, попросят их сделать это. Скорее, вопрос заключается в том, когда и как эксперты должны давать прогнозы, и что делать, когда они оказываются ошибочными.

В 2005 году ученый Филип Тетлок собрал информацию об экспертных прогнозах в области социологии и обнаружил то, что подозревали многие: «Когда мы сравниваем экспертов с дилетантами, с обезьянами, делающими прогнозы с помощью дартс, или алгоритмами экстраполяции, мы находим мало доказательств того, что экспертные знания означают бо́льшую способность делать хорошо выверенные или проницательные прогнозы»{119}. Эксперты, похоже, ничем не лучше в предсказании будущего, чем колесо рулетки. Первоначальные находки Тетлока подтвердили подозрение многих обычных людей, что эксперты на самом деле не знают, что они делают.

Но подобная реакция на работу Тетлока была классическим случаем непонимания обычными людьми сути экспертного знания. Как отмечал сам Тетлок, «крайне настроенные скептики приветствуют эти результаты, но они приходят в замешательство, когда мы начинаем находить последовательные модели в том, кто что понял правильно. Крайний скептицизм говорит нам не ожидать ничего… Но данные исследования продемонстрировали больше последовательности в заявлениях прогнозистов, чем можно было списать на чистую случайность»{120}.

Тетлок на самом деле сравнивал экспертов не со всеми остальными людьми, а лишь с базовыми целевыми ориентирами, в особенности с предсказаниями других экспертов. Вопрос заключался не в том, были ли эксперты так же плохи в прогнозировании, как все прочие. А в том, почему отдельные эксперты предсказывают лучше других. И это вопрос совсем иного рода. Или, как Джеймс Суровецки (автор фразы «мудрость толп») заметил, что важность «когнитивного разнообразия» – когда множество взглядов бывает лучше одного – вовсе не означает, что если «вы соберете группу разных, но абсолютно неинформированных людей, их коллективная мудрость будет ценнее мудрости эксперта»{121}.

На самом деле Тетлок обнаружил не то, что эксперты были ничем не лучше случайных предсказателей, а то, что отдельные эксперты лучше применяют свои знания к гипотетическим суждениям, чем их коллеги. Тетлок применил сравнение, которое использовал британский мыслитель Исайя Берлин – между «ежами и лисами» – чтобы разграничить экспертов, чьи знания были широкими и всеохватными («лиса знает многие вещи»), от тех, чьи знания узки и глубоки («еж знает много, но об одном»). Исследование Тетлока это одна из важнейших работ, посвященных способу мышления эксперта, и она заслуживает полного прочтения. Но в целом одну из самых интересных его находок можно кратко сформулировать так, что в сложном процессе перехода экспертов от объяснения к прогнозу, «лисы», как правило, превосходят «ежей» по многим причинам.

Так, например, «ежи» были склонны чрезмерно концентрироваться на обобщении своих специфических знаний применительно к тем ситуациям, которые находились вне сферы их компетенции. А у «лис» лучше получалось использовать новую информацию и менять свои взгляды, сталкиваясь с новыми или более качественными данными. «Самокритичность и умение взвешивать все «за» и «против», обнаружил Тетлок, «помогали им избегать чрезмерного азарта в прогнозировании, который демонстрировали «ежи», в особенности хорошо информированные»{122}.

Технические эксперты – само воплощение «ежей» – столкнулись с серьезными трудностями не только в плане прогнозирования, но также и в умении проанализировать информацию, не связанную с их профессиональной деятельностью. Люди с четко ограниченной областью знаний обладают малым количеством инструментов, не относящихся к сфере их специализации. А потому они инстинктивно берут то, что знают, и применяют это обобщенно к тому, что выходит за рамки их компетенции, и не важно, насколько хорошо подходят данные методы к исследуемому предмету{123}. В результате получаются более уверенные прогнозы, но чаще всего они оказываются неверными, в основном потому, что ученые, как классические «ежи», сталкиваются с трудностями, получая и анализируя информацию, выходящую за рамки их очень узкой, но крайне сложной специализации.

В сложном процессе перехода экспертов от объяснения к прогнозу, «лисы», как правило, превосходят «ежей» по многим причинам.

Из всего этого можно извлечь несколько уроков – не только экспертам, но и обычным людям, которые оценивают – и даже оспаривают – прогнозы экспертов.

Самое главное, что ошибочные прогнозы не играют большой роли в плане оценки профессиональной компетентности. Эксперты обычно включают в свои прогнозы необходимые предостережения, так как мир полон непредвиденных случайностей, последствия которых учесть невозможно. Историю могут изменить зависящие от других факторов события, такие как сердечный приступ или ураган. Непрофессионалы обычно игнорируют эти предупреждения, несмотря на их важность, так же как они игнорируют местный прогноз погоды, обещающий дождь с вероятностью 70 процентов. А когда случается солнечный день – с шансами три из десяти – они считают, что метеоролог ошибся.

Это не означает, что мы должны спускать экспертам – особенно экспертному сообществу – с рук их крупные просчеты. И хоть ни один эксперт по Советскому Союзу не смог в 1970-х годах предсказать развал СССР к 1991 году, консолидация экспертных позиций вокруг противоположной точки зрения – что крушение советского государства было практически невозможно – это крупная ошибка, которая должна была бы испортить репутацию этой области исследований. (К сожалению, дело обстоит в точности противоположным образом: на протяжении двадцати лет большинство экспертов по России избегали того, чтобы разбираться в причинах ошибок друг друга.)