Стратегии отбора и агрегирования в прогнозировании
Важным компонентом многих суждений является прогноз. Каков будет уровень безработицы в следующем квартале? Сколько электромобилей продадут в следующем году? Как изменится климат через тридцать лет? Сколько времени займет строительство нового здания? Каким будет годовой доход компании? Как покажет себя новый сотрудник? В какие затраты выльется новый закон о загрязнении воздуха? Кто победит на выборах? Ответы на подобные вопросы имеют далеко идущие последствия. Нередко частные и государственные организации полагаются на такие прогнозы в своей деятельности.
Анализ, определяющий, когда и почему именно прогноз оказался ошибочным, четко дифференцирует понятия смещения и шума (также называемого непоследовательностью или ненадежностью). Каждый из нас согласится, что в определенных ситуациях на прогнозиста оказывается внешнее психологическое давление. Например, правительственные агентства265 частенько проявляют необоснованный оптимизм при прогнозировании бюджета. В общем случае они предсказывают недостижимый в реальности экономический рост и нереально низкий дефицит бюджета. На самом деле нам абсолютно неважно, что именно породило оптимистический настрой – когнитивное искажение или политические мотивы.
Более того, аналитики, как правило, склонны к чрезмерной уверенности266. Попроси`те их сформулировать прогноз в виде доверительного интервала, а не конкретного значения, и они наверняка выберут куда более узкий интервал, чем следовало бы. Например, журнал, публикующий квартальные прогнозы267, обращается к финансовым директорам американских компаний с просьбой спрогнозировать динамику индекса S&P 500 на протяжении года. Любой из опрошенных даст две цифры: минимум и максимум; вероятность выхода индекса из этих границ они оценят в 10 % в ту и в другую сторону. Таким образом, два полученных нами показателя ограничивают ценовой интервал, в котором значение индекса будет находиться с вероятностью 80 %. Однако в реальности фактическое значение индекса проведет в данном интервале не более 36 % времени. Получается, что финансовые директора слишком самоуверенны в своих прогнозах.
Профессиональные аналитики также производят шум. Прочитав «Принципы прогнозирования» Дж. Скотта Армстронга, мы увидим, что даже в среде экспертов «ненадежность аналитика является источником268 ошибок в прогнозных суждениях». По сути же фактической причиной ошибок является шум, и в первую очередь шум ситуативный. Аналитик не всегда может прийти к внутреннему консенсусу. Влияние межэкспертного шума также велико: прогнозисты далеко не всегда соглашаются с коллегами, хотя все они – профессионалы в своем деле. Попроси`те профессоров юриспруденции спрогнозировать, как Верховный суд разрешит тот или иной вопрос права269, и в их мнениях обнаружится большое количество шума. Предложи`те специалистам определить количественные выгоды применения законодательства о загрязнении воздуха270 – и здесь вы столкнетесь с широким разбросом оценок в диапазоне от 3 до 9 миллиардов долларов США. Не меньшая вариативность выявится и в прогнозах группы экономистов по поводу уровня безработицы и экономического роста. Мы приводили множество примеров271 «зашумленных» прогнозов, а дополнительные исследования выявляют еще больше шума.
Улучшение качества прогнозов
Исследователи предлагают различные варианты стратегий снижения шума и смещения. Мы не будем приводить на страницах книги глубокий анализ, сосредоточившись в основном на двух методах, получивших широкое распространение. О первом из них – принципе «лучший судья – лучшее решение» – мы уже рассказывали в главе 18. Второй метод является одной из универсальных стратегий гигиены принятия решений: агрегирование (обобщение) множества независимых суждений.
Проще всего обобщить несколько прогнозов, вычислив их среднее значение. Усреднение с точки зрения математики гарантирует снижение шумового фона. В данном случае мы говорим об извлечении квадратного корня из общей суммы усредняемых суждений. Подобное действие означает, что, усреднив сотню суждений, мы снизим шум на 90 %, а если в выборку входит четыреста суждений, шум снизится уже на 95 %, то есть будет фактически подавлен. Данная статистическая закономерность является движущей силой подхода «мудрость толпы», который мы обсудили в главе 7.
Вычисление средней величины само по себе не снизит смещение. Влияние данного метода на общую погрешность (среднеквадратическую ошибку) зависит от конкретных пропорций шума и смещения в такой ошибке. Именно поэтому принцип «мудрости толпы» лучше всего срабатывает, когда имеешь дело с рядом независимых суждений, с меньшей вероятностью подверженных коллективному искажению. Эмпирически доказано, что усреднение большого числа прогнозов272 существенно повышает точность итогового результата. Например, так формируется консенсус-прогноз аналитиков фондового рынка. Будь то прогноз объема продаж, прогноз погоды или экономический анализ: невзвешенная средняя величина некоторого количества мнений превосходит в точности большинство273, а иногда и все индивидуальные прогнозы. Различные методы усреднения дают один и тот же результат: эмпирическое сравнение данных в тридцати различных областях позволило установить, что комбинированный прогноз снижает вероятность ошибки в среднем на 12,5 %274.
Простое нахождение среднего арифметического – не единственный способ обобщить значения прогнозов. Стратегия направленного выбора человека из толпы275 позволяет выделить лучших экспертов, руководствуясь точностью их недавних суждений, и найти среднее значение суждения небольшого коллектива (например, пяти человек). Подобный метод не менее эффективен, чем простое среднее арифметическое. Если человек, отвечающий за принятие решения, предпочитает полагаться на мнение компетентных судей, ему будет легче понять и принять стратегию, опирающуюся не только на обобщение мнений, но и на выбор лиц, их генерирующих.
Одним из методов подготовки обобщенного прогноза стало использование виртуальных рынков предсказаний – сообществ людей, заключающих пари на вероятный исход того или иного события, что дает им стимул для вынесения верной оценки. В основном такие объединения достаточно эффективны276: если рынок предсказаний полагает, что событие произойдет с вероятностью 70 %, то примерно в семидесяти случаях из ста оно действительно происходит. Многие компании различных отраслей промышленности пользуются информацией, поступающей с рынка предсказаний277 для обобщения различных точек зрения.
Другим общепринятым подходом обобщения некоторого множества взглядов стал известный метод «Дельфи»278. В классическом понимании данный способ подразумевает несколько этапов, в ходе которых участники анонимно направляют свои оценки (либо результаты голосования) организаторам. На каждом новом этапе участники (по-прежнему анонимно) предоставляют обоснования своих оценок и рассматривают точки зрения других экспертов. Метод дает возможность сузить расхождение мнений, требуя, чтобы новые суждения, формирующиеся участниками в следующем раунде, не выходили за диапазон, сложившийся по результатам раунда предыдущего. Метод «Дельфи» выигрывает за счет сочетания агрегирования с социальным научением.
Данная методика хорошо срабатывает во многих ситуациях, однако довольно сложна в реализации279. Существует упрощенная вариация – «Мини-Дельфи»280, предполагающая обработку мнений в течение единственной встречи экспертов. Эта версия также описывается формулой «оценка – обсуждение – повторная оценка». Основным ее требованием к участникам стало вынесение индивидуальной оценки (без предварительного обсуждения) с ее последующим объяснением и обоснованием. Второй этап заключается в модификации оценки на основе реакций и пояснений других участников. Консенсусом будет считаться среднее значение индивидуальных суждений, сложившихся в ходе второго раунда.
Проект «Верное суждение»
Некоторые наиболее инновационные исследования качества прогнозирования, выходящие за рамки рассказанного нами выше, начались в 2011 году, когда три выдающихся ученых-бихевиориста основали проект «Верное суждение». С Филипом Тетлоком мы уже познакомились в главе 11, обсуждая оценку долгосрочных прогнозов политических событий. Помимо Тетлока в группу вошла его супруга Барбара Меллерс, а также Дон Мур. Ученые поставили перед собой цель улучшить наше понимание природы прогнозирования и, в частности, причин появления хороших прогнозистов.
Проект «Верное суждение» начался с набора десятков тысяч добровольцев, не являющихся специалистами или экспертами, – самых обычных людей из самых разных слоев общества. Каждого из них попросили ответить на сотню примерно таких вопросов:
▣ Испытает ли Северная Корея ядерное оружие до конца текущего года?
▣ Аннексирует ли Россия какие-либо украинские территории в течение следующих трех месяцев?
▣ Станут ли Индия или Бразилия постоянными членами Совета Безопасности ООН в течение следующих двух лет?
▣ Выйдет ли в следующем году какая-либо страна из еврозоны?
Как видно из данных вопросов, проект сосредоточен на широком спектре мировых проблем. Важно отметить, что подобные вопросы отражают ту повестку, которая тревожит аналитиков во всем мире. Спросим адвоката: есть ли перспектива у его клиента выиграть дело в суде? Узнáем у специалистов телестудии, каковы шансы на популярность у нового телешоу. В обоих случаях нашему собеседнику потребуются аналитические способности. Тетлок с коллегами решили выяснить, действительно ли среди нас есть люди, которых можно считать особенно хорошими прогнозистами. Также ученые хотели понять, можно ли научить человека навыкам прогнозирования или хотя бы развить его врожденные способности.
Смысл основных выводов проекта станет ясен, если мы расскажем о некоторых ключевых особенностях метода, применяемого Тетлоком в целях оценки способностей к прогнозированию.
Во-первых, ученые собрали большое количество прогнозов, не ограничившись одним или несколькими, которым могла способствовать самая обычная удача либо, напротив, невезение. Если вы предсказали, что ваша любимая команда выиграет следующий матч и она действительно побеждает соперника – это еще не значит, что вы действительно хороший прогнозист. А если вы каждый раз даете прогноз в пользу любимой команды? Если ваша стратегия именно такова и команда побеждает в половине случаев, нельзя сказать, что ваши способности к прогнозу впечатляют. Следует отфильтровать фактор везения, поэтому исследователи и проверяют среднюю точность прогноза каждого участника эксперимента в пределах широкого спектра событий.
Во-вторых, ученые просят участников дать вероятностный прогноз, который не ограничивается ответом «случится» или «не случится». Для многих прогнозирование как раз и заключается в выборе одного из этих двух вариантов. В то же время, учитывая нашу объективную неосведомленность о наступлении событий в будущем, гораздо эффективнее формулировать вероятностные прогнозы.
Допустим, в 2016 году вы утверждали, что Хилари Клинтон с семидесятипроцентной вероятностью станет следующим президентом. Это не значит, что вы плохой прогнозист. Правильным станет следующий вывод: событие, которое сбудется в семидесяти случаях из ста, в тридцати случаях все же не произойдет. Если мы хотим знать, хорош ли прогнозист, нам потребуется выяснить, насколько его вероятностная оценка соответствует реальности. Предположим, условная Маргарет утверждает, что 500 различных событий произойдут с вероятностью 60 %. Если ее прогноз сбудется в отношении трехсот из них, придется сделать вывод, что вероятностное мышление Маргарет настроено вполне прилично. Подобная настройка – необходимое условие для хорошего аналитика.
В-третьих, отлаживая свой метод, Тетлок с коллегами не просто требовали от прогнозистов дать оценку вероятности наступления какого-либо события в течение, скажем, двенадцати месяцев. Ученые предоставили участникам возможность регулярно пересматривать свой прогноз в свете поступающей информации.
Предположим, в 2016 году вы спрогнозировали, что вероятность выхода Соединенного Королевства из Евросоюза до конца 2019 года составляет лишь 30 %. Идет время, мы получаем данные новых опросов, предполагающих, что движение за выход из Евросоюза набирает силу. Не исключено, что вы измените свою оценку в сторону повышения. Оглашается результат референдума, и он не добавляет ясности – действительно ли в Лондоне решат отделиться именно в обозначенный нами период. Однако вероятность все растет (кстати, технически Брексит состоялся в 2020 году).
По мере поступления новой информации Тетлок и его коллеги разрешали прогнозистам корректировать свои оценки. В целях составления рейтинга каждая корректировка приравнивалась к новому прогнозу. Таким образом, участников проекта «Верное суждение» побуждали внимательно следить за новостями и регулярно обновлять прогнозы. Подобный подход отражает требования к аналитикам в деловой среде и ожидания от прогнозов правительства. И те и другие обязаны достаточно часто обновлять свои оценки с учетом поступающих новостей и не должны обращать внимание на риск подвергнуться критике за перемену мнения. Кстати, отличным ответом на подобную критику служит заявление, приписываемое Джону Мейнарду Кейнсу: «Если изменяется фактическая обстановка, я меняю свое суждение. А как поступаете вы?»
В-четвертых, проект «Верное суждение» использовал для измерения эффективности прогнозистов систему, разработанную Гленном Брайером еще в 1950 году. Шкала Брайера определяет фактическую степень точности прогноза.
Упомянутая система представляет собой весьма разумный способ справиться с глобальной проблемой, присущей вероятностному прогнозу: обычно прогнозист подстраховывается, не пытаясь занять категоричную позицию. Вернемся к нашей Маргарет, которую мы посчитали умелым прогнозистом, предсказавшим шестидесятипроцентную вероятность наступления 500 событий, из которых 300 действительно случились. Подобный результат далеко не так внушителен, как нам представляется. Допустим, Маргарет стала синоптиком, постоянно оценивающим вероятность дождя в 60 %. Из 500 дней действительно выпадает 300 дождливых. Прогностическая способность Маргарет настроена неплохо, однако абсолютно бесполезна на практике. В сущности, она советует: «Каждый день, выходя из дому, на всякий случай берите с собой зонт». Сравним Маргарет с условным Николасом, который дает 300 абсолютно точных прогнозов: «Сегодня будет дождь», а еще 200 раз говорит: «Дождя не будет» и вновь не ошибается. Способности к прогнозу у Николаса отлажены не хуже, чем у Маргарет: любой из этой парочки предсказывает, что в Х% случаев пойдет дождь, и их прогноз сбывается. Тем не менее оценка Николаса имеет бóльшую ценность: он не осторожничает и четко говорит вам, когда именно брать с собой зонт. Скажем так: Николас, помимо способностей к прогнозированию, обладает еще и решимостью.
Шкала Брайера оценивает как хороший прогностический дар, так и решимость. Высокий балл наберет тот, кто не только дает верную среднюю оценку (способность к прогнозированию), но еще и склоняется к категоричным ответам, дифференцируя свои прогнозы (высокая решимость). Рейтинг Брайера берет за основу логику метода исчисления среднеквадратической ошибки. Чем ниже набранный балл, тем по данной шкале лучше: наивысшим баллом станет значение «0».
Итак, теперь мы знаем, как оценивают прогнозистов. Каковы же успехи добровольцев проекта «Верное суждение»? Одним из основных результатов исследования стала уверенность в том, что подавляющее большинство участников практически неэффективно, однако около 2 % выделяются из общего ряда. Мы уже говорили, что Тетлок называет таких людей суперпредсказателями. Нельзя утверждать, что их прогнозы абсолютно безошибочны, однако их верные оценки – далеко не просто везение. Примечательно, что один правительственный чиновник заявил: «группа Тетлока в среднем достигает куда лучших результатов281, чем аналитики разведывательных служб, располагающие данными радиоперехвата и иной конфиденциальной информацией». Это сравнение заставляет задуматься. Аналитики разведслужб обучены выдавать точные прогнозы; это не какие-то любители. Кроме того, они имеют доступ к секретной информации и все же не могут приблизиться к результатам суперпредсказателей.
Вечная бета-версия
С чем связан успех суперпредсказателей? Вспомним аргументы, приведенные в главе 18. Мы имеем основания полагать, что подобные люди отличаются необычайными умственными способностями, и это соображение неошибочно. При прохождении тестов на GMA суперпредсказатели показывают результаты лучше, чем среднестатистический волонтер из проекта «Верное суждение» (а средний уровень такого волонтера выше, чем в среднем по США). В то же время разница не слишком существенна, и многие участники эксперимента, показавшие чрезвычайно хороший уровень во время тестирования, суперпредсказателями не стали. Помимо общего уровня интеллекта, мы также вправе ожидать, что суперпредсказатели являются исключительно хорошими математиками. Так оно и есть на самом деле. Однако главным их преимуществом являются вовсе не способности к математике, а та легкость, с которой наши герои включают аналитическое и вероятностное мышление.
Задумайтесь о готовности и способности суперпредсказателей структурировать задачу и разложить ее на отдельные элементы. Вместо того чтобы сразу сформулировать окончательное суждение по серьезному геополитическому вопросу (например, примет ли нация решение о выходе из Евросоюза, начнутся ли военные действия в определенной точке земного шара, состоится ли покушение на жизнь известного общественного деятеля), они разбивают вопрос на несколько компонентов. Мыслят суперпредсказатели следующим образом: «При каких условиях ответ будет утвердительным или отрицательным?» Суперпредсказатель не станет полагаться на интуицию или прозрение; он задаст себе несколько дополнительных вопросов и попытается найти на них ответы.
Суперпредсказатели превосходят обычных людей в способности смотреть со стороны и учитывать априорную вероятность. Как мы уже поясняли в отношении вопроса о Гамбарди в главе 13, прежде чем сосредоточиться на особенностях его случая, полезно было бы изучить данные о вероятности увольнения или ухода по собственному желанию среднестатистического наемного директора компании в течение двухлетнего периода. Суперпредсказатель систематически сверяется с априорной вероятностью. Если его спросят, случится ли в следующем году вооруженный конфликт между Китаем и Вьетнамом в связи с непримиримыми разногласиями, суперпредсказатель не станет зацикливаться на текущих отношениях между этими странами. Да, возможно, он читал новости и аналитику по данному вопросу и у него уже наготове интуитивный ответ, однако наш герой знает, что обычно интуиция – не лучший советчик. Поэтому он поищет информацию о том, как часто серьезные разногласия между странами выливались в вооруженные столкновения. Если войны случались крайне редко, суперпредсказатель встроит этот факт в свои рассуждения и лишь потом обратится к анализу текущей ситуации.
Проще говоря, суперпредсказателя отличает от его коллег не только чистый интеллект, но и способ его задействования. Умения, которыми владеет и успешно применяет наш герой, говорят о его когнитивном стиле, который, как мы рассказывали в главе 18, вероятно, послужит причиной для лучшего суждения, особенно если человек обладает активным открытым мышлением. Помните тест из главы 18? Он включает такие утверждения, как «Человек должен принимать во внимание истины, противоречащие его собственным убеждениям» и «Полезнее прислушиваться к людям, которые с тобой не согласны, нежели к тем, кто поддерживает твою точку зрения». Понятно, что человек, который наберет высокий балл по итогам подобного теста, не стесняется корректировать свои суждения (не доходя до абсурда), если ему становится доступна новая информация.
Характеризуя стиль мышления суперпредсказателей, Тетлок использует выражение «вечная бета-версия», которое частенько встречается в сленге программистов. Обычно так говорят о программе, которую уже не планируют выпускать в следующей версии. Вместо этого ее бесконечно используют, анализируют и совершенствуют. Тетлок выяснил, что «сильнейшим сигналом282, свидетельствующим о том, что человек станет суперпредсказателем, является как раз такая встроенная «вечная бета-версия», определяющая степень готовности к самосовершенствованию и корректировке собственных убеждений». Тетлок говорит: «Что делает его настолько сильным? Не то, кем он является, а то, как он работает: усердно исследует, тщательно думает и ничего не имеет против самокритики, запоминает и анализирует другие точки зрения, детализирует свои суждения и не стесняется их обновлять». Суперпредсказатель любит мыслить циклически. Его кредо: пытаться, терпеть неудачи, анализировать283, корректировать и снова пытаться.
Шум и смещение в прогнозировании
Прочитав предыдущий раздел, вы, скорее всего, начали склоняться к мысли, что человека можно научить быть суперпредсказателем или, во всяком случае, помочь ему приблизиться к высокому уровню. В самом деле Тетлок и его соратники именно над этой проблемой и работали, и их усилия следует считать второй стадией исследования, заключающейся в решении двух вопросов: что делает суперпредсказателей настолько эффективными? Как заставить их работать еще лучше?
В ходе важнейшего эксперимента команда Тетлока произвольно разделила обычных (невыдающихся) прогнозистов на три группы, в которых тестировались различные методы улучшения качества суждений. Данные методы представляют собой три стратегии улучшения суждений, которые мы уже описали выше.
1. Обучение: несколько прогнозистов прошли курс обучения, направленный на улучшение их способностей, в ходе которого им преподавали основы вероятностных рассуждений. Прогнозисты узнали о различных типах искажений (в том числе о пренебрежении априорной вероятностью, чрезмерной уверенности и заданности восприятия), усвоили важный принцип усреднения прогнозов, поступивших из различных источников, и обучились учету сопоставимой информации.
2. Командная работа (одна из форм обобщения): нескольких прогнозистов попросили работать в группах, предоставив им возможность прислушиваться к прогнозам коллег и обсуждать их. Командная работа имеет свойство повышать точность прогноза, поощряя участников группы анализировать мнения оппонентов и стимулируя развитие активного открытого мышления.
3. Отбор: каждый из прогнозистов получал балл за точность прогноза, и через год исследователи выбрали 2 % лучших суперпредсказателей. В течение следующего года они уже работали совместно в особых элитных группах.
В итоге выяснилось, что каждая из трех стратегий по-своему результативна. Как минимум участники всех трех групп продвинулись по шкале Брайера. Обучение позволило добиться разницы по сравнению с ранее достигнутым уровнем, командная работа эту разницу увеличила, а отбор дал еще больший эффект.
Ценные результаты, полученные в процессе исследования, подтвердили значимость метода обобщения суждений и выбора лучших судей. Однако на этом история не закончилась. Опираясь на информацию об эффекте каждой из стратегий, Вилле Сатопаа, ранее сотрудничавший с Тетлоком и Меллерс, разработал сложный статистический метод284, позволяющий выяснить, как именно каждый из трех подходов влиял на улучшение качества суждений. В принципе, рассуждал он, существуют три основные причины, по которым некоторые прогнозисты отличаются от своих коллег в лучшую или худшую сторону:
1. Хороший прогнозист имеет отличные навыки поиска и анализа информации из внешней среды, представляющей ценный источник для формирования прогноза. Стало быть, здесь мы говорим о важности информации.
2. Некоторые прогнозисты проявляют общую склонность к ошибкам в определенных аспектах достоверности прогноза. Если прогнозист сделает сотню прогнозов и в каждом из них допустит системную ошибку в части недооценки или переоценки возможности некоторых изменений статус-кво, мы, в зависимости от направления его ошибок, скажем, что на данного специалиста оказывает влияние определенная форма когнитивного искажения.
3. Некоторые прогнозисты менее подвержены воздействию шума (реже допускают случайные ошибки). В области прогнозирования, как и при вынесении любого иного суждения, существуют многочисленные механизмы, запускающие шумовой фон. Прогнозисты могут проявлять чрезмерную реакцию на какую-либо новость (это и есть пример внутриэкспертного шума), могут быть подвержены и влиянию шума ситуативного. При работе со шкалой вероятностей на таких специалистов могут воздействовать шумовые помехи. Направление и масштаб каждой ошибки (а мы перечислили лишь некоторые из них) непредсказуемы.
Сатопаа, Тетлок, Меллерс и их коллега Марат Салихов выделили для себя три основных компонента, присущих прогнозированию: искажение, информацию и шум. Перед исследователями стояла задача: измерить, как ведут себя данные компоненты при оптимизации эффективности в разрезе каждой из трех стратегий. Модель получила название «BIN».
Ответ оказался простым: каждая из трех стратегий в первую очередь работала на снижение шума. Ученые отметили: «В тех случаях, когда применяемые меры285 улучшали точность, их эффект складывался в основном за счет нейтрализации возможности случайных ошибок в суждениях. Любопытно, что изначальной целью стратегии обучения было уменьшить смещение».
Итак, поскольку обучающий метод был нацелен на искажения, прогнозист средних способностей предсказал бы, что основным достижением примененного подхода станет уменьшение смещения, и оказался бы не прав: тренинги уменьшили шум. Неожиданный поворот вполне объясним. Обучающий метод Тетлока был направлен на нейтрализацию психологических искажений, которые, как мы уже знаем, не всегда приводят к статистическому смещению. Допустим, разные люди в ходе дискуссии выносят разные суждения, прибегая к различным подходам. В каждом случае срабатывают психологические искажения, внося шум в итоговый результат. Подобный эффект мы наблюдаем и здесь, поскольку прогнозируемые события крайне разнообразны. В зависимости от темы искажения заставляют аналитика недооценивать или переоценивать вероятность. Статистического смещения, которое стабильно заставляет прогнозиста полагать, что определенные события наверняка произойдут (или, напротив, не произойдут), в данном случае ожидать не приходится. В результате обучение прогнозистов методам борьбы с психологическими искажениями как раз и приводит к снижению шума.
Метод командной работы лучше подавляет шум, нежели метод обучения и в то же время значительно улучшает способность команды извлекать необходимую для суждения информацию. Результат в данном случае согласуется с логикой метода обобщения: коллективный мозговой штурм дает больше возможностей для обнаружения значимых данных, чем работа в одиночку. Допустим, условные Элис и Брайан работают в команде, и Элис замечает сигнал, пропущенный напарником. В итоге их совместный прогноз окажется лучше. Судя по всему, при работе в группе суперпредсказателям удается избегать риска групповой поляризации и влияния информационных каскадов. Напротив, они обобщают интуитивные догадки и добытые каждым из них данные, извлекая максимум из имеющейся информации за счет применения активного открытого мышления. Сатопаа и его коллеги объясняют данный эффект так: «Командная работа, в отличие от обучения…286 позволяет прогнозистам не идти на поводу у информации».
Оптимальный итоговый результат показал метод отбора. Частично его успех объясняется более умелым использованием информации. Суперпредсказатели лучше среднестатистических участников эксперимента владеют методами поиска значимых данных – либо за счет более острого ума, либо более сильной мотивации и богатого опыта в формировании прогнозов требуемого типа. Повторим: основным достижением метода отбора стало снижение шумового фона. Суперпредсказатели, в отличие от среднего прогнозиста или даже обученной команды, действительно производят меньше шума. Данный вывод также стал откровением для Сатопаа и других исследователей: «Суперпредсказатели, вероятно, обязаны своим успехом287 более жесткой фильтрации возможных погрешностей оценки, нежели более внимательному чтению новостей». Очевидно, их среднестатистический коллега на такое не способен.
В каких случаях срабатывают методы отбора и обобщения
Успех проекта по выявлению суперпредсказателей подчеркивает значение двух стратегий гигиены принятия решений: стратегии отбора (суперпредсказатели действительно по праву носят приставку «супер») и стратегии обобщения (работая в команде, прогнозисты действуют более эффективно). Обе стратегии широко применяются для вынесения суждений самого разного характера. Если ситуация позволяет, стратегии следует сочетать, создавая команды судей (в сферах прогнозирования, инвестиций или работы с персоналом), отобранных не только по принципу профессионализма, но и с учетом взаимодополняемости.
До сих пор мы обсуждали способы повышения точности, достигаемой усреднением множества независимых суждений, как, например, в случае экспериментов с концепцией «мудрости толпы». Агрегирование оценок экспертов высокой квалификации еще более способствует улучшению точности суждения. Дополнительного эффекта можно также добиться, сочетая оценку экспертов, которые будут работать автономно и в то же время смогут дополнять друг друга288. Представьте себе ситуацию, когда четыре человека стали свидетелями преступления. Важно, конечно, не допустить взаимного влияния их показаний. При этом качество информации, которую они вам дадут, будет гораздо лучше, если они наблюдали за происшествием с четырех разных сторон.
Задача создания команды профессионалов, которой предстоит вынести суждение, подобна отбору комбинации тестов, способных спрогнозировать результаты деятельности ваших кандидатов (что в учебном процессе, что в профессиональной сфере). Стандартным инструментом решения такой задачи считается метод множественной регрессии, введенный нами в главе 9. Метод работает путем последовательного отбора переменных. Первым выбирается тест, показавший наилучший прогнозный результат. Однако второе место в вашем арсенале необязательно займет тест со вторым по порядку итоговым баллом. Нет, второй тест должен дополнять прогностическую способность первого инструмента; его прогнозный потенциал должен соответствовать критериям достоверности и не быть избыточным по отношению к первому тесту. Приведем пример. Допустим, у вас имеется два сопоставимых теста измерения сообразительности, которые дают корреляцию 0,50 и 0,45 относительно будущих успехов кандидата. Третий тест (на выявление личностных характеристик) коррелирует лишь на 0,30 относительно потенциального успеха и совершенно не коррелирует с двумя другими тестами. Оптимальным решением станет комбинация первого теста с более высоким коэффициентом корреляции и третьего теста, который способен добавить к вашему заключению новую информацию.
Таким же образом, создавая команду судей, разумеется, в первую очередь необходимо пригласить лучшего кандидата. Однако вторым выбором вполне может стать отнюдь не человек с аналогичными способностями, а кандидат с более умеренным уровнем, который, тем не менее, привнесет в команду новый импульс. Команда, созданная на основе подобного критерия, покажет лучший результат, поскольку степень достоверности коллективного суждения растет быстрее, когда индивидуальные суждения не коррелируют, и медленнее в ситуациях, когда их комбинация избыточна. Внутриэкспертный шум в такой команде будет достаточно высок, поскольку индивидуальные суждения по каждому вопросу варьируют. Парадоксально, но факт: «шумная» группа даст более точную среднюю оценку, чем та, что родилась в условиях полного единогласия.
Следует принять во внимание важную оговорку. Вне зависимости от степени разнородности оценок, агрегирование снизит шум лишь в том случае, если суждения действительно выносятся автономно. Как показали наши рассуждения о шуме в коллективах, групповые обсуждения скорее добавят ошибку за счет смещения, нежели снизят шум. Если организация по-настоящему стремится достигнуть разнообразия мнений, ей следует приветствовать дискуссию, зарождающуюся после независимого формирования суждений каждым из членов команды. Процесс идентификации и обобщения независимых, хотя и разнородных суждений часто оказывается наиболее простой, экономичной и популярной стратегией гигиены принятия решений.
К разговору об отборе и агрегировании
«Найдем среднее значение четырех суждений – так мы точно снизим шум в два раза».
«Следует стремиться к тому, чтобы стать вечной бета-версией, подобно суперпредсказателям».
«Давайте начнем с поиска априорной вероятности, прежде чем приступить к обсуждению».
«У нас хорошая команда, и все же: как добиться большего разнообразия мнений?»