Стандартное отклонениеНассим Николас Талеб
Заслуженный профессор в области инженерных рисков, Политехнический институт Нью-Йоркского университета; автор книг Antifragile[104], The Black Swan[105]и других.
Понятие стандартного отклонения приводило в смущение не одно поколение ученых; пришло время отказаться от его повсеместного использования и заменить это понятие более эффективным показателем среднего отклонения. А стандартное отклонение (Standard deviation, STD) оставим математикам, физикам и математическим статистикам, работающим с теоремами пределов. Нет никакой научной причины использовать его в статистических изысканиях в компьютерную эру, поскольку оно больше наносит вреда, чем приносит пользы, – особенно с учетом того, что все больше представителей общественных наук довольно механистически применяют статистические инструменты при решении научных задач.
Предположим, что кто-то попросит вас измерить «среднюю величину ежедневного отклонения» для температуры воздуха в вашем городе (или для стоимости акций какой-нибудь компании на фондовой бирже, или для артериального давления вашего дядюшки) за последние 5 дней. Пять изменений выглядят следующим образом: (–23, 7, –3, 20, –1). Что вы делаете дальше?
Берете ли вы каждое значение, возводите его в степень, вычисляете среднее значение для суммы, а затем извлекаете из нее корень? Или же вы просто игнорируете знаки и рассчитываете среднее арифметическое? Дело в том, что между этими двумя методами имеются серьезные различия. Если вы используете первый, среднее значение составит около 15,7, а при втором – 10,8. Первый метод носит техническое название среднеквадратичного или стандартного отклонения (standard deviation, STD), а второй – среднего абсолютного отклонения (mean absolute deviation, MAD).
Второй метод соответствует «реальной жизни» (и реальности) значительно лучше, чем первый. На самом деле каждый раз, когда люди принимают решения на основании величины стандартного отклонения, они ведут себя так, словно это ожидаемая величина среднего отклонения.
Все дело – в исторической случайности. В 1893 году гениальный Карл Пирсон предложил понятие «стандартное отклонение» для того, что ранее было известно как «среднеквадратичная ошибка». Тогда и началась путаница; люди полагали, что речь идет о «среднем отклонении», и эта идея прочно застряла в их мозгах. Каждый раз, когда какая-нибудь газета пыталась разъяснить концепцию рыночной волатильности, она определяла ее на словах как среднее отклонение, однако использовала в расчете более высокое значение стандартного отклонения.
Этой ошибке подвержены не только журналисты. Я встречал ее даже в официальных документах Министерства торговли и Федеральной резервной системы США – иными словами, подобную ошибку отождествления допускают даже регуляторы в своих заявлениях о волатильности рынка. Хуже того, мы с Дэниелом Голдстейном обнаружили, что в реальной жизни эту ошибку допускает множество ученых (порой с докторскими степенями), работающих с количественными данными.
Все это объясняется неудачной терминологией для неинтуитивных понятий. Дэнни Канеман называет психологическое предубеждение, из-за которого некоторые путают MAD и STD, «подменой атрибута» (attribute substitution), поскольку первое понятие приходит им на ум значительно проще, чем второе.
(1) MAD более точен в измерениях выборки и менее волатилен, чем STD, поскольку это достаточно естественный метод, в то время как стандартное отклонение использует само наблюдение со своим собственным весом, присваивая большие веса большим измерениям, и в результате хвостовые события получают слишком большой вес.
(2) Мы часто используем STD в своих уравнениях, однако обычно дело заканчивается тем, что в процессе мы конвертируем его в MAD (например, в области финансов такое часто происходит при расчете цен на опционы). В гауссовском мире STD больше MAD в 1,25 раза – то есть на величину квадратного корня из (π/2). Однако мы часто имеем дело со стохастической волатильностью, в которой STD может превышать MAD даже в 1,6 раза.
(3) Многие статистические явления и процессы имеют «бесконечную дисперсию» (скажем, популярное правило Парето о соотношении 80/20), однако при этом у них есть вполне конечная величина среднего отклонения. Если существует среднее, то существует и MAD. Обратное (бесконечные MAD и конечные STD) никогда не бывает истинным.
(4) Многие экономисты отказались от модели бесконечных дисперсий, предполагая, что этот термин означает «бесконечное среднее отклонение». Это печально, но это так. Когда великий Бенуа Мандельброт предложил 50 лет назад свою модель бесконечной дисперсии, экономисты испугались именно из-за этого отождествления.
Очень печально, что такая мелочь может привести к столь значительному замешательству. Наши научные инструменты слишком сильно опередили нашу повседневную интуицию, и это превращается в большую проблему. Поэтому я хотел бы завершить свой рассказ заявлением сэра Рональда Фишера: «Статистик не может уклониться от обязанности понимать процесс, который он применяет или рекомендует».
Но связанные с вероятностями проблемы в общественных науках и в биологии на этом не заканчиваются – имеется еще бо́льшая проблема с исследователями, которые используют статистические понятия без их осмысления, бездумно бросаясь терминами, принимая случайности за информацию и информацию за проявление частного случая.
Большинство таких ученых оперируют в своих статьях, публикуемых в «престижных» журналах, понятием регрессии, даже не зная, что означает этот термин и какие выводы он позволяет (и не позволяет) делать. Поскольку должная проверка реальностью (а также подлинная заинтересованность в научном результате) отсутствует, а сам процесс исследования подернут дымовой завесой «изощренной сложности», ученые, занимающиеся общественными науками, позволяют себе элементарные ошибки в работе с вероятностью, однако при этом продолжают процветать в профессиональном смысле.
Статистическая независимостьБарт Коско
Профессор кафедры электротехники, Университет Южной Калифорнии; автор книги Noise («Шум»).
Науке пришло время отказаться от фантазий, связанных со статистической независимостью.
Мир в огромной степени объединяется причинно-следственными связями. Достаточно вспомнить, что одна лишь гравитация определенным образом связывает все объекты, обладающие массой. Утверждение, что статистическая корреляция еще не подразумевает каузальности, принято считать трюизмом. Однако математический факт состоит в том, что статистическая независимость не предполагает вообще никакой корреляции. Тем не менее множество событий достаточно часто коррелируют друг с другом. Главный принцип большинства алгоритмов Больших данных заключается в том, чтобы выявить эту корреляцию в еще бо́льших наборах данных.
Статистическая независимость лежит также в основе большинства современных техник статистической выборки. Порой она оказывается частью самого определения «случайная выборка». Именно на нее опираются доверительные интервалы старой школы, использующиеся в опросах на политические темы и в некоторых медицинских исследованиях. Она даже лежит в основе моделируемых наборов данных, которые все чаще приходят на смену этим старомодным техникам.
Белый шум – вот на что похожа звуковая картина статистической независимости. Шипение, хлопки и хрипы, характерные для подлинного белого шума, статистически независимы друг от друга. И в этом смысле неважно, насколько образцы шума отстоят друг от друга во времени. Это означает лишь то, что частотный спектр белого шума является постоянно плоским. В реальности такой процесс невозможен, поскольку он потребовал бы бесконечной энергии. Однако это не помешало целым поколениям ученых и инженеров исходить из предположения, что белый шум загрязняет сигналы и коммуникации.
Реальные образцы шума не являются независимыми. В какой-то степени они коррелируют между собой. Даже тепловые помехи, затрудняющие работу электронных схем и радаров, имеют лишь условно плоский частотный спектр и ограничиваются лишь частью спектра. У реального шума нет ни плоского спектра, ни бесконечной энергии. Поэтому на самом деле «белый» шум может быть метафорически «окрашен» в розовый, коричневый или какой-то иной цвет, в зависимости от степени корреляции между его образцами. Реальный шум не является и не может являться белым.
Возникающая здесь проблема заключается в том, что для оценки статистической независимости существует не так уж много тестов. Большинство из них в лучшем случае говорят нам, являются ли две переменные (а не сами данные) независимыми. И большинству ученых было бы нелегко даже просто перечислить эти тесты. Поэтому наиболее распространенная практика заключается в том, чтобы предположить, что взятые для изучения события независимы. Допустим, что некие данные «белые». Представьте, что эти данные не только взяты не из одного распределения вероятностей, но и статистически независимы. Ученые легко оправдывают такую позицию тем, что так поступают почти все и про это написано в учебниках. Подобное предположение может считаться одним из самых широко распространенных примеров группового мышления в мире науки.
Причина, по которой мы так часто предполагаем наличие статистической независимости, совсем не связана с реальным положением вещей. Мы ожидаем статистической независимости просто потому, что так удобнее – она упрощает занятия математикой. Она делает неразрешимое разрешимым. Статистическая независимость разделяет сложную вероятность на произведения индивидуальных вероятностей (а затем мы часто используем логарифм для превращения произведения вероятностей в сумму, поскольку нам всегда проще работать с суммами, чем с произведениями). Кроме того, нам проще научить начинающего азартного игрока тому, что последовательные подбрасывания монетки независимы друг от друга, чем провести серию достаточно масштабных экспериментов с условными вероятностями, необходимых для фактического подтверждения этого примечательного результата. Такой подход продолжает существовать, поскольку в целом сложная или суммарная вероятность всегда представляет собой произведение условных вероятностей (это гарантируется так называемым правилом умножения). Независимость сужает условные вероятности до безусловных. Исключение обусловленности исключает и статистическую зависимость.