экспоненциальному распределению. Этот пример хорошо показывает, почему я говорил, что в статистике мы имеем дело со случайными значениями параметров случайной величины.
Важно понимать, что правила 2σ и даже 3σ не избавляют нас от ошибок. Они не гарантируют истинности утверждения, это не доказательства. Статистика ограничивает степень недоверия к гипотезе, не более того (рис. 4.2).
Рис. 4.2. Пример, показывающий соотношение оценки разброса, которая проведена по правилу 2σ, и наблюдаемого разброса для трех случайных величин. Здесь толстой линией показаны истинные распределения, а тонкими — оценка для наблюдаемых отклонений
Блестящий математик и автор прекрасного курса по теории вероятностей Джан-Карло Рота на своих лекциях в Массачусетском технологическом институте приводил такой пример. Представьте себе научный журнал, редакция которого приняла волевое решение: публиковать исключительно статьи с положительными результатами, которые удовлетворяют правилу 2σ или строже. При этом в редакционной колонке указано, что читатели могут быть уверены: с вероятностью 95 % они не встретят на страницах этого журнала неверный результат! Увы, это утверждение легко опровергнуть теми же рассуждениями, что привели нас к вопиющей несправедливости при тестировании водителей на алкоголь. Пусть 1000 исследователей подвергнут опыту 1000 гипотез, из которых верна лишь какая-то часть, скажем 10 %. Исходя из смысла проверки гипотез, можно ожидать, что 900 × 0,05 = 45 из неверных гипотез ошибочно не будут отвергнуты и войдут в журнал — наряду с 900 × 0,95 = 95 верными результатами. Итого из 140 результатов добрая треть окажется неверной!
Этот пример прекрасно демонстрирует наш отечественный закон подлости, который не вошел пока в хрестоматии мерфологии и сформулирован бывшим премьер-министром России Виктором Черномырдиным[21]:
Легко получить общую оценку доли неверных результатов, которые войдут в выпуски журнала, при предположении, что доля верных гипотез равна 0 < α < 1, а вероятность принятия ошибочной гипотезы равна p:
Области, ограничивающие долю заведомо неверных результатов, которые смогут быть опубликованы в журнале, показаны на рис. 4.3.
Рис. 4.3. Оценка доли публикаций, содержащих заведомо неверные результаты, при принятии различных критериев проверки гипотез. Видно, что принимать гипотезы по правилу 2σ рискованно, тогда как критерий 4σ уже может считаться весьма сильным
Конечно, мы не знаем этого α и не узнаем никогда, но оно заведомо меньше единицы, а значит, в любом случае утверждение из редакционной колонки нельзя принимать всерьез.
Можно ограничить себя жесткими рамками критерия 4σ, но он требует очень большого числа испытаний. Значит, надо увеличивать долю верных гипотез во множестве возможных предположений. На это и направлены стандартные подходы научного метода познания — логическая непротиворечивость гипотез, их согласованность с фактами и теориями, доказавшими свою применимость, опора на математические модели и критическое мышление.
Так правда ли, что дожди предпочитают выходные дни?
В начале главы мы говорили о том, что выходные и непогода совпадают чаще, чем хотелось бы. Попробуем завершить это исследование.
Каждый дождливый день можно рассматривать как наблюдение случайной величины — дня недели, подчиняющегося распределению Бернулли с вероятностью 1/7. Примем в качестве нулевой гипотезы предположение, что все дни недели одинаковы с точки зрения погоды и дождь может пойти в любой из них равновероятно. Выходных у нас два, итого получаем ожидаемую вероятность совпадения непогожего дня и выходного равной 2/7. Эта величина будет параметром распределения Бернулли. Как часто идет дождь? В разное время года по-разному, конечно, но в Петропавловске-Камчатском в среднем наблюдается девяносто дождливых или снежных дней в году. Так что доля дней с осадками составляет около 90/365 ≈ 1/4. Предположим на основании этого, что в течение некоторого периода (месяц, полгода, год) в среднем 1/4 дней окажутся непогожими. Посчитаем, какое количество дождливых выходных мы должны зарегистрировать, чтобы быть уверенными в том, что существует некоторая закономерность. Результаты приведены в таблице.
| Период наблюдений | Лето | Год | 5 лет |
| Ожидаемое число наблюдений | 23 | 90 | 456 |
| Ожидаемое число положительных исходов | 6 | 26 | 130 |
| Значимое отклонение | 4 | 9 | 19 |
| Значимая доля непогожих в общем числе выходных дней | 42% | 33% | 29% |
О чем говорят эти цифры? Если вам кажется, что который год подряд «лета не было», злой рок преследует ваши выходные, насылая на них дождь, это можно проверить и подтвердить. Однако в течение лета уличить злой рок можно, лишь если больше двух пятых выходных окажутся дождливыми. Нулевая же гипотеза предполагает, что только четверть выходных должна совпасть с ненастной погодой. За пять лет наблюдений уже можно надеяться подметить тонкие отклонения, выходящие за пределы 5 %, и при необходимости приступать к их объяснению.
Я воспользовался школьным дневником погоды, который велся с 2014 по 2018 год, и выяснил, что за эти пять лет было 459 ненастных дней, из которых 141 пришелся на выходные. Это действительно больше ожидаемого числа на 11 дней, но значимые отклонения начинаются с 19 дней, так что это, как мы говорили в детстве, «не считается».
Вот как выглядят ряд данных и гистограмма, показывающая распределение непогоды по дням недели. Горизонтальными линиями на ней отмечен интервал, в котором может наблюдаться случайное отклонение от равномерного распределения при том же объеме данных (рис. 4.4).
Рис. 4.4. Исходный ряд данных и распределение непогожих дней по дням недели, полученные за пять лет наблюдений
Видно, что, начиная с пятницы, действительно наблюдается увеличение числа дней с плохой погодой. Но для поиска причины роста предпосылок недостаточно: такой же результат можно получать, перебирая случайные числа. Вывод: за пять лет наблюдения за погодой я накопил почти две тысячи записей, но ничего нового о распределении погоды по дням недели не узнал.
При взгляде на записи в дневнике явно бросается в глаза, что непогода приходит не отдельными днями, а двух-трехдневными периодами или даже недельными циклонами.
Это как-то влияет на результат? Можно попробовать принять это наблюдение во внимание и предположить, что дожди идут в среднем по два дня (на самом деле 1,7 дня); тогда вероятность перекрыть выходные увеличивается до 3/7. Тогда ожидаемое число совпадений для пяти лет должно составить 195±21, или от 174 до 216 раз. Наблюденная величина 141 не входит в этот диапазон, и, значит, гипотезу об эффекте сдвоенных дней непогоды можно смело отвергать. Узнали ли мы что-то новое? Да: казалось бы, очевидная особенность процесса не влечет никакого эффекта. Об этом стоит поразмыслить, и мы этим займемся чуть позже. Но главный вывод таков: какие-то более тонкие эффекты рассматривать нет резона, поскольку наблюдения и, главное, их количество согласованно говорят в пользу самого простого объяснения.
Но недовольство у нас вызывает не пятилетняя и даже не годовая статистика: человеческая память не такая долгая. Обидно, когда дождливые дни выпадают на выходные три или четыре раза подряд! Как часто это может случаться? Особенно если вспомнить, что гадкая погода не приходит одна. Задачу можно сформулировать так: «Какова вероятность того, что n выходных подряд окажутся дождливыми?» В главе 6 мы близко познакомимся с так называемыми случайными процессами как с моделями случайных последовательностей событий во времени. Один из них, особенно важный и вместе с тем особенно простой, называется пуассоновским. Его характерная особенность — независимость момента наступления следующего события от предыдущих, уже произошедших, а также то, что временные интервалы между событиями подчиняются экспоненциальному распределению. Такая последовательность характеризуется одним параметром, который называют интенсивностью: числом событий, в среднем случающихся за единичный интервал времени. Разумно предположить, что непогожие дни образуют пуассоновский поток с интенсивностью 1/4. Это полностью соответствует нашему исходному положению, что в среднем четверть дней любого периода будет непогожей. Если рассматривать только выходные, процесс не должен изменить интенсивность, и из всех выходных непогожие дни должны составлять в среднем тоже четверть. Итак, выдвигаем нулевую гипотезу: ненастья формируют последовательность согласно пуассоновскому процессу с известным параметром, а значит, интервалы между пуассоновскими событиями описываются экспоненциальным распределением. Нас интересуют дискретные интервалы: 0, 1, 2, 3 дня и т. д., — поэтому мы можем воспользоваться дискретным аналогом экспоненциального распределения — геометрическим распределением с параметром 1/4. На рисунке 4.5 показано, что у нас получилось. Очевидно: предположение о том, что мы наблюдаем пуассоновский процесс, нет резона отвергать.
Рис. 4.5. Теоретическое и наблюдаемое распределение длины цепочек неудавшихся выходных. Тонкой линией показаны допустимые отклонения при имеющемся количестве наблюдений
Можно задаться таким вопросом: сколько лет нужно вести наблюдения, чтобы замеченную нами разницу в 11 дней можно было бы уверенно подтвердить или отвергнуть как случайное отклонение? Это легко посчитать: наблюдаемая вероятность 141/459 = 0,307 отличается от ожидаемой 2/7 = 0,286 на 0,02. Для фиксации различия в сотых требуется абсолютная погрешность, не превышающая 0,005, что составляет 1,75 % от измеряемой величины. Отсюда получаем необходимый объем выборки