закон новшества.
В свою очередь, импульс (количество движения) или энергия уже обладают свойствами меры. Вес, количество денег, объем знаний, громкость (амплитуда) крика — хоть и не всегда легко измеримы, но тоже могут служить мерой на множестве людей.
Но вернемся к вероятностям. На интуитивном уровне с этим понятием знакомы сейчас практически все. Ее оценивают политологи и журналисты на ток-шоу, ее обсуждают, говоря о глобальном потеплении или завтрашнем дожде, о ней рассказывают анекдоты: «Какова вероятность встретить на Тверском бульваре живого динозавра? — Одна вторая: или встречу, или нет».
Широко распространено понимание вероятности как частоты, с которой могут происходить события при многократных испытаниях или наблюдениях. Это представление согласуется с нашим повседневным опытом, но оставляет ряд сложных вопросов. Например, когда байесовский спам-фильтр выдает следующий результат: «Вероятность того, что сообщение „Заработать в интернете может любой! Жми! Узнай как!“ — спам, составляет 82 %», с частотой чего это можно связать? Если протестировать сообщение несколько раз, ничего не изменится; можете переставить слова, но результат останется тем же, а при изменении текста сообщения мы переходим к другой задаче. О какой же вероятности речь? Другой пример. Камчатские сейсмологи каждый год публикуют прогноз сейсмической опасности — вероятности сильного землетрясения в ближайшее время. Однако и здесь неясно, можно ли дать частотное толкование такого прогноза. В главе 6 мы разберемся с этим примером, а сейчас приведем определение вероятности, данное замечательным русским математиком Андреем Николаевичем Колмогоровым в 1930-е. Оно может показаться далеким от интуитивного представления и чересчур сложным. Но интуиция — неважный помощник в рассуждениях на такую абстрактную тему, как вероятность. Сформулированное Колмогоровым определение — надежный и универсальный инструмент, применимый к очень широкому кругу задач. В следующих главах мы будем неоднократно обращаться к нему, вырабатывая правильную интуицию у читателя.
Современная теория вероятностей базируется на понятии вероятностного пространства. Его определение потребует ввести несколько новых терминов.
Элементарное событие — результат какого-либо эксперимента или наблюдения за системой, имеющей случайное поведение. При этом один эксперимент порождает ровно одно событие. Например: «выпадение тройки при бросании игральной кости», «наблюдение интервала в 7 минут между автомобилями в дорожном потоке».
Множество всех таких событий называют пространством элементарных событий. Ну что же, мы теперь готовы познакомиться с тем, как в математике определяется вероятность.
Вероятностным пространством называется тройка, включающая пространство элементарных событий Ω, сигма-алгебру его подмножеств F и функцию P, называемую вероятностью, которая каждому элементу из F ставит в соответствие неотрицательное число, причем:
1) P(∅) = 0;
2) P(Ω) = 1;
3) функция P сигма-аддитивна, то есть вероятность счетного объединения непересекающихся событий равна сумме их вероятностей: P(∪iAi) = ΣiP(Ai).
Как видите, вероятность — сигма-аддитивная мера на пространстве элементарных событий, имеющем меру 1. Соответственно, описанные выше свойства меры на языке вероятностей примут следующий вид.
Если из события A следует событие B, то вероятность A не больше, чем вероятность B: если A ⊆ B, то P(A) ≤ P(B).
Если из события A следует событие B, то вероятность того, что наступит B, но не наступит A, равна разности вероятностей: если A ⊆ B, то P(B\A) = P(B) — P(A). В частности, если B = Ω, то получаем формулу для вероятности противоположного события. Если событие, означающее, что событие A не произошло, обозначить то
Для любых A и B верно P(A∪B) = P(A) + P(B) − P(A∩B).
Рассмотрим простейший пример вероятностного пространства. Пусть мы бросаем монету, то есть в нашем эксперименте возможны всего два исхода, и Ω = {О (орел), Р (решка)}. Сигма-алгебра — множество всех подмножеств Ω, и в ней всего четыре элемента: {∅, {О},{Р},{О, Р}}. Она включает невозможное событие — отсутствие какого-либо результата (∅), а также тривиальное — получение какого-либо из возможных результатов {О, Р}, то есть все множество элементарных событий.
Если монета честная, то зададим такую вероятность: P(О) = 50 %, P(Р) = 50 %. Кроме того, P(∅) = 0,P(О, Р) = 100 %. Очевидно, что свойство сигма-аддитивности (которая в данном случае сводится к аддитивности) выполняется. Именно поэтому у нас получилось вероятностное пространство.
Дискретным случайным величинам соответствуют конечные или счетные множества, в них естественной (считающей) мерой оказывается обыкновенный подсчет количества элементов. Соответственно, вероятность в дискретном вероятностном пространстве получают с помощью комбинаторного подсчета вариантов, знакомого каждому студенту или интересующемуся математикой школьнику. Для непрерывных случайных величин вероятность как мера больше похожа на длину или площадь. Точное определение случайной величины мы дадим в следующей главе, пока же положимся на ее интуитивное понимание как величины, которую можно измерить или наблюдать. Но повторные измерения могут привести к иным результатам, заранее не известным.
Для полноценной работы со случайными событиями и вероятностями вводится одно важнейшее понятие, которое нехарактерно для других мер: независимость событий. С ней и связанной с нею условной вероятностью мы познакомимся в главе 4 и разберемся, что же имеет в виду байесовский спам-фильтр. Впрочем, если читателю уже приходилось решать задачи, в которых появляются независимые события (например, выпадение двух «орлов» при двух подбрасываниях монеты), то он знает, что вероятность пересечения для независимых событий вычисляется как произведение их вероятностей.
Если заменить в обсуждаемых определениях и свойствах вероятности сумму на «максимум», а произведение на «минимум», можно построить альтернативную теорию. Она называется теорией возможностей. Это характерный подход для математики в целом. Начинаем с абстрактных рассуждений: числа образуют определенную структуру с операциями сложения и умножения; замечаем, что на ограниченном числовом интервале можно построить такую же числовую структуру, но с другими операциями: минимум и максимум. Строим понятие меры на новой структуре и выясняем, что она открывает новый взгляд на мир! В отличие от теории вероятностей, здесь можно построить две согласованные меры — возможность и необходимость. Это направление, созданное американцем азербайджанского происхождения Лотфи Заде, служит основанием для нечеткой логики и используется в системах автоматического распознавания образов и принятия решений.
Возможность невероятного
Первое свойство мер: «Мера пустого множества равна нулю», — кажется тривиальным, но оно интересно своей асимметричностью. Если мера подмножества равна нулю, из этого не следует, что оно пусто! Например, линия — это, очевидно, непустое подмножество точек плоскости (и точек в ней бесконечно много), но ее мера на плоскости, то есть площадь, не просто исчезающе мала, а в точности равна нулю. Бывают и более экзотические примеры — канторовы и фрактальные множества, имеющие сложную структуру, содержащие бесконечное число точек, зримо «занимающие» некоторую площадь или объем, но тем не менее имеющие нулевую меру.
С появлением вычислительной техники множества с необычными свойствами сошли со страниц математических книг и журналов в область, понятную широкой публике. Они вызывают интерес не заложенной в них математикой, а своеобразной гармоничностью, красотой и завораживающей глубиной, которой обладают их визуализации. Треугольник Серпинского, множество Мандельброта и тесно связанные с ним множества Жулиа, как и многие другие математические объекты, стали визуальным символом века компьютерной графики, прежде недоступной человеку (рис. 2.2).
Рис. 2.2. Некоторые красивые объекты нулевой меры: линия на плоскости, спорадическое множество Жулиа
Готовя эту иллюстрацию, я нашел замечательное изображение несвязного множества Жулиа на прозрачном фоне с высоким разрешением. Вставив его в векторный редактор, я столкнулся с забавной трудностью: было очень нелегко попасть курсором в это изображение, чтобы выделить его. Оно такое «рыхлое», что вероятность попадания в закрашенную точку на экране была заметно меньше, чем в прозрачный фон. В вероятностном пространстве тоже могут существовать подмножества нулевой меры, но это не означает, что события из этих подмножеств невозможны. С четвертой-пятой попытки я смог выделить изображение, поскольку точки на экране все-таки имеют конечный размер. Но что было бы, попади в мое распоряжение настоящее несвязное множество Жулиа с бесконечным разрешением?
Представьте себе, что вы пользуетесь программным генератором случайных чисел, который выдает произвольное вещественное число от 0 до 1. Какова вероятность выпадения 0? А 1/2 или e/π? Во всех этих случаях ответ — ноль! Вернее, самое маленькое доступное компьютеру положительное число, так называемый машинный эпсилон, ведь машина оперирует конечным числом знаков после запятой. «Подождите, — скажете вы, — в каком смысле ноль? Эти же числа не невозможные». Проведем эксперимент. В результате мы получим какое-то конкретное число. Тогда «по построению» вероятность его появления не может быть нулевой. Все верно, но прежде чем выпадет конкретное число, нам придется перебрать бесконечное число случайны