Если не указывать априорную информацию, то выводы будут столь же некорректны, как если бы они вообще ни на чем не основывались… В реальности, когда требуется сделать выводы, как правило, имеется убедительная априорная информация, непосредственно связанная с заданным вопросом. Не принимать ее в расчет – значит допустить самую очевидную непоследовательность в рассуждениях, что может привести к абсурдным или вводящим в опасное заблуждение результатам.
Напомним, что в нашем опросе 23 % респондентов согласились с утверждением «Вероятностные методы непрактичны, так как вероятности требуют вычисления точных данных, а у нас их нет». Их меньшинство, но даже те, кто не согласен с утверждением, скорее всего, попадали в ситуации, когда казалось, что данных слишком мало для формулирования полезных выводов. Именно поэтому, видимо, большинство участников опроса также ответили, что порядковые шкалы уместны при измерении неопределенности. Возможно, им удобно использовать крайне неточные и произвольные значения вроде «высокий, средний, низкий» для передачи информации о риске, но при этом, по иронии судьбы, они верят и в количественные подходы. Те же, кто всецело доверяет количественным методам, полностью отвергают порядковые шкалы при измерении крайне неопределенных величин. При высокой степени неопределенности вы используете вероятности и диапазоны, активно заявляя о своей неуверенности, особенно когда полагаетесь на знания экспертов. Из результатов исследований, описанных ранее, вам уже известно, как даже субъективные оценки можно разложить на составляющие и сделать более согласованными, прежде чем применять новые «объективные» данные, и как использовать для обновления оценки всего одну точку данных (например, результат одного теста на проникновение).
Теперь, когда заложена основа эмпирических байесовских методов с помощью, пожалуй, чрезмерно упрощенного примера, можно перейти к решению более сложных – и более реалистичных – проблем.
Вычисление частоты с помощью (очень) малого количества точек данных: бета-распределение
Есть чуть более сложная производная от формулы Байеса, о которой стоит чаще вспоминать в сфере кибербезопасности. Допустим, вы представляете одну из крупнейших компаний розничной торговли, о которых говорилось в главе 6, и вам снова требуется оценить вероятность утечки данных. Но в этом случае новые эмпирические данные являются не результатом теста на проникновение, а наблюдаемыми (точнее, широко освещенными в СМИ) крупными утечками данных. Естественно, вам бы захотелось использовать новостные репортажи для оценки вероятности подобного нарушения в вашей организации. В идеальном мире у вас была бы актуарная таблица для сферы кибербезопасности вроде тех, что применяются при оценке страхования жизни, здоровья и имущества. Тысячи компаний в отрасли прилежно сообщали бы данные в течение многих десятилетий. А вы бы на их основе вычисляли «интенсивность» или «частоту» утечек данных, отражающую процент компаний, в которых произойдет утечка в конкретном году. Как и в страховании, частоту можно было бы использовать в качестве косвенного показателя вероятности того, что у вас произойдет такое же событие.
Но в реальности для вашей актуарной таблицы взломов не так уж много информации. К счастью, много данных и не понадобится, если задействовать статистический инструмент, известный как бета-распределение. С его помощью можно делать выводы о годовой частоте нарушений даже в случае, когда данных очень мало.
К тому же, как уже не раз отмечалось, у вас больше данных, чем кажется. При оценке ущерба репутации, например, странно говорить о недостатке сведений о крупных утечках данных, поскольку, по сути, есть вся нужная информация. Ведь каждая масштабная утечка в крупных компаниях розничной торговли, повлекшая за собой огромные убытки, активно освещалась. Собственно говоря, многие убытки возникли лишь потому, что утечка получила широкую огласку (если была крупная утечка данных, которая почему-то до сих пор не обнародована, то такой компании розничной торговли удалось избежать части или большинства основных убытков, связанных с утечкой).
Изучив отчет компании Verizon о расследовании утечек данных – Data Breach Investigations Report (DBIR), а также другие источники сведений о нарушениях, можно узнать количество утечек в каждой отрасли. Однако сама по себе эта информация не сообщает нам, какова вероятность возникновения утечки в отдельной компании отрасли. Если в такой-то отрасли в указанном году произошло пять утечек данных, то в масштабах отрасли это 30 % или 5 %? Для ответа потребуется узнать (разложить) размер совокупности, из которой были взяты компании, включая те, где утечек не было.
Именно на этом этапе некоторые эксперты по кибербезопасности (те, кто помнит из области статистики ровно столько, чтобы истолковать все неправильно) сдаются, говоря, что несколько утечек не являются «статистически значимыми» и не позволяют делать какие-либо выводы. Другие (особенно те, кто, как мы надеемся, прочитает эту книгу) не отступят так легко. Ведь у нас, повторимся, больше данных, чем кажется, а нужно нам меньше, чем кажется, особенно при наличии доступа к бета-распределению.
С бета-распределением удобно определять долю генеральной совокупности – часть совокупности, попадающую в определенную категорию. Если только 25 % сотрудников правильно выполняют какую-либо процедуру, доля генеральной совокупности составит 25 %. Теперь предположим, мы не знаем, составляет ли она ровно 25 %, но хотели бы ее оценить. При возможности провести полную перепись всей совокупности доля была бы известна точно, но у нас есть доступ только к небольшой выборке. Если имеется выборка, скажем, только из 10 человек, будут ли результаты информативны? Именно здесь появляется бета-распределение. И, вероятно, вас удивит, что, в соответствии с бета-распределением нам потребуется довольно небольшая выборка, чтобы получить новую информацию.
Как бы парадоксально это ни звучало, с помощью бета-распределения можно определить диапазон для доли генеральной совокупности даже при очень малом количестве данных. Оно применимо ко многим ситуациям в области кибербезопасности, в том числе к вероятности возникновения риска, с которым сталкивались лишь немногие организации. У бета-распределения всего два параметра: альфа (α) и бета (β) – сначала они могут показаться абстрактными, но чуть позже мы расскажем о них подробнее. В редакторе Excel распределение записывается формулой =БЕТАРАСП(x;альфа; бета), где x – доля совокупности, которую нужно протестировать. Функция вычисляет вероятность, что доля генеральной совокупности меньше x – мы называем это интегральной функцией плотности (ИФП), поскольку для каждого x она дает накопленную вероятность, что случайная величина будет меньше х.
В Excel также есть обратная функция вероятности для бета-распределения: =БЕТА.ОБР(вероятность; альфа; бета). Она возвращает долю генеральной совокупности, достаточно высокую, чтобы существовала вероятность, что истинная доля совокупности меньше.
Параметры α и β в бета-распределении кажутся абстрактными, и в книгах по статистике редко поясняется, как их понимать. Однако существует конкретный способ их объяснения как числа «попаданий» и «промахов» в выборке. Попаданием в выборке является, скажем, компания, у которой была утечка данных в определенный период времени, а промахом – компания, в которой ее не было.
Чтобы вычислить α и β на основе попаданий и промахов, необходимо определить априорную вероятность. Опять же, информативная априорная вероятность может быть просто откалиброванной оценкой эксперта по данной проблеме. Если же нам нужна предельно осторожная оценка, можно использовать неинформативную априорную вероятность и просто оставить равномерное распределение от 0 до 100 %. Это можно сделать с помощью бета-распределения, задав значения α и β, равные 1. Такой подход указывает на то, что у нас нет почти никакой информации об истинной доле генеральной совокупности. Потому это «неинформативное» априорное распределение. Нам известно лишь математическое ограничение, что доля генеральной совокупности не может быть меньше 0 % и не может превышать 100 %. В остальном мы просто говорим, что все значения между ними одинаково вероятны, как показано на рис. 9.1.
Рис. 9.1. Равномерное распределение (бета-распределение, в котором α = β = 1)
Обратите внимание, что на рисунке равномерное распределение представлено в более привычном виде «функции плотности распределения вероятности (ФПР)», где площадь под кривой равна 1. Так как функция БЕТАРАСП является интегральной вероятностью, необходимо создать несколько уровней приращения, вычисляя разницу между двумя интегральными функциями плотности, близкими друг к другу. Просто представьте, что высота точки на ФПР обозначает относительную вероятность по сравнению с другими точками. Напомним, что у нормального распределения максимум приходится на середину, т. е. значения вблизи середины нормального распределения более вероятны. В представленном же случае равномерного распределения мы показываем, что все значения между минимумом и максимумом равновероятны (т. е. оно плоское).
Теперь, если у нас есть выборка из некоторой совокупности, пусть даже очень маленькая, можно обновить параметры α и β, указав число попаданий и промахов. Для выполнения расчетов на сайте www.howtomeasureanything.com/cybersecurity доступна электронная таблица с бета-распределением. Снова рассмотрим случай, когда необходимо оценить долю пользователей, соблюдающих некие процедуры безопасности. Отобрав случайным образом шесть пользователей, обнаруживаем, что только один из них делает все правильно. Давайте назовем его «попаданием», а остальных пятерых – «промахами». Добавив попадания к априорному значению α, а промахи – к априорному значению β, получаем:
= БЕТАРАСП(x; априорное α + попадания; априорное β + промахи).
На рис. 9.2 показано, как будет выглядеть ФПР, если добавить выборку из шести объектов с одним попаданием в наше исходное равномерное распределение. Для построения такого изображения можно воспользоваться следующей формулой:
= БЕТАРАСП(x + i/2; априорное α + попадания; априорное β + промахи) – БЕТАРАСП(x – i/2; априорное α + попадания; априорное β + промахи),
где i – размер используемого приращения (размер увеличения произвольный, но чем меньше его сделать, тем точнее будут изображения распределений). Если вам что-то непонятно, изучите пример в электронной таблице.
Рис. 9.2. Распределение, начинающееся с априорного равномерного и обновленное данными выборки с 1 попаданием и 5 промахами
Как так получается в бета-распределении? Не противоречит ли это тому, что рассказывают в базовом университетском курсе статистики о размерах выборки? Нет. С расчетами все в порядке. По сути, в бета-распределении к диапазону возможных значений применяется формула Байеса. Чтобы понять, как это работает, рассмотрим вопрос попроще, например: какова вероятность того, что в выборке из шести объектов будет 1 попадание, если только 1 % совокупности выполняет процедуру правильно? Раз предполагается, что нам известна доля генеральной совокупности, и нужно вычислить вероятность получения именно такого количества «попаданий» в выборке, следует применить так называемое биномиальное распределение. Биномиальное распределение – своего рода дополнение к бета-распределению. В первом случае оценивается вероятность различных результатов выборки с учетом доли генеральной совокупности, а во втором случае – доля генеральной совокупности с учетом количества результатов в выборке. В Excel биномиальное распределение записывается как =БИНОМРАСП(число_успехов; число_испытаний; вероятность успеха;0), где «0» означает, что будет получена вероятность конкретного результата, а не накопленная вероятность до определенного уровня.
Это позволяет нам получить наблюдаемый результат (например, 1 из 6) для одной возможной доли генеральной совокупности (в данном случае 1 %). Расчеты повторяются для гипотетической доли совокупности, равной 2, 3 и т. д. до 100 %. Теперь с помощью формулы Байеса можно перевернуть данные, чтобы получить сведения, которые на самом деле нас интересуют: какова вероятность, что X является долей генеральной совокупности, учитывая, что у нас 1 попадание из 6? Другими словами, биномиальное распределение дает нам P(наблюдаемые данные | доля), и мы переводим их в P(доля | наблюдаемые данные). Это очень полезный трюк, который в бета-распределении уже выполнен за нас.
Еще один момент, прежде чем продолжить: не кажется ли вам диапазон от 5,3 до 52 % широким? Тут стоит учитывать, что в выборке было всего шесть человек, а ваш предыдущий диапазон был еще шире (90 %-ный ДИ при равномерном распределении от 0 до 100 % составляет от 5 до 95 %). Все, что требуется для дальнейшего уменьшения диапазона, – продолжать делать выборки, и каждая выборка будет немного изменять диапазон. Распределение можно получить, даже если в трех выборках у вас будет ноль попаданий, при условии что начали вы с априорного распределения.
Если необходимы дополнительные примеры, чтобы лучше понять сказанное, рассмотрим один из тех, что приводил Хаббард в книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе». Представьте урну, наполненную красными и зелеными шариками. Допустим, мы считаем, что доля красных шариков может составлять от 0 до 100 % (это наше априорное значение). Чтобы оценить долю генеральной совокупности, отбираются шесть шариков, один из которых оказывается красным. Оценив результат, как в примере с соблюдением протоколов безопасности, мы бы получили диапазон от 5,3 до 52 %. Ширина диапазона объясняется тем, что из шести шариков можно получить один красный при многих значениях доли генеральной совокупности. Такой результат возможен, как если красных шариков всего 7 %, так и если половина всех шариков являются красными. Давайте посмотрим теперь, как экстраполировать разобранные примеры на нарушения кибербезопасности.
Думайте о нарушении как о вытаскивании красного шарика из урны. Каждая компания в вашей отрасли ежегодно случайным образом вытягивает что-то из «урны нарушений». Некоторым компаниям достается красный шарик, указывающий на наличие нарушения кибербезопасности. Таких компаний могло быть и больше, а могло быть и меньше. Вам точно неизвестно, с какой частотой происходят нарушения (т. е. доля шариков красного цвета), но можно использовать наблюдаемые нарушения для ее оценки.
Итак, у вас есть список известных нарушений кибербезопасности из отчета Verizon DBIR, но он не указывает на величину совокупности. Иначе говоря, известно, что в урне есть 100 красных шариков, но, не зная общего количества шариков, нельзя определить, какую долю генеральной совокупности они составляют. Однако все еще можно произвольно отобрать несколько шариков и просто сравнить количество красных шариков в выборке с размером самой выборки, а не с неизвестным общим размером совокупности. Аналогичным образом знание, что в данной отрасли произошло X нарушений, поможет только в случае, если известен размер отрасли. Так что придется взять другой источник, не отчет Verizon DBIR, чтобы узнать перечень компаний розничной торговли. Это может быть список Fortune 500 или, возможно, список от ассоциации компаний розничной торговли. В любом случае он не должен зависеть от того, сталкивалась ли организация с нарушениями кибербезопасности, о которых сообщается в отчете Verizon DBIR, и, следовательно, большинство компаний списка не будут фигурировать в отчете. Список – это ваша выборка (сколько шариков вытаскивается из урны). Некоторые компании из него, однако, окажутся упомянуты в отчете Verizon DBIR как жертвы нарушений кибербезопасности (т. е. они вытянули красный шарик).
Допустим, в списке нашлось 60 подходящих компаний розничной торговли. Из этой выборки в 60 объектов за период с начала 2014 по конец 2015 года выявлено два сообщения о крупных утечках данных. Так как оценивается вероятность возникновения нарушения в течение года, необходимо количество лет в имеющихся данных умножить на количество фирм. Подведем итоги:
• размер выборки: 120 единиц данных (60 компаний × 2 года);
• попадания: 2 взлома за указанный период времени;
• промахи: 118 единиц данных, в которых не было крупных нарушений;
• альфа: априорное значение + попадания = 1 + 2 = 3;
• бета: априорное значение + промахи = 1 + 118 = 119.
Добавив эти данные в электронную таблицу, получим распределение, подобное представленному на рис. 9.3.
Считайте наблюдаемые нарушения примером того, что могло бы произойти. Если вытянуто 120 шариков и два из них оказались красными, это еще не означает, что ровно 1,67 % шариков в урне – красные. Вытащив шарики из урны в указанном количестве, можно было бы оценить с вероятностью 90 %, что истинная доля красных шариков в урне составляет от 0,7 до 5,1 %.
Рис. 9.3. Частота утечек данных в год для указанной отрасли
Аналогичным образом, имея только два нарушения кибербезопасности в списке из 60 компаний за два года (120 единиц данных), нельзя утверждать, что ежегодная частота нарушений составляет ровно 1,67 %. Мы лишь оцениваем вероятность различной частоты из нескольких наблюдений. В следующем году нам может повезти больше или меньше, даже если в долгосрочной перспективе частота и останется такой же.
Даже среднее значение бета-распределения не составляет ровно 1,67 %, так как среднее значение бета-распределения равно α / (α + β), или 2,46 %. Причина различий в значениях в том, что на бета-распределение влияет априорное распределение. Даже при отсутствии случаев утечек данных α бета-распределения была бы равна 1, а β – 121 (120 промахов + 1 для априорного значения β), и тогда среднее значение было бы 0,8 %.
Другая удобная особенность бета-распределения заключается в легкости обновления. Каждый проходящий год, а по сути, и каждый проходящий день, независимо от наличия факта взлома, может обновлять параметры α и β распределения нарушений кибербезопасности в соответствующей отрасли. Для любой компании, в которой в течение указанного периода произошло заданное событие, обновляется параметр α, а для компаний, в которых не произошло, – параметр β. Даже если ничего не происходило в течение целого года, параметры β все равно обновляются, а следовательно, и наша оценка вероятности события.
Обратите внимание, что неинформативное априорное распределение вроде равномерного распределения использовать не обязательно. Если даже до изучения новых данных у вас есть основания полагать, что одни значения частот гораздо менее вероятны, чем другие, то можно так и указать. Можно формировать какие угодно априорные распределения, пробуя разные параметры α и β, пока не получится распределение, которое, по вашему мнению, соответствует априорной информации. Начните поиск априорных значений с α и β, равных 1, а затем, если вы считаете, что частота должна быть ближе к нулю, увеличьте β. Можете ориентироваться на среднее значение, которое должно быть α / (α + β). Увеличение параметра α, наоборот, сдвинет частоту возникновения события немного дальше от нуля. Чем больше сумма α + β, тем ýже будет диапазон. Проверить диапазон можно с помощью обратной функции вероятности для бета-распределения в Excel: значения =БЕТА.ОБР(0,05; альфа; бета) и =БЕТА.ОБР(0,95; альфа; бета) будут вашим 90 %-ным доверительным интервалом. Для обновления распределения на основе новой информации будет применяться все та же процедура – добавление попаданий к α и промахов к β.
Отказавшись от применения бета-распределения и опираясь на наблюдаемую частоту 1,67 %, мы могли серьезно недооценить риски для отрасли. Даже вытаскивая шарики из урны, в которой, как нам известно, ровно 1,67 % красных шариков (остальные зеленые), мы бы все равно ожидали, что при каждом вытаскивании соотношение будет разным. Если бы нужно было вытянуть 120 шариков и предполагалось, что доля красных шариков составляет 1,67 %, то согласно вычислениям вероятность вытаскивания более трех красных шариков составила бы всего 14 % (по формуле в Excel: 1-БИНОМРАСП(3;120;0,0167;1)). С другой стороны, если бы у нас просто был 90 %-ный ДИ, что от 0,7 до 5,1 % шариков – красные, то вероятность вытащить больше трех красных шариков превысила бы 33 %.
Если применить подобные рассуждения к рискам безопасности в отрасли или компании, то вероятность возникновения нескольких событий резко возрастает. Это может означать более высокую вероятность нескольких крупных нарушений кибербезопасности в отрасли в течение года или, если используются данные на уровне компании, – взлом нескольких из множества систем компании. По сути, это «разворачивает» кривую вероятности превышения потерь против часовой стрелки, как показано на рис. 9.4. Среднее значение остается тем же, а риск экстремальных убытков увеличивается. Это может означать, что рискоустойчивость превышена на правом конце кривой.
Рис. 9.4. Пример того, как бета-распределение изменяет вероятность экстремальных убытков
На наш взгляд, это может быть основным недостающим компонентом анализа рисков в области кибербезопасности.
Прошлые наблюдения стоит в действительности рассматривать только как пример возможного развития ситуации, и, следовательно, необходимо допускать вероятность, что раньше нам просто везло.
Чтобы изучить тему подробнее и выяснить, как можно использовать бета-распределение в модели замены «один на один», а также узнать, каким образом оно может влиять на кривую вероятности превышения потерь, скачайте с нашего сайта электронную таблицу к этой главе.
AllClear ID, ведущая компания в области защиты пользователей от нарушений кибербезопасности, применяет бета-распределение для оценки рисков кибербезопасности с помощью данных о нарушениях в отрасли. Компания предлагает три решения: AllClear Reserved Response™; услуги по взаимодействию с клиентами, которые включают в себя поддержку и оповещение; а также услуги по защите личных данных пользователей. Специалисты компании работают с инцидентами любого масштаба, в частности они занимались самыми крупными взломами из произошедших в последние годы.
Клиентам, пользующимся продуктом Reserved Response, гарантируется помощь при инциденте, что делает оценку риска критически важной для обеспечения надлежащего объема ресурсов в соответствии с требующимся обслуживанием. За помощью в оценке рисков крупного взлома не только для одного клиента, а для всей своей клиентской базы представители AllClear ID обратились в компанию Дага Хаббарда, Hubbard Decision Research (HDR), попросив смоделировать риски утечки данных во всех отраслях, которые они поддерживают, включая возможность того, что несколько крупных клиентов могут подвергнуться взломам в перекрывающиеся периоды времени. Получившаяся в итоге модель – один из многих инструментов, используемых AllClear ID при анализе оценок риска.
Компания HDR применила бета-распределение к данным об отраслевых взломах, взятым из отчета Verizon DBIR. В 2015 году было зарегистрировано 2435 случаев утечки данных, но, как объяснялось выше, сама по себе эта цифра не сообщала ежегодную частоту утечек для конкретного количества компаний. Применяя описанный ранее метод, специалисты HDR начали с перечня компаний, относящихся к отраслям, в которых оказывает поддержку AllClear ID. Затем его сравнили с отчетом Verizon DBIR, чтобы определить, у скольких из выбранных компаний случались утечки данных. В одной из отраслей в списке Fortune 500 находились 98 компаний. Несколько из них пострадали от нарушений кибербезопасности в течение двухлетнего периода с начала 2014 года и до конца 2015 года. Таким образом, 98 организаций и двухлетний период давали в общей сложности 196 единиц данных, среди которых были «попадания» и «промахи» (промахи – компании, не столкнувшиеся с нарушениями в течение года). Теперь стало возможным оценить вероятность нарушения кибербезопасности компаний заданной отрасли, входящих в список Fortune 500.
При моделировании методом Монте-Карло компания HDR использовала бета-распределение с α и β, что позволило получить 90 %-ный доверительный интервал для годового значения частоты наступления событий для каждого клиента. Если частота нарушений приближена к верхнему пределу, то вероятность наложения друг на друга нарушений кибербезопасности у нескольких клиентов значительно увеличивается. Созданная симуляция Монте-Карло показала как раз такую вероятность наложения друг на друга периодов пика нарушений кибербезопасности у нескольких клиентов, пользующихся решением Reserved Response. Эти сведения, помимо прочих, помогают компании AllClear ID планировать ресурсы, необходимые для удовлетворения потребностей клиентов, даже если нельзя точно узнать конкретное количество и сроки нарушений кибербезопасности.
Несмотря на то что нарушения кибербезопасности – непредсказуемые события, симуляция дала нам бесценное представление о рисках, с которыми мы потенциально можем столкнуться, и информацию, которая поможет эти риски снизить.
Разложение на составляющие вероятностей с несколькими условиями
В примерах главы 8 приведена условная вероятность только с одним условием. Однако часто даже в самых простых моделях требуется учитывать гораздо больше условий. Один из способов решения проблемы – создание «таблицы вероятностей узлов», как ее называют в байесовских методах. Эксперт получает все комбинации условий и должен выполнить калиброванную оценку вероятности определенного события. В табл. 9.1 показано, как могут выглядеть несколько строк такой таблицы.
Столбцы в табл. 9.1 являются лишь примером. Нам попадались варианты, где компании также учитывали тип операционной системы, было ли программное обеспечение разработано внутри компании, есть ли доступ у поставщиков, количество пользователей и т. д. Право определить идеальные параметры остается за вами, главное, чтобы они отвечали условиям понятности, наблюдаемости и полезности Рона Ховарда (полезность в этом случае означает, что данные заставят вас изменить свою оценку). Мы же сосредоточимся на том, как проводятся расчеты, независимо от выбираемых факторов риска.
Предположим, что условия (столбцы) в табл. 9.1 дополнили и их стало больше четырех. Наш предыдущий опыт моделирования в области кибербезопасности при работе с различными организациями подсказывает, что обычно бывает от 7 до 11 условий. Каждое из них может иметь как минимум два возможных значения (скажем, конфиденциальные данные или нет). Но у некоторых условий, как видно из примера, значений может быть три, четыре и более, что приводит к множеству комбинаций условий. Например, если есть семь условий, у трех из которых по два возможных значения, а у остальных – по три, то это уже 648 строк таблицы (2 × 2 × 2 × 3 × 3 × 3 × 3). На практике комбинаций оказывается гораздо больше, поскольку часто есть несколько условий с четырьмя или более вариантами значений. Модели, составленные для отдельных клиентов компании HDR, могли генерировать тысячи, а то и десятки тысяч возможных комбинаций.
В идеале нам бы не помешали данные по множеству различных сбоев. Для измерений чем больше точек данных, тем лучше, но специалисты по кибербезопасности стремятся снижать количество случаев взломов, отказов в обслуживании и других подобных событий. Как всегда, при нехватке данных можно обратиться к экспертам, которые дадут оценку события с учетом каждого из условных состояний. Например, можно запросить оценку вероятности, при условии что применяются стандартные меры обеспечения безопасности, система содержит личную медицинскую информацию, в ней не используется многофакторная аутентификация, а данные хранятся в датацентре, принадлежащем компании. После чего эксперты выполнят оценку для следующей комбинации условий и т. д. Очевидно, что из-за количества возможных комбинаций условий даже в скромной по размерам таблице оценка каждой вероятности в типичной вероятностной таблице узлов становится для экспертов нецелесообразной.
К счастью, существует два отличных способа, с помощью которых эксперты могут заполнить вероятностную таблицу узлов (какого угодно размера), оценив лишь ограниченный набор комбинаций условий: метод логарифма отношения шансов и метод линзы.
Метод логарифма отношения шансов (ЛОШ) позволяет эксперту оценить влияние каждого условия в отдельности, а затем сложить их, чтобы получить вероятность на основе всех условий. Это разновидность так называемой логистической регрессии в статистике, которую мы будем применять в довольно простой форме.
ЛОШ вероятности P(x) представляет собой выражение log(P(x)/(1 – P(x) (при этом часто под логарифмом подразумевается натуральный логарифм ln, но метод работает и с другими логарифмами). В результате получается отрицательное значение при P(x) < 0,5, положительное значение при P(x) > 0,5 и ноль, когда P(x) = 0,5. Вычисление ЛОШ полезно, так как он позволяет «суммировать» эффекты различных независимых условий для определения вероятности. Ниже подробно расписана данная процедура, а чтобы лучше разобраться в деталях, можно, как всегда, найти электронную таблицу со всеми расчетами на сайте www.howtomeasureanything.com/cybersecurity.
1. Выберите экспертов и откалибруйте их.
2. Определите базовую вероятность того, что конкретный актив может пострадать от заданного события в указанный период времени. При этом исходите из предположения, что единственная имеющаяся информация об активе (или приложении, или системе, или угрозе, и т. д. в зависимости от структуры разложения) – его принадлежность вашей организации. Это и будет P(Событие).
Пример: P(Событие) в год при отсутствии другой информации об активе равна 0,02.
3. Оцените условную вероятность того, что с активом произойдет указанное событие при конкретном значении некоторого условия. Можно записать это: P(E | X); т. е. вероятность события E с учетом условия X.
Пример: P(Событие | Конфиденциальные данные) = 0,04.
4. Оцените условную вероятность того, что с активом произойдет указанное событие при другом значении данного условия. Повторите этот шаг для всех возможных значений условия.
Пример: P(Событие | Отсутствие конфиденциальных данных) = 0,01.
5. Преобразуйте базовую вероятность и каждую из условных вероятностей в ЛОШ. Запишем это как L(Вероятность).
Пример: ЛОШ(P(Событие)) = ln(P(Событие)) / (1 – P(Событие)) = ln(0,02 / 0,98) = –3,89182; ЛОШ(P(Событие | Конфиденциальные данные)) = ln(0,04 / 0,96) = 3,17805
и т. д. для каждого условия.
6. Вычислите «дельту ЛОШ» для каждого условия, т. е. разницу между ЛОШ с заданным условием и базовым ЛОШ.
Пример: дельта ЛОШ(Конфиденциальные данные) = L(P(Событие | Конфиденциальные данные)) – ЛОШ(P(Событие)) = —(–3,18) – (–3,89) = +0,71.
7. Повторите шаги с 3 по 6 для каждого условия.
8. Когда дельта ЛОШ будет вычислена для всех возможных значений всех условий, создайте электронную таблицу, которая будет искать нужную дельту ЛОШ для каждого условия для каждого значения для этого условия. При заданном наборе значений условий все дельта ЛОШ для каждого условия добавляются к базовому ЛОШ для получения скорректированного ЛОШ.
Пример: Скорректированный ЛОШ = –3,89 + 0,71 + 0,19 – 0,45 + 1,02 = –2,42.
9. Преобразуйте скорректированный показатель ЛОШ обратно в вероятность, чтобы получить скорректированный показатель вероятности.
Пример: Скорректированная вероятность = 1 / (1 + 1 / exp(–2,42)) = 0,08167.
10. Если вследствие какого-либо из условий наступление события становится бесспорным или невозможным (т. е. P(Событие | Условие) = 0 или 1), то опустите вычисление ЛОШ для такого условия и дельты ЛОШ (расчет в любом случае выдаст ошибку). Вместо этого просто рассуждайте логически, чтобы обойти эти условия.
Пример: Если условие применимо, то скорректированная вероятность = 0.
Если условие не выполняется, то вычислите скорректированную вероятность, как показано в предыдущих шагах.
И в очередной раз повторим: если вам будут говорить, что этот или другие обсуждаемые нами методы непрактичны, помните, что они многократно применялись нами, в том числе и в кибербезопасности. Называя что-либо непрактичным, люди часто имеют в виду, что просто не знают, как это применить. В качестве иллюстрации приведем еще один диалог аналитика с экспертом по кибербезопасности. Аналитик проверит согласованность оценок эксперта с помощью указанных выше расчетов. Естественно, для этого он использует электронную таблицу (доступна на сайте).
Аналитик рисков: Как вы помните, мы распределили риски для каждого актива. Если я произвольно выберу актив, какова вероятность, что нарушение кибербезопасности произойдет в следующем году?
Эксперт по кибербезопасности: Зависит от того, что вы считаете нарушением, – может быть и сто процентов. К тому же на мое суждение повлияет множество факторов.
Аналитик рисков: Да, но, допустим, вам известно лишь, что речь об одном из ваших активов. Я просто выберу наугад и даже не скажу вам, какой именно. И давайте еще проясним, что имеется в виду не просто незначительное событие, единственной затратой при котором будут ответные меры кибербезопасности. Оно должно навредить работе компании, стать причиной штрафа или более серьезных проблем, вплоть до крупной утечки данных, которые недавно освещались в новостях. Допустим, это событие обойдется компании не менее чем в пятьдесят тысяч долларов, а возможно, и в несколько миллионов.
Эксперт по кибербезопасности: Откуда мне знать вероятность наступления события, если об активе ничего не известно?
Аналитик рисков: То есть, по-вашему, всем активам компании в следующем году грозят серьезные нарушения кибербезопасности?
Эксперт по кибербезопасности: Нет, пожалуй, из всего портфеля активов значимыми событиями, которые принесут более пятидесяти тысяч долларов убытков, станут только перебои в работе систем нескольких структурных подразделений. Может быть, более крупные нарушения кибербезопасности раз в пару лет.
Аналитик рисков: Понятно. Итак, у нас в списке двести активов, на ваш взгляд, произойдет ли нарушение кибербезопасности такого уровня в половине из них в следующем году?
Эксперт по кибербезопасности: Нет. «Нарушение кибербезопасности», как я его понимаю, возможно, случится с тремя – десятью активами.
Аналитик рисков: Хорошо. То есть, если я наугад выберу актив из списка, вероятность того, что в нем произойдет нарушение кибербезопасности, будет менее десяти процентов. Возможно, ближе к одному или двум процентам.
Эксперт по кибербезопасности: Понимаю, о чем вы. Для выбранного актива, о котором я больше ничего не знаю, думаю, можно было бы взять двухпроцентную вероятность нарушения кибербезопасности, предполагающего значительные убытки.
Аналитик рисков: Отлично. Теперь, предположим, я сообщу вам только один факт об этом активе. Допустим, он содержит данные платежных карт. Это как-то отразится на риске нарушения кибербезопасности?
Эксперт по кибербезопасности: Да. Наши средства контроля в этой области лучше, но и активы привлекательнее для злоумышленников. Возможно, я увеличу вероятность до четырех процентов.
Аналитик рисков: А если я скажу, что актив не содержит данных платежных карт. Насколько тогда изменится вероятность?
Эксперт по кибербезопасности: Не думаю, что это повлияет на мою оценку.
Аналитик рисков: А должно бы. Ваша «базовая» вероятность составляет два процента. Вы описали одно условие, которое увеличит ее до четырех процентов. Чтобы убедиться, что вероятность сбалансирована, противоположное условие должно уменьшать ее так, чтобы среднее значение по-прежнему оставалось два процента. Чуть позже я покажу расчеты, и вы поймете, о чем речь.
Эксперт по кибербезопасности: Ладно, думаю, я понимаю. Пусть будет один процент.
Аналитик рисков: Отлично. Итак, какой процент от всех активов на самом деле содержит данные платежных карт?
Эксперт по кибербезопасности: Мы только что завершили аудит, поэтому тут все довольно ясно. Это двадцать активов из двухсот.
Аналитик рисков: То есть десять процентов от всех перечисленных активов. Чтобы проверить, все ли сходится, мне нужно вычислить базовую вероятность на основе этих условных вероятностей и посмотреть, согласуется ли она с той, что вы дали мне изначально.
Аналитик рисков рассчитывает базовую вероятность следующим образом: P(Событие | Данные платежных карт) × P(Данные платежных карт) + P(Событие | Нет данных платежных карт) × P(Нет данных платежных карт) = 0,04 × 0,1 + 0,01 × 0,9 = 0,013. (Расчеты и другие этапы диалога, включая вычисление дельты ЛОШ, представлены в электронной таблице на сайте www.howtomeasureanything.com/cybersecurity.)
Аналитик рисков: Итак, вычисленная базовая вероятность чуть ниже вашей изначальной. Имеющиеся на данный момент вероятности не совсем согласованы. Если это исправить, эффективность нашей модели станет выше. Можно сказать, что неверна первоначальная вероятность и надо заменить ее на одну целую три десятых процента. Или что условные вероятности могут быть чуть выше, или доля активов с данными платежных карт слишком мала. Как считаете, что логичнее поменять?
Эксперт по кибербезопасности: Ну, доля активов с данными платежных карт известна довольно точно. Если подумать, то стоило бы сделать немного выше вероятность для активов без данных платежных карт. А если поднять ее до полутора процентов?
Аналитик рисков, вычисляя: Так, если задать одну целую восемь десятых процента, то получится почти ровно два процента, как ваша первоначальная оценка базовой вероятности.
Эксперт по кибербезопасности: Похоже, все верно. Но спроси вы меня в другое время, возможно, мой ответ был бы другим.
Аналитик рисков: Верно подмечено. Вот почему я спрашиваю не только вас. Плюс, закончив со всеми условиями, мы посмотрим, как вычисляется скорректированная вероятность, и тогда вам, может быть, захочется пересмотреть некоторые оценки. Теперь перейдем к следующему условию. Что, если актив, о котором идет речь, находится в собственном центре обработки данных компании…
И так далее.
Несколько пояснений по поводу использования ЛОШ. Это очень эффективная оценка вероятности с учетом всех условий, если условия не зависят друг от друга, то есть они не коррелируют и не имеют сложных схем взаимодействия друг другом. Зачастую все наоборот. Например, какие-то условия могут оказывать гораздо большее или гораздо меньшее влияние в зависимости от состояния других условий. Самое простое практическое решение в случае, если вы считаете, что условия A и B сильно коррелируют, – отбросить одно из них. Или же можно уменьшить ожидаемые эффекты каждого условия (т. е. задать условную вероятность ближе к базовой вероятности). Следите, чтобы совокупный эффект нескольких условий не давал более экстремальные результаты в сравнении с ожидаемыми (слишком высокие или слишком низкие вероятности).
Следующий очень удобный способ заполнения большой вероятностной таблицы узлов заключается в оценке экспертами нескольких специально отобранных комбинаций условий. Этот подход подразумевает построение статистической модели, основанной исключительно на подражании суждениям экспертов, а не на использовании данных за прошлые периоды. Любопытно, что такая модель, похоже, лучше справляется с задачами прогнозирования и оценки, чем сами эксперты.
Здесь предполагается применение методов регрессии, в частности логистической регрессии. Детальное обсуждение методов регрессии, после которого с ними можно было бы работать, не входит в задачу данной книги, поэтому нами предлагается следующее: если вам не знакомы методы регрессии, то придерживайтесь метода ЛОШ, описанного выше. Если же вы разбираетесь в методах регрессии, полагаем, наш разбор метода линзы будет достаточно подробным, чтобы вы могли понять его, не требуя от нас углубляться в описание механизма работы.
С учетом этого пояснения вот вам небольшая предыстория. Этот метод берет свое начало в 1950-х годах, когда Эгон Брунсвик, исследователь в области психологии принятия решений, попробовал статистически измерить решения экспертов. В то время как большинство его коллег занимал незримый процесс принятия решений, через который проходили эксперты, Брунсвика интересовало описание самих принимаемых решений. О себе и других специалистах в этой области он говорил: «Нам стоит меньше походить на геологов и больше на картографов». Другими словами, следует просто отображать то, что можно наблюдать, а не изучать скрытые внутренние процессы.
Такой подход стал известен под названием «модель линзы». Модели, созданные Брунсвиком и его последователями, превосходили экспертов-людей в решении самых разных вопросов, таких как вероятность погашения банковских кредитов, движение цен на акции, медицинские прогнозы, успеваемость студентов магистратуры и многие другие. Хаббарду тоже доводилось применять данный метод, в частности для прогнозирования кассовых сборов новых фильмов, логистики в зоне боевых действий и, да, в сфере кибербезопасности. Каждый раз модель по меньшей мере не уступала оценкам экспертов, а почти во всех случаях еще и оказывалась значительно лучше.
В главе 4 уже упоминалось, что эксперты могут находиться под влиянием множества не относящихся к делу факторов, сохраняя при этом иллюзию обучения и компетентности. Линейная модель оценки эксперта, однако, дает совершенно последовательные результаты. Как и в методе ЛОШ, в модели линзы это достигается путем удаления из оценки ошибок, связанных с несогласованностью экспертов. В отличие от ЛОШ, здесь не требуется четко выяснять у экспертов правила оценки для каждой переменной. Вместо этого мы просто наблюдаем за суждениями экспертов, учитывая все переменные, и пытаемся вывести правила на основе статистики.
Предлагаемый процесс построения модели, состоящий из семи шагов, достаточно прост. Мы несколько изменили изначальную процедуру, чтобы учесть и другие методы, появившиеся с момента разработки Брунсвиком своего подхода (например, калибровку вероятностей). Напомним, что здесь предоставляется ровно столько информации, чтобы читатель, уже знакомый с различными методами регрессии, смог понять, как работает метод линзы.
1. Отберите экспертов и откалибруйте их.
2. Попросите экспертов определить список факторов, относящихся к конкретному объекту, который они будут оценивать (вроде тех, что указаны в приведенной нами ранее таблице узлов). Но список должен содержать не более 10 пунктов.
3. Создайте набор сценариев, используя комбинации значений для каждого из указанных факторов. Сценарии могут основываться на реальных примерах или быть чисто гипотетическими, для каждого опрашиваемого эксперта их потребуется от 30 до 50 штук. Каждый сценарий будет выборкой в вашей регрессионной модели.
4. Попросите экспертов дать соответствующую оценку каждому описанному сценарию.
5. Усредните оценки экспертов.
6. Проведите логистический регрессионный анализ, используя среднее значение экспертных оценок в качестве зависимой переменной, а вводные данные, предоставленные экспертам, – в качестве независимой переменной. В зависимости от используемых вводных переменных вам может потребоваться закодировать вводные данные или применить полиномиальные методы регрессии. Поскольку в данном случае вы оцениваете вероятность, можно применить методы логистической регрессии. Здесь сплошная специальная лексика, но если вы знакомы с методами регрессии, то поймете, о чем идет речь.
7. Наилучшим образом подходящая для логистической регрессии формула и станет моделью линзы.
По завершении описанной процедуры вы сможете построить график как на рис. 9.5. Он показывает оценку усредненного суждения экспертов в модели регрессии в сравнении со средним значением экспертных суждений для каждого из сценариев. Видно, что модель, конечно же, не полностью совпадает с суждениями экспертов, но близка к ним. На самом деле, если сравнивать эти данные с показателями несогласованности экспертов, то, как правило, выясняется, что большая часть отклонений модели от экспертных оценок связана с несогласованностью экспертов. Таким образом, модель линзы могла бы быть еще более эффективной, если бы эксперты были более согласованны в своих оценках. Эта несогласованность устраняется с помощью метода линзы.
Если вы решите применять метод линзы, то построенная выше модель действительно будет лучше единичного эксперта по нескольким параметрам. Она, по сути, является имитацией усредненных суждений ваших лучших калиброванных экспертов, если бы они были идеально согласованны.
Для оценки несогласованности можно применить метод «дублирующейся пары» из главы 4: в нескольких случаях, вместо того чтобы спрашивать экспертов о влиянии отдельных условий, можно дать в списке идентичные друг другу сценарии, скажем 7-й и 29-й. После просмотра пары десятков сценариев эксперты забывают, что они уже рассматривали такую же ситуацию, и часто дают немного отличающийся ответ. Вдумчивые же эксперты более согласованны в оценке сценариев. В любом случае, как было показано в главе 4, доля несогласованности составляет около 21 % от общего разброса в экспертных оценках (остальные 79 % обусловлены данными, предоставленными экспертам для вынесения суждения). И эта ошибка полностью устраняется с помощью метода линзы.
Рис. 9.5. Пример регрессионной модели, предсказывающей оценки экспертов
У каждого из рассмотренных двух методов есть свои плюсы и минусы.
1. ЛОШ занимает (ненамного) меньше времени. В методе линзы экспертам необходимо рассмотреть множество выборок, чтобы можно было построить модель регрессии.
2. Метод линзы способен выявлять более сложные взаимодействия между переменными. Ответы экспертов могут указывать на то, что некоторые переменные важны только при определенном значении других переменных.
3. ЛОШ немного проще. Метод линзы зависит от построения модели регрессии, которая эффективно предсказывает суждения экспертов. И хотя в Excel имеются инструменты, позволяющие упростить задачу, на самом деле для построения качественной регрессии часто требуется несколько подходов. Возможно, где-то придется перейти на нелинейную модель при наличии двух переменных, дающих кумулятивный эффект. А в других случаях понадобится объединить несколько дискретных значений переменной (например, действительно ли при указании расположения сервера необходимо деление на внутренние, управляемые компанией, внутренние, управляемые сторонней организацией, и внешние вместо «управляемых нами» и «управляемых кем-то другим»?). Технически это не так сложно, особенно для тех, кто уже имеет подобный опыт, но все равно отнимает время. При этом все математические вычисления, необходимые для метода ЛОШ, находятся всего в одной электронной таблице, доступной на сайте www.howtomeasureanything.com/cybersecurity.
4. ЛОШ, как правило, дает гораздо больший разброс в оценках, чем метод линзы. То, как легко эффекты от нескольких условий могут дать в итоге очень высокую или низкую оценочную вероятность, иногда становится для экспертов полной неожиданностью. Когда те же эксперты оценивают вероятности с помощью метода линзы, их ответы имеют гораздо меньший разброс. Возможно, эксперты недооценивают совокупный эффект независимых переменных в методе ЛОШ или слишком осторожны при изменении своих оценок на основе информации, предоставляемой для метода линзы. Вам решать, какой вариант реалистичнее.
5. Оба метода помогают снизить несогласованность, но метод линзы обеспечивает более удобный способ ее измерения. Как уже говорилось, измерять несогласованность полезно, поскольку мы знаем, что эта ошибка устраняется при помощи количественной модели, и, устранив ее, можно будет оценить, насколько уменьшилась погрешность. Поскольку для метода линзы требуется множество оценок (как минимум десятки), то несоответствие можно легко выявить с помощью метода дублирующихся пар.
Итак, если вам нужно быстрое решение, применяйте метод ЛОШ для разложения вероятностей при наличии нескольких условий. Только проверьте, насколько сильно меняются ответы между двумя крайними вариантами условий (одним, когда для всех условий заданы значения, повышающие вероятность, а вторым, когда для всех условий заданы значения, уменьшающие вероятность). Если крайние значения кажутся совершенно нереальными, можно снизить оценку эффектов отдельных переменных, как упоминалось выше.
Доказано, что люди склонны преувеличивать влияние множественных сигналов, особенно если они сильно коррелируют между собой. В одном исследовании это называют «пренебрежением корреляцией» при рассмотрении условных вероятностей1. Если два сигнала A и B идеально коррелируют (т. е. если вам сказать значение одного, вы точно назовете значение другого), то не нужно знать и A, и B для оценки вероятности X: P(X | A,B) = P(X | A) = P(X | B). Однако люди, даже если им говорят, что А и В высоко коррелированы, склонны рассматривать их как независимые (и, следовательно, усиливающие) сигналы и преувеличивать их влияние при оценке новой условной вероятности X. Как уже отмечалось при рассмотрении ЛОШ, в случае если вам кажется, что два условия сильно коррелируют, самое простое решение – не использовать одно из них.
Даже если вы решаете применять метод линзы, рекомендуется все равно начинать с ЛОШ, чтобы эксперты по кибербезопасности поняли, как знание отдельных условий может изменить их вероятности. Это также помогает избавиться от условий, которые изначально могли показаться экспертам информативными. Представим, например, что мы находимся на семинаре и команда экспертов по кибербезопасности перечисляет условия, которые, по их мнению, могут быть информативными для оценки в модели линзы. По мнению одного из участников семинара, тип операционной системы, используемой активом, может влиять на вероятность утечки данных с этого актива. Чтобы проверить утверждение, применим процесс ЛОШ, описанный ранее, и спросим, насколько сильно эксперты изменили бы базовую вероятность (вероятность возникновения события из области кибербезопасности, указанную, когда было известно только, что речь об одном из активов), если бы им сказали, что операционная система – Linux, а затем, что они изменили бы, узнав, что операционная система – Microsoft. Возможно, эксперты поймут, что с этой информацией не станут менять базовую вероятность. В таком случае условие можно исключить из модели линзы.
Оба метода – линзы и ЛОШ – ставят перед экспертами примечательные концептуальные препятствия. В процессе оценки экспертам может не хватать уверенности, потому что они неправильно понимают сам принцип работы метода. Большинство экспертов, с которыми нам довелось работать, принимали методы без возражений вроде тех, что приводятся ниже, но у некоторых они все же возникали. Если знать, как развеять подобные заблуждения, можно помочь экспертам лучше понять, почему их вводные данные необходимы.
Рассмотрим следующую реакцию: «Когда я применяю метод линзы, кажется, будто я выбираю ответы наугад». Если бы большинство людей, применяющих метод линзы для оценки вероятностей, действительно выбирали значения наугад, то у нас имелась бы совершенно иная картина. Например, не выявлялись бы такие же сильные корреляции, какие обычно бывают в этих моделях. И оставалось бы загадкой, почему эксперты при всех своих разногласиях на самом деле так часто соглашаются в оценках. Ведь очевидно, что, если бы разные эксперты, работающие независимо друг от друга, выбирали оценки наугад, они не демонстрировали бы схожие суждения о том, насколько сильно то или иное условие меняет вероятность события. Однако же налицо определенный уровень совпадения, и он намного выше того, который можно было бы списать на случайность.
Возможно, эксперты, высказывающие такую озабоченность, имеют в виду, что при разных обстоятельствах одна и та же вероятность могла бы быть оценена в 5, в 2 или 8 %. И это, несомненно, так. При индивидуальном выборе создается впечатление, что можно дать слегка другую оценку, и все равно она останется удовлетворительной. Но метод линзы, естественно, не зависит от одной оценки или даже от одного эксперта. А при объединении большого количества точек данных неизбежно возникают закономерности, даже когда эксперты считают, что в своих оценках отдельных случаев действовали наугад.
Можно столкнуться и с другим заблуждением: «Эти переменные сами по себе ничего мне не говорят. Мне нужно гораздо больше информации для оценки». Отвечая на вопрос, как одно условие может изменить вероятность в методе ЛОШ или как поменяются оценки на основе множественных условий (которых было всего лишь несколько), некоторые эксперты возразят, что, не зная больше (а кто-то скажет, что не зная всего), они не могут дать оценку.
Иными словами: «Сведения о том, как часто вносятся исправления, сообщат мне кое-что о вероятности, если я также буду знать и ряд других [обычно неустановленных и бесчисленных] данных». Подобные заявления неверны, и их можно опровергнуть математически. Формальную версию доказательства можно найти в книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе», а пока просто знайте, что такая точка зрения математически нелогична.
Другая проблема этого возражения заключается в том, что, как мы знаем, относительно простые модели вполне достойно будут предсказывать суждения экспертов. И часто в итоге из модели даже исключаются одна или несколько переменных как бесполезные для прогнозирования суждений экспертов. То есть переменная, которую эксперты, как им казалось, в какой-то момент учитывали в своих суждениях, вообще не оказывала никакого влияния на их выводы. Они просто занимались тем, что в предыдущих главах мы называли неинформативным разложением.
Мы все склонны верить, что наши субъективные суждения являются результатом достаточно тщательного и продуманного анализа вариантов. Если давать более реалистичное описание, то наше суждение является скорее весьма скромным набором переменных с очень простыми правилами и большим количеством шума и ошибок.
Дальнейшее снижение неопределенности и когда к нему следует прибегать
Не обязательно полагаться только на калиброванные оценки и субъективные разложения. В конечном итоге оценки нужно обосновать эмпирическими данными. Например, условные вероятности могут быть вычислены на основе сведений за прошлые периоды. Бета-распределение и другие методы вычисления условных вероятностей можно комбинировать необычным образом. Можно даже принимать рациональные решения о необходимости более глубокого анализа, исходя из экономической ценности информации.
В первой книге Хаббарда «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» гораздо подробнее описан процесс определения стоимости информации. Здесь же в основном будут рассмотрены простые правила и процедуры, которые актуальны для сферы кибербезопасности.
Информация обладает ценностью, поскольку решения, влекущие за собой экономические последствия, нам приходится принимать в условиях неопределенности. Иначе говоря, есть цена ошибки и шанс допустить ошибку. Произведение шанса допустить ошибку и ее цены называется ожидаемыми потерями от упущенных возможностей (Expected Opportunity Loss, EOL). В анализе решений под стоимостью информации понимается снижение EOL. Если устранить неопределенность, то EOL станут равны нулю, и тогда разницей в EOL будет их полная стоимость. Эту стоимость также называют ожидаемой стоимостью полной информации (Expected Value of Perfect Information, EVPI). Неопределенность, как правило, устранить невозможно, но EVPI дает понимание верхней границы ценности дополнительной информации. Если EVPI всего 100 долл., то, вероятно, не стоит тратить время на снижение неопределенности. А вот когда EVPI составляет 1 млн долл., снижение неопределенности выгодно, даже если удастся уменьшить ее только наполовину, потратив при этом 20 000 долл. (или и вовсе лишь силы на анализ).
В кибербезопасности стоимость информации всегда связана с решениями, которые можно принять для снижения риска. Вы будете принимать решения о том, внедрять ли определенные средства контроля, а они стоят денег. Если вы решите применить средство контроля, то ценой ошибки будут деньги, которые, как выяснится, не нужно было тратить на это средство контроля. В обратном случае ценой ошибки станет наступление события, которого можно было бы избежать, имея средства контроля, от внедрения которых вы отказались.
На сайте www.howtomeasureanything.com/cybersecurity нами предоставлена электронная таблица для расчета стоимости информации. В табл. 9.2 показано, как структурированы значения в электронной таблице последствий. Обратите внимание, что здесь приводится очень простой пример, где предполагается, что предложенное средство контроля исключает возможность наступления события. При желании таблицу можно усложнить и рассмотреть возможность того, что, несмотря на внедрение средства контроля, событие все же произойдет (скорее всего, с меньшей вероятностью и/или воздействием).
В электронной таблице также фиксируются условные вероятности, подобные тем, что мы вычисляли ранее: P(КУД), P(КУД | ПТП) и P(КУД | ~ПТП) (напомним, что КУД означает «крупная утечка данных», а ПТП – «положительный тест на проникновение»). Расчет несложный: на основе P(КУД), стоимости средства контроля и стоимости события без средства контроля вычисляются EOL для каждой стратегии – внедрения средства контроля или невнедрения. То есть, опираясь на выбранную стратегию, мы просто вычисляем цену ошибки и шанс допустить ошибку для каждой стратегии.
В таблицу можно вводить различные комбинации условных вероятностей, стоимости событий и затрат на средства контроля. Однако все в итоге сводится вот к чему: если не внедрять средство контроля, то стоимость информации может равняться произведению вероятности наступления события и стоимости события. А если внедрить средство контроля, цена ошибки составит произведение вероятности, что событие не произойдет, и стоимости средства контроля. Таким образом, чем выше стоимость средства контроля, тем более значительное событие оно должно смягчить, и чем больше неопределенность в отношении события, тем выше стоимость дополнительной информации.
Предположим, что вы построили модель, вычислили стоимость информации и определили, какие дополнительные измерения необходимо провести. В частности, было установлено, что желательно уменьшить степень неопределенности в отношении влияния отдельных факторов в области кибербезопасности на вероятность наступления какого-либо события, затрагивающего безопасность. Сформировав выборку – из данных или своей компании, или отрасли в целом, – вы организовали ее так, как показано в табл. 9.3. Присвоив наступлению события значение Y, а рассматриваемому условию – значение X, можно вычислить условную вероятность P(Y | X): разделить количество строк, в которых Y = Да и X = Нет, на общее количество строк, где X = Нет. То есть P(Y | X) = количество Y и X / количество X (как показано в правиле 4 для ситуации «это зависит от» в главе 8).
Это может быть список серверов по годам, показывающий, происходило ли интересующее вас событие на данном сервере и, скажем, был ли он расположен за границей, или какой тип операционной системы на нем установлен. Или, возможно, требуется оценить вероятность заражения сервера ботами на основе какой-то непрерывной величины, например количества трафика, получаемого сервером (наш приглашенный автор Сэм Сэвидж разбирает такой случай в приложении Б).
Если вы умеете работать со сводными таблицами в Excel, то сможете провести подобный анализ без особых проблем. Мы же предлагаем еще более простой аналитический способ – применить функцию Excel =СЧЁТЕСЛИМН, подсчитывающую строки таблицы, в которых выполняется ряд условий. Посчитав строки, в которых оба столбца равны «1», получим количество раз, когда присутствовали и событие, и условие. В отличие от функции СЧЁТЕСЛИ (без «МН»), которая подсчитывает только число в заданном диапазоне, удовлетворяющее одному критерию, СЧЁТЕСЛИМН может иметь несколько диапазонов и несколько критериев. Они обе понадобятся для расчета условной вероятности по данным за прошлый период.
Подсчитав количество единиц только во втором столбце, мы получим все ситуации применения условия, независимо от того, происходило ли событие нарушения безопасности. Тогда, чтобы вычислить условную вероятность события с учетом условия, P(Событие|Условие) по табл. 9.3, проведем следующие вычисления:
= СЧЁТЕСЛИМН(столбец A; «=1»; столбец B; «=1»)/СЧЁТЕСЛИ(столбец B; «=1»).
Обратите внимание, что под обозначениями «столбец A» и «столбец B» понимаются соответствующие диапазоны, в которых находятся ваши данные в Excel.
Теперь вы эмпирически оцениваете условную вероятность. На сайте размещена электронная таблица, демонстрирующая, как это сделать. В ней представлен довольно интересный анализ, который можно провести с помощью этого подхода, как только вы его освоите.
В книге уже подробно разобрано несколько статистических методов, и, на наш взгляд, большинству экспертов по кибербезопасности их будет вполне достаточно, но при желании читатели всегда могут глубже изучить вопрос. Поэтому мы не будем нагружать вас сейчас дополнительными методами, а лишь опишем, что делать, если вы уже освоили все рассмотренные выше способы.
Прежде всего можно объединять изученные методы в более сложные и информативные подходы. Например, в методе ЛОШ использовать как вводные данные не калиброванные оценки, а условные вероятности, вычисленные из данных. Как и в случае с ЛОШ ранее, до тех пор пока условия независимы, можно определять условную вероятность при большом количестве условий.
Кроме того, применяя данные из табл. 9.3, можно построить бета-распределение с эмпирически полученной условной вероятностью, взяв простые бинарные исходы (Y) и условия (X) в качестве «попаданий» и «промахов». Допустим, есть центр обработки данных, в котором установлено множество средств защиты на пути данных из сети в компьютер: сетевой файрвол, файрвол компьютера, сетевая система предотвращения вторжений, хостовая система предотвращения вторжений и т. д. В любом случае это немалые финансовые вложения. Переменная исхода Y пусть будет определена как «инцидент нарушения безопасности». Формулировка очень общая, но это может быть вредоносное ПО, атака хакеров, отказ в обслуживании и т. д. А X, разумеется, представляет собой «условия», которые были только что сформулированы, как меры обеспечения безопасности. Предположим, в результате подсчета получился 31 случай, когда Y и X встречаются вместе (событие нарушения безопасности и действующие средства контроля) и 52 случая Х всего. Тогда мы сможем оценить условную вероятность при помощи бета-распределения, используя 31 совпадение и 21 промах, которые добавятся к априорной информации. Опять же, стоит воспринимать полученные данные лишь как возможный вариант, а не отражение точной пропорции. Если продолжить наш пример, то далее можно было бы спрогнозировать вероятность возникновения инцидентов нарушения безопасности при конкретных средствах контроля. Вместо того чтобы добавлять ЛОШ для фиксированных условных вероятностей, мы случайным образом берем данные из бета-распределения и вычисляем ЛОШ получившегося результата (это повлияет и на кривую вероятности превышения потерь, которая повернется так, что вероятность экстремальных потерь увеличится).
Подумайте, как это может быть удобно, если вы имеете дело с несколькими крупными центрами обработки данных, разбросанными по всему миру. Вам нужно иметь представление о вероятности инцидентов с позиции обеспечения мер безопасности. Тогда указанным способом будет легко определить EVPI по отношению к потенциальным стратегическим изменениям в системе защиты, исходя из данных простой выборки. Не забывайте, у вас больше данных, чем кажется!
Электронные таблицы с подробными примерами, как обычно, размещены на сайте www.howtomeasureanything.com/cybersecurity.
Использование имеющихся ресурсов для снижения неопределенности
Вспомните максимы измерения: подобные измерения уже проводились раньше; у вас больше данных, чем кажется; вам нужно меньше данных, чем кажется. В этой главе до сих пор мы уделяли основное внимание последней максиме. Теперь потратим немного времени на две другие.
Если вы хотя бы частично осознаёте, какие ресурсы вам доступны, то поймете, что данных довольно много и что очень умные люди уже проанализировали их для вас. Часть информации даже находится в открытом доступе. Все приведенные ниже примеры были предоставлены для этой книги нашими приглашенными авторами.
• Компания VivoSecurity Inc. собирает в основном общедоступные сведения об утечках информации и других инцидентах, связанных с кибербезопасностью. Используя данные портала министерства здравоохранения с сообщениями об утечках информации (также известного как «Стена позора минздрава»), специалисты VivoSecurity обнаружили интересную взаимосвязь между количеством сотрудников в организации и вероятностью утечки информации. На портале2 минздрава представлены утечки записей личной медицинской информации, затронувшие не менее 500 человек, и эти данные можно загрузить в электронную таблицу. Частота утечек данных по состоянию на 2015 год составляла около 14 % на 10 000 сотрудников в год (выше, чем по информации о крупных взломах, так как тут учитываются даже утечки всего в 500 записей). Показатель немного вырос по сравнению с 2012 годом, когда он составлял примерно 10 %. Подробный анализ компании VivoSecurity представлен в приложении Б.
• Антон Мобли, специалист по анализу данных из компании GE Healthcare (и коллега Ричарда Сирсена, одного из авторов книги), провел любопытный анализ влияния политики надежности паролей на вероятность их взлома. Анализ частично основан на эмпирических исследованиях паролей (например, паролей вроде «password» или «qwerty»), а также рассматривает правила, по которым они создаются, и относительную сложность подбора паролей при помощи широко доступных алгоритмов. В частности, Мобли приводит эмпирические данные о том, какие типы подсказок к паролям, используемых людьми, значительно упрощают процесс подбора пароля (например, «моя фамилия» или «улица моей компании»). Согласно его исследованию, в организации с 2000 сотрудников практически наверняка случится взлом паролей, если в ней не следят за соблюдением стандартов составления паролей. Вероятность взлома паролей в этой же организации снизилась бы примерно до всего лишь 5 % при наличии обязательного требования выбирать пароль из 15 символов разных типов (например, «AnNtx5#undR70!z»). Подробный анализ представлен Мобли в приложении Б.
• Маршалл Кюперс (мы упоминали его в главе 6, он специализируется на статистическом анализе данных в сфере кибербезопасности и на момент написания книги готовился получать степень доктора философии в Стэнфорде) вместе с доктором Пейт-Корнелл из Стэнфорда представили на конференции SIRACon 2015 статистический анализ, демонстрирующий несколько интересных тенденций (часть из них показана на рис. 9.6). На их основе можно сделать ряд полезных выводов для анализа рисков кибербезопасности.
– Частота взлома данных вследствие потери или кражи устройств остается неизменной на протяжении последних нескольких лет и пропорциональна количеству сотрудников. Эти результаты согласуются с выводами на основе анализа данных министерства здравоохранения.
– Снижается частота заражения вредоносным ПО, но не его воздействие, распределение которого имеет толстый хвост.
– Время расследования инцидентов в точности соответствует «степенному закону» (степенной закон – распределение, в котором логарифм частоты события и логарифм воздействия создают прямую линию, идущую под углом вниз. Это распределение описано в приложении А).
Рис. 9.6. Распределение времени расследования инцидентов, связанных с кибербезопасностью
Завершая разговор о байесовском методе
Две последние главы знакомили вас сначала с простыми, а затем с более продвинутыми эмпирическими подходами, применяющими байесовский метод. Обращаясь к уже разработанным электронным таблицам за более подробными объяснениями, мы рассмотрели довольно большой объем информации.
Было показано, как байесовские и производные от них методы позволяют обновлять первоначальные калиброванные оценки с учетом новой информации. Продемонстрировано не только использование байесовских методов для решения простой проблемы обновления информации, но и то, как можно применять на практике гораздо более сложные методы вроде бета-распределения, пользуясь возможностями редактора Excel. А также как можно объединить несколько условий с помощью метода ЛОШ и метода линзы и как сочетать ЛОШ с бета-распределением.
Не обязательно пытаться разобраться во всем сразу. Делайте все постепенно и добавляйте новые методы по мере их освоения. Есть множество вариантов моделирования и использования новой информации – и любой из них определенно лучше, чем догадки или применение методов без математического обоснования. Далее в третьей части мы рассмотрим еще несколько концепций и обсудим практические соображения по внедрению изученных методов в организации.
1. Benjamin Enke and Florian Zimmermann, “Correlation Neglect in Belief Formation,” Discussion Paper No. 7372 (Bonn, Germany: Institute for the Study of Labor, 2013), http://ftp.iza.org/dp7372.pdf.
2. U.S. Department of Health and Human Services, Office for Civil Rights, Breach Portal, “Breaches Affecting 500 or More Individuals,” accessed March 21, 2016, https://ocrportal.hhs.gov/ocr/breach/breach_report.jsf.