Успех складывается из настойчивости, упорства и готовности на протяжении двадцати двух минут разбираться с задачей, которую большинство людей бросили бы после тридцати секунд.
Прежде чем обсуждать, каким образом в сфере кибербезопасности можно измерить буквально все, нужно поговорить об измерениях как таковых и сразу отмести возражение, что некоторые вещи в кибербезопасности просто не поддаются измерению. Дело в том, что ряд недоразумений, связанных с методами измерений, измеряемыми явлениями или даже с самим понятием измерений, препятствует многим попыткам проводить измерения. Данная глава не принесет ничего нового тем, кто уже читал книгу «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе». Это отредактированный вариант главы из первой книги с примерами, измененными под сферу кибербезопасности. Так что если вы уже читали первую книгу, то, возможно, предпочтете пропустить главу. В ином случае с главой лучше ознакомиться, чтобы понять важнейшие основы.
По нашему мнению, существует лишь три причины, почему можно посчитать что-либо, в том числе кибербезопасность, не поддающимся измерениям. И все три коренятся в тех или иных заблуждениях, которые мы делим на категории: концепция, объект и метод. Различные возражения против измерений будут подробнее разбираться далее (особенно в главе 5), а пока давайте рассмотрим самое основное.
1. Концепция измерений. Термин «измерения» часто понимается неправильно. Как только вы осознаете его реальное значение, гораздо больше объектов и явлений окажутся измеримыми.
2. Объект измерения. Не дается точное определение для того, что подвергается измерениям. Небрежные и двусмысленные формулировки мешают измерениям.
3. Методы измерения. Многие процедуры эмпирического наблюдения малоизвестны. Если бы люди были знакомы с некоторыми из этих базовых методов, стало бы очевидно, что многие вещи, считающиеся неизмеримыми, не только можно измерить, но, вероятно, они уже давно измерены.
Хороший способ запомнить эти три распространенных заблуждения – воспользоваться памяткой, например «howtomeasureanything.com», где буквы «c», «o» и «m» в «.com» означают «концепцию», «объект» и «метод». Как только выясняется, что эти возражения возникают от недопонимания, становится очевидно, что измерить можно все что угодно.
Концепция измерений
Пока законы математики остаются определенными, они не имеют ничего общего с реальностью; как только у них появляется нечто общее с реальностью, они перестают быть определенными.
Хоть это может показаться парадоксальным, но вся точная наука подчинена идее аппроксимации. Если человек говорит, что он что-то точно знает, можно с уверенностью сказать, что вы разговариваете с невнимательным человеком.
Для людей, считающих, что какие-то вещи невозможно измерить, сама концепция измерения, или, точнее, ее неверная интерпретация, становится, вероятно, главным препятствием, которое необходимо преодолеть. Если ошибочно полагать, что измерение означает соответствие какому-то почти недостижимому стандарту определенности, то тогда даже в физических науках лишь немногое будет поддаваться измерению.
Если спросить руководителя или эксперта в сфере кибербезопасности, что означает измерение, они, как правило, ответят фразами наподобие «дать количественную оценку», «вычислить точное значение», «свести к одному числу», «выбрать репрезентативную выборку» и т. д. Во всех этих ответах говорится напрямую или подразумевается, что измерение – одно точное число, которое обязано быть верным. Если бы это было действительно так, то и правда лишь очень немногое можно было бы измерить.
Возможно, читателям доводилось слышать или самим говорить что-то вроде: «Нам не измерить реальный ущерб от утечки данных, потому что о некоторых последствиях нельзя знать наверняка». Или, быть может, такое: «Невозможно определить вероятность того, что мы окажемся объектом массированной атаки отказа в обслуживании, ведь неопределенность слишком велика». Подобные заявления указывают на описанные выше ошибочные интерпретации измерений, которые не только не связаны с реальным принятием решений, но и ненаучны. Когда ученые, актуарии или статистики проводят измерения, они используют другое фактическое определение.
В процессе принятия практических решений следует рассматривать измерения как наблюдения, количественно уменьшающие неопределенность. Простого уменьшения, не обязательно устранения неопределенности для измерений будет достаточно. Даже если некоторые ученые формулируют определение немного иначе, применяемые ими методы доказывают, что для них измерения также являются исключительно вероятностной задачей и твердой уверенности в реальных величинах у них, как правило, нет. Тот факт, что ошибки неизбежны, но их все равно можно считать прогрессом по сравнению с предыдущими данными, является важнейшим в методах проведения экспериментов, опросов и других научных измерений.
Практические различия между этим определением и наиболее популярной трактовкой измерений огромны. Прежде всего, верным измерениям, чтобы считаться таковыми, не нужно быть абсолютно точными. К тому же отсутствие зарегистрированной ошибки (подразумевающее, что число точное) может быть признаком того, что не применялись эмпирические методы, такие как выборка и эксперименты (т. е. на самом деле это вообще не измерения). Измерения, соответствующие основным стандартам научной достоверности, будут сообщать о результатах с некоторой долей неопределенности, например: «Существует 90 %-ная вероятность того, что атака на систему приведет к сбою в ее работе на период от 1 до 8 часов».
Определение измерения
Измерение – количественно выраженное уменьшение неопределенности на основе одного или нескольких наблюдений.
Такая концепция измерения может оказаться новой для многих читателей, но есть веские математические основания и практические причины для подобной трактовки. В конечном счете измерение – это лишь информация, а для информации существуют строгие теоретические рамки. Область знания, получившая название «теория информации», была разработана в 1940-х годах Клодом Шенноном, американским инженером-электриком и математиком. В 1948 году он опубликовал работу под названием A Mathematical Theory of Communication2 («Математическая теория коммуникации»), заложив в ней основы теории информации и, по сути, большей части информационных технологий, с которыми работают специалисты по кибербезопасности.
Шеннон предложил математическое определение информации как степени уменьшения неопределенности в сигнале, которую он рассматривал с точки зрения энтропии, устраняемой сигналом. По Шеннону, адресат информации находится в некотором изначальном состоянии неопределенности, иными словами, ему уже что-то известно, а новая информация просто устраняет хотя бы часть неопределенности (т. е. необязательно полностью). Изначальное состояние знания или неопределенности адресата можно использовать для вычисления, скажем, пределов объема информации, передаваемой сигналом, минимальной интенсивности сигнала с поправкой на шум, а также максимально возможного сжатия данных.
Такая концепция «снижения неопределенности» крайне важна для бизнеса. Продуктивность значимых решений, принимаемых в состоянии неопределенности (например, связанных с утверждением крупных IT-проектов или новых средств контроля безопасности), можно повысить, пусть даже совсем немного, за счет снижения неопределенности. Иногда даже небольшое снижение неопределенности может сберечь миллионы долларов.
Итак, измерения в области кибербезопасности похожи на любые другие в том смысле, что для них не нужна определенность. Различные типы измерительных шкал могут продвинуть наше понимание измерений еще дальше. Обычно мы думаем, что для измерений необходимы конкретные, строго определенные единицы, например доллары в год в бюджете кибербезопасности или минуты для определения продолжительности времени простоя системы.
А можно ли считать подходящей для измерений шкалу с градациями «высокий», «средний» и «низкий»? Специалистам по кибербезопасности часто встречаются подобные шкалы во многих стандартах и практиках во всех областях оценки риска. Такие величины, как «воздействие» или «вероятность», общепринято оценивать субъективно по шкале от 1 до 5, а затем комбинировать, чтобы определить степень риска как высокую, среднюю или низкую. Эти обманчиво простые методы поднимают целый ряд проблем, которые более подробно будут рассмотрены далее в этой книге. А пока давайте поговорим о том, в каких случаях имеет смысл использовать шкалы, отличные от общепринятых единиц измерения.
Обратите внимание, что в предлагаемом нами определении измерения говорится, что оно «выражено количественно». Неопределенность в любом случае следует выразить количественно, хотя объект наблюдения может быть вовсе не количественной величиной, а качественной, скажем, обозначать принадлежность к какому-либо множеству. Например, можно «измерить» что-то, ответив «да» или «нет» (допустим, произойдет ли в этом году утечка данных или будет ли предъявлен иск по киберстрахованию), и это все еще будет точно соответствовать нашему определению измерения. Однако степень неопределенности в отношении подобных наблюдений все равно должна быть выражена количественно, например: существует 15 %-ная вероятность утечки данных в этом году, существует вероятность 20 % предъявления иска по киберстрахованию и т. д.
Точка зрения, в соответствии с которой измерения применимы к вопросам с ответом «да/нет» и прочим качественным признакам, согласуется с другим признанным направлением научной мысли в области измерений. В 1946 году психолог Стэнли Смит Стивенс опубликовал статью On the Theory of Scales and Measurement (Теория шкал и измерений)3. В ней описаны четыре различные шкалы измерения: номинальная, порядковая, интервальная и отношений. Если вы думаете о градусах Цельсия или долларах как единицах измерения, то вы используете интервальную шкалу и шкалу отношений соответственно. У обеих шкал есть четко определенная единица стандартной величины. В обоих случаях можно сказать, что 6 на 2 больше, чем 4 (6 градусов Цельсия или 6 долл.). Однако интервальная шкала не позволяет сказать, что 6 «на 50 % больше», чем 4, или «в два раза больше», чем 3. Например, 6 градусов Цельсия не «в два раза жарче», чем 3 градуса Цельсия (поскольку положение нуля на шкале Цельсия установлено произвольно в точке замерзания воды). А вот 6 млн долл. в два раза больше, чем 3 млн. То есть для интервальных шкал неактуальны некоторые математические вычисления, например умножение или деление.
Номинальные и порядковые шкалы еще более ограничены. У номинальной шкалы нет подразумеваемого порядка или величины, сюда можно отнести указание пола индивида, местоположения объекта или наличие у системы определенного признака. Номинальная шкала выражает состояние, не указывая, что одно состояние в два раза больше другого, или, если уж на то пошло, хотя бы просто больше или меньше оно относительно другого. Каждая шкала состояния – это просто иное состояние, не большее или меньшее. Порядковые шкалы, с другой стороны, ранжируют, но не сравнивают величины. Администратор обладает бóльшими правами, чем обычный пользователь, но при этом нельзя сказать, что его права в пять раз больше, чем у обычного пользователя, и в два раза больше, чем у другого пользователя. Поэтому большинство математических операций – кроме базовых логических или операций со множествами – неприменимы к номинальным или порядковым шкалам.
Тем не менее номинальные и порядковые шкалы могут быть информативными, даже несмотря на их отличия от более традиционных шкал измерения, таких как килограммы или секунды. Геологам полезно знать, что одна горная порода тверже другой, но не обязательно знать насколько. Метод, применяемый ими для сравнения твердости минералов, называется «шкала твердости Мооса», и используемая в нем шкала является порядковой.
Таким образом, использование порядковых шкал, подобных тем, что часто встречаются в области кибербезопасности, строго говоря, не противоречит концепции измерений, а вот то, как это делается, к чему применяется и что происходит с этими значениями потом, действительно нарушает основные принципы и может вызвать массу проблем. Геологи не умножают значения по шкале твердости Мооса на цвет породы. И хотя значение по шкале твердости Мооса – четко определенное измерение, в порядковых шкалах в области кибербезопасности такой четкости часто нет.
Позже мы покажем, что измерения, основанные на четко определенных величинах, таких как ежегодная вероятность события и вероятностное распределение потенциальных потерь, предпочтительнее, чем порядковые шкалы, обычно используемые в сфере кибербезопасности. На самом деле, в науке и технике ничего не зависит от порядковых шкал. Даже шкалу твердости Мооса часто заменяют другой: вне геологии для оценки материалов в научных и инженерных задачах более подходящей считается шкала Виккерса, являющаяся шкалой отношений.
Всё это важные особенности концепции измерений, из которых могут извлечь полезные уроки как руководители в целом, так и специалисты по кибербезопасности в частности. В распространенном представлении об измерениях как о точных значениях игнорируется полезность простого уменьшения неопределенности, если ее устранение невозможно или экономически нецелесообразно. Да и не все измерения требуется сводить к количеству в традиционном понимании. Измерения применяются как к дискретным, номинальным аспектам, которые требуется прояснить, таким как «Произойдет ли у нас крупная утечка данных?», так и к непрерывным величинам, например «Во сколько нам обойдется утечка данных, если она произойдет?». В бизнесе лица, принимающие решения, делают свой выбор в условиях неопределенности. И если эта неопределенность касается важных, связанных с риском решений, то ее уменьшение имеет большую ценность. Именно поэтому мы будем использовать данное нами определение измерений.
Байесовские измерения: прагматическая концепция для принятия решений
…истинной логикой этого мира является исчисление вероятностей, занимающееся нахождением величин вероятностей, которые учитывает или должен учитывать любой здравомыслящий человек.
Когда мы говорим об измерении как о «снижении неопределенности», то подразумеваем наличие некоторого предшествующего состояния неопределенности, которое необходимо уменьшить. А поскольку степень неопределенности может меняться в результате наблюдений, мы считаем неопределенность характеристикой наблюдателя и не обязательно присущей наблюдаемому объекту4. Когда проводится тест на проникновение в систему, с его помощью не меняется состояние приложения, скорее, изменяется степень нашей неопределенности о состоянии приложения.
Мы количественно оцениваем эту начальную неопределенность и изменение неопределенности после наблюдений с помощью вероятностей. Это означает, что термин «вероятность» используется для обозначения состояния неопределенности наблюдателя или так называемой степени убежденности. Если вы почти уверены, что данная система будет взломана, то можно сказать, что вероятность этого составляет 99 %. Если вы не уверены, то можно говорить о существовании 50 %-ной вероятности (как станет ясно из главы 7, субъективное оценивание вероятностей – навык, которому можно научиться).
Аналогичным образом, если вы не уверены в продолжительности отключения после атаки типа «отказ в обслуживании» («DoS-атака»), можно сказать, что вероятность того, что истинное значение находится в диапазоне от 10 минут до 2 часов, составляет 90 %. Имея больше информации, можно было бы сузить диапазон, но все равно присвоить вероятность 90 % тому, что истинное значение в него попадает.
Такой взгляд на вероятности называют субъективистской, или иногда байесовской, интерпретацией. Название происходит от имени Томаса Байеса, британского математика и пресвитерианского священника XVIII века, чей главный вклад в статистику был опубликован лишь после его смерти. Его простая формула, известная как теорема Байеса, описывает, каким образом новая информация может скорректировать априорные вероятности. Понятие «априорные» по большей части относится к исходному состоянию неопределенности, но также может относиться и к состоянию неопределенности в момент, предшествующий любым объективным и зафиксированным наблюдениям. Как минимум в последнем случае априорная вероятность часто оказывается субъективной.
Для принятия решений такое употребление слова «вероятность» наиболее подходящее. Это не просто информация, которую можно получить на основе других данных. Человек формулирует степень неопределенности, обозначая вероятность. Способность выразить априорное состояние неопределенности является важной отправной точкой во всех практических решениях. По сути, у вас обычно уже имеется априорная неопределенность, даже если вы не можете обозначить конкретные вероятности. Указание априорной неопределенности еще и позволяет вычислить ценность дополнительной информации, поскольку ее ценность, естественно, хотя бы частично зависит от состояния неопределенности до сбора информации. Этим и занимается байесовский подход, значительно упрощая некоторые проблемы и позволяя получить больше пользы от ограниченной информации.
Специалисты по кибербезопасности должны понимать обозначенные выше особенности. Те, кто считает вероятность лишь результатом вычислений данных, а не отражением личной неопределенности, возможно, сами того не осознавая, придерживаются некоторой заданной интерпретации вероятности. Они выбирают «фриквентистскую» интерпретацию, и хотя им она может казаться объективной и научной, многие великие статистики, математики и ученые с ними не согласятся (в книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» содержится подробное описание различий).
Поэтому, когда кто-то из специалистов по кибербезопасности говорит, что им не хватает данных для определения вероятности, это звучит крайне иронично. Мы используем вероятность потому, что у нас нет полной информации, а не вопреки этому. Лучше всего данная позиция была сформулирована общепризнанным основоположником области анализа решений, профессором Роном Ховардом из Стэнфордского университета. Во время подкаста с интервью журналу Harvard Business Review корреспондент спросил Ховарда, как решить проблему анализа «когда вероятность неизвестна». Ховард ответил:
Видите ли, вся идея вероятности заключается в том, чтобы иметь возможность описать с помощью чисел вашу неосведомленность или, в равной степени, ваше знание. Поэтому неважно, насколько вы информированы или несведущи, определяется, какая степень вероятности соответствует этому5.
Бывают случаи, когда вероятность является вычисляемой величиной, но, как утверждают великие умы Ховард и Джеймс Клерк Максвелл (из более ранней цитаты), вероятность также используется для обозначения нашего состояния неопределенности относительно чего-либо в данный момент, независимо от того, насколько велика эта неопределенность. Имейте в виду, однако, что хоть вероятность, о которой здесь говорится, и субъективна, она не является иррациональной и непредсказуемой. Необходимо, чтобы субъективная неопределенность была по крайней мере математически последовательной и не противоречила многократным последующим наблюдениям. Здравомыслящий человек не может просто сказать, например, что есть 25 %-ная вероятность, что его организация пострадает от определенной кибератаки, и 90 %-ная вероятность, что ее не будет (конечно же, в сумме эти шансы должны давать вероятность 100 %). Кроме того, если кто-то продолжает утверждать, что он на 100 % уверен в своих прогнозах, и постоянно ошибается, то можно не учитывать его субъективную неопределенность на объективных основаниях, так же как не берут в расчет показания сломанных электронных весов или амперметра. В главе 7 вы узнаете, как вероятность может быть субъективной и в то же время рациональной.
Наконец, следует помнить, что существует еще одна грань уменьшения неопределенности. Полное устранение неопределенности не является необходимым для измерения, но она должна сколько-нибудь снизиться. Если те, кто принимает решения, или аналитики считают, что проводят измерения, а эффективность их оценок и решений на самом деле не повышается или даже снижается, значит, они не сокращают число ошибок и не проводят измерения, как они понимаются в нашем определении.
Получается, чтобы определить, подходят ли для измерений порядковые шкалы, столь часто применяемые в области кибербезопасности, надо по меньшей мере выяснить, действительно ли эти шкалы уменьшают неопределенность (эти тонкости будут подробнее рассмотрены в главе 5).
Объект измерений
Хорошо сформулированная проблема – наполовину решенная проблема.
Нет большего препятствия для продвижения знаний, чем двусмысленность слов.
Даже после принятия более удобной формулировки понятия «измерение» (как наблюдения, уменьшающего неопределенность) некоторые вещи кажутся неизмеримыми, из-за того что мы просто не понимаем, что имеем в виду, когда впервые задаемся вопросом об их измерении. То есть мы не можем однозначно определить объект измерения. Если кто-то интересуется, как измерить «ущерб репутации», или «угрозу», или «срыв рабочего процесса», то достаточно спросить: «Что вы имеете в виду?» Любопытно, как часто люди затем уточняют термин, так что он сам по себе уже почти отвечает на вопрос об измерении.
Как только становится ясно, что имеется в виду и почему это важно, проблема начинает казаться гораздо более измеримой. На этом первом уровне анализа один из авторов, Хаббард, обычно проводит так называемые семинары по разъяснению. Они сводятся к тому, что клиенты заявляют конкретный, но изначально двусмысленный предмет, который требуется измерить. А затем им просто задаются вопросы: «Что вы имеете в виду под [указать нужное]?» и «Почему вас это волнует?»
Такой подход применим к широкому спектру проблем измерения, и кибербезопасность не исключение. В 2000 году, когда министерство по делам ветеранов обратилось к Хаббарду за помощью в определении показателей эффективности того, что они называли IT-безопасностью, Хаббард спросил: «Что вы подразумеваете под IT-безопасностью?» В ходе двух или трех семинаров сотрудники министерства дали ему точное определение: выяснилось, что под IT-безопасностью они понимали такие параметры, как снижение числа проникновений и заражений вирусами. Далее они пояснили, что подобные вещи влияют на министерство через мошенничество, потерю производительности или даже потенциальную юридическую ответственность (которой им едва удалось избежать, когда в 2006 году был найден украденный у них ноутбук с хранившимися на нем номерами социального страхования 26,5 млн ветеранов). Все выявленные в итоге воздействия почти в каждом случае оказались явно измеряемыми. Понятие «безопасность» было расплывчатым, пока его не разложили на компоненты, которые на самом деле хотели изучить.
То, что мы называем «цепочкой разъяснений», – всего лишь короткая серия рассуждений, которая должна помочь нам перейти от восприятия объекта как нематериального к восприятию его как осязаемого. Во-первых, следует признать, что если Х – волнующая нас проблема, то по определению X можно каким-то образом выявить. Зачем бы нам волноваться о таких вещах, как «качество», «риск», «безопасность» или «имидж», если бы они никак не проявлялись ни прямо, ни косвенно? Единственная причина переживать из-за какой-то неизвестной величины – уверенность, что она каким-то образом соотносится с желаемым или нежелательным результатом. Во-вторых, если этот объект можно выявить, то выявлен он будет в каком-то объеме. То есть раз объект вообще можно наблюдать, значит, его можно наблюдать в большем или меньшем количестве. Как только мы признаем это, последний шаг, возможно, станет самым простым: если можно наблюдать объект в каком-то количестве, то он должен быть измеримым.
Цепочка разъяснений
1. Если объект имеет значение, то он выявляем/наблюдаем.
2. Если он выявляем, то его можно обнаружить в каком-то количестве (или диапазоне возможных вариантов количества).
3. Если его можно определить как диапазон возможных вариантов количества, то его можно измерить.
Если цепочка разъяснений не сработает, можно попробовать то, что ученые называют «мысленным экспериментом». Представьте, что вы – инопланетный ученый, способный клонировать не только овец или даже людей, но и целые организации. Вы создаете две одинаковые организации, называя одну из них тестовой группой, а другую – контрольной. Теперь представьте, что в тестовой группе вами задается небольшое повышение параметра «ущерб репутации», при этом в контрольной группе он остается неизменным. Как думаете, какие изменения (прямые или косвенные) вы увидите в первой организации? Снизятся ли в ближайшей или долгосрочной перспективе продажи? Станет ли труднее набирать новых сотрудников, стремящихся работать в престижных компаниях? Придется ли проводить дорогостоящие пиар-кампании, чтобы компенсировать последствия? Если вы сможете наблюдать хотя бы одно отличие клонированных организаций друг от друга, то уже будете на пути к выяснению, как его измерить.
Также полезно указать, зачем надо что-то измерить, чтобы понять, что именно измеряется. Цель измерения часто является ключом к пониманию того, каким оно на самом деле должно быть. Измерения всегда должны подкреплять какое-то решение, неважно, принимается ли оно единожды или регулярно. В случае измерения рисков кибербезопасности измерения, скорее всего, проводятся, чтобы лучше распределить ресурсы для снижения рисков. Цель измерения дает подсказки о том, что на самом деле означает измерение и как его проводить. А попутно может обнаружиться еще ряд потенциальных объектов, которые, возможно, также потребуется измерить для подкрепления соответствующего решения.
C определения объекта измерения действительно начинаются почти все научные исследования, включая по-настоящему революционные. Специалистам по кибербезопасности и руководителям следует уяснить, что некоторые вещи кажутся неосязаемыми только потому, что были плохо определены. Чересчур расплывчатые термины, такие как «потенциальная сила угрозы», «ущерб репутации» или «доверие клиентов», выглядят поначалу неизмеримыми, вероятно, лишь из-за того, что их значение не совсем понятно. Такие термины могут, по сути, представлять собой список отдельных и наблюдаемых явлений, для понимания которых каждому из них требуется дать определение. Далее в этой книге (особенно в главе 6) будут предложены способы разложения на подобные списки из более конкретных элементов.
Разъяснение цели измерений следует начать со значений некоторых других терминов, что уже неоднократно здесь использовались. Чтобы измерить кибербезопасность, надо разобраться с вопросами «Что подразумевается под кибербезопасностью?» и «Какие решения зависят от ее измерения?».
Для большинства людей повышение уровня безопасности все же должно означать нечто большее, чем, скажем, увеличение количества сотрудников, прошедших обучение по безопасности, или числа компьютеров с установленным новым защитным программным обеспечением. Если уровень безопасности повышается, то некоторые риски должны понижаться. В таком случае необходимо понять, что подразумевается под риском. Для прояснения этой проблемы требуется уточнить понятия «неопределенность» и «риск». Они не только поддаются измерению, но и являются ключевыми для понимания измерений в целом. Итак, давайте определим значения этих терминов и их измерений.
Значения неопределенности, риска и их измерений
Неопределенность – отсутствие полной уверенности, т. е. существование более чем одной возможности. Истинные итог/состояние/результат/значение не известны.
Измерение неопределенности – набор вероятностей, приписываемых набору возможностей. Например: «Существует 20 %-ная вероятность, что в течение следующих пяти лет у нас произойдет утечка данных».
Риск – состояние неопределенности, когда некоторые из возможностей связаны с убытками, катастрофой или другими нежелательными последствиями.
Измерение риска – набор возможностей, каждая из которых имеет количественную оценку вероятности и количественно выраженные потери. Например: «Существует 10 %-ная вероятность, что утечка данных повлечет за собой судебные иски на более чем 10 млн долл.».
Как задаются подобные вероятности, будет показано далее (сначала на основе техник из главы 7), пока же достаточно того, что мы определились с понятиями, с чего всегда и начинаются измерения. Были выбраны именно эти значения, поскольку они наиболее соответствуют нашему подходу к измерениям в описываемом здесь примере с безопасностью и ее ценностью. Однако, как вы увидите, они также пригодны для рассмотрения любых других проблем, касающихся измерений.
Теперь, когда имеются значения неопределенности и риска, появляется более эффективный инструментарий для определения следующих терминов, таких как «безопасность» (или «сохранность», «надежность» и «качество», но об этом позже). Говоря, что безопасность улучшилась, обычно мы имеем в виду, что конкретные риски снизились. С учетом приведенного выше определения риска его снижение должно означать, что вероятность и/или тяжесть последствий (убытки) снижаются для конкретных событий. Вот это и есть упоминавшийся ранее подход, помогающий измерить некоторые очень крупные вложения в IT-безопасность, включая модернизацию системы информационной безопасности министерства по делам ветеранов, обошедшуюся в 100 млн долл.
В общем, как только вы поймете, что имеете в виду, будете на полпути к измерениям. В главе 6 будут подробнее рассмотрены подходы к определению доступных для наблюдения последствий кибербезопасности, узнаем, как ослабить последствия нарушений кибербезопасности и как выяснить, какое решение необходимо принять (тогда мы снова обратимся к работе Рона Ховарда по анализу решений).
Методы измерения
Нас ведет к беде не то, что мы чего-то не знаем… К беде ведет знание, которое мы считаем истинным, но оно на самом деле ошибочно.
В разговоре о методах измерения кто-то может представить довольно буквальный пример с измерением времени простоя системы или количества людей, прошедших обучение по безопасности. То есть когда нет больших «неявных» совокупностей, которые нужно оценить, а имеется прямой доступ ко всем объектам измерения. Если на этом понимание человека о методах измерения заканчивается, то, несомненно, многое будет казаться неизмеримым.
Статистика и наука в целом были бы намного проще, если бы можно было непосредственно видеть все, что когда-либо измерялось. Большинство «трудных» измерений, однако, предполагают косвенные умозаключения и выводы. Это, безусловно, относится и к сфере кибербезопасности, в которой часто приходится на основе увиденного делать выводы о чем-то невидимом. Изучение совокупностей, которые слишком велики или динамичны, чтобы их можно было рассмотреть целиком, – вот в чем на самом деле суть статистики.
Кибербезопасность не является какой-то исключительной областью, не относящейся к сфере статистики. Статистика была создана именно для решения подобных проблем. Специалистам по кибербезопасности, убежденным в обратном, стоит внимательно перечитать высказывание Марка Твена, приведенное выше. Люди вроде них могут считать, что все правильно помнят и понимают достаточно в области статистики и вероятности, чтобы без применения математики с уверенностью заявлять, какие выводы можно сделать из тех или иных данных. К сожалению, их умственные вычисления часто совсем не верны. Наличие ошибочных представлений о методах измерения мешает оценивать риск во многих областях, в том числе и в кибербезопасности.
Часто можно услышать утверждение, что выборка недостаточно велика, чтобы считаться «статистически значимой». Если слышите подобное, точно знайте одно: говорящий неправильно понимает идею статистической значимости. Недавний проведенный авторами опрос, в котором принял участие 171 специалист по кибербезопасности, показал, что такие заблуждения распространены в данной сфере так же, как и в любой другой (более подробно результаты исследования описаны в главе 5). Можно заметить, что некоторые представления о статистике противоречат следующим фактам.
• Не существует единого, универсального размера выборки, необходимого, чтобы считать ее статистически значимой.
• Чтобы правильно рассчитать статистическую значимость, нужно знать, что она зависит не только от размера выборки, но и от дисперсии внутри выборки, и от самой проверяемой гипотезы. Все эти факторы используются для расчета так называемого π-значения («пи-значения»), а затем результат сравнивается с заданным уровнем значимости. Если указанные шаги пропущены, то нельзя доверять заявлениям о том, что является статистически значимым.
• Выяснив, как вычислить статистическую значимость, и поняв, что она означает, вы обнаружите, что хотели узнать совсем не это. Статистическая значимость не означает, что вы узнали что-то новое, а ее отсутствие – что вы ничего не узнали.
Данный вопрос более детально рассматривается с математической точки зрения в первой книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе». А пока, полагаем, вам лучше избегать употребления фразы «статистическая значимость». Что же действительно нужно знать, так это уменьшится ли неопределенность после изучения источника данных и оправдывает ли ее уменьшение определенные изменения в действиях. Статистики знают, что статистическая значимость не дает ответа на этот вопрос, и они сами постоянно поправляют тех, кто считает иначе. Для вопросов о степени снижения неопределенности существуют математические расчеты, и, отвечая на подобные вопросы, можно не ссылаться на статистическую значимость или на то, что под ней подразумевают аналитики из сферы кибербезопасности.
Экспертам по кибербезопасности, как и многим другим специалистам практически во всех областях управления, необходимо избавиться от ошибочных представлений о статистике и изучить новые концепции в ней. Позже мы обсудим, как можно использовать некоторые проверенные методы измерения для решения различных проблем при измерении того, что изначально, возможно, казалось неизмеримым. Здесь же представим несколько примеров, в которых выводы о неявных аспектах могут быть сделаны из вполне очевидных.
• Измерения очень больших совокупностей с помощью очень маленьких случайных выборок. Можно кое-что узнать из небольшой выборки случаев утечки данных и других нарушений, особенно в ситуации высокой степени неопределенности.
• Измерения в условиях со множеством переменных, в том числе неизвестных. Можно оценить, насколько эффективно новые средства контроля системы безопасности снизили риск даже при наличии множества других факторов, влияющих на то, нанесет ли кибератака урон системе.
• Измерение риска редких событий. О вероятности неудачи при запуске ракеты, которую никогда раньше не запускали, или наступления еще одного крупного финансового кризиса можно на практике узнать с помощью наблюдений и логических рассуждений. Эти проблемы не менее сложны, чем оценка риска редко случающегося крупного нарушения кибербезопасности, тем не менее их можно измерить, и измерения проводятся.
• Измерение субъективных предпочтений и ценностей. Можно измерить ценность искусства, свободного времени или уменьшения риска для вашей жизни, установив, сколько люди действительно платят за эти вещи. Опять же, опыт других областей в равной степени применим и к кибербезопасности.
Большинство из этих подходов к измерениям являются лишь вариациями основных методов, к которым относятся различные виды выборки и экспериментального контроля, а иногда и разнообразные типы вопросов, являющиеся косвенными показателями того, что мы пытаемся измерить. К подобным базовым методам наблюдения часто не прибегают в бизнесе при принятии определенных решений, вероятно, потому, что считают такие измерительные процедуры сложными и чрезмерно формализованными. Бытует мнение, что при необходимости эти методы не удастся оперативно применить без особых затрат и подготовки. Однако мы продемонстрируем методы, которые, используя популярное понятие в системной инженерии, можно даже назвать гибкими (agile).
Когда специалисты в сфере кибербезопасности или любой другой области говорят: «У нас недостаточно данных, чтобы это измерить», – они, вероятно, не понимают, что произносят вполне конкретное математическое утверждение, не подкрепленное никакими фактическими математическими выкладками. Действительно ли они вычисляли снижение уровня неопределенности, используя имеющийся объем данных? Рассчитывали ли они на самом деле экономическую ценность такого снижения неопределенности? Скорее всего, нет.
Когда дело доходит до вероятностных выводов о данных, наша интуиция превращается в проблему. Однако намного большей проблемой может стать то, что, как кажется, нам известно (ошибочно) о статистике. Поскольку на практике статистика позволяет делать информативные выводы из удивительно маленьких выборок.
Рассмотрим случайную выборку всего лишь из пяти единиц чего-либо. Это может быть время, проведенное сотрудниками на веб-сайтах, опрос компаний в некоторых отраслях, представляющих отчеты о бюджетах, выделенных на кибербезопасность, и т. д. Какова вероятность того, что медиана всей совокупности (точка, в которой половина совокупности находится ниже, а половина выше) окажется между наибольшим и наименьшим значением этой выборки из пяти? Ответ – 93,75 %. В книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» Хаббард называет это «правилом пяти». При такой маленькой выборке диапазон может быть очень широким, но если он окажется ýже, чем предыдущий, то можно говорить, что было проведено измерение в соответствии с данным ранее определением. Правило пяти простое, оно работает, и можно доказать, что оно является статистически обоснованным для удивительно широкого спектра задач. Если ваша интуиция или познания в статистике подсказывают иное, то проблема тут не в математике.
Может показаться, что нельзя быть уверенными в чем-либо на 93,75 % на основании случайной выборки всего лишь из пяти единиц, но это не так. Если бы случайно были выбраны пять значений, которые все располагались бы выше медианы или ниже ее, то медиана оказалась бы за пределами нашего диапазона. Но какова вероятность этого? Помните, что шанс случайно выбрать значения выше медианы, по сути, составляет 50 %, как шанс, что подброшенная монетка упадет орлом вверх. То есть вероятность, что все выбранные пять значений случайно окажутся выше медианы, сродни вероятности, что выпадет орел пять раз подряд. Шанс выпадения орла пять раз подряд при случайном подбрасывании монетки составляет 1 к 32, или 3,125 %, то же самое касается и выпадения решки пять раз подряд. Тогда шансы, что не выпадут все орлы или все решки, составляет 100 % – (3,125 % × 2), или 93,75 %. Таким образом, вероятность, что хотя бы одно значение в выборке из пяти окажется выше медианы и хотя бы одно будет ниже, составляет 93,75 % (округлите до 93 % или даже до 90 %, если хотите быть сдержанными в оценках). Некоторые читатели, возможно, со времен учебы помнят статистику для очень маленьких выборок. Ее методы были сложнее, чем правило пяти, но ответ, в сущности, мало отличался (и там и там применяются упрощающие допущения, которые очень хорошо работают на практике).
Правило пяти
Существует 93,75 %-ная вероятность того, что медиана совокупности находится между наименьшим и наибольшим значениями любой случайной выборки из этой совокупности.
Это правило можно улучшить, увеличив выборку и применив простые методы для учета ряда погрешностей, которые мы обсудим далее. Тем не менее, даже несмотря на имеющиеся недостатки, правило пяти стоит взять на вооружение тем, кто хочет развить интуицию относительно измерений.
Давайте примем несколько обдуманных и конструктивных предположений вместо расхожих домыслов. Нами предлагается набор предположений, которые (на то они и предположения) не всегда верны в каждом отдельном случае, но все же на практике демонстрируют гораздо бóльшую эффективность, чем противоположные устоявшиеся мнения. Подробнее эти аспекты будут рассмотрены позже, а пока просто назовем их.
1. Независимо от того, насколько сложна или уникальна ваша проблема измерений, следует предполагать, что подобные измерения уже проводились ранее.
2. Если вы изобретательны, то, вероятно, сможете найти больше источников данных, чем предполагали изначально.
3. Возможно, вам нужно меньше данных, чем подсказывает интуиция, и это действительно так, особенно в ситуации с высокой степенью неопределенности.
В некоторых редких случаях только из-за отсутствия самых изощренных методов измерения что-либо кажется неизмеримым. Однако в случаях, касающихся так называемых непостижимых объектов, дело почти всегда вовсе не в нехватке продвинутых и сложных методов. Просто такие объекты, как правило, слишком неопределенные, поэтому даже самые простые методы измерения, скорее всего, позволят уменьшить какую-то часть их неопределенности. Кибербезопасность в настоящее время является настолько важным направлением, что даже небольшое снижение неопределенности может быть чрезвычайно ценным.
В следующей главе будет показано, как наши концепции можно частично применить для оценки рисков кибербезопасности с помощью очень простого количественного метода, и это займет лишь чуть больше времени, чем построение обычной матрицы рисков.
1. Гладуэлл Малкольм. Гении и аутсайдеры. Почему одним все, а другим ничего? / Пер. О. Галкина. – М.: Манн, Иванов и Фербер, 2020.
2. C. Shannon, “A Mathematical Theory of Communication,” The Bell System Technical Journal 27 (July/October, 1948): 379–423, 623–656.
3. S. S. Stevens, “On the Theory of Scales and Measurement,” Science 103 (1946): 677–680.
4. Leonard J. Savage, The Foundations of Statistics (New York: John Wiley & Sons, 1954).
5. Рон Ховард, подкаст Harvard Business Review, интервьюер Джастин Фокс, 20 ноября 2014 года.