• стоимостью информации;
• вероятностью того, что та или иная политическая партия победит в борьбе за Белый дом;
• качеством;
• мнением общественности.
Любая из этих проблем может оказаться весьма актуальной для организации, собирающейся принять важное решение. Иногда речь идет даже о единичном, но очень серьезном эффекте от дорогостоящей новой программы, принятой компанией или государственными органами. И все же многие организации, считая «нематериальное» не поддающимся измерению, принимают далеко не такие информационно обоснованные решения, как могли бы.
Эту ситуацию мне не раз доводилось наблюдать в так называемых управляющих комитетах, которые рассматривают предлагаемые проекты и решают, какие из них следует принять, а какие — отклонить. Нередко обсуждаемые проекты так или иначе связаны с ИТ. В ряде случаев управляющие комитеты категорически отвергали любые инвестиционные предложения, когда ожидаемые выгоды были, скорее, моральными. Такие важные факторы, как расширение рекламы, создаваемой потребителями, снижение стратегического риска или позиционирование премиум-бренда, при их оценке не учитывались как «не поддающиеся измерению». При этом проект отвергался вовсе не потому, что его автор не рассчитал ожидаемую выгоду (веская причина для отказа), а вследствие убежденности в невозможности этого расчета. Соответственно многие важнейшие стратегические предложения были пропущены в пользу слабых, но низкозатратных идей только потому, что в одних случаях методы оценки ожидаемых эффектов были всем известны, а в других — нет.
Между тем некоторые организации сумели успешно проанализировать и количественно оценить все перечисленные выше явления, использовав для этого совсем не такие сложные методы, как можно было ожидать. Цель данной книги состоит в том, чтобы продемонстрировать два положения:
1) нематериальные явления и факторы, представляющиеся абсолютно неизмеряемыми, измерить можно;
2) подобные измерения можно произвести экономически обоснованным способом.
Чтобы полностью охватить тему, книга с названием «Как измерить все, что угодно», наверное, должна быть многотомной. Я отнюдь не ставил перед собой задачу описать все методы измерения, используемые в областях естествознания или экономической науке, особенно если они уже хорошо разработаны. Специалисты в этих областях располагают приемами, позволяющими решать самые разнообразные интересующие их задачи, и уже гораздо менее склонны навешивать ярлык «нематериальное» на занимающие их проблемы. В центре внимания книги — методы измерения, знать которые важно (и даже крайне важно!), чтобы принимать серьезные деловые решения. Речь идет, прежде всего, о таких способах, которые позволяют оценить то, что не поддается стандартным и принятым подходам.
Предлагаемая вашему вниманию книга развеивает ряд распространенных заблуждений в отношении измерения нематериального и описывает «универсальный подход» к его оценке, подтверждаемый интересными методами решения конкретных задач. Я постарался привести в ней «вдохновляющие» примеры того, как на практике были оценены самые неизмеряемые объекты, какие мне удалось найти.
Не в ущерб содержанию в книге дается простое объяснение некоторым понятиям статистики, имеющим отношение к измерениям и кажущимся доступными только посвященным. Там, где возможно, математические выкладки приводились в виде более понятных формул, графиков и таблиц. Некоторые из этих методов настолько проще преподаваемых во вводном университетском курсе статистики, что читатель сумеет преодолеть многочисленные фобии, которые многим внушают количественные методы измерения. Никакой особой математической подготовки вам не потребуется. Все, что понадобится, — это способность четко формулировать проблемы.
Рекомендую читателям посетить веб-сайт книги: www.howtomeasureanything.com. Там вы найдете целую библиотеку электронных таблиц для проведения некоторых более точных расчетов из описанных в книге примеров, загружаемых из Сети. Там же находятся дополнительные учебные пособия, примеры и форум для обсуждения вопросов по книге или вообще задач, связанных с измерением. Сайт, кроме того, позволяет мне дискутировать на тему новых способов и методик, не существовавших во время работы над книгой.
Советую также читателям проделать одно полезное упражнение. Составьте и по мере прочтения этой книги пополняйте список того, что кажется не поддающимся измерению или, по крайней мере, способы измерения чего вам неизвестны. Надеюсь, что, прочитав эту книгу, вы сумеете количественно оценить любой объект из вашего списка.
Глава 2. Интуитивное умение измерять все: Эратосфен, Энрико и Эмили
Развить в себе умение измерять — совсем не простое занятие, поэтому поставить такую цель легче, если видишь свет в конце туннеля. Нам нужны лучшие примеры людей, интуитивно решавших задачи по измерению и при этом нередко находивших на удивление простые способы для этого. К счастью, история знала немало личностей, продемонстрировавших такое поразительное умение, — людей одновременно и вдохновленных, и вдохновляющих. Показательно, однако, то, что многие из них не имели отношения к бизнесу. На самом деле, в поисках методов, применимых в бизнесе, книга широко заимствует материал и примеры из других областей человеческой деятельности.
Вот лишь несколько человек, которые, не занимаясь измерениями в бизнесе, могут, тем не менее, показать бизнесменам, что такое интуитивная способность к количественным исследованиям.
• Один древний грек сумел определить длину земной окружности, измерив полуденные тени в разных городах и проведя простейшие геометрические расчеты.
• Один лауреат Нобелевской премии по физике учил своих студентов измерять, показывая, как можно оценить число настройщиков пианино в Чикаго.
• Одна девятилетняя девочка поставила эксперимент, положивший конец популярности метода «бесконтактного массажа» из нетрадиционной медицины, и два года спустя стала самым молодым автором, когда-либо публиковавшимся в «Journal of the American Medical Association».
Возможно, вам приходилось слышать об этих людях или, по крайней мере, о ком-то из них. Но даже если вы что-то припоминаете, такие сведения стоит освежить и посмотреть, что же их объединяет. Эти люди не были знакомы друг с другом и даже жили в разное время, но все они проявили способность сформулировать задачу по измерению и быстро сделать несложные исследования, давшие поразительные результаты. Они сумели в короткое время определить неизвестные величины с помощью простых наблюдений. Очень важно сравнить их подход с тем, что вы обычно наблюдаете в деловой обстановке. Те, о ком пойдет речь, — это реальные люди, которых звали Эратосфен, Энрико и Эмили.
Как один древний грек определил размеры земного шара
Наш первый наставник в измерениях сделал то, что в его время многие наверняка считали невозможным. Древний грек по имени Эратосфен (примерно 276–194 гг. до н. э.) был, насколько это известно, первым, кому удалось измерить длину окружности Земли. Если его имя кажется вам знакомым, то, скорее всего, потому, что оно упоминается во многих университетских учебниках по геометрии и тригонометрии.
Эратосфен не пользовался точным геодезическим оборудованием, и, конечно, у него не было лазеров и спутников. Он и не помышлял о кругосветном путешествии, которое могло не только оказаться рискованным, но и затянуться на долгие годы. Взамен он вычитал в одной книге из Александрийской библиотеки, что дно глубокого колодца в Сиене, городе в Южном Египте, целиком освещается полуденным солнцем только раз в году. Это означало, что в полдень солнце должно находиться прямо над колодцем. Но Эратосфен также заметил, что в полдень вертикальные предметы в Александрии, которая находится почти прямо на север от Сиены, отбрасывают тень, то есть в другом городе в это же время солнечные лучи падают на Землю под несколько иным углом. Эратосфен догадался, что данную информацию можно использовать для оценки кривизны Земли.
Он установил, что в то время года полуденные тени в Александрии образуют угол, соответствующий дуге в 1/50 окружности. Поэтому если расстояние между Сиеной и Александрией было 1/50 окружности, то вся длина окружности Земли должна превышать это расстояние в 50 раз. Более поздние попытки повторить расчеты Эратосфена отличаются друг от друга только тем, какие были взяты углы и расстояния между древними городами, а также результатами перевода древних единиц измерения в современные, но обычно выходит, что погрешность оценки Эратосфена составляет ±3 %[1]. Расчеты этого ученого стали огромным шагом вперед по сравнению с имевшимися ранее знаниями, а ошибка его измерения меньше допущенной нашими учеными всего несколько десятилетий назад при оценке размера и возраста Вселенной. Погрешность, допущенная при аналогичных расчетах Колумбом 1700 лет спустя (который, очевидно, не знал или не учел результата Эратосфена), составила 25 % (по этой причине мореплаватель думал, что находится вблизи Индии, а не у другого колоссального континента). Фактически, ошибка Эратосфена была исправлена только через 300 лет после плавания Колумба. Тогда результат Эратосфена сумели, наконец, уточнить два француза, располагавшие самыми точными геодезическими приборами, имевшимися во Франции в конце XVIII века, значительными финансовыми ресурсами и множеством помощников[2].
Вот вам и урок для бизнеса: Эратосфен произвел измерения, казавшиеся невозможными, остроумно использовав данные простейших наблюдений. Когда я спрашиваю слушателей своих семинаров по оценке и анализу риска, как они определили бы длину земной окружности, не пользуясь современными инструментами, они обычно предлагают какой-нибудь сложный путь, например кругосветное плавание. Но ведь Эратосфен выполнил свои расчеты, не покидая окрестностей библиотеки. На поставленный им вопрос могли ответить гораздо более сложные исследования, но его оценка основывалась на других, простых наблюдениях. Ученый извлек всю возможную информацию из тех немногих фактов, которые мог проверить сам, не «зацикливаясь» на том, что эта задача решается только сложным путем.
Другой не имеющий отношения к бизнесу человек, способный вдохновить предпринимателей на измерения, — это Энрико Ферми (1901–1954), физик, получивший Нобелевскую премию в 1938 г. У него был настоящий талант к интуитивным измерениям, иногда казавшимся даже случайными. Как-то он продемонстрировал его при испытании атомной бомбы на полигоне Тринити 16 июля 1945 г., где вместе с другими учеными-атомщиками наблюдал за взрывной волной из базового лагеря. Пока другие окончательно настраивали приборы для измерения мощности взрыва, Ферми разорвал на мелкие кусочки страничку из своего блокнота. Когда после взрыва подул сильный ветер, он подбросил эти кусочки в воздух и заметил, куда они упали (обрывки, улетевшие дальше всех, должны были показать пик давления волны). Ферми пришел к выводу, что мощность взрывной волны превысила 10 килотонн. И эта информация оказалась очень важной, так как другим наблюдателям нижний предел данного параметра был неизвестен. После длительного анализа показаний приборов мощность взрывной волны была в конце концов оценена в 18,6 килотонн. Как и Эратосфен, Ферми сумел определить требуемый показатель, проведя одно простое наблюдение — за рассеиванием обрывков бумаги по ветру.
О важности быстрых оценок Ферми знал на протяжении всей своей карьеры. Он славился тем, что учил студентов навыкам приблизительных расчетов самых фантастических величин, о которых те, казалось бы, не могли иметь никакого представления. Самым известным примером такого «вопроса Ферми» является определение числа настройщиков пианино в Чикаго. Студенты (будущие ученые и инженеры) начали с того, что у них нет для этого расчета никаких данных. Конечно, можно было просто пересчитать всех настройщиков, прочитав объявления, справившись в каком-нибудь агентстве, выдающем лицензии на такие услуги, и т. д. Но Ферми пытался научить своих студентов решать задачи и тогда, когда проверить результат будет не так просто. Ему хотелось, чтобы они поняли, что все-таки знают что-то об искомой величине.
Для начала Ферми попросил определить другие имеющие отношение к пианино и их настройщикам показатели — тоже неизвестные, но более легкие для оценки. Это были численность населения Чикаго (составлявшая в 1930–1950-х годах чуть более 3 млн человек), среднее число человек в одной семье (два или три), процент семей, регулярно пользующихся услугами настройщиков пианино (максимально — каждая десятая, минимально — каждая тридцатая семья), требуемая частота настройки (в среднем, вероятно, не менее раза в год), число пианино, настраиваемых настройщиком за день (четыре или пять инструментов с учетом затрат времени на дорогу), а также число рабочих дней настройщика в году (скажем, 250). Эти данные позволили рассчитать число настройщиков по следующей формуле:
Число настройщиков пианино в Чикаго = (Численность населения / Число членов одной семьи) × Процент семей, пользующихся услугами настройщиков × Число настроек в году / (Число пианино, настраиваемых одним настройщиком за день × Число рабочих дней в году).
В зависимости от цифр, подставляемых в это уравнение, вы получите ответ в интервале 20–200, скорее всего, правильный ответ составлял примерно 50 человек. Когда эту цифру сравнивали с реальной (которую Ферми мог узнать из телефонного справочника), она всегда была ближе к реальной, чем думали студенты. Полученный интервал значений выглядит слишком широким, но разве это не огромный шаг вперед по сравнению с позицией «неужели это вообще можно определить?», которую студенты занимали поначалу?
Данный подход позволял людям, производившим расчеты, понять, откуда берется неопределенность. Какие переменные характеризовались наибольшей неопределенностью — процент семей, регулярно пользующихся услугами настройщиков пианино, частота настроек, число инструментов, которые можно настроить за день, или что-то еще? Самый крупный источник неопределенности указывал на то, какие измерения позволят максимально снизить ее.
Поиск ответа на «вопрос Ферми» не предполагает проведения новых наблюдений и поэтому не может безоговорочно считаться измерением. Скорее, это оценка того, что вам уже известно о проблеме, способом, позволяющим несколько приблизиться к цели. Вот еще один урок для бизнесмена — не считайте неопределенность неустранимой и не поддающейся анализу. Вместо того чтобы впадать в уныние по поводу своего незнания, спросите себя: а что же вы все-таки знаете о проблеме? Как мы увидим позже, оценка имеющейся количественной информации о предмете — очень важный этап измерения явлений, которые выглядят неизмеряемыми.
Чак Макей из Wizard of Ads всячески поощряет компании использовать «вопросы Ферми» для оценки размера своего рынка в том или ином районе. Недавно один страховой агент попросил Чака дать совет, стоит ли его компании открывать офис в Уичита-Фоллз (штат Техас), где до сих пор у нее не было представительства. Будет ли на данном рынке спрос на услуги еще одного страховщика? Чтобы проверить реализуемость плана, Макей покопался в Интернете в поисках ответов на ряд «вопросов Ферми». Как и тот, Макей начал с проблемы численности населения.
По данным City-Data.com, жители Уичита-Фоллз владели 62 172 автомашинами. А согласно Институту страховой информации (Insurance Information Institute), средняя годовая автомобильная страховая премия в штате Техас составляла 837,40 дол. Макей предположил, что почти все машины застрахованы, поскольку это обязательное требование, поэтому общая выручка от страхования составляла ежегодно 52 062 833 дол. Агент узнал, что средняя комиссионная ставка составляет 12 %, так что все годовое комиссионное вознаграждение составляло 6 247 540 дол. По сведениям Switchboard.com, в городе действовали 38 страховых агентств, и примерно столько же их было по информации YeLLowbook.com. Если разделить все комиссионное вознаграждение на 38 агентств, то окажется, что годовые комиссионные одного из них составляют в среднем 164 409 дол.
Рынок, по всей видимости, был уже достаточно насыщен, поскольку, по сведениям City-Data.com, численность населения Уичита-Фоллз сократилась со 104 197 человек в 2000 г. до 99 846 человек в 2005 г. Кроме того, на данном рынке уже работало несколько крупных фирм, поэтому доходы нового агентства были бы еще меньше — и все это без учета накладных расходов.
Вывод Макея: скорее всего, новое агентство в этом городе вряд ли будет прибыльным, поэтому от плана следует отказаться.
Эксперименты — не только для взрослых
Еще одним человеком, обладавшим, по всей видимости, настоящим талантом к измерению, была Эмили Роза. Свой отчет о проведенных измерениях она опубликовала в «Journal of American Medical Association» (JAMA), но у нее не было ни ученой степени, ни даже диплома о высшем образовании. Когда девочка провела свою оценку, ей было всего девять лет, она училась в четвертом классе и работала над проектом для школьной ярмарки научных идей. Ей исполнилось 11, когда исследование было опубликовано, и это сделало Эмили самым молодым автором, когда-либо печатавшимся в престижном медицинском, а возможно, и вообще в научном журнале.
В 1996 г. Эмили увидела, как ее мать Линда смотрела видеофильм о «бесконтактном массаже» — довольно спорном методе лечения путем воздействия на «энергетические поля» пациента. На экране сцена: пациент лежит неподвижно, а врач водит руками в нескольких сантиметрах от его тела, пытаясь обнаружить и устранить «нежелательные энергии», якобы вызывающие различные заболевания. Эмили предложила своей матери экспериментально проверить это утверждение. Линда, которая была медсестрой и членом Национального совета по борьбе с мошенничеством в сфере здравоохранения (National Council Against Health Fraud, NCAHF), дала ей кое-какие советы.
Сначала Эмили привлекла к своему эксперименту для школьной ярмарки научных идей 15 врачей, практикующих бесконтактный массаж. Опыт состоял в следующем: Эмили и врач сидели за столом друг против друга. Их разделял картонный экран. В нижней части экрана имелись отверстия, через которые целитель просовывал руки ладонями вверх. Эмили подбрасывала монетку и в зависимости от того, как она падала, протягивала свою руку так, чтобы та оказывалась сантиметров на 10 выше правой или левой руки медика. Врачи, не видя девочку за экраном, должны были определить, над какой их рукой — правой или левой — она держит свою ладонь, только на основании собственных ощущений от ее энергетического поля. О результатах Эмили доложила на ярмарке научных идей и получила в награду голубую ленточку — впрочем, как и все остальные участники.
Линда рассказала об эксперименте Эмили доктору Стивену Барретту, которого она знала по работе в NCAHF. Барретт, заинтересовавшийся и простотой метода проведения опыта, и его первыми результатами, упомянул о нем продюсерам телешоу «Scientific American Frontiers» («Передовые рубежи американской науки»), которое шло по каналу государственного телевещания (Public Broadcasting System). В 1997 г. продюсеры сняли сюжет о методе Эмили, а девочка привлекла к участию в шоу еще 13 целителей, так что всего их стало 28.
Все эти врачи сделали в общей сложности 280 попыток ощутить энергетическое поле Эмили. Правильно определить положение руки девочки им удалось только в 44 % случаев. А по теории вероятности они должны были угадать в 50 % случаев с 95-процентным доверительным интервалом (confidence interval, CI) и погрешностью ±16 % (если вы подбросите 280 монет, есть 95-процентная вероятность того, что орел выпадет в 44–66 % всех случаев). Так что врачам, по всей видимости, немного не повезло (поскольку полученные ими данные оказались ближе к нижней границе интервала), но эти результаты не вышли из пределов, объясняемых одной только теорией вероятности. Иными словами, люди, не владеющие методом бесконтактного массажа (вы или я), могли бы просто попробовать угадать и добились бы таких же или даже лучших результатов, чем врачи-специалисты, участвовавшие в эксперименте.
Получив информацию, Линда и Эмили решили, что ее, наверное, стоит опубликовать. В апреле 1998 г. Эмили, которой тогда было всего 11 лет, напечатала экспериментальные данные в JAMA. После этого ее имя занесли в книгу рекордов Гиннеса как самого молодого автора, когда-либо печатавшегося в крупном научном журнале, и девочка получила в награду 1000 дол. от Образовательного фонда Джеймса Рэнди (James Randy Educational Foundation, JREF).
Джеймс Рэнди, бывший фокусник и известный скептик, основал фонд для научной проверки утверждений о наличии паранормальных способностей. Он предложил в качестве приза миллион долларов любому, кто научно докажет наличие у себя экстрасенсорного восприятия (extrasensory perception, ESP), ясновидения, способности находить воду или минералы с помощью «волшебной лозы» и т. п. Рэнди не нравится, когда говорят, что он занимается «развенчанием» притязаний на паранормальные способности, поскольку он просто тестирует эти заявления объективными научными методами. Но поскольку сотни претендентов на миллион так и не сумели получить приз, не пройдя простейшие научные испытания, до сих пор подобные утверждения только опровергались. Рэнди заинтересовался методом бесконтактного массажа еще до публикации данных Эмили, и сам пытался его проверить. Но, в отличие от Эмили, ему удалось найти только одного целителя, согласившегося на этот эксперимент, кстати, прошедший для врача неудачно.
После публикации опытных результатов сторонники метода бесконтактного массажа стали говорить, что методика проведения эксперимента не свободна от недостатков, а сам он ничего не доказывает. Одни указывали на то, что энергетическое поле ощущается на расстоянии 2–7, а вовсе не 10–12 см, как в эксперименте Эмили[3], другие — на то, что энергетическое поле подвижно, а не статично, поэтому обнаружить неподвижную руку Эмили было объективно невозможно (хотя во время «лечения» пациенты обычно лежали спокойно)[4]. Рэнди все это совсем не удивило. «Люди всегда находят оправдания потом, — сказал он, — но ведь каждого целителя до начала испытания спрашивали, согласен ли он с условиями. Все не только согласились, но и выразили уверенность, что пройдут тест успешно». Конечно, лучшим опровержением результата Эмили стал бы другой управляемый эксперимент, который окончательно доказал бы действенность бесконтактного массажа. Но провести такой опыт никто не предложил.
Рэнди так часто сталкивался с запоздалыми оправданиями участников подобных экспериментов, что стал просить их предварительно подписывать специальный официально заверяемый документ. В нем говорилось, что испытуемый согласен с условиями опыта, что впоследствии не будет подвергать его критике и что рассчитывает на успех в предлагаемых условиях. Одновременно он вручал каждому запечатанный конверт. После эксперимента, когда человек пытался оспорить его результаты, ссылаясь на плохую методику, Рэнди просил открыть конверт. В нем было письмо, в котором говорилось буквально следующее: «Вы согласились с тем, что данные условия оптимальны, и обещали не искать отговорок после проведения опыта. А теперь вы все же это делаете». «Испытуемым было исключительно неприятно», — замечал Рэнди.
Бизнес может извлечь из этого несколько уроков. Во-первых, даже такие кажущиеся эфемерными вещи, как расширение полномочий сотрудников, креативность или согласованность со стратегией, должны иметь поддающиеся обнаружению последствия, если только они вообще имеют какое-то значение. Я вовсе не утверждаю, что эти вещи «паранормальны», но здесь действуют те же правила.
А во-вторых, эксперимент Эмили продемонстрировал эффективность простых методов, традиционно используемых в научных исследованиях, таких как эксперимент в контролируемых условиях, выборка (даже если она невелика), рандомизация[5] и испытания «вслепую», позволяющих избежать необъективности со стороны испытуемого или исследователя. Эти простые приемы могут использоваться как по отдельности, так и в любых сочетаниях, давая возможность наблюдать и измерять самые разные явления.
Кроме того, Эмили доказала, что простейшие эксперименты, не требующие больших расходов, может проводить даже ребенок (Линда Роза сказала, что затраты на эксперимент составили 10 дол.). Интересно отметить, что Эмили могла провести гораздо более сложные клинические испытания действенности бесконтактного массажа, использовав тестовые и контрольные группы для проверки того, насколько метод улучшает состояние здоровья пациентов. Но ей не пришлось этого делать, потому что она задала более фундаментальный вопрос. Если целители могут делать то, о чем говорят, то, рассудила Эмили, они должны, по крайней мере, чувствовать энергетическое поле. Если же они его не чувствуют (а это основная исходная посылка выгоды, приписываемой методу), значит, все, что связано с бесконтактным массажем, вызывает большие сомнения. Девочка могла найти способ потратить намного больше, если бы, например, располагала обычным бюджетом для проведения непродолжительного медицинского исследования. Но она и так выяснила все, что хотела, и с более чем достаточной точностью. Для сравнения: о скольких методах оценки показателей вашей деятельности можно написать в научном журнале?
Пример Эмили доказывает, что полезный результат можно получить и простыми методами. Временами мне приходится слышать советы не использовать такие «продвинутые» методы измерения, как контролируемые эксперименты, поскольку высшее руководство этого не поймет. По-видимому, авторы советов считают, что правило Дилберта[6] (согласно которому повышение всегда получает самый некомпетентный сотрудник) действительно выполняется в случае топ-менеджеров. По своему опыту могу сказать, что обычно руководители высшего звена всегда все понимают, если вы хорошо объясняете.
— Эмили, объясни им это, пожалуйста.
Интересным примером того, как организация может оценить свои нематериальные активы, убедившись предварительно, существуют ли они вообще, может служить информационная инфраструктура Mitre (Mitre Information Infrastructure, MII). Эту систему разработала в конце 1990-х годов Mitre Corporation — некоммерческая компания, предоставляющая федеральным органам власти консалтинговые услуги в области инжиниринга систем и информационных технологий. MII была корпоративной базой знаний, позволявшей наладить сотрудничество отделов, ранее полностью изолированных друг от друга.
В 2000 г. в журнале «CIO Magazine» была опубликована статья о MII. В этом журнале было принято, чтобы всю трудную работу по подготовке такой статьи готовил штатный сотрудник, а затем независимый эксперт высказывал свое мнение в колонке под названием «Критический анализ». Когда публиковались статьи об измерениях, оценке риска и подобных вопросах, в роли такого эксперта нередко выступал я. Так и произошло в случае с MII.
Колонка «Критический анализ» должна была служить неким противовесом, поскольку, рассказывая о своих новых программах, компании обычно не жалеют розовых красок. В статье было процитировано следующее высказывание Эль Грассо, тогдашнего руководителя информационной службы Mitre Corporation: «Наши важнейшие достижения (качество и инновационность решений, которые становятся реализуемыми, когда вы овладеваете всей информацией) легко не измеришь». Однако я в своей колонке предложил простой способ измерения и качества, и инновационности:
Если MII действительно улучшает качество предоставляемых услуг, то оно должно влиять на восприятие этих услуг клиентами и, в конечном счете, на доходы[7]. Просто попросите случайную выборку клиентов проранжировать качество каких-либо услуг до и после создания MII (так, чтобы они не знали, за какой период оценивают данный параметр) и узнайте, заставило ли их повысившееся качество приобретать у Mitre больше услуг[8].
Таким образом, я предложил, чтобы компания Mitre, как в свое время Эмили, задала себе не тот вопрос, с которого, наверное, начал бы руководитель информационной службы, а более простой, но связанный с ним. Если качество и инновационность действительно возросли, то разве эта разница не должна, по крайней мере, чувствоваться? Если те, кому положено об этом судить, то есть потребители, в ходе испытания вслепую не смогут заявить, что исследования после создания MII стали качественнее или инновационнее, чем до нее, то это будет означать, что данная информационная структура никак не влияет на удовлетворенность клиентов, а следовательно, и на доходы. А вот если они заметят отличие, то можно будет поставить следующий вопрос: увеличились ли доходы настолько, чтобы оправдать инвестиции, составившие к 2000 г. 7 млн дол.? Если такие преимущества MII, как качество, инновационность и любые другие, невозможно обнаружить, то они не имеют значения. Нынешние и бывшие сотрудники Mitre рассказывали, что моя колонка наделала много шума. Однако никто из них не слышал, чтобы кто-либо в компании действительно пытался оценить качество и инновационность. Как вы помните, руководитель информационной службы сказал, что эти достижения MII были важнейшими. И вот эти преимущества так никто и не определил количественно.
Чему нас учат Эратосфен, Энрико и Эмили
Все эти люди — Эратосфен, Энрико и Эмили — демонстрируют нечто кардинально отличающееся от того, с чем мы обычно сталкиваемся в бизнесе. Руководители часто говорят: «Ни о чем подобном мы не могли бы даже догадываться». Они заранее пасуют перед неопределенностью. Вместо того чтобы, по меньшей мере, попытаться провести измерения, они бездействуют, обескураженные кажущейся невозможностью устранить ее. Ферми в подобном случае мог бы сказать: «Да, вы многого не знаете, но что-то же вы все-таки знаете?»
Иные менеджеры возражают: «Чтобы определить этот показатель, нужно потратить миллионы». В итоге они предпочитают не проводить и менее масштабные (с малыми затратами) исследования, потому что их погрешность обычно выше, чем у дорогих комплексных научных работ. Между тем, даже небольшое снижение неопределенности может принести миллионы в зависимости от важности решения, принятию которого оно способствует, и от частоты принятия подобных решений. Эратосфен и Эмили могли бы сказать, что полезные наблюдения (даже при небольшом бюджете) могут сообщить то, чего вы не знали ранее, если только избавиться от пораженческих настроений и подойти к делу чуть более креативно.
Примеры Эратосфена, Энрико и Эмили учат нас разным вещам. Эратосфен не мог рассчитать ошибку своей оценки, поскольку 2000 лет назад статистических методов расчета погрешности еще не существовало. Однако будь он знаком с одним из таких методов, то знал бы, что эта ошибка объясняется неточностью оценки расстояний между городами и углов наклона теней. Представление об измерении как об уменьшении погрешности — главная идея данной книги.
Пример Энрико Ферми имеет для нас другое значение. Поскольку он был лауреатом Нобелевской премии, у нас есть все основания считать его выдающимся физиком, причем не только теоретиком, но и экспериментатором. Но «вопросы Ферми» показали даже тем, кто далек от науки, как можно проводить измерения, кажущиеся на первый взгляд настолько сложными, что не стоит и пытаться. Хотя предложенные им прогрессивные экспериментальные методы имеют большое значение, на мой взгляд, нематериальное представляется не поддающимся измерению не только из-за отсутствия каких-то особо сложных способов оценки. Обычно вещи, считающиеся в бизнесе неизмеряемыми, можно количественно определить с помощью простейших приемов наблюдения, как только люди поймут, что неизмеримость — всего лишь иллюзия. С этой точки зрения ценность подхода Ферми состоит, прежде всего, в том, что оценка современного уровня наших знаний о предмете — необходимое условие последующих измерений.
В отличие от примера Ферми, пример Эмили касается вовсе не значения оценки исходных знаний, поскольку до своего эксперимента она не делала никаких предположений об эффективности метода бесконтактного массажа. Не учит он нас, в отличие от примера Эратосфена, и тому, что неосуществимые наблюдения можно заменить остроумными расчетами. Ее собственные выкладки основывались на стандартных методах выборки и сами по себе не требовали такой гениальной изобретательности, как простые геометрические вычисления Эратосфена. Однако Эмили доказала, что полезные наблюдения необязательно должны быть сложными, дорогостоящими или, по мнению некоторых, недоступными пониманию высшего руководства, даже если речь идет об оценке таких эфемерных явлений, как бесконтактный массаж или стратегическая согласованность.
Как бы ни были полезны эти уроки, мы попробуем, опираясь на них, сделать шаг вперед. Мы научимся оценивать нынешнюю неопределенность относительно какого-либо показателя, что повысит эффективность подхода Ферми, познакомимся с методами выборки, в некоторых отношениях даже более простыми, чем у Эмили, а также с несложными способами, которые позволили бы даже Эратосфену уменьшить ошибку расчета.