Гарантируйте успех
В части IV вы узнаете о том, как извлечь максимальную пользу из своего пути становления главным по данным, учась на чужих ошибках, как технических, так и связанных с человеческим фактором.
Эта часть состоит из следующих глав:
Глава 13. Остерегайтесь ловушек.
Глава 14. Знайте людей и типы личностей.
Глава 15. Что дальше?
Глава 13Остерегайтесь ловушек
«Первый принцип – не обманывать себя, а себя обмануть легче всего»
Чтобы понимать, думать и говорить на языке данных, очень важно знать об ошибках, которые вы можете допустить, если потеряете бдительность в ходе работы с ними и их интерпретации. Некоторые подводные камни довольно легко устранить, но их трудно обнаружить, если вы не знаете, где искать. А если вы не будете соблюдать осторожность, то они могут обернуться крупными катастрофами, подобными тем, которые были описаны ранее в этой книге (вспомните аварию шаттла «Челленджер» и крах рынка жилья в 2008 году).
В этой главе мы напомним вам о тех ловушках, о которых вы уже знаете, и познакомим вас с несколькими другими распространенными подводными камнями, которые могут сорвать всю вашу работу или (что еще хуже) заставить вас прийти к неверным выводам.
Прежде чем мы начнем, стоит отметить, что обсуждать чужие ошибки и просчеты в работе с данными очень легко и весело. Однако, хотя мы призываем вас скептически относиться к работе, проделанной другими специалистами в вашей области, стоит помнить о том, что позитивные изменения невозможны без проявления сочувствия и поддержки. Ошибки случаются – и надо отметить, что авторы этой книги пришли к знаниям, изложенным в этой главе, далеко не легким путем. Поэтому давайте признаем, что в основе большинства ловушек лежат не чьи-то гнусные намерения и недобросовестность. Чаще люди просто не знают о том, что может пойти не так. Именно об этом мы и поговорим в данной главе.
Предвзятости и странности в данных
Предвзятость – это сложная тема, затрагивающая различные дисциплины. Под предвзятостью мы понимаем однобокое (а иногда даже непоследовательное) предпочтение, отдаваемое идеям и концепциям отдельными людьми и подкрепляемое их группами. В этом разделе мы обсудим распространенные варианты предвзятости в мире данных, а также такие явления, когда при первом взгляде на данные у вас может сложиться одно впечатление, а при повторном их рассмотрении – другое.
Систематическая ошибка выжившего
Представьте, что инвестиционная компания в одном и том же году запускает десятки взаимных фондов, каждый из которых содержит случайный набор акций. Если фонд не покажет целевую доходность за определенный период времени (например, если доходность индекса S&P 500 составит 10 %, а доходность одного из фондов – только 3 %), то его деятельность будет прекращена. По прошествии нескольких лет останутся только «выжившие» взаимные фонды, отличающиеся впечатляющей доходностью. И тут появляется потенциальный инвестор в вашем лице. Вам демонстрируют показатели фондов компании, превышающие рыночные на протяжении нескольких лет подряд.
Вы бы инвестировали в них свои средства?
Возможно. Компании отказываются от плохих активов, что по своей сути совсем не плохо. Плохо – делать вид, что плохих активов никогда и не существовало, поскольку это создает предвзятость. В этом примере вам не были представлены данные о низкодоходных фондах, потому что компания от них отказалась. Из-за этого результаты деятельности компании показались вам более впечатляющими и заставили вас поверить в то, что в ней работают опытные финансовые аналитики, тогда как наиболее правдоподобное объяснение – простое везение.
Это пример систематической ошибки выжившего, которая представляет собой «разновидность систематической ошибки отбора, когда по одной группе объектов (условно называемых «выжившие») данных много, а по другой («погибшие») – практически нет»[140].
Классический пример систематической ошибки выжившего – случай статистика Абрахама Вальда, которому было поручено минимизировать потери флота бомбардировщиков союзников во время Второй мировой войны. Самолеты, пережившие жестокие бои, возвращались на базу с серьезными повреждениями и пулевыми отверстиями в фюзеляже и крыльях. Изначально идея заключалась в том, чтобы укрепить те места самолетов, в которых наблюдалось больше всего повреждений. Однако Вальд посчитал ее проявлением ошибки выжившего. Дело в том, что во внимание принимались только вернувшиеся самолеты. Но как быть с теми, которые не смогли вернуться? Что этот характер повреждений говорит о них?
Рекомендация Вальда казалась парадоксальной: он предложил бронировать те участки, которые имели наименьшие повреждения у вернувшихся самолетов. Почему? Потому что самолеты, получившие повреждения в этих местах, так и не вернулись на базу.
Регрессия к среднему
Регрессия к среднему – это явление, суть которого формулируется достаточно просто: за экстремальными значениями случайной величины часто следуют менее экстремальные. Это наблюдение было впервые сформулировано как «регрессия к посредственности» в 1886 году сэром Фрэнсисом Гальтоном[141], который заметил, что дети высоких родителей оказываются менее высокими, чем они (что говорит о регрессии данного показателя), а дети низкорослых родителей – не такими низкорослыми. По сути, он выявил естественную, глубинную стабильность, существующую в росте людей и их потомков: за экстремальными значениями (низкими и высокими) обычно следуют не столь экстремальные (не такие низкие и не такие высокие) значения.
Хотя этот пример может показаться очевидным, регрессия к среднему имеет более широкие последствия для процесса рассуждения. Если вы не смотрите на все имеющиеся данные с высоты птичьего полета, некоторые наблюдения могут показаться экстремальными. В этом случае предвзятость может проявиться в том, что вы примете решение, основанное на этих экстремальных событиях, не принимая во внимание то, что независимо от ваших действий на горизонте находится более предсказуемое событие, близкое к истинному среднему значению.
Возьмем, к примеру, игрока Национальной футбольной лиги (NFL), который после выдающегося года оказался на обложке популярной видеоигры Madden NFL, но в следующем году показал гораздо менее впечатляющие результаты. Этот феномен получил название «проклятья Madden»[142]. Но мы называем это регрессией к среднему значению. Или представьте себе в целом благонадежного сотрудника, у которого выдался тяжелый год, в результате чего его работа получила плохие отзывы. Для него составляется план исправления, и в следующем году его производительность восстанавливается. Менеджер приписывает это улучшение своему мудрому руководству, однако показатели работника, скорее всего, в любом случае улучшилась бы из-за регрессии к среднему значению.
Регрессия к среднему призывает нас не верить выбросам. Ни удача, ни неудача не продлится вечно.
Парадокс Симпсона
Еще одно явление, на которое следует обратить внимание, – парадокс Симпсона. Это потенциально катастрофическая ловушка при работе с данными наблюдений (с которыми вам предстоит работать чаще всего). Парадокс Симпсона возникает в том случае, когда тенденция или связь между переменными меняется на противоположную после добавления третьей переменной. В связи с парадоксом Симпсона вам следует остерегаться двух ошибок: принятия корреляции за причинно-следственную связь и выявления неправильной корреляции.
Рассмотрим данные в табл. 13.1, взятые из исследования 1986 года, посвященного двум типам хирургических методов удаления камней в почках[143]. Обзор медицинских записей показал, что новая, минимально инвазивная процедура удаления камней в почках является более успешной (83 %) по сравнению с традиционной (78 %). Результаты были статистически значимыми и, по общему мнению, вполне убедительными.
Табл. 13.1. Показатели успеха хирургических процедур удаления камней из почек
К сожалению, в этих данных возник парадокс Симпсона. Дальнейший обзор данных показал, что при разбивке камней в почках по размерам, результат меняется на противоположный. Как оказалось, традиционная процедура отличалась высокими показателями успеха как у пациентов с небольшими камнями в почках (диаметром <2 см), так и у пациентов с большими камнями (диаметром ≥2 см). Эта разбивка показана в табл. 13.2.
Табл. 13.2. Парадокс Симпсона на примере показателей успеха хирургических процедур удаления камней из почек
Как это возможно? Дело в том, что новая процедура была опробована на множестве пациентов с небольшими камнями в почках (то есть на предположительно более легких случаях), в то время как традиционная процедура в основном использовалась для лечения пациентов с более крупными камнями в почках. Несмотря на то что традиционная процедура показала лучшие результаты при удалении небольших камней (93 %), новая процедура была выполнена гораздо большему количеству пациентов, а показатель ее успешности составил 87 %. Таким образом, общий показатель успеха новой процедуры тяготеет к 87 %. В табл. 13.2 мы видим, что общий показатель успешности традиционной процедуры (78 %) больше тяготеет к показателям успеха у пациентов с крупными камнями в почках (73 %). Новая процедура сработала хуже на этой группе, но она была выполнена слишком небольшому количеству пациентов, чтобы это повлияло на ее общий показатель успешности. Запутались? Это нормально. Именно поэтому данный феномен и называется парадоксом.
Чтобы снизить риски, связанные с парадоксом Симпсона, разделите наблюдения по группам случайным образом, чтобы исключить смешивание. Другими словами, соберите экспериментальные данные.
Предвзятость подтверждения
Такая ловушка, как предвзятость подтверждения, представляет потенциальную опасность для любого проекта по работе с данными. Ее суть заключается в такой интерпретации данных и результатов, которая подтверждает уже существующие убеждения; при этом противоречащие этим убеждениям доказательства отбрасываются.
В подобной предвзятости легко обвинить руководителей высшего звена, политиков и лиц, заинтересованных в результате деятельности бизнеса, – но признать это за собой гораздо труднее. Тем не менее для многих команд аналитиков предвзятость подтверждения – практически неотъемлемая часть образа жизни. Дело в том, что порой им приходится искать доказательства правильности шагов руководства, которые могут предприниматься еще до анализа достаточного количества данных. По крайней мере, часть работы этих команд направлена на формирование предвзятости подтверждения. Это не просто, но, как главный по данным, вы должны стремиться преодолеть эту предвзятость и сообщить о результатах максимально правдиво. В противном случае команда может использовать предвзятость подтверждения для обоснования решений руководства вместо того, чтобы анализировать все доступные решения, не подвергаясь давлению с его стороны.
Ловушка невозвратных затрат
Суть ловушки невозвратных затрат – желание продолжать работу над проектом, в который уже было вложено огромное количество времени, денег, ресурсов и усилий. В такой ситуации очень трудно отказаться от результатов, даже если вы понимаете, что:
– У вас нет нужных данных для реализации проекта.
– У вас нет подходящей технологии для реализации проекта.
– Исходное содержание проекта не охватывает его основополагающие достоинства.
Некоторые компании предпочли бы, чтобы вы предоставили хоть какие-то результаты, оправдывающие затраченное время и усилия. Подобное давление создает благодатную почву для формирования многих из перечисленных выше предвзятостей.
Алгоритмическая предвзятость
По мере автоматизации все большего количества решений с помощью машинного обучения мы все чаще сталкиваемся с так называемой алгоритмической предвзятостью[144], буквально встроенной в мир данных и вычислений. Хотя исследователи и организации лишь недавно начали внимательно изучать ее происхождение и последствия, такая предвзятость существовала в данных всегда. Часто она является продуктом статус-кво, и ее может быть трудно обнаружить до тех пор, пока этот статус-кво не будет подвергнут фундаментальному пересмотру. Однако, если вы будете осознанно подходить к своей работе, то сможете обнаружить эту предвзятость гораздо раньше.
Вспомните пример из предыдущих глав, в котором мы рассматривали данные о кандидатах на стажировку и пытались предсказать, получат ли они приглашение на собеседование. Если бы набор данных включал такую категориальную переменную, как пол, и исторически мужчины получали бы приглашение на интервью чаще, чем женщины, то каждый алгоритм выявлял бы эту взаимосвязь и чаще отдавал предпочтение соискателям-мужчинам. Для алгоритма существуют лишь единицы и нули, но главные по данным должны знать, что подобная предвзятость имеет место даже в таких ведущих технологических компаниях, занимающих передовые позиции в области машинного обучения, как Amazon[145].
Имейте в виду: какими бы ни были ваши намерения, алгоритмическая предвзятость встречается повсеместно. Прогнозы моделей не являются истиной в последней инстанции. Все результаты – это продукты предположений. И вы должны действовать так, будто все данные наблюдений предвзяты, потому что так оно и есть. Делая прогнозы, модели подтверждают и усиливают предвзятость и стереотипы, уже присутствующие в данных. Не стоит дожидаться изменения образа мышления, чтобы начать разбираться в предубеждениях, присущих вашей собственной работе. К этому следует приступить уже сегодня[146].
Прочие предубеждения
В этом разделе содержится далеко не полный список предубеждений, парадоксов и странностей, встречающихся в данных. Мы рекомендуем вам обращать внимание на ловушки, не принадлежащие ни одной из категорий. Если вы будете искать лишь конкретные типы предвзятостей или логических ошибок, то можете упустить другие менее заметные предубеждения, которые общество еще не определило. То, что эти ловушки не определены, не значит, что их нет.
Большой список ловушек
Теперь, когда вы познакомились с некоторыми распространенными предубеждениями и когнитивными ловушками, присущими работе с данными, давайте поговорим о более конкретных подводных камнях, которых следует избегать при реализации подобных проектов. Мы разделили этот большой список на две категории: ловушки статистики и машинного обучения и ловушки проекта.
Ловушки статистики и машинного обучения
Этот раздел содержит список ловушек статистики и машинного обучения, многие из которых мы обсуждали ранее.
Принятие корреляции за причинно-следственную связь. Не поддавайтесь искушению построить причинно-следственный нарратив вокруг коррелированных переменных. Рост уровня продаж компании может коррелировать с увеличением количества просмотров ее рекламы на YouTube, но это не значит, что одно вызвало другое. Как правило, следует избегать разговоров о причинно-следственных связях, если только вы не разработали процесс сбора и анализа данных специально для их поиска (то есть если вы не используете экспериментальные данные). Эти идеи обсуждались в главах 4 и 5.
p-хакинг. Представьте, что в некой статье говорится: «Люди, которые пьют слишком много кофе, имеют повышенный риск развития рака желудка. Результат статистически значим на уровне значимости 0,05»[147]. Как говорилось в главе 7, при уровне значимости 0,05 результаты бывают ложноположительными в 1 случае из 20. p-хакинг – это процесс тестирования нескольких закономерностей в данных вплоть до обнаружения статистически значимого p-значения. Связь между употреблением кофе и раком желудка была бы менее пугающей, если бы впоследствии вы узнали, что исследователи также изучили взаимосвязь между употреблением кофе и раком мозга, раком мочевого пузыря, раком молочной железы, раком легких или любым другим из 100 видов рака. По чистому совпадению в пяти случаях было бы обнаружено статистически значимое p-значение, даже если бы никакой связи не существовало. Учтите, что p-хакинг – это разновидность ошибки выжившего, поскольку при этом сообщаются только значимые p-значения.
Нерепрезентативная выборка. Результаты опросов во время выборов, которые не представляют голосующее население, будут неверными. Опрос посетителей страницы вашей компании в социальной сети может не отражать мнение большинства ваших клиентов. Не бойтесь спорить с данными (глава 4), поскольку формирование политики или принятие решений на основе выборки данных, не представляющей совокупность, на которую они будут влиять, может привести к серьезным ошибкам. Хуже того, такие данные могут создавать чувство ложного спокойствия, заставляя вас думать, будто вы принимаете обоснованное решение, тогда как отсутствие данных наверняка было бы предпочтительнее использования тех некачественных данных, с которыми вы работаете.
Утечка данных. Не обучайте модель на данных, недоступных во время прогнозирования. Вам может показаться, что у вашей команды превосходная модель, но она на самом деле может быть совершенно бесполезной. Предсказать, купит ли посетитель вашего сайта продукт, довольно легко, если вы знаете, что при покупке он применил код купона. Главные по данным должны убедиться в наличии каждого признака в модели в момент принятия решения (см. главы 9 и 10).
Переобучение. Как вы помните, модели – это упрощенные версии реальности. Они используют то, что мы знаем, чтобы помочь нам предсказать то, чего мы не знаем. Когда модель хорошо работает на данных, с которыми она уже сталкивалась, но не способна предсказать новые наблюдения, можно сказать, что модель «переобучена». В некотором смысле модель «запоминает» сценарии, определенные обучающими данными, вместо того, чтобы «учиться» на этих обучающих данных и делать прогнозы относительно того, что ей неизвестно (см. главы 9 и 10). Главные по данным могут предотвратить переобучение, разделив данные на обучающие и тестовые наборы. Обучите модель на обучающем наборе и оцените эффективность ее предсказаний на тестовом наборе.
Нерепрезентативные обучающие данные. Эта ловушка предполагает использование «нерепрезентативной выборки» для создания модели машинного обучения. Модели знают только те данные, на которых они были обучены. Модель, обученная на данных о недвижимости в Огайо для предсказания цены продажи домов в Огайо, не способна предсказать цену аренды квартиры в Нью-Йорке. Точно так же интеллектуальный динамик с голосовым помощником, обученный на образцах звука, записанных в студии звукозаписи, может испытывать сложности с разбором команд в шумном доме. Чтобы избежать этой ловушки, главные по данным должны тщательно продумать обстоятельства использования их модели и собрать отражающие их обучающие данные.
Ловушки проекта
В этом разделе мы поговорим о ловушках, в которые можно угодить при реализации проекта по работе с данными.
Отказ от постановки острых вопросов (или решение неправильной задачи). Даже небольшая двусмысленность может привести к путанице и рассогласованию между группой специалистов по работе с данными, бизнес-группой и заинтересованными сторонами проекта. Убедитесь в том, что все четко понимают решаемую бизнес-задачу (глава 1).
Вопрос не адаптируется после провала. Прояснить бизнес-задачу важно – как и быстро признать то, что ее нельзя решить. Многие команды специалистов по работе с данными быстро обнаруживают недостатки исходного вопроса, но продолжают двигаться вперед, подчиняясь внешнему давлению. Чтобы избежать возникновения несоответствий, вопрос необходимо скорректировать.
Данными владеют, а не управляют (то есть данные трудно получить). В некоторых организациях определенные группы (например, ИТ-отдел, финансовый отдел или бухгалтерия) владеют данными, которые требуются вам для работы. Хотя многие из этих организаций практикуют управление данными на бумаге, получить к ним доступ бывает непросто. Ваша компания должна понимать, что при ограничении доступа к данным вы можете сделать не так много.
Данные не содержат необходимой информации. Данные могут быть легко доступными и «опрятными», но они могут не содержать информацию, необходимую для решения поставленной задачи. Если данные не содержат нужной вам информации, постарайтесь собрать более качественные данные.
Отказ от использования недорогих инструментов и технологий с открытым исходным кодом. Прежде чем взяться за реализацию масштабного проекта, связанного с внедрением какой-либо новой технологии, потратьте время на прототипирование. Вполне возможно, что инвестирование в платформу обработки данных для управления будущими операциями изменит очень многое для вашей команды. Однако прежде чем тратить деньги, попробуйте создать минимально жизнеспособный продукт с помощью Microsoft Excel или таких бесплатных технологий с открытым исходным кодом, как R или Python.
Слишком оптимистичные сроки. Проекты по работе с данными часто проваливаются совершенно неожиданным образом. Описанные выше проблемы обнаруживаются только через несколько недель после запуска проекта, а жесткие сроки приводят к срезанию углов и плохому анализу. Сроки реализации проекта должны учитывать неизбежные задержки при работе с данными.
Завышенные ожидания относительно ценности. Компании привыкли многого ожидать от науки о данных, статистики и машинного обучения. Говорите о ценности, которую может принести ваш проект, открыто, но не преувеличивайте ее, чтобы не вызвать отрицательную реакцию; она может негативно сказаться на текущих и будущих проектах.
Ожидание предсказания непредсказуемого. Некоторые вещи невозможно предсказать вне зависимости от количества собранных исторических данных. Документирование каждого вращения каждого колеса рулетки в Лас-Вегасе не поможет вам предсказать результат следующего вращения.
Выход за рамки разумного. Как и вы, авторы этой книги любят работать с данными. Многие из нас готовы ухватиться за очередную идею. Однако очень часто из виду упускается нечто совершенно очевидное: наука о данных, статистика, машинное обучение и ИИ могут решить многие важные проблемы, но далеко не все. При работе с данными, статистикой и алгоритмами нередко можно выйти за рамки разумного. Вы можете задействовать алгоритм классификации для определения бизнес-правил. Однако иногда у нас уже есть набор правил, в соответствии с которыми мы действуем. В таких случаях будет гораздо проще, если окружающие вас люди просто запишут их. По сути, если ваша команда может написать бизнес-правила для автоматизации процесса, то вашу работу можно считать выполненной. В настоящее время эта идея теряется на фоне шумихи вокруг науки о данных. Машинное обучение кажется привлекательным для руководства, но иногда оно – просто излишество.
Подведение итогов
В этой главе мы рассмотрели распространенные заблуждения и ловушки. Как уже было сказано, представленный список не является исчерпывающим. И вы должны исходить из того, что такого списка в принципе не существует. Помните, что объем данных растет быстрее, чем наша способность формулировать порождаемые этим ростом проблемы и возможности. Если вы примете эту идею, то поймете, что ни один список не может включить в себя все те ловушки, в которые люди еще не попадали. Однако в этой главе мы предоставили вам отправную точку.
Проекты часто завершаются неудачно. И, скорее всего, у вас будет по крайней мере один неудачный проект, с которым вы будете ассоциироваться (вероятнее всего, их будет гораздо больше). Будьте открыты и откровенны, когда случаются неудачи, и по возможности переключайтесь на реализацию новых идей. Ваш опыт станет вашим лучшим учителем.