Технология Narrative Science используется крупнейшими средствами массовой информации, в том числе Forbes, для написания статей на различные темы, включая спорт, бизнес и политику. Разработанное компанией ПО генерирует новостные материалы приблизительно каждые 30 секунд; при этом многие из них публикуются на популярных сайтах, которые предпочитают не афишировать свою связь с данным сервисом. В 2011 г. в ходе отраслевой конференции корреспондент Wired Стивен Леви попросил одного из основателей Narrative Science Кристиана Хэммонда оценить, какой будет доля новостных материалов, написанных с помощью программных алгоритмов, в ближайшие 15 лет. В ответ он услышал: более 90 %{118}.
Narrative Science строит далекоидущие планы, не собираясь ограничиваться одной лишь индустрией новостей. Назначение Quill — служить универсальной платформой для анализа и написания нарративных текстов, составлять высококачественные отчеты как для внутреннего пользования, так и для публикации в ряде отраслей. Работа Quill начинается со сбора данных из различных источников, включая базы данных о транзакциях, системы финансовой и торговой отчетности, сайты и даже социальные медиа. Затем система выполняет анализ собранных данных, выбирая самые важные и интересные факты и выводы. Наконец, она сплетает из всей этой информации связное повествование, которое, по заверениям компании-разработчика, сопоставимо с результатами труда лучших аналитиков. После соответствующей настройки система Quill способна практически мгновенно формировать бизнес-отчеты с заданной периодичностью — и все это без вмешательства человека{119}. Учитывая, что одним из первых инвесторов, поддержавших Narrative Science в самом начале пути, было In-Q-Tel — подразделение ЦРУ, отвечающее за венчурные проекты, можно с большой долей уверенности утверждать, что разработанные компанией инструменты будут использоваться для автоматического преобразования потоков необработанных данных, собираемых специалистами американской разведки, в удобный для понимания повествовательный формат.
Пример технологии Quill демонстрирует, насколько уязвимыми для автоматизации оказываются задачи, которые когда-то считались исключительной прерогативой высококвалифицированных профессионалов с высшим образованием. Разумеется, связанная со знаниями работа обычно предполагает наличие широкого круга навыков и талантов. Среди прочего аналитик должен уметь извлекать информацию из различных систем, строить статистические или финансовые модели, а затем доходчиво доносить результаты своей работы до аудитории в виде отчетов или презентаций. Может показаться, что писательский труд — в котором, как ни крути, столько же искусства, сколько и науки, — относится к видам деятельности, в последнюю очередь поддающимся автоматизации. Но, как оказывается, это совсем не так, а алгоритмы с каждым днем становятся все более совершенными. Более того, учитывая то, что для автоматизации профессий, связанных с умственным трудом, достаточно одного лишь ПО, соответствующие рабочие места во многих случаях могут оказаться более уязвимыми, чем рабочие места для людей с низкой квалификацией, предполагающие физический труд.
Стоит отметить, что письменная речь относится к тем навыкам, которые, судя по жалобам работодателей, чаще всего недостаточно хорошо развиты у выпускников колледжей. По данным одного из недавних опросов работодателей, около половины всех принятых на работу выпускников, проведших в колледже два года, и более четверти выпускников с четырехлетним образованием не умеют письменно излагать свои мысли, а в некоторых случаях еще и недостаточно хорошо читают{120}. Если интеллектуальное ПО способно, как это утверждают специалисты Narrative Science, составить конкуренцию самым талантливым аналитикам, рост потребности в специалистах, чья работа связана с умственным трудом, в будущем оказывается под большим вопросом. Это касается всех выпускников колледжей, в особенности наименее подготовленных.
Большие массивы данных и машинное обучение
Система написания нарративных текстов Quill — лишь один из многих примеров нового прикладного ПО, разрабатываемого с целью обеспечения максимально эффективного использования тех огромных объемов данных, которые собирают и хранят частные компании, организации и государственные органы повсюду в мире. По некоторым оценкам, общий объем хранимых в мире данных в настоящее время измеряется тысячами экзабайт (1 экзабайт равен 1 млрд гигабайт); причем эта величина постоянно растет в соответствии с законом, напоминающим закон Мура, удваиваясь приблизительно каждые три года{121}. Почти все эти данные сегодня хранятся в цифровом формате, а значит, компьютеры могут работать с ними напрямую. Одни только серверы Google ежедневно обрабатывают около 24 петабайт (1 петабайт равен 1 млн гигабайт) данных, главным образом относящихся к поисковым запросам миллионов пользователей{122}.
Все эти данные поступают из множества разнородных источников. Если взять один только Интернет, это будут данные о посещениях сайтов, поисковых запросах, сообщениях электронной почты, общении в социальных медиа, переходах по рекламным ссылкам и многое, многое другое. Если брать бизнес-сектор, то следует упомянуть данные о транзакциях, договорах с клиентами, внутренних коммуникациях, а также данные из финансовых, бухгалтерских и маркетинговых систем. На заводах, в больницах, автомобилях, самолетах и бесчисленных устройствах бытового и промышленного назначения непрерывно собираются данные в режиме реального времени.
Подавляющее большинство этих данных представляют собой то, что специалисты по компьютерным вычислениям называют «неструктурированными» данными. Другими словами, они поступают в различных форматах, которые трудно поддаются сопоставлению или сравнению. Это очень сильно отличает их от содержимого традиционных реляционных баз данных, в которых информация хранится в виде аккуратно упорядоченных строк и столбцов, что обеспечивает высокую скорость, надежность и точность поиска. Обработка неструктурированных данных потребовала создания новых инструментов, специально предназначенных для углубленного анализа информации, собранной из различных источников. Стремительный прогресс в этой области — всего лишь еще один пример того, как компьютеры, пускай и в довольно упрощенной форме, учатся делать то, что совсем недавно было доступно только людям. Все-таки способность непрерывно обрабатывать поток неструктурированной информации из множества различных источников во внешней среде всегда относилась к числу уникальных для человека механизмов адаптации. Разница, разумеется, в том, что человек никогда не сможет оперировать большим объемом данных в тех же масштабах, что и компьютеры. Большие данные оказывают революционное воздействие на широкий круг областей, включая бизнес, политику, медицину и практически все группы естественных и социальных наук.
Благодаря большим данным крупнейшие ретейлеры могут получить небывало подробное представление о покупательских предпочтениях отдельных потребителей, что дает им возможность формулировать адресные предложения и тем самым увеличивать собственную выручку, при этом повышая лояльность клиентов. Полицейские по всему миру обращаются к алгоритмическому анализу для прогнозирования наиболее вероятных мест и периодов совершения преступлений и распределяют свои силы в соответствии с полученными результатами. На специальном портале жители Чикаго могут ознакомиться как с ретроспективными, так и с актуальными данными, относящимися к самым разным сферам жизни и отражающими самые разные аспекты существования в большом городе, включая потребление энергии, уровень преступности, показатели эффективности работы транспортной инфраструктуры, школ, учреждений здравоохранения и даже количество выбоин и ям на дорогах, которые латали в конкретный период времени. Благодаря инструментам, которые реализуют новые способы визуализации данных, полученных путем анализа общения в социальных медиа, а также поступающих с датчиков, встроенных в двери, турникеты и эскалаторы, градостроители и сотрудники городской администрации могут наблюдать за тем, как люди перемещаются, работают и общаются в пределах городской среды, получая возможность оперативно корректировать свои действия с целью повышения эффективности работы городских служб и создания максимально комфортных условий для жизни.
Однако у этой тенденции есть и обратная сторона. Деятельность компании Target, Inc. является примером куда более спорного подхода к использованию огромных массивов чрезвычайно подробных данных о клиентах в коммерческих целях. Эта компания наняла специалиста по анализу и обработке данных, который обнаружил сложный набор корреляций, позволяющих с очень большой долей вероятности предсказывать наличие беременности на раннем сроке у покупательниц на основе анализа продаж по двадцати пяти различным видам косметической и медицинской продукции. Проводимый компанией анализ был настолько точным, что даже позволял с высокой степенью точности определять срок беременности у конкретной женщины. Получив эти данные, сотрудники Target начинали забрасывать женщин предложениями о покупке товаров для беременных, да еще и на столь раннем сроке, что во многих случаях ближайшее окружение женщины даже не знало о ее положении. В начале 2012 г. в The New York Times была опубликована статья, в которой рассказывалось об одном любопытном случае: ничего не подозревавший отец девочки-подростка пожаловался руководству магазина на неподобающие рекламные материалы, присылаемые на почтовый адрес семьи, а потом узнал, что сотрудники Target фактически были лучше осведомлены о жизни его дочери, чем он сам{123}