Как компании использовали данные во время COVID-19уроки кризиса

Когда COVID-19 в 2020 году изменил повседневную жизнь, он также изменил то, как бизнес понимает собственные рынки, практически в одночасье. Модели спроса, остававшиеся стабильными годами, сдвинулись за недели, маршруты поставок оказались нарушены, а поведение клиентов изменилось быстрее, чем успевало большинство плановых циклов. Для многих команд инстинктивная реакция была одинаковой: смотреть на данные и делать это чаще.

Эта статья, спокойный, фактологический ретроспективный взгляд на то, как компании в тот период опирались на веб- и публичные данные для принятия решений в условиях необычной неопределённости. Речь идёт о деловой практике и работе с данными, а не о советах по здоровью. В конце у вас сложится чёткое представление о том, где внешние данные помогали, какие сигналы отслеживали команды и какие привычки, сформировавшиеся тогда, стоит сохранить.

Почему данные приобрели большее значение в условиях внезапной неопределённости

Данные, это просто необработанная информация, собранная и организованная в форму, пригодную для анализа командой. Сами по себе строки чисел мало что значат. Преобразованные в тренд, сравнение или прогноз, они становятся основой для решения: что держать на складе, куда направить поддержку, какое предположение пересмотреть. В обычное время бизнес может частично полагаться на опыт и на закономерности, сохраняющиеся из квартала в квартал.

Ранний период пандемии лишил многих этой стабильности. Исторические базовые линии перестали предсказывать настоящее, и пробел пришлось заполнять более свежими, более внешними сигналами. Компании, уже хорошо умевшие собирать и анализировать данные, были лучше готовы замечать изменения раньше и реагировать на них, тогда как команды, полагавшиеся на медленные, ретроспективные отчёты, нередко оказывались на шаг позади. Ценность данных не изменилась, но цена их игнорирования резко возросла.

Отслеживание спроса, когда привычные паттерны сломались

Наиболее непосредственное применение данных, определение спроса. Поскольку покупательские привычки менялись еженедельно, одна лишь внутренняя история продаж больше не давала надёжного ориентира для понимания того, что клиенты захотят в следующий момент. Команды дополняли её внешними, публичными сигналами: трендами интереса в поисковых системах, наличием товаров и ценами на маркетплейсах, движением на уровне категорий на розничных сайтах и наблюдаемым переходом в онлайн-каналы по мере сужения офлайн-возможностей.

Ничто из этого не требовало угадывания частной информации. Огромный объём полезных сигналов находится на публичных веб-страницах: какие товары в наличии или отсутствуют, как меняются цены у конкурентов, какие категории внезапно заполняются новыми позициями и как доступность продуктов меняется по регионам. Агрегированные и отслеживаемые во времени, эти публичные точки данных давали командам более ранний сигнал о спросе, чем ожидание закрытия следующего внутреннего цикла продаж.

Практический урок касался столь же периодичности, сколь и содержания. Ежемесячная отчётность оказалась слишком медленной для быстро меняющегося периода, поэтому многие команды перешли на гораздо более частое обновление ключевых внешних сигналов и на внимательное наблюдение за небольшим набором индикаторов, а не за большой панелью показателей от случая к случаю.

Адаптация поставок и операций с помощью публичных сигналов

Цепочки поставок ощутили перебои напрямую, и данные помогали командам реагировать на них. Когда обычный поставщик или маршрут оказывался ограничен, вопрос становился таким: где ещё доступны те же товары или материалы и по какой цене? Публичные веб-данные предлагали способ ответить на него в масштабе: сканирование каталогов поставщиков, позиций на маркетплейсах и страниц каталогов для картирования альтернатив, сравнения наличия и выявления ценовых движений, сигнализировавших о дефиците ещё до того, как он добирался до склада.

Схожие входные данные использовали операционные команды для планирования. Публичная информация о региональной обстановке, часах работы, доступности услуг и изменениях в логистике питала решения о маршрутизации работы и формировании ожиданий у клиентов. Общей нитью была замена устаревших допущений свежими внешними наблюдениями. Там, где раньше хватало статичного списка поставщиков, команды теперь хотели видеть текущее состояние рынка и регулярно обновлять эту картину.

Понимание меняющегося поведения клиентов

Потребительское поведение изучает, как люди решают, что покупать, использовать и чему отдавать приоритет. Во время пандемии эти решения заметно изменились вместе с изменением распорядка жизни, и изменение проявилось в наблюдаемых, агрегированных формах: больше активности в интернете, разные часы активности для определённых сервисов, новые категории товаров, вызывающие растущий интерес, и изменения в том, как люди изучают товары перед покупкой. Стриминг, доставка, товары для дома и инструменты для удалённой работы нередко называются примерами категорий с выраженным движением.

Для бизнеса цель состояла не в профилировании отдельных людей, а в достаточном понимании этих агрегированных трендов для ответных действий. Публичные данные, интерес к категориям в поиске, объёмы отзывов и вовлечённость в контент, давали командам способ отобразить, как смещаются приоритеты клиентов, и скорректировать сообщения, поддержку и продуктовый фокус соответствующим образом. Компании, адаптировавшиеся быстрее всего, как правило, уже имели привычку превращать поведенческие сигналы в конкретную стратегию, а не воспринимать их как фоновый шум.

Именно здесь анализ данных оправдывал себя. Необработанные наблюдения становились полезными только тогда, когда команда обрабатывала их в паттерны и действовала согласно им: сдвигала маркетинговый акцент, переставляла приоритеты дорожной карты или распределяла поддержку туда, где появлялся новый спрос. Веб- и публичные данные расширяли объектив, но дисциплина анализа превращала этот более широкий взгляд в решения.

Мониторинг производительности с помощью правильных индикаторов

По мере того как работа в значительной мере перешла в онлайн и многие команды перешли на удалённый формат, руководителям нужна была более чёткая картина реальной работы бизнеса без неформальных сигналов, которые даёт офис. Данные заполнили этот пробел. Определив сфокусированный набор ключевых показателей эффективности, измеримых значений, показывающих, достигаются ли основные цели, команды могли объективно отслеживать производительность и адаптироваться по мере изменения условий, не дожидаясь конца квартала.

Те же данные, что отслеживали внешний спрос, помогали и внутри: измерять, как работают каналы по мере перехода клиентов в онлайн, где концентрируется нагрузка на поддержку и какие части операций успевают за темпом. Используемые таким образом, данные стали инструментом стабильного, поступательного обучения под давлением, позволяя организациям адаптироваться целенаправленно, а не реагировать вслепую. Эта привычка, выбирать несколько значимых индикаторов и честно за ними следить, пережила кризис, который её породил.

Как компании собирали веб-данные в масштабе

Ручной сбор подобных данных не масштабируется. Найти одного ближайшего поставщика несложно, но отслеживать тысячи позиций, цен и изменений наличия по многим сайтам и регулярно обновлять эту картину, совсем другая задача. Именно здесь на помощь приходит автоматизированный сбор. Извлечение данных из интернета обычно описывается как краулинг (широкое получение страниц) и скрейпинг (извлечение структурированной информации из этих страниц для последующего анализа).

Практическая сложность в том, что многие сайты активно ограничивают автоматизированный доступ. Страницы рендерят контент через JavaScript, меняют разметку, ограничивают частоту запросов и показывают CAPTCHA, всё это может остановить наивный процесс сбора. Создание и поддержка инфраструктуры для работы с рендерингом, ротацией IP и блокировками, это реальная работа, и именно эту часть команды чаще всего недооценивают, когда решают собирать публичные веб-данные самостоятельно. Если хотите получить более полную картину препятствий, наше руководство по тому, как парсить сайты, не попадая под блокировку, разбирает их подробно.

После того как сбор налажен, данные всё равно нужно привести в порядок, прежде чем они станут полезными. Страницы созданы для людей, поэтому извлечённые данные приходят в сыром виде, с разными полями и форматами на разных сайтах. Придание им единой структуры превращает кучу страниц в нечто, что команда может запрашивать и строить тренды. Наш обзор построения масштабируемого пайплайна веб-данных описывает, как этот процесс сохраняет работоспособность при росте объёмов.

Ответственный скрейпинг

Сбор публичных веб-данных несёт с собой реальную ответственность, и она важна, не меньше, а больше, в чувствительный период. Уважайте условия использования каждого сайта и директивы robots.txt, сосредотачивайтесь на публичных и агрегированных данных, а не на чём-либо, связанном с идентифицируемыми физическими лицами, и поддерживайте разумную частоту запросов, чтобы не создавать нагрузки на сайты, от которых зависите. Если данные содержат личную информацию, соблюдайте применимые правила конфиденциальности, такие как GDPR и CCPA, и при наличии официального API от сайта предпочитайте его. Ответственный сбор, это и этическая, и практическая основа, поскольку он обеспечивает долговременность доступа.

Что осталось после потрясения

Многие привычки работы с данными, сформировавшиеся под давлением, оказались достойными сохранения. Определение спроса по внешним сигналам, частое обновление ключевых индикаторов вместо ежеквартального, наблюдение за текущим состоянием рынка вместо прошлогодних допущений и отношение к публичным веб-данным как к стандартному входу, а не к специальному проекту: всё это началось или ускорилось в 2020 году и оставалось полезным после. Кризис не изобрёл принятие решений на основе данных, но сделал невозможным игнорировать цену медленного, направленного внутрь анализа.

Долгосрочный вывод скромен и практичен. Компании, способные ясно видеть свою среду, через свежие, публичные, хорошо организованные данные, адаптировались спокойнее, чем те, кто этого не мог. Это преимущество никогда не сводилось к совершенному предсказанию будущего. Речь шла о том, чтобы замечать изменения чуть раньше и реагировать чуть быстрее, именно то, что всегда предлагала хорошая работа с данными.

Часто задаваемые вопросы

Как бизнес использовал веб-данные во время COVID-19?

Многие команды использовали публичные веб-данные для определения спроса и адаптации операций, когда привычные паттерны сломались. Они отслеживали такие сигналы, как поисковый интерес, позиции товаров, цены и наличие на сайтах, чтобы раньше получать сигнал о смещении спроса, находить альтернативных поставщиков при ограничении обычных маршрутов и понимать агрегированное поведение клиентов. Общая цель состояла в замене устаревших допущений свежими внешними наблюдениями.

Какие данные были наиболее полезны в тот период?

Наиболее полезными оказались публичные, агрегированные и коммерческие сигналы: наличие товаров и статус запасов, цены конкурентов, тренды на уровне категорий, поисковый интерес и объёмы отзывов или вовлечённости. Они указывают на движение рынка, не полагаясь на частную информацию. В сочетании с внутренними данными и при частом обновлении они давали командам актуальную картину условий, а не взгляд в прошлое.

Сбор публичных веб-данных, это то же самое, что отслеживание отдельных людей?

Нет. Описанные здесь практики сосредоточены на публичных, агрегированных рыночных сигналах, позициях, ценах и категориальных трендах, а не на идентификации или профилировании людей. Ответственный сбор твёрдо удерживает это различие, бережно обращается с любой личной информацией, на которую случайно натыкается, и соблюдает правила конфиденциальности, такие как GDPR и CCPA, когда это касается личных данных.

В чём разница между краулингом и скрейпингом?

Краулинг, это широкое получение веб-страниц по ссылкам для сбора контента с сайта или множества сайтов. Скрейпинг, это извлечение конкретной, структурированной информации из этих страниц для последующего анализа. На практике они работают вместе: краулер получает страницы, а скрейпер извлекает из них нужные поля в удобной форме.

Почему масштабный сбор веб-данных труден?

Собрать данные с нескольких страниц несложно, но делать это для тысяч позиций и с частым обновлением наталкивается на препятствия. Многие сайты рендерят контент через JavaScript, ограничивают частоту запросов, меняют разметку и показывают CAPTCHA для ограничения автоматизированного доступа. Надёжная работа с рендерингом, ротацией IP и блокировками требует реальной инфраструктуры, поэтому команды нередко используют управляемый сервис вместо того, чтобы строить и обслуживать его самостоятельно.

Какие привычки работы с данными, сформировавшиеся во время пандемии, стоит сохранить?

Долговременными являются практические: следите за сфокусированным набором индикаторов часто, а не полагайтесь на медленные ежеквартальные отчёты; относитесь к публичным веб-данным как к стандартному входу, а не к специальному проекту; принимайте решения на основе текущего состояния рынка, а не прошлогодних допущений. Эти привычки помогают бизнесу замечать изменения раньше и реагировать спокойнее, что ценно при любых условиях, а не только в кризис.