crawlbaseДокументация
Войти

Социальные сети

Восемнадцать скраперов для крупнейших социальных платформ - публичные профили, посты, хештеги, события, ленты и ветки комментариев. Мы берём на себя анти-бот, вы получаете чистый JSON.

Обзор

Скраперы социальных сетей охватывают публичные поверхности пяти платформ, из которых извлекает данные большинство команд: Facebook, Instagram, TikTok, LinkedIn и Reddit. Каждый скрапер нацелен на один тип страницы - профиль, пост, хештег, событие, лента, листинг сабреддита, ветка комментариев, - поэтому структура JSON остаётся предсказуемой, даже когда лежащее в основе приложение перерабатывает свой интерфейс. Мы берём на себя анти-бот, ограничение частоты и резидентную маршрутизацию; вы получаете разобранную структуру.

Типичные сценарии:

  • Мониторинг бренда: опрашивайте instagram-profile / tiktok-profile на число подписчиков, частоту публикаций и тренды вовлечённости по конкурентам и инфлюенсерам.
  • Поиск инфлюенсеров: проходите instagram-hashtag или instagram-reels-audio, чтобы найти авторов, использующих заданный хештег или популярный звук.
  • Рекрутинг / sales-проспектинг: обогащайте CRM данными linkedin-profile и linkedin-company - должность, численность, заголовок, текущая роль.
  • Event-маркетинг: извлекайте посещаемость и тайминг facebook-event для отслеживания насыщенности событиями в городе или отраслевой вертикали.
  • Исследование трендов: подавайте tiktok-product и instagram-post в конвейеры обнаружения трендов для маркетинга или продуктовых исследований.
  • Исследование сообществ & тональности: извлекайте reddit-subreddit и reddit-post для ранжированных постов и полных деревьев комментариев, чтобы отслеживать тональность, отзывы о продукте и зарождающиеся обсуждения.

Поддерживаются только публичные поверхности - контент за логином или приватный контент вне области применения, и скраперы не пытаются к нему обращаться. Там, где у платформы несколько типов постов (например, у Instagram есть профиль + пост + reel + хештег), каждый получает свой скрапер, так что вы не платите за поля, которые вам не нужны.

Facebook

Публичные поверхности Facebook - страницы, профили, группы, хештеги, события. Полезно для мониторинга бренда, event-маркетинга и поиска в регионах, где доля Facebook выше, чем у Instagram (большая часть EMEA, часть Латинской Америки).

  • Facebook Page - публичная страница Facebook (название, категория, описание, посты).
  • Facebook Profile - публичный профиль Facebook.
  • Facebook Group - публичная группа Facebook.
  • Facebook Hashtag - посты под хештегом Facebook.
  • Facebook Event - публичное событие Facebook.

Instagram

Пять скраперов Instagram, охватывающих поверхности, наиболее релевантные для инфлюенс-маркетинга и исследования трендов - профили, отдельные посты и reels, ленты хештегов и reels-audio для отслеживания трендов, задаваемых музыкой/звуком.

TikTok

Профили TikTok и отдельные видео-/продуктовые посты. Сочетайте с tiktok-shop в категории e-commerce, если отслеживаете creator-коммерцию.

  • TikTok Profile - публичный профиль TikTok.
  • TikTok Product - отдельный видео- / продуктовый пост TikTok.

LinkedIn

Публичный LinkedIn - профили, страницы компаний и посты ленты. Стандартный выбор для B2B-проспектинга, рекрутинга и конкурентного отслеживания численности персонала.

Reddit

Публичные поверхности Reddit - листинги сабреддитов, результаты поиска и отдельные посты с их полными деревьями комментариев. Выбор для мониторинга сообществ, анализа тональности и обнаружения трендов в тематических сообществах.

  • Reddit Subreddit - ранжированные посты из листинга сабреддита (заголовок, автор, счёт, число комментариев, flair, пагинация).
  • Reddit Search - результаты поиска Reddit - подходящие посты плюс связанные сабреддиты.
  • Reddit Post - отдельный пост с текстом, счётом, долей апвоутов и полным вложенным деревом комментариев.

Пример вызова

Ниже: один вызов instagram-profile. Скрапер возвращает снимок публичного профиля - имя пользователя, биографию, число подписчиков/подписок, число постов, флаг верификации и URL аватара.

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.instagram.com/apple/' \
  --data-urlencode 'scraper=instagram-profile' -G

Пример ответа

{
  "username": "apple",
  "full_name": "Apple",
  "biography": "Welcome to @apple. The latest creativity going on around us.",
  "followers_count": 33800000,
  "following_count": 9,
  "posts_count": 1284,
  "is_verified": true,
  "is_private": false,
  "profile_pic_url": "https://scontent.cdninstagram.com/...jpg"
}

Полный справочник (параметры, все 4 языка SDK, крайние случаи): Instagram Profile - полный справочник