Docs
Войти

Scraper API

Забудьте о парсинге. Выберите скрейпер, укажите URL и получите чистый структурированный JSON. Скрейперы охватывают Amazon, Google, LinkedIn, Instagram, eBay и многие другие сайты.

Перейдите на Crawling API с параметром &scraper=name

Те же скрейперы, более простой endpoint, больше параметров. Отдельный Scraper API закрыт для новых регистраций с 1 октября 2024 года - существующие интеграции продолжают работать, отключение не запланировано, а миграция сводится к изменению одной строки URL.

Endpoint

GEThttps://api.crawlbase.com/scraper?token=YOUR_TOKEN&url=ENCODED_URL&scraper=NAME
# Identical to the Crawling API, plus a required `scraper` parameter.
# Returns parsed JSON instead of raw HTML.

Быстрый старт - товар Amazon

curl 'https://api.crawlbase.com/scraper?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.amazon.com/dp/B08N5WRWNW' \
  --data-urlencode 'scraper=amazon-product-details' -G
from crawlbase import ScraperAPI

api = ScraperAPI({'token': 'YOUR_TOKEN'})
res = api.get(
    'https://www.amazon.com/dp/B08N5WRWNW',
    {'scraper': 'amazon-product-details'}
)
import json
data = json.loads(res['body'])
print(data['name'], data['price'])
const { ScraperAPI } = require('crawlbase');
const api = new ScraperAPI({ token: 'YOUR_TOKEN' });

const res = await api.get(
  'https://www.amazon.com/dp/B08N5WRWNW',
  { scraper: 'amazon-product-details' }
);
const data = JSON.parse(res.body);
console.log(data.name, data.price);

Пример ответа:

{
  "name": "Echo Dot (4th Gen) | Smart speaker with Alexa",
  "asin": "B08N5WRWNW",
  "brand": "Amazon",
  "price": "$49.99",
  "availability": "In Stock",
  "rating": 4.7,
  "reviews_count": 412903,
  "main_image": "https://m.media-amazon.com/images/I/61MZi+B-OBL.jpg",
  "images": ["…"],
  "features": ["Meet the all-new Echo Dot…"],
  "description": "Our most popular smart speaker…"
}

Каталог скрейперов

Репрезентативная выборка доступных скрейперов. Передавайте имя скрейпера в параметре scraper.

Amazon

СкрейперВозвращает
amazon-product-detailsСтраница товара: название, цена, рейтинги, изображения, характеристики
amazon-search-resultsСтраница результатов поиска: товары, пагинация, фильтры
amazon-reviewsСтраница отзывов с рейтингом, автором, датой, текстом и количеством оценок «полезно»
amazon-bestsellersСписки бестселлеров по категориям
amazon-questionsРаздел вопросов и ответов покупателей

Google

СкрейперВозвращает
google-serpРезультаты поиска: органика, реклама, knowledge panel, похожие запросы
google-shoppingРезультаты вкладки Shopping с продавцом, ценой, рейтингом
google-newsРезультаты вкладки News с источником, сниппетом и временем публикации
google-mapsСтраница места: название, адрес, часы работы, рейтинги, отзывы
google-scholarРезультаты академического поиска с цитированиями

Социальные сети

СкрейперВозвращает
linkedin-profileДанные публичного профиля: опыт работы, образование, навыки
linkedin-companyСтраница компании: размер, отрасль, штаб-квартира
instagram-profileМетаданные профиля, недавние посты, количество подписчиков
tiktok-profileПрофиль пользователя TikTok и недавние видео
youtube-channelМетаданные канала, число подписчиков, недавние загрузки

Другие маркетплейсы

СкрейперВозвращает
ebay-product-detailsДанные объявления на eBay
walmart-productСтраница товара Walmart
yelp-businessКарточка бизнеса Yelp со сводкой отзывов
booking-hotelСтраница отеля Booking.com с тарифами и удобствами
tripadvisor-attractionСтраница достопримечательности TripAdvisor
Не нашли нужного?

Полный каталог доступен в вашей панели. Новые скрейперы добавляются ежемесячно. Напишите нам, если вам нужен кастомный скрейпер для сайта, который мы пока не поддерживаем.

Автоопределение с autoparse

Если вы знаете URL, но не хотите искать нужное имя скрейпера, используйте autoparse=true на стандартном endpoint Crawling API. Мы определим тип страницы и автоматически применим подходящий скрейпер.

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.amazon.com/dp/B08N5WRWNW' \
  --data-urlencode 'autoparse=true' -G

# Crawlbase recognizes the Amazon URL and auto-applies amazon-product-details

Параметры

Endpoint Scraper API принимает ту же структуру, что и Crawling API, сокращённую до пяти параметров ниже плюс имя scraper. Подробные примечания по каждому общему параметру см. в справочнике Crawling API - он является каноническим, а этот список представляет собой самодостаточный справочник для устаревшего endpoint /scraper.

token
строкаобязательный
Ваш приватный токен Crawlbase. По умолчанию используется Normal token; используйте JavaScript token при сочетании с javascript=true.
url
строкаобязательный
Целевой URL для скрейпинга. Должен начинаться с http или https и быть полностью URL-кодированным.
scraper
строкаобязательный
Имя применяемого скрейпера. Поддерживаемый набор смотрите в каталоге выше.
country
ISO 3166необязательный
Геолокация запроса из конкретной страны (например, US, GB, DE). Доступность стран зависит от тарифного плана; полный список стран приведён в справочнике параметров Crawling API.
javascript
булевоfalse
Рендерить страницу в реальном браузере Chrome перед скрейпингом. Установите javascript=true для SPA и страниц с JS-рендерингом. Стоит 2 кредита за запрос; требует JavaScript token, а не Normal token.
premium
булевоfalse
Маршрутизировать запрос через премиальную резидентную сеть Crawlbase для более сложных целей с anti-bot защитой. Стоит 10 кредитов за запрос или 20 кредитов при сочетании с javascript=true. Зависит от тарифного плана.

Ошибки, специфичные для скрейпера

КодЗначение
422Неизвестное имя скрейпера. Проверьте написание по каталогу.
423URL не соответствует ожидаемому шаблону скрейпера (например, amazon-product-details на URL, не относящемся к товару).
425Структура страницы изменилась, и скрейпер не смог извлечь данные. Сообщается автоматически; обычно исправляется в течение нескольких часов.