Решения / eCommerceКраулинг и сбор
Краулинг и сбор
данных eCommerce.
Собирайте данные с сайтов eCommerce, таких как Amazon, eBay, AliExpress и Walmart, с помощью Crawlbase Crawling API. Извлекайте популярные товары, цены, отзывы и аналитику по бестселлерам, без блокировок, которыми нужно управлять.
01 Коротко
Что такое сбор данных eCommerce с Crawlbase?
Сбор данных eCommerce с Crawlbase означает, что вы отправляете URL товара, поиска или категории в Crawling API и получаете страницу в виде отрендеренного HTML или разобранного JSON. Crawlbase берёт на себя прокси, рендеринг JavaScript и CAPTCHA, а вы работаете только с данными.
Для Amazon, Walmart, eBay, AliExpress, Galaxus, Best Buy, Google Shopping, TikTok Shop и OLX добавьте в запрос имя скрапера, например amazon-product-details, и ответ придёт в виде структурированного JSON. Для любого другого магазина тот же вызов возвращает полный HTML, который вы разбираете сами. Начать можно бесплатно: до 5,000 запросов без банковской карты.
02 Краулинг и сбор данных с сайтов
Собирайте данные с сайтов eCommerce, на которых вы продаёте.
Описания товаров, цены, информация о продавцах, рейтинги и другое, по всем важным для вас маркетплейсам.
AmazonСкраперeBayСкраперWalmartСкраперAliExpressСкраперBest BuyСкраперTargetСкраперGalaxusСкраперFlipkartРуководствоAlibabaРуководство
Crawlbase поддерживает эти и многие другие страницы eCommerce.
03 Каталог скраперов
Готовые скраперы для eCommerce.
Каждый скрапер рассчитан на один тип страницы, поэтому структура JSON остаётся стабильной. Передайте его имя в параметре scraper вызова Crawling API. Форматы входных данных и схемы ответа описаны в документации.
amazon-product-details · amazon-serp · amazon-offer-listing · amazon-product-reviews · amazon-best-sellers · amazon-new-releases
Amazon
Детали товара, результаты поиска, предложения всех продавцов, отзывы о товаре, а также рейтинги Best Sellers и New Releases. Передайте country (например, US, UK или DE), чтобы обратиться к региональной витрине.
walmart-product-details · walmart-serp · walmart-category
Walmart
Страницы товаров, результаты поиска и ленты отделов или категорий. Полезно для отслеживания паритета цен между Amazon и Walmart на один и тот же товар.
ebay-product · ebay-serp · ebay-seller-shop
eBay
Объявления с ценой, продавцом, состоянием и доставкой, результаты поиска и все объявления из магазина одного продавца.
aliexpress-product · aliexpress-serp
AliExpress
Страницы товаров и результаты поиска. Используйте вместе с country, чтобы видеть локализованную цену и доставку для нужного рынка покупателей.
galaxus-product · galaxus-serp · galaxus-product-reviews
Galaxus
Страницы товаров, результаты поиска и отзывы покупателей для Galaxus и Digitec в Швейцарии. Установите country в CH для точных цен и наличия.
bestbuy-product-details · bestbuy-serp
Best Buy
Детали товара и результаты поиска. Хороший выбор для отслеживания цен на потребительскую электронику в Северной Америке.
google-product-offers
Google Shopping
Все предложения продавцов для товара в Google Shopping, с ценами, рейтингами и информацией о продавцах. Сравнение цен между магазинами без сбора данных с каждого из них.
tiktok-shop
TikTok Shop
Витрина TikTok Shop: метаданные магазина, товары, рейтинги и число подписчиков. Лучше всего работает с вашим JavaScript-токеном.
olx-serp · olx-item
OLX
Результаты поиска или категорий и отдельные страницы объявлений на общем фронтенде OLX: olx.pl, olx.ua, olx.pt, olx.ro, olx.bg, olx.kz и olx.uz.
04 Что вы можете собирать
Структурированные данные, готовые к использованию.
Детали товара
- Названия товаров
- Описания
- Изображения
- Категории
Рыночная аналитика
- Отзывы покупателей
- Информация о продавце
- Популярные товары
- Скидки и предложения
Логистические данные
- Наличие товара
- Время доставки
- Стоимость доставки
- Способ доставки
Цены и рейтинги
- Текущие цены
- Обычные цены и цены со скидкой
- Звёздные рейтинги
- Места в рейтинге бестселлеров
05 Как это работает
От URL до JSON за четыре шага.
Один и тот же процесс работает для каждого маркетплейса из каталога.
01
Получите токен
Создайте бесплатный аккаунт Crawlbase и скопируйте токен Crawling API.
02
Выберите скрапер
Выберите скрапер под тип страницы: товар, поиск, категория, магазин продавца, предложения или отзывы.
03
Отправьте URL
Вызовите Crawling API с вашим токеном, целевым URL и именем скрапера. Добавьте country, если нужна определённая региональная витрина.
04
Получите JSON
Crawlbase маршрутизирует запрос, рендерит страницу, проходит проверки на ботов и возвращает разобранный JSON. Оплачиваются только успешные запросы.
06 Посмотрите, как это работает
Один GET-запрос, структурированные данные в ответ.
Направьте Crawling API на товар Amazon или URL поиска и получите отрендеренную страницу или автоматически распарсенный JSON. Без прокси, без CAPTCHA.
curl "https://api.crawlbase.com/?token=YOUR_TOKEN&scraper=amazon-product-details\
&url=https://www.amazon.com/dp/B07S5QWM6L"07 Пример кода
Тот же вызов на Python.
Установите официальный SDK командой pip install crawlbase и передайте имя скрапера как опцию. SDK также доступны для Node.js, Ruby, PHP, Go, Java и .NET.
from crawlbase import CrawlingAPI
import json
api = CrawlingAPI({'token': 'YOUR_TOKEN'})
res = api.get(
'https://www.amazon.com/Apple-iPhone-Silicone-Case-MagSafe/dp/B0CHX2XFLN',
{'scraper': 'amazon-product-details'}
)
data = json.loads(res['body'])
print(data['name'], data['price'])08 Сценарии использования
Что команды строят на данных eCommerce.
USE / 01Цены
Мониторинг цен
Регулярно запрашивайте amazon-product-details или walmart-product-details, сохраняйте цену и наличие и получайте оповещение, когда что-то меняется.
USE / 02Конкуренты
Конкурентная разведка
Запускайте amazon-serp по целевым запросам, затем получайте детали каждого товара из выдачи, чтобы видеть, кто ранжируется и по какой цене.
USE / 03Каталог
Обогащение каталога
Дополняйте собственные SKU брендом, изображениями, характеристиками и описаниями из скраперов деталей товара.
USE / 04Маркетинг
Оценка запусков и рекламы
Отслеживайте позиции в amazon-best-sellers и amazon-new-releases до и после кампании или запуска товара.
USE / 05Продавцы
Отслеживание реселлеров
Используйте ebay-seller-shop, чтобы следить за каталогом конкретного продавца во времени, а не за одним товаром.
USE / 06Отзывы
Анализ отзывов
Собирайте amazon-product-reviews или galaxus-product-reviews, чтобы отслеживать рейтинги и повторяющиеся жалобы на ваши товары и товары конкурентов.
09 Почему команды выбирают Crawlbase
Создано для точных данных eCommerce в любом масштабе.
- Отличная поддержка и документация
- Бесшовное масштабирование
- Точные и стабильные данные eCommerce
- Без лимитов, глобальные прокси для доступа к любому сайту
- Соответствие GDPR и CCPA
- Лёгкий доступ к заблокированному контенту
10 Всё в одной платформе
Собирайте, храните и масштабируйте.
Crawling API
Получайте полностью отрендеренный HTML или автоматически распарсенный JSON для любой страницы товара или поиска. Ротационные прокси и ИИ снимают блокировки IP и CAPTCHA из любой геолокации.
Cloud Storage
Отправляйте собранные страницы прямо в облако одним параметром, чтобы не разворачивать хранилище самостоятельно.
Crawler
Для крупных проектов запускайте асинхронный краулинг с колбэками, чтобы экономить на стоимости, повторных попытках и трафике.
11 Обзор
Crawlbase для краулинга eCommerce.
Простота использования даже при ограниченных знаниях программирования.
Высоко масштабируемый API с использованием наших глобальных прокси.
Автоматизируйте браузерный сбор данных для сайтов с большим количеством JavaScript.
Защитите свой краулер от блокировок, утечек IP и CAPTCHA.
Экспортируйте данные в виде сырого HTML или структурированного JSON.
Получайте быстрые, надёжные и качественные данные.
12 Полезно знать
Перед началом.
Сайты без скрапера
Для магазинов, которых нет в каталоге, вызывайте Crawling API без параметра scraper и разбирайте полученный HTML самостоятельно.
Региональные витрины
Передайте country (например, DE), чтобы видеть то же, что видит местный покупатель: валюту, язык и региональное наличие.
Один токен для всего
Один и тот же токен работает для каждого скрапера и для обычных вызовов Crawling API, с теми же лимитами запросов. Настройка под каждый сайт не нужна.
Стабильный ответ
Каждый скрапер рассчитан на один тип страницы, поэтому структура JSON остаётся стабильной, когда меняется исходный HTML.
13 FAQ
Вопросы о сборе данных eCommerce.
Для сайтов вроде Amazon, eBay, AliExpress, Walmart и Best Buy вы можете экспортировать данные в CSV, Excel или JSON. Для других сайтов eCommerce формат вывода по умолчанию: HTML. Нужен другой формат? Свяжитесь с поддержкой для индивидуальных решений.
Да. Наша команда поддержки доступна 24/7, чтобы помочь с любой проблемой или вопросом.
Crawling API отвечает в среднем примерно за 4-10 секунд. Рекомендуем устанавливать таймаут не менее 90 секунд.
Amazon, Walmart, eBay, AliExpress, Galaxus, Best Buy, Google Shopping (предложения по товару), TikTok Shop и OLX. Скраперы охватывают такие типы страниц, как детали товара, результаты поиска, ленты категорий, магазины продавцов, списки предложений и отзывы.
Да. Отправьте URL в Crawling API без параметра scraper, и вы получите полный HTML страницы, а прокси, рендеринг и CAPTCHA будут обработаны за вас. Затем вы извлекаете нужные поля.
Добавьте в запрос параметр country, например country=DE. Crawlbase маршрутизирует запрос так, чтобы вы видели валюту, язык и наличие, которые видит покупатель в этой стране.
Нет. Crawling API ротирует прокси, при необходимости рендерит JavaScript и сам справляется с CAPTCHA и блокировками.
Начать можно бесплатно: до 5,000 запросов без банковской карты. Дальше вы платите только за успешные запросы, а один токен работает для каждого скрапера и Crawling API. Актуальные цены смотрите на странице тарифов.
Начните собирать данные eCommerce.
Обходите блокировки.
До 5,000 запросов бесплатно, без банковской карты. Один API для каждого маркетплейса, без прокси и CAPTCHA, которыми нужно управлять.