Все скраперы
Именованные экстракторы данных, превращающие поддерживаемые веб-страницы в чистый структурированный JSON. Никакого парсинга HTML на вашей стороне. Выберите скрапер, направьте его на URL и получите именно те поля, которые вам нужны.
Скраперы работают поверх Crawling API. Добавьте &scraper=NAME к любому вызову Crawling API и получите распарсенный JSON вместо сырого HTML. Тот же token, те же лимиты, те же повторные попытки - другая форма ответа.
Быстрый старт
curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
--data-urlencode 'url=https://www.amazon.com/dp/1098145356' \
--data-urlencode 'scraper=amazon-product-details' -GПросмотр каталога
У каждого скрапера есть своя страница с форматом ввода, схемой вывода и примерами кода на нескольких языках. Нажмите на любое название ниже, чтобы увидеть полную информацию.
Amazon
Детали товаров, результаты поиска, отзывы, бестселлеры, новинки.
- Amazon Product Details
- Amazon SERP
- Amazon Offer Listing
- Amazon Product Reviews
- Amazon Best Sellers
- Amazon New Releases
Страницы результатов поисковой выдачи со всеми SERP-функциями, а также товарные предложения Shopping.
Публичные группы, страницы, профили, хэштеги, события. Рекомендуется JS token.
Reels, посты, профили, хэштеги, агрегации аудио. Рекомендуется JS token.
TikTok
Магазин, товары, профили. Отзывы, цены, метрики продавцов, связанные видео.
Профили, компании, публичные ленты. Получайте опыт работы, образование, навыки, число сотрудников и многое другое.
Quora
Airbnb
eBay
AliExpress
Galaxus
Bing
Immobilienscout24
Walmart
Best Buy
G2
Eventbrite
GitHub
Скраперы платформы для разработчиков GitHub - страницы репозиториев, результаты поиска репозиториев и профили пользователей или организаций. Обзор смотрите в категории «Для разработчиков».
Скраперы платформ-сообществ для Reddit - списки сабреддитов, результаты поиска и отдельные посты с деревьями их комментариев. Обзор смотрите в категории «Социальные сети».
Booking.com
Скраперы для путешествий и гостиничного бизнеса для Booking.com - листинги результатов поиска и страницы отдельных отелей с ценами, оценками отзывов и удобствами. См. категорию «Путешествия, события и недвижимость» для обзора.
Product Hunt
Скраперы Product Hunt - ежедневные и еженедельные рейтинги и отдельные страницы продуктов с апвоутами, создателями, темами и отзывами. Обзор смотрите в категории «Отзывы и Q&A».
Stack Exchange
Скраперы Stack Exchange - списки вопросов, тегов и результатов поиска, а также отдельные треды вопросов с каждым ответом и комментарием, по всей сети Stack Exchange.
Exercism
Скраперы платформы для разработчиков Exercism - списки упражнений трека, инструкции отдельного упражнения, списки сообществ решений и отдельные опубликованные решения. Обзор смотрите в категории «Для разработчиков».
OLX
Скраперы маркетплейса объявлений для OLX - страницы результатов поиска/категории и страницы отдельных объявлений, на общем фронтенде OLX (olx.pl, olx.ua, olx.pt, olx.ro, olx.bg, olx.kz, olx.uz). Обзор смотрите в категории «Электронная коммерция».
Универсальные
Сайт-независимые экстракторы, работающие с любым URL.
Не нашли то, что нужно?
Для неподдерживаемых сайтов вы всегда можете использовать Crawling API без скрапера, чтобы получить полный HTML и распарсить его самостоятельно. Новые скраперы выходят ежемесячно - свяжитесь с поддержкой, если у вас есть конкретный запрос.