What is the Crawlbase Crawler?

An asynchronous crawler built on the Crawling API. You push URLs to a managed push/pull queue and Crawlbase renders each page, retries failures and delivers the result to your webhook or to cloud storage, so you never manage queues, retries or proxies.

How is it different from the Crawling API?

The Crawling API is synchronous, you get the response on the same call. The Crawler is asynchronous, you push URLs and the data is delivered later to your webhook or storage. It keeps every Crawling API feature, including JavaScript rendering, residential proxies and parameters.

How do I start using it?

Create a named crawler in the dashboard, then add two parameters to your Crawling API call, callback=true and crawler=YourCrawlerName. That is the only change needed to switch synchronous calls to the async push/pull system.

How do I receive the data?

Two ways. Point the crawler at your webhook endpoint and Crawlbase posts each result to it, or store results in Crawlbase cloud storage and pull them when you are ready. Webhook URLs are monitored so delivery stays reliable.

Can I monitor and control my crawls?

Yes. The dashboard shows live stats for each crawler, and the Crawler API lets you check stats and manage crawls programmatically. You can pause and resume crawling to match your budget and needs.

Yes. Every page is crawled live from the internet at request time. Nothing is cached or served from an earlier crawl, so the data you receive is current.

Продукт / Crawler

Crawler.
Отправляйте URL, получайте данные, асинхронно и в любом масштабе.

Отправляйте миллионы URL в управляемую очередь push/pull, построенную на Crawling API, и получайте отрендеренные данные на свой вебхук или в облачное хранилище.
Никаких очередей, повторных попыток или прокси для запуска.

Начать бесплатно Читать документацию

Успешность 99%Асинхронные push и pullВебхук или облачное хранилище

Живая очередь краулера1.24M req/minПотоковая передача

200etsy.com/c/jewelry?page=4NL137ms

200glassdoor.com/Reviews/company-reviews.htmIN169ms

200amazon.com/s?k=laptops&page=1NL171ms

200crunchbase.com/discover/organization.companiesCA208ms

200tripadvisor.com/Hotels-g60763-oa30ES50ms

200booking.com/searchresults.html?offset=25IN116ms

200amazon.com/s?k=laptops&page=1AU133ms

301amazon.com/s?k=laptops&page=1JP70ms

200walmart.com/browse/electronics/3944SG166ms

200amazon.com/s?k=laptops&page=2SG110ms

200yelp.com/search?find_desc=cafe&start=30SG212ms

200amazon.com/s?k=laptops&page=3JP80ms

404crunchbase.com/discover/organization.companiesUS188ms

200tripadvisor.com/Hotels-g60763-oa30FR115ms

200crunchbase.com/discover/organization.companiesAU128ms

200bestbuy.com/site/searchpage.jsp?st=tvAU189ms

404tripadvisor.com/Hotels-g60763-oa30US176ms

200indeed.com/jobs?q=engineer&start=20FR49ms

200tripadvisor.com/Hotels-g60763-oa30IN114ms

200booking.com/searchresults.html?offset=25DE112ms

200target.com/c/electronics/-/N-5xtg6US207ms

200etsy.com/c/jewelry?page=4AU116ms

200bestbuy.com/site/searchpage.jsp?st=tvES125ms

200crunchbase.com/discover/organization.companiesUS163ms

200etsy.com/c/jewelry?page=4US63ms

200yelp.com/search?find_desc=cafe&start=30SG142ms

200etsy.com/c/jewelry?page=4NL137ms

200glassdoor.com/Reviews/company-reviews.htmIN169ms

200amazon.com/s?k=laptops&page=1NL171ms

200crunchbase.com/discover/organization.companiesCA208ms

200tripadvisor.com/Hotels-g60763-oa30ES50ms

200booking.com/searchresults.html?offset=25IN116ms

200amazon.com/s?k=laptops&page=1AU133ms

301amazon.com/s?k=laptops&page=1JP70ms

200walmart.com/browse/electronics/3944SG166ms

200amazon.com/s?k=laptops&page=2SG110ms

200yelp.com/search?find_desc=cafe&start=30SG212ms

200amazon.com/s?k=laptops&page=3JP80ms

404crunchbase.com/discover/organization.companiesUS188ms

200tripadvisor.com/Hotels-g60763-oa30FR115ms

200crunchbase.com/discover/organization.companiesAU128ms

200bestbuy.com/site/searchpage.jsp?st=tvAU189ms

404tripadvisor.com/Hotels-g60763-oa30US176ms

200indeed.com/jobs?q=engineer&start=20FR49ms

200tripadvisor.com/Hotels-g60763-oa30IN114ms

200booking.com/searchresults.html?offset=25DE112ms

200target.com/c/electronics/-/N-5xtg6US207ms

200etsy.com/c/jewelry?page=4AU116ms

200bestbuy.com/site/searchpage.jsp?st=tvES125ms

200crunchbase.com/discover/organization.companiesUS163ms

200etsy.com/c/jewelry?page=4US63ms

200yelp.com/search?find_desc=cafe&start=30SG142ms

01 Живое демо

Отправьте URL. Получите доставленные данные.

Crawler в действии, вживую. Отправьте URL в очередь, затем получите отрендеренный результат на свой вебхук. Наведите курсор, чтобы приостановить и прочитать.

готово

клавиши 1-2 переключают · нажмите, чтобы приостановитьзапустите свой URL

Запустите свой первый запрос за считанные минуты. До 5,000 бесплатных запросов, без кредитной карты.Начать бесплатно

02 Возможности

Краулинг в любом масштабе, очереди включены.

Всё, что делает крупные краулинги сложными, выполняется за вас: асинхронная очередь, повторные попытки, доставка и мониторинг, всё поверх Crawling API.

async

Асинхронные push и pull

Отправляйте столько URL, сколько хотите, и продолжайте работу. Crawlbase помещает их в очередь, планирует и рендерит в фоновом режиме, поэтому ваш клиент никогда не блокируется.

built-on

Построен на Crawling API

Сохраняется каждая функция Crawling API: рендеринг JavaScript, резидентные прокси, геотаргетинг, параметры и обход анти-бот-защиты в каждом запросе.

deliver

Доставка через вебхук

Направьте краулер на ваш эндпоинт, и каждый результат отправляется на него. Crawlbase следит за вашим вебхуком, чтобы доставка оставалась точной и надёжной.

storage

Облачное хранилище

Предпочитаете получать данные по запросу? Храните каждую собранную страницу в облачном хранилище Crawlbase и забирайте её по собственному расписанию. Смотреть Cloud Storage.

monitor

Настраиваемые краулеры, живая статистика

Задайте имя краулеру для каждой задачи и наблюдайте за ним в реальном времени. Проверяйте статистику через API, приостанавливайте или возобновляйте работу в соответствии с вашим бюджетом.

fresh

Свежие данные, меньше повторных попыток

Каждая страница собирается вживую, ничего не кэшируется. Система push/pull повышает успешность почти до 100%, поэтому повторные попытки на стороне клиента практически исчезают.

03 Как это работает

Миграция в два дополнительных параметра.

Сохраните свои вызовы Crawling API. Добавьте колбэк и имя краулера, и вы работаете асинхронно.

Создайте краулер

Откройте панель Crawler, создайте именованный краулер и направьте его на ваш вебхук или облачное хранилище.

Отправьте URL

Вызовите Crawling API с callback=true и crawler=YourCrawlerName, для одного URL или миллионов.

Мы ставим в очередь и рендерим

Crawlbase планирует каждый запрос, ротирует резидентный прокси, рендерит страницу и повторяет любые неудачные попытки.

Доставьте результат

Каждая отрендеренная страница отправляется на ваш вебхук или записывается в облачное хранилище, в виде HTML или структурированного JSON.

Получайте и отслеживайте

Забирайте данные из хранилища, когда они готовы, и отслеживайте каждый краулер вживую, с приостановкой и возобновлением по требованию.

04 Сценарии использования

Что команды строят на Crawler.

USE / 01Масштаб

Миллионы страниц

Отправьте целые каталоги или карты сайтов и позвольте очереди обработать их, без планирования на стороне клиента.

USE / 02Пайплайны

Данные в вашем стеке

Доставляйте отрендеренные страницы прямо на вебхук или в хранилище, готовые для вашего хранилища данных, индекса или модели.

USE / 03Коммерция

Непрерывный мониторинг

Повторно собирайте цены, наличие и товарные позиции по расписанию, со свежими данными на каждом проходе.

USE / 04ИИ

Корпуса для обучения и RAG

Создавайте большие, чистые наборы страниц для обучения и поиска, забирая их из хранилища массово.

USE / 05Миграция

Уйдите от собственного краулера

Замените свою систему push/pull на нашу с помощью двух параметров и откажитесь от прокси, очередей и повторных попыток.

USE / 06Охват

Миллионы сайтов

Собирайте данные с миллионов поддерживаемых сайтов с одним краулером и одним токеном.

05 Pricing

One rate card, shared with every product.

Crawler pushes bill exactly like Crawling API requests: the same credits on the same ladder, with async delivery and retries included.

Pay as you go$3.00 down to $0.02 per 1,000 successful requests

Only successful requests are billed, and rates fall as volume grows. Optional subscriptions from $99 / mo. Start free with up to 5,000 requests, no credit card.

See pricing Start free

06 Заметки

Полезно знать.

Тестируйте бесплатно

До 5,000 запросов бесплатны, без кредитной карты. Один и тот же токен работает с Crawler, Crawling API и каждым скрапером.

Ценообразование по использованию

Платите за то, что собираете, без долгосрочных контрактов, отмена в любое время. Приостанавливайте и возобновляйте работу в соответствии с вашим бюджетом. Смотрите полную разбивку на странице с ценами.

Полностью документировано

Создание краулеров, колбэки и доставка полностью описаны в документации Crawler, с готовыми примерами для копирования.

Соответствие GDPR и CCPA

Crawlbase применяет стандарты защиты потребителей по всему миру, с заложенными в обработку данных принципами справедливости и прозрачности.

07 Почему Crawlbase

Создан для краулинга веба в любом масштабе.

Crawler работает в той же сети, что обслуживает более 70,000 разработчиков и самые требовательные краулинговые задачи в мире. Никаких очередей для запуска, никаких прокси для покупки, ничего не нужно патчить, когда сайт меняется.

99%

Средняя успешность запросов

70K+

Клиентов в сети

Async

Push и pull, очереди под контролем

99.99%

Аптайм сети

Один токен для Crawler, Crawling API и каждого скрапера, с доставкой на ваш вебхук или в хранилище.

08 FAQ

Вопросы о Crawler.

Асинхронный краулер, построенный на Crawling API. Вы отправляете URL в управляемую очередь push/pull, а Crawlbase рендерит каждую страницу, повторяет неудачные попытки и доставляет результат на ваш вебхук или в облачное хранилище, поэтому вам никогда не нужно управлять очередями, повторными попытками или прокси.

Crawling API синхронный, вы получаете ответ на том же вызове. Crawler асинхронный, вы отправляете URL, и данные доставляются позже на ваш вебхук или в хранилище. Он сохраняет каждую функцию Crawling API, включая рендеринг JavaScript и резидентные прокси.

Создайте именованный краулер в панели, затем добавьте два параметра к вашему вызову Crawling API, callback=true и crawler=YourCrawlerName. Это единственное изменение, необходимое для переключения синхронных вызовов на асинхронную систему push/pull.

Двумя способами. Направьте краулер на ваш эндпоинт вебхука, и Crawlbase отправит каждый результат на него, либо храните результаты в облачном хранилище и забирайте их, когда будете готовы. За URL вебхуков ведётся мониторинг, чтобы доставка оставалась надёжной.

Да. Панель показывает живую статистику по каждому краулеру, а Crawler API позволяет проверять статистику и управлять краулингами. Вы можете приостанавливать и возобновлять краулинг в соответствии с вашим бюджетом и потребностями.

Да. Каждая страница собирается вживую из интернета в момент запроса. Ничего не кэшируется и не отдаётся из более раннего краулинга, поэтому получаемые вами данные актуальны.

Собирайте веб асинхронно.
Отправляйте URL, мы доставляем данные.

Бесплатно для старта, до 5,000 запросов. Один токен для Crawler, Crawling API и каждого скрапера.