What is the Crawlbase Crawling API?

A single REST API that crawls any URL through residential proxies in a real browser, clears bot checks and CAPTCHAs, and returns the fully rendered HTML. Add a scraper or autoparse for structured JSON, or screenshot=true for an image.

Does it render JavaScript?

Yes. A real browser executes the page, so dynamically loaded content, infinite scroll and single-page apps are captured, not just the initial HTML. Add ajax_wait or page_wait for slow pages.

Can I get structured JSON instead of HTML?

Yes. Add scraper=generic-extractor for universal JSON, autoparse=true for popular sites like Amazon and Google, or a named scraper for a specific site. Otherwise you get the full rendered HTML to parse yourself.

How do I avoid getting blocked?

Crawlbase routes each request through rotating residential IPs across 30 geographies and clears bot checks automatically. You do not manage proxies or solve CAPTCHAs, and there is nothing to maintain when a site changes its setup.

Can I take screenshots?

Yes. Add screenshot=true and the API captures a full-page screenshot of the rendered page as an image, stored for you for up to an hour.

Which languages and frameworks are supported?

Any. The Crawling API is a plain REST endpoint, with official SDKs for Node, Python, Ruby, PHP, Java, .NET and Go, so it drops into your existing stack.

Продукт / Crawling API

Crawling API.
Любой URL, полностью отрендеренный.

Отправьте любой URL и получите обратно полностью отрендеренный HTML через 140M резидентных IP со встроенным обходом анти-бот систем.
Добавьте скрапер или autoparse для структурированного JSON, либо скриншот.

Начать бесплатно читать документацию

99% успешных запросов140M резидентных IP30 регионов

Живой поток обхода1.24M req/minСтриминг

200glassdoor.com/Reviews/index.htmSG166ms

200reddit.com/r/programmingGB40ms

200google.com/search?q=web+scrapingBR170ms

200producthunt.com/posts/notionFR178ms

200glassdoor.com/Reviews/index.htmDE41ms

200amazon.com/dp/B08N5WRWNWUS184ms

200target.com/p/-/A-79404211IN175ms

200linkedin.com/jobs/searchAU114ms

200tripadvisor.com/Restaurants-g60763JP152ms

200github.com/crawlbaseDE53ms

200target.com/p/-/A-79404211JP219ms

200amazon.com/dp/B08N5WRWNWDE198ms

200zillow.com/homes/for_sale/GB132ms

200linkedin.com/jobs/searchUS130ms

200google.com/search?q=web+scrapingSG132ms

200yelp.com/biz/blue-bottle-coffeeNL167ms

200linkedin.com/jobs/searchES154ms

200ebay.com/itm/204512389011NL110ms

200reddit.com/r/programmingBR140ms

200yelp.com/biz/blue-bottle-coffeeJP181ms

200github.com/crawlbaseBR56ms

200reddit.com/r/programmingGB141ms

200amazon.com/dp/B08N5WRWNWJP178ms

200reddit.com/r/programmingGB86ms

200glassdoor.com/Reviews/index.htmUS170ms

200reddit.com/r/programmingJP212ms

200glassdoor.com/Reviews/index.htmSG166ms

200reddit.com/r/programmingGB40ms

200google.com/search?q=web+scrapingBR170ms

200producthunt.com/posts/notionFR178ms

200glassdoor.com/Reviews/index.htmDE41ms

200amazon.com/dp/B08N5WRWNWUS184ms

200target.com/p/-/A-79404211IN175ms

200linkedin.com/jobs/searchAU114ms

200tripadvisor.com/Restaurants-g60763JP152ms

200github.com/crawlbaseDE53ms

200target.com/p/-/A-79404211JP219ms

200amazon.com/dp/B08N5WRWNWDE198ms

200zillow.com/homes/for_sale/GB132ms

200linkedin.com/jobs/searchUS130ms

200google.com/search?q=web+scrapingSG132ms

200yelp.com/biz/blue-bottle-coffeeNL167ms

200linkedin.com/jobs/searchES154ms

200ebay.com/itm/204512389011NL110ms

200reddit.com/r/programmingBR140ms

200yelp.com/biz/blue-bottle-coffeeJP181ms

200github.com/crawlbaseBR56ms

200reddit.com/r/programmingGB141ms

200amazon.com/dp/B08N5WRWNWJP178ms

200reddit.com/r/programmingGB86ms

200glassdoor.com/Reviews/index.htmUS170ms

200reddit.com/r/programmingJP212ms

01 Живое демо

На входе любой URL. На выходе HTML или JSON.

Crawling API, набираемый в реальном времени. Обойдите страницу для получения отрендеренного HTML или извлеките из неё структурированный JSON. Наведите курсор, чтобы поставить на паузу и прочитать.

готово

клавиши 1-2 переключают · клик для паузызапустить свой URL

Запустите свой первый запрос за считанные минуты. До 5,000 бесплатных запросов, без банковской карты.Начать бесплатно

02 Возможности

Один эндпоинт, весь стек под капотом.

Каждая сложная часть обхода в масштабе решена за вас: настоящий браузер, резидентная сеть и обход бот-защиты на каждом запросе.

рендеринг

Полный рендеринг JavaScript

Настоящий браузер исполняет страницу, поэтому динамически загружаемый контент, бесконечная прокрутка и одностраничные приложения захватываются, а не только исходный HTML.

прокси

140M резидентных IP

Каждый запрос ротирует резидентный IP по 30 регионам, поэтому вы получаете доступ к любому сайту как настоящий локальный посетитель.

анти-бот

Обход блокировок и CAPTCHA

Бот-стены, CAPTCHA и лимиты запросов обходятся автоматически. Нечего решать, нечего поддерживать при изменении сайта.

извлечение

Autoparse и скраперы

Получите полный отрендеренный HTML или добавьте autoparse=true или scraper=… чтобы вернуть заголовок, контент, цены, изображения и ссылки в виде JSON.

захват

Скриншоты

Добавьте screenshot=true чтобы захватить полностраничное изображение отрендеренной страницы, сохранённое и готовое к загрузке.

масштаб

Асинхронность и облачное хранилище

Запускайте асинхронно с вебхуками и краулером, и храните каждую обойдённую страницу в облачном хранилище. Смотреть живое демо.

03 Параметры

Каждый запрос, полностью параметризованный.

Один эндпоинт, управляемый параметрами запроса. Геотаргетинг, рендеринг, парсинг, скриншот, хранение и сессия, всё из одного вызова.

token=PRIVATE_TOKEN

Обязательно. Ваш токен доступа к API.

url=https://crawlbase.com/ip

Обязательно. URL для краулинга.

country=US

Страна расположения прокси, +48 стран.

scraper=scraper-name

Выполнить краулинг, затем извлечь данные скрапером.

screenshot=true

Делать скриншоты браузера в виде изображений.

format=html

Формат ответа: html, json или md (Markdown).

store=true

Хранить полученные данные в облаке.

device=mobile

Краулинг на мобильных устройствах или десктопе.

autoparse=true

Crawling API может автоматически разобрать любую веб-страницу.

tor_network=true

Краулинг onion-сайтов через сеть Tor.

Смотреть все параметры →

04 Как это работает

От URL до данных за один вызов.

Каждый запрос проходит один и тот же путь. Вы отправляете URL, мы управляем всем, что между.

Вы отправляете URL

Передайте любой URL со своим токеном плюс любые нужные параметры: страну, ожидания рендеринга, парсинг, скриншоты или хранение.

Мы ротируем прокси

Резидентный IP и география, которые доходят до сайта без проблем, выбранные из 140M IP по 30 регионам.

Мы рендерим страницу

Настоящий браузер загружает страницу, поэтому JavaScript, динамический контент и бесконечная прокрутка рендерятся до захвата.

Мы обходим анти-боты

Бот-проверки, CAPTCHA и лимиты запросов обрабатываются автоматически. Нечего решать, нечего поддерживать.

Мы возвращаем HTML или JSON

Возвращается полностью отрендеренный HTML, типизированный JSON при добавлении скрапера или autoparse, чистый Markdown по запросу, или изображение, когда вы запрашиваете скриншот.

05 Сценарии использования

Что команды строят на Crawling API.

USE / 01Коммерция

Мониторинг цен и каталогов

Отслеживайте цены, наличие и товарные позиции у ритейлеров и маркетплейсов, распарсенные в JSON на каждом обходе.

USE / 02Поиск

Отслеживание SERP и SEO

Обходите результаты поиска и страницы конкурентов, чтобы отслеживать позиции, сниппеты и контент в масштабе.

USE / 03AI

Обучающие данные и RAG

Подавайте чистые отрендеренные страницы и структурированный JSON в модели, RAG-пайплайны и агентов через один API.

USE / 04Рост

Поиск лидов и контактов

Обходите каталоги, профили и списки, чтобы строить и обогащать пайплайны.

USE / 05Исследования

Рыночная и контентная аналитика

Агрегируйте новости, отзывы и публичные данные, чтобы принимать решения по продукту, ценообразованию и стратегии.

USE / 06Охват

Любой сайт, один API

Обходите любой публичный URL с тем же токеном, от одной страницы до миллионов с асинхронным краулером.

06 Pricing

One rate card, shared with every product.

Crawling API requests spend credits on the platform ladder: rates fall as monthly volume grows, and only successful requests are billed.

Pay as you go$3.00 down to $0.02 per 1,000 successful requests

Only successful requests are billed, and rates fall as volume grows. Optional subscriptions from $99 / mo. Start free with up to 5,000 requests, no credit card.

See pricing Start free

07 Заметки

Полезно знать.

Тестируйте бесплатно

До 5,000 запросов бесплатны, без банковской карты. Один и тот же токен работает в Crawling API и каждом скрапере.

Простое ценообразование по использованию

Платите за то, что обходите, без долгосрочных контрактов, отмена в любой момент. Смотрите полную разбивку на странице цен.

Полностью документировано

Каждый параметр и ответ описан в документации Crawling API, с примерами copy-paste для каждого SDK.

Соответствие GDPR и CCPA

Crawlbase внедряет стандарты защиты потребителей по всему миру, со встроенными справедливостью и прозрачностью в том, как обрабатываются данные.

08 Почему Crawlbase

Создано для обхода веба в масштабе.

Crawling API работает в той же сети, что обслуживает 46,000+ платящих клиентов и 70,000+ разработчиков. Не нужно покупать прокси, запускать браузеры, ничего не нужно патчить при изменении сайта.

99%

Средний процент успешных запросов

46K+

Платящих клиентов в сети

Регионов для точных локальных результатов

99.99%

Аптайм сети

Один токен, официальные SDK для Node, Python, Ruby, PHP, Java, .NET и Go, и резидентная сеть под капотом.

09 FAQ

Вопросы о Crawling API.

Единый REST API, который обходит любой URL через резидентные прокси в настоящем браузере, обходит бот-проверки и CAPTCHA, и возвращает полностью отрендеренный HTML. Добавьте скрапер или autoparse для структурированного JSON, либо screenshot=true для изображения.

Да. Настоящий браузер исполняет страницу, поэтому динамически загружаемый контент, бесконечная прокрутка и одностраничные приложения захватываются, а не только исходный HTML. Добавьте ajax_wait или page_wait для медленных страниц.

Да. Добавьте scraper=generic-extractor для универсального JSON, autoparse=true для популярных сайтов вроде Amazon и Google, или именованный скрапер для конкретного сайта. Иначе вы получаете полный отрендеренный HTML, чтобы распарсить самостоятельно.

Crawlbase направляет каждый запрос через ротируемые резидентные IP по 30 регионам и обходит бот-проверки автоматически. Вы не управляете прокси и не решаете CAPTCHA, и нечего поддерживать, когда сайт меняет свою настройку.

Да. Добавьте screenshot=true, и API захватывает полностраничный скриншот отрендеренной страницы в виде изображения, сохранённого для вас на срок до одного часа.

Любые. Crawling API это обычный REST-эндпоинт, с официальными SDK для Node, Python, Ruby, PHP, Java, .NET и Go, поэтому он встраивается в ваш существующий стек.

Start free with up to 5,000 requests and no credit card. After that you pay per successful request on one graduated rate card shared by every Crawlbase product, with optional subscriptions from $99 a month. See the pricing page for the full rate card.

Начните обходить веб.
Забудьте о прокси и блокировках.

Бесплатно на старте, до 5,000 запросов. Один токен для Crawling API и каждого скрапера.