What is the Crawlbase Crawling API?

A single REST API that crawls any URL through residential proxies in a real browser, clears bot checks and CAPTCHAs, and returns the fully rendered HTML. Add a scraper or autoparse for structured JSON, or screenshot=true for an image.

Does it render JavaScript?

Yes. A real browser executes the page, so dynamically loaded content, infinite scroll and single-page apps are captured, not just the initial HTML. Add ajax_wait or page_wait for slow pages.

Can I get structured JSON instead of HTML?

Yes. Add scraper=generic-extractor for universal JSON, autoparse=true for popular sites like Amazon and Google, or a named scraper for a specific site. Otherwise you get the full rendered HTML to parse yourself.

How do I avoid getting blocked?

Crawlbase routes each request through rotating residential IPs across 30 geographies and clears bot checks automatically. You do not manage proxies or solve CAPTCHAs, and there is nothing to maintain when a site changes its setup.

Can I take screenshots?

Yes. Add screenshot=true and the API captures a full-page screenshot of the rendered page as an image, stored for you for up to an hour.

Which languages and frameworks are supported?

Any. The Crawling API is a plain REST endpoint, with official SDKs for Node, Python, Ruby, PHP, Java, .NET and Go, so it drops into your existing stack.

How much does it cost?

Start free with up to 5,000 requests and no credit card. After that you pay per successful request on one graduated rate card shared by every Crawlbase product, with optional subscriptions from $99 a month.

Продукт / Crawling API

Crawling API.
Любой URL, полностью отрендеренный.

Отправьте любой URL и получите обратно полностью отрендеренный HTML через 140M резидентных IP со встроенным обходом анти-бот систем.
Добавьте скрапер или autoparse для структурированного JSON, либо скриншот.

Начать бесплатно читать документацию

99% успешных запросов140M резидентных IP30 регионов

Живой поток обхода1.24M req/minСтриминг

200zillow.com/homes/for_sale/IN123ms

200google.com/search?q=web+scrapingES95ms

200walmart.com/ip/55048794CA87ms

200yelp.com/biz/blue-bottle-coffeeBR219ms

200booking.com/searchresults.html?ss=ParisDE54ms

200target.com/p/-/A-79404211NL95ms

200glassdoor.com/Reviews/index.htmIN182ms

200reddit.com/r/programmingUS97ms

200producthunt.com/posts/notionJP166ms

200yelp.com/biz/blue-bottle-coffeeES217ms

200yelp.com/biz/blue-bottle-coffeeNL108ms

200amazon.com/dp/B08N5WRWNWAU126ms

200walmart.com/ip/55048794ES66ms

200reddit.com/r/programmingBR112ms

200amazon.com/dp/B08N5WRWNWUS93ms

200google.com/search?q=web+scrapingNL94ms

200producthunt.com/posts/notionIN199ms

200zillow.com/homes/for_sale/BR92ms

200ebay.com/itm/204512389011JP95ms

200reddit.com/r/programmingGB41ms

200yelp.com/biz/blue-bottle-coffeeNL81ms

200github.com/crawlbaseAU117ms

200github.com/crawlbaseNL56ms

200zillow.com/homes/for_sale/GB169ms

200google.com/search?q=web+scrapingGB128ms

200github.com/crawlbaseIN182ms

200zillow.com/homes/for_sale/IN123ms

200google.com/search?q=web+scrapingES95ms

200walmart.com/ip/55048794CA87ms

200yelp.com/biz/blue-bottle-coffeeBR219ms

200booking.com/searchresults.html?ss=ParisDE54ms

200target.com/p/-/A-79404211NL95ms

200glassdoor.com/Reviews/index.htmIN182ms

200reddit.com/r/programmingUS97ms

200producthunt.com/posts/notionJP166ms

200yelp.com/biz/blue-bottle-coffeeES217ms

200yelp.com/biz/blue-bottle-coffeeNL108ms

200amazon.com/dp/B08N5WRWNWAU126ms

200walmart.com/ip/55048794ES66ms

200reddit.com/r/programmingBR112ms

200amazon.com/dp/B08N5WRWNWUS93ms

200google.com/search?q=web+scrapingNL94ms

200producthunt.com/posts/notionIN199ms

200zillow.com/homes/for_sale/BR92ms

200ebay.com/itm/204512389011JP95ms

200reddit.com/r/programmingGB41ms

200yelp.com/biz/blue-bottle-coffeeNL81ms

200github.com/crawlbaseAU117ms

200github.com/crawlbaseNL56ms

200zillow.com/homes/for_sale/GB169ms

200google.com/search?q=web+scrapingGB128ms

200github.com/crawlbaseIN182ms

01 Живое демо

На входе любой URL. На выходе HTML или JSON.

Crawling API, набираемый в реальном времени. Обойдите страницу для получения отрендеренного HTML или извлеките из неё структурированный JSON. Наведите курсор, чтобы поставить на паузу и прочитать.

готово

клавиши 1-2 переключают · клик для паузызапустить свой URL

Запустите свой первый запрос за считанные минуты. До 5,000 бесплатных запросов, без банковской карты.Начать бесплатно

02 Возможности

Один эндпоинт, весь стек под капотом.

Каждая сложная часть обхода в масштабе решена за вас: настоящий браузер, резидентная сеть и обход бот-защиты на каждом запросе.

рендеринг

Полный рендеринг JavaScript

Настоящий браузер исполняет страницу, поэтому динамически загружаемый контент, бесконечная прокрутка и одностраничные приложения захватываются, а не только исходный HTML.

прокси

140M резидентных IP

Каждый запрос ротирует резидентный IP по 30 регионам, поэтому вы получаете доступ к любому сайту как настоящий локальный посетитель.

анти-бот

Обход блокировок и CAPTCHA

Бот-стены, CAPTCHA и лимиты запросов обходятся автоматически. Нечего решать, нечего поддерживать при изменении сайта.

извлечение

Autoparse и скраперы

Получите полный отрендеренный HTML или добавьте autoparse=true или scraper=… чтобы вернуть заголовок, контент, цены, изображения и ссылки в виде JSON.

захват

Скриншоты

Добавьте screenshot=true чтобы захватить полностраничное изображение отрендеренной страницы, сохранённое и готовое к загрузке.

масштаб

Асинхронность и облачное хранилище

Запускайте асинхронно с вебхуками и краулером, и храните каждую обойдённую страницу в облачном хранилище. Смотреть живое демо.

03 Параметры

Каждый запрос, полностью параметризованный.

Один эндпоинт, управляемый параметрами запроса. Геотаргетинг, рендеринг, парсинг, скриншот, хранение и сессия, всё из одного вызова.

token=PRIVATE_TOKEN

Обязательно. Ваш токен доступа к API.

url=https://crawlbase.com/ip

Обязательно. URL для краулинга.

country=US

Страна расположения прокси, +48 стран.

scraper=scraper-name

Выполнить краулинг, затем извлечь данные скрапером.

screenshot=true

Делать скриншоты браузера в виде изображений.

format=html

Формат ответа: html, json или md (Markdown).

store=true

Хранить полученные данные в облаке.

device=mobile

Краулинг на мобильных устройствах или десктопе.

autoparse=true

Crawling API может автоматически разобрать любую веб-страницу.

tor_network=true

Краулинг onion-сайтов через сеть Tor.

Смотреть все параметры →

04 Как это работает

От URL до данных за один вызов.

Каждый запрос проходит один и тот же путь. Вы отправляете URL, мы управляем всем, что между.

Вы отправляете URL

Передайте любой URL со своим токеном плюс любые нужные параметры: страну, ожидания рендеринга, парсинг, скриншоты или хранение.

Мы ротируем прокси

Резидентный IP и география, которые доходят до сайта без проблем, выбранные из 140M IP по 30 регионам.

Мы рендерим страницу

Настоящий браузер загружает страницу, поэтому JavaScript, динамический контент и бесконечная прокрутка рендерятся до захвата.

Мы обходим анти-боты

Бот-проверки, CAPTCHA и лимиты запросов обрабатываются автоматически. Нечего решать, нечего поддерживать.

Мы возвращаем HTML или JSON

Возвращается полностью отрендеренный HTML, типизированный JSON при добавлении скрапера или autoparse, чистый Markdown по запросу, или изображение, когда вы запрашиваете скриншот.

05 Сценарии использования

Что команды строят на Crawling API.

USE / 01Коммерция

Мониторинг цен и каталогов

Отслеживайте цены, наличие и товарные позиции у ритейлеров и маркетплейсов, распарсенные в JSON на каждом обходе.

USE / 02Поиск

Отслеживание SERP и SEO

Обходите результаты поиска и страницы конкурентов, чтобы отслеживать позиции, сниппеты и контент в масштабе.

USE / 03AI

Обучающие данные и RAG

Подавайте чистые отрендеренные страницы и структурированный JSON в модели, RAG-пайплайны и агентов через один API.

USE / 04Рост

Поиск лидов и контактов

Обходите каталоги, профили и списки, чтобы строить и обогащать пайплайны.

USE / 05Исследования

Рыночная и контентная аналитика

Агрегируйте новости, отзывы и публичные данные, чтобы принимать решения по продукту, ценообразованию и стратегии.

USE / 06Охват

Любой сайт, один API

Обходите любой публичный URL с тем же токеном, от одной страницы до миллионов с асинхронным краулером.

06 Тарифы

Одна тарифная сетка для всех продуктов.

Запросы Crawling API расходуют кредиты по шкале платформы: тарифы снижаются по мере роста месячного объёма, а оплачиваются только успешные запросы.

Оплата по факту использованияОт $3.00 до $0.02 за 1,000 успешных запросов

Оплачиваются только успешные запросы, а тарифы снижаются по мере роста объёма. Подписки по желанию от $99 / мес. Начните бесплатно, до 5,000 запросов, без кредитной карты.

Посмотреть тарифы Начать бесплатно

07 Заметки

Полезно знать.

Тестируйте бесплатно

До 5,000 запросов бесплатны, без банковской карты. Один и тот же токен работает в Crawling API и каждом скрапере.

Простое ценообразование по использованию

Платите за то, что обходите, без долгосрочных контрактов, отмена в любой момент. Смотрите полную разбивку на странице цен.

Полностью документировано

Каждый параметр и ответ описан в документации Crawling API, с примерами copy-paste для каждого SDK.

Соответствие GDPR и CCPA

Crawlbase внедряет стандарты защиты потребителей по всему миру, со встроенными справедливостью и прозрачностью в том, как обрабатываются данные.

08 Почему Crawlbase

Создано для обхода веба в масштабе.

Crawling API работает в той же сети, что обслуживает 46,000+ платящих клиентов и 70,000+ разработчиков. Не нужно покупать прокси, запускать браузеры, ничего не нужно патчить при изменении сайта.

99%

Средний процент успешных запросов

46K+

Платящих клиентов в сети

Регионов для точных локальных результатов

99.99%

Аптайм сети

Один токен, официальные SDK для Node, Python, Ruby, PHP, Java, .NET и Go, и резидентная сеть под капотом.

09 FAQ

Вопросы о Crawling API.

Единый REST API, который обходит любой URL через резидентные прокси в настоящем браузере, обходит бот-проверки и CAPTCHA, и возвращает полностью отрендеренный HTML. Добавьте скрапер или autoparse для структурированного JSON, либо screenshot=true для изображения.

Да. Настоящий браузер исполняет страницу, поэтому динамически загружаемый контент, бесконечная прокрутка и одностраничные приложения захватываются, а не только исходный HTML. Добавьте ajax_wait или page_wait для медленных страниц.

Да. Добавьте scraper=generic-extractor для универсального JSON, autoparse=true для популярных сайтов вроде Amazon и Google, или именованный скрапер для конкретного сайта. Иначе вы получаете полный отрендеренный HTML, чтобы распарсить самостоятельно.

Crawlbase направляет каждый запрос через ротируемые резидентные IP по 30 регионам и обходит бот-проверки автоматически. Вы не управляете прокси и не решаете CAPTCHA, и нечего поддерживать, когда сайт меняет свою настройку.

Да. Добавьте screenshot=true, и API захватывает полностраничный скриншот отрендеренной страницы в виде изображения, сохранённого для вас на срок до одного часа.

Любые. Crawling API это обычный REST-эндпоинт, с официальными SDK для Node, Python, Ruby, PHP, Java, .NET и Go, поэтому он встраивается в ваш существующий стек.

Начните бесплатно, до 5,000 запросов, без кредитной карты. Дальше вы платите за каждый успешный запрос по единой ступенчатой тарифной сетке, общей для всех продуктов Crawlbase, с подписками по желанию от $99 в месяц. Полная тарифная сетка на странице тарифов.

Начните обходить веб.
Забудьте о прокси и блокировках.

Бесплатно на старте, до 5,000 запросов. Один токен для Crawling API и каждого скрапера.