What is the Crawlbase Crawling API?

A single REST API that crawls any URL through residential proxies in a real browser, clears bot checks and CAPTCHAs, and returns the fully rendered HTML. Add a scraper or autoparse for structured JSON, or screenshot=true for an image.

Does it render JavaScript?

Yes. A real browser executes the page, so dynamically loaded content, infinite scroll and single-page apps are captured, not just the initial HTML. Add ajax_wait or page_wait for slow pages.

Can I get structured JSON instead of HTML?

Yes. Add scraper=generic-extractor for universal JSON, autoparse=true for popular sites like Amazon and Google, or a named scraper for a specific site. Otherwise you get the full rendered HTML to parse yourself.

How do I avoid getting blocked?

Crawlbase routes each request through rotating residential IPs across 30 geographies and clears bot checks automatically. You do not manage proxies or solve CAPTCHAs, and there is nothing to maintain when a site changes its setup.

Can I take screenshots?

Yes. Add screenshot=true and the API captures a full-page screenshot of the rendered page as an image, stored for you for up to an hour.

Which languages and frameworks are supported?

Any. The Crawling API is a plain REST endpoint, with official SDKs for Node, Python, Ruby, PHP, Java, .NET and Go, so it drops into your existing stack.

How much does it cost?

Start free with up to 20,000 requests and no credit card. Paid plans scale with usage, and the same token works across the Crawling API and every Crawlbase scraper.

Продукт / Crawling API

Crawling API.
Любой URL, полностью отрендеренный.

Отправьте любой URL и получите обратно полностью отрендеренный HTML через 140M резидентных IP со встроенным обходом анти-бот систем.
Добавьте скрапер или autoparse для структурированного JSON, либо скриншот.

Начать бесплатно читать документацию

99% успешных запросов140M резидентных IP30 регионов

Живой поток обхода1.24M req/minСтриминг

200google.com/search?q=web+scrapingAU190ms

301indeed.com/jobs?q=developerCA99ms

200walmart.com/ip/55048794JP81ms

200booking.com/searchresults.html?ss=ParisFR181ms

200google.com/search?q=web+scrapingBR55ms

200yelp.com/biz/blue-bottle-coffeeDE83ms

200booking.com/searchresults.html?ss=ParisBR110ms

200ebay.com/itm/204512389011AU132ms

200glassdoor.com/Reviews/index.htmBR53ms

200tripadvisor.com/Restaurants-g60763DE114ms

200glassdoor.com/Reviews/index.htmBR211ms

200stackoverflow.com/questions/11227809AU64ms

404target.com/p/-/A-79404211JP202ms

200yelp.com/biz/blue-bottle-coffeeBR52ms

200producthunt.com/posts/notionCA169ms

200github.com/crawlbaseES178ms

200amazon.com/dp/B08N5WRWNWUS203ms

200stackoverflow.com/questions/11227809ES207ms

200ebay.com/itm/204512389011JP97ms

200amazon.com/dp/B08N5WRWNWGB211ms

200indeed.com/jobs?q=developerAU57ms

200yelp.com/biz/blue-bottle-coffeeDE86ms

200indeed.com/jobs?q=developerSG168ms

200tripadvisor.com/Restaurants-g60763ES210ms

200zillow.com/homes/for_sale/AU213ms

200zillow.com/homes/for_sale/CA52ms

200google.com/search?q=web+scrapingAU190ms

301indeed.com/jobs?q=developerCA99ms

200walmart.com/ip/55048794JP81ms

200booking.com/searchresults.html?ss=ParisFR181ms

200google.com/search?q=web+scrapingBR55ms

200yelp.com/biz/blue-bottle-coffeeDE83ms

200booking.com/searchresults.html?ss=ParisBR110ms

200ebay.com/itm/204512389011AU132ms

200glassdoor.com/Reviews/index.htmBR53ms

200tripadvisor.com/Restaurants-g60763DE114ms

200glassdoor.com/Reviews/index.htmBR211ms

200stackoverflow.com/questions/11227809AU64ms

404target.com/p/-/A-79404211JP202ms

200yelp.com/biz/blue-bottle-coffeeBR52ms

200producthunt.com/posts/notionCA169ms

200github.com/crawlbaseES178ms

200amazon.com/dp/B08N5WRWNWUS203ms

200stackoverflow.com/questions/11227809ES207ms

200ebay.com/itm/204512389011JP97ms

200amazon.com/dp/B08N5WRWNWGB211ms

200indeed.com/jobs?q=developerAU57ms

200yelp.com/biz/blue-bottle-coffeeDE86ms

200indeed.com/jobs?q=developerSG168ms

200tripadvisor.com/Restaurants-g60763ES210ms

200zillow.com/homes/for_sale/AU213ms

200zillow.com/homes/for_sale/CA52ms

01 Живое демо

На входе любой URL. На выходе HTML или JSON.

Crawling API, набираемый в реальном времени. Обойдите страницу для получения отрендеренного HTML или извлеките из неё структурированный JSON. Наведите курсор, чтобы поставить на паузу и прочитать.

готово

клавиши 1-2 переключают · клик для паузызапустить свой URL

Запустите свой первый запрос за считанные минуты. До 20,000 бесплатных запросов, без банковской карты.Начать бесплатно

02 Возможности

Один эндпоинт, весь стек под капотом.

Каждая сложная часть обхода в масштабе решена за вас: настоящий браузер, резидентная сеть и обход бот-защиты на каждом запросе.

рендеринг

Полный рендеринг JavaScript

Настоящий браузер исполняет страницу, поэтому динамически загружаемый контент, бесконечная прокрутка и одностраничные приложения захватываются, а не только исходный HTML.

прокси

140M резидентных IP

Каждый запрос ротирует резидентный IP по 30 регионам, поэтому вы получаете доступ к любому сайту как настоящий локальный посетитель.

анти-бот

Обход блокировок и CAPTCHA

Бот-стены, CAPTCHA и лимиты запросов обходятся автоматически. Нечего решать, нечего поддерживать при изменении сайта.

извлечение

Autoparse и скраперы

Получите полный отрендеренный HTML или добавьте autoparse=true или scraper=… чтобы вернуть заголовок, контент, цены, изображения и ссылки в виде JSON.

захват

Скриншоты

Добавьте screenshot=true чтобы захватить полностраничное изображение отрендеренной страницы, сохранённое и готовое к загрузке.

масштаб

Асинхронность и облачное хранилище

Запускайте асинхронно с вебхуками и краулером, и храните каждую обойдённую страницу в облачном хранилище. Смотреть живое демо.

03 Параметры

Каждый запрос, полностью параметризованный.

Один эндпоинт, управляемый параметрами запроса. Геотаргетинг, рендеринг, парсинг, скриншот, хранение и сессия, всё из одного вызова.

token=PRIVATE_TOKEN

Обязательно. Ваш токен доступа к API.

url=https://crawlbase.com/ip

Обязательно. URL для краулинга.

country=US

Страна расположения прокси, +48 стран.

scraper=scraper-name

Выполнить краулинг, затем извлечь данные скрапером.

screenshot=true

Делать скриншоты браузера в виде изображений.

format=html

Формат ответа: html, json или md (Markdown).

store=true

Хранить полученные данные в облаке.

device=mobile

Краулинг на мобильных устройствах или десктопе.

autoparse=true

Crawling API может автоматически разобрать любую веб-страницу.

tor_network=true

Краулинг onion-сайтов через сеть Tor.

Смотреть все параметры →

04 Как это работает

От URL до данных за один вызов.

Каждый запрос проходит один и тот же путь. Вы отправляете URL, мы управляем всем, что между.

Вы отправляете URL

Передайте любой URL со своим токеном плюс любые нужные параметры: страну, ожидания рендеринга, парсинг, скриншоты или хранение.

Мы ротируем прокси

Резидентный IP и география, которые доходят до сайта без проблем, выбранные из 140M IP по 30 регионам.

Мы рендерим страницу

Настоящий браузер загружает страницу, поэтому JavaScript, динамический контент и бесконечная прокрутка рендерятся до захвата.

Мы обходим анти-боты

Бот-проверки, CAPTCHA и лимиты запросов обрабатываются автоматически. Нечего решать, нечего поддерживать.

Мы возвращаем HTML или JSON

Возвращается полностью отрендеренный HTML, типизированный JSON при добавлении скрапера или autoparse, чистый Markdown по запросу, или изображение, когда вы запрашиваете скриншот.

05 Сценарии использования

Что команды строят на Crawling API.

USE / 01Коммерция

Мониторинг цен и каталогов

Отслеживайте цены, наличие и товарные позиции у ритейлеров и маркетплейсов, распарсенные в JSON на каждом обходе.

USE / 02Поиск

Отслеживание SERP и SEO

Обходите результаты поиска и страницы конкурентов, чтобы отслеживать позиции, сниппеты и контент в масштабе.

USE / 03AI

Обучающие данные и RAG

Подавайте чистые отрендеренные страницы и структурированный JSON в модели, RAG-пайплайны и агентов через один API.

USE / 04Рост

Поиск лидов и контактов

Обходите каталоги, профили и списки, чтобы строить и обогащать пайплайны.

USE / 05Исследования

Рыночная и контентная аналитика

Агрегируйте новости, отзывы и публичные данные, чтобы принимать решения по продукту, ценообразованию и стратегии.

USE / 06Охват

Любой сайт, один API

Обходите любой публичный URL с тем же токеном, от одной страницы до миллионов с асинхронным краулером.

06 Цены

Добавьте сайты, которые обходите, и увидите цену.

Добавьте сайты, которые обходите, с их месячным объёмом и типом запроса. Мы группируем их по сложности и типу, затем оцениваем каждую группу по её суммарному объёму, поэтому чем больше вы обходите, тем дешевле это обходится.

100k / mo

Сайтов пока нет. Добавьте один выше, чтобы начать оценку.

Оценочная месячная стоимость

$0/ mo

≈ $0.00 усреднённо за 1,000 запросов

До 20,000 запросов бесплатно. Без банковской карты.

Начать бесплатно Обходите более 1B в месяц? Свяжитесь с нами →

07 Заметки

Полезно знать.

Тестируйте бесплатно

До 20,000 запросов бесплатны, без банковской карты. Один и тот же токен работает в Crawling API и каждом скрапере.

Простое ценообразование по использованию

Платите за то, что обходите, без долгосрочных контрактов, отмена в любой момент. Смотрите полную разбивку на странице цен.

Полностью документировано

Каждый параметр и ответ описан в документации Crawling API, с примерами copy-paste для каждого SDK.

Соответствие GDPR и CCPA

Crawlbase внедряет стандарты защиты потребителей по всему миру, со встроенными справедливостью и прозрачностью в том, как обрабатываются данные.

08 Почему Crawlbase

Создано для обхода веба в масштабе.

Crawling API работает в той же сети, что обслуживает 46,000+ платящих клиентов и 70,000+ разработчиков. Не нужно покупать прокси, запускать браузеры, ничего не нужно патчить при изменении сайта.

99%

Средний процент успешных запросов

46K+

Платящих клиентов в сети

Регионов для точных локальных результатов

99.99%

Аптайм сети

Один токен, официальные SDK для Node, Python, Ruby, PHP, Java, .NET и Go, и резидентная сеть под капотом.

09 FAQ

Вопросы о Crawling API.

Единый REST API, который обходит любой URL через резидентные прокси в настоящем браузере, обходит бот-проверки и CAPTCHA, и возвращает полностью отрендеренный HTML. Добавьте скрапер или autoparse для структурированного JSON, либо screenshot=true для изображения.

Да. Настоящий браузер исполняет страницу, поэтому динамически загружаемый контент, бесконечная прокрутка и одностраничные приложения захватываются, а не только исходный HTML. Добавьте ajax_wait или page_wait для медленных страниц.

Да. Добавьте scraper=generic-extractor для универсального JSON, autoparse=true для популярных сайтов вроде Amazon и Google, или именованный скрапер для конкретного сайта. Иначе вы получаете полный отрендеренный HTML, чтобы распарсить самостоятельно.

Crawlbase направляет каждый запрос через ротируемые резидентные IP по 30 регионам и обходит бот-проверки автоматически. Вы не управляете прокси и не решаете CAPTCHA, и нечего поддерживать, когда сайт меняет свою настройку.

Да. Добавьте screenshot=true, и API захватывает полностраничный скриншот отрендеренной страницы в виде изображения, сохранённого для вас на срок до одного часа.

Любые. Crawling API это обычный REST-эндпоинт, с официальными SDK для Node, Python, Ruby, PHP, Java, .NET и Go, поэтому он встраивается в ваш существующий стек.

Начните бесплатно, до 20,000 запросов и без банковской карты. Платные планы масштабируются с использованием, и один и тот же токен работает в Crawling API и каждом скрапере Crawlbase.

Начните обходить веб.
Забудьте о прокси и блокировках.

Бесплатно на старте, до 20,000 запросов. Один токен для Crawling API и каждого скрапера.