What is the Crawlbase Crawling API?

A single REST API that crawls any URL through residential proxies in a real browser, clears bot checks and CAPTCHAs, and returns the fully rendered HTML. Add a scraper or autoparse for structured JSON, or screenshot=true for an image.

Does it render JavaScript?

Yes. A real browser executes the page, so dynamically loaded content, infinite scroll and single-page apps are captured, not just the initial HTML. Add ajax_wait or page_wait for slow pages.

Can I get structured JSON instead of HTML?

Yes. Add scraper=generic-extractor for universal JSON, autoparse=true for popular sites like Amazon and Google, or a named scraper for a specific site. Otherwise you get the full rendered HTML to parse yourself.

How do I avoid getting blocked?

Crawlbase routes each request through rotating residential IPs across 30 geographies and clears bot checks automatically. You do not manage proxies or solve CAPTCHAs, and there is nothing to maintain when a site changes its setup.

Can I take screenshots?

Yes. Add screenshot=true and the API captures a full-page screenshot of the rendered page as an image, stored for you for up to an hour.

Which languages and frameworks are supported?

Any. The Crawling API is a plain REST endpoint, with official SDKs for Node, Python, Ruby, PHP, Java, .NET and Go, so it drops into your existing stack.

How much does it cost?

Start free with up to 10,000 requests and no credit card. Paid plans scale with usage, and the same token works across the Crawling API and every Crawlbase scraper.

Продукт / Crawling API

Crawling API.
Любой URL, полностью отрендеренный.

Отправьте любой URL и получите обратно полностью отрендеренный HTML через 140M резидентных IP со встроенным обходом анти-бот систем.
Добавьте скрапер или autoparse для структурированного JSON, либо скриншот.

Начать бесплатно читать документацию

99% успешных запросов140M резидентных IP30 регионов

Живой поток обхода1.24M req/minСтриминг

404tripadvisor.com/Restaurants-g60763ES82ms

200producthunt.com/posts/notionAU50ms

200ebay.com/itm/204512389011SG174ms

200walmart.com/ip/55048794SG183ms

200google.com/search?q=web+scrapingFR132ms

200glassdoor.com/Reviews/index.htmGB133ms

200ebay.com/itm/204512389011DE213ms

301target.com/p/-/A-79404211BR173ms

200walmart.com/ip/55048794CA126ms

200walmart.com/ip/55048794NL177ms

200tripadvisor.com/Restaurants-g60763JP55ms

200indeed.com/jobs?q=developerGB156ms

200linkedin.com/jobs/searchSG146ms

200ebay.com/itm/204512389011SG192ms

200ebay.com/itm/204512389011DE78ms

200booking.com/searchresults.html?ss=ParisAU132ms

200zillow.com/homes/for_sale/SG201ms

404target.com/p/-/A-79404211ES56ms

200google.com/search?q=web+scrapingAU107ms

200yelp.com/biz/blue-bottle-coffeeDE197ms

200tripadvisor.com/Restaurants-g60763GB114ms

301glassdoor.com/Reviews/index.htmFR154ms

200glassdoor.com/Reviews/index.htmFR188ms

200producthunt.com/posts/notionCA83ms

200target.com/p/-/A-79404211CA115ms

200linkedin.com/jobs/searchBR120ms

404tripadvisor.com/Restaurants-g60763ES82ms

200producthunt.com/posts/notionAU50ms

200ebay.com/itm/204512389011SG174ms

200walmart.com/ip/55048794SG183ms

200google.com/search?q=web+scrapingFR132ms

200glassdoor.com/Reviews/index.htmGB133ms

200ebay.com/itm/204512389011DE213ms

301target.com/p/-/A-79404211BR173ms

200walmart.com/ip/55048794CA126ms

200walmart.com/ip/55048794NL177ms

200tripadvisor.com/Restaurants-g60763JP55ms

200indeed.com/jobs?q=developerGB156ms

200linkedin.com/jobs/searchSG146ms

200ebay.com/itm/204512389011SG192ms

200ebay.com/itm/204512389011DE78ms

200booking.com/searchresults.html?ss=ParisAU132ms

200zillow.com/homes/for_sale/SG201ms

404target.com/p/-/A-79404211ES56ms

200google.com/search?q=web+scrapingAU107ms

200yelp.com/biz/blue-bottle-coffeeDE197ms

200tripadvisor.com/Restaurants-g60763GB114ms

301glassdoor.com/Reviews/index.htmFR154ms

200glassdoor.com/Reviews/index.htmFR188ms

200producthunt.com/posts/notionCA83ms

200target.com/p/-/A-79404211CA115ms

200linkedin.com/jobs/searchBR120ms

01 Живое демо

На входе любой URL. На выходе HTML или JSON.

Crawling API, набираемый в реальном времени. Обойдите страницу для получения отрендеренного HTML или извлеките из неё структурированный JSON. Наведите курсор, чтобы поставить на паузу и прочитать.

готово

клавиши 1-2 переключают · клик для паузызапустить свой URL

Запустите свой первый запрос за считанные минуты. До 10,000 бесплатных запросов, без банковской карты.Начать бесплатно

02 Возможности

Один эндпоинт, весь стек под капотом.

Каждая сложная часть обхода в масштабе решена за вас: настоящий браузер, резидентная сеть и обход бот-защиты на каждом запросе.

рендеринг

Полный рендеринг JavaScript

Настоящий браузер исполняет страницу, поэтому динамически загружаемый контент, бесконечная прокрутка и одностраничные приложения захватываются, а не только исходный HTML.

прокси

140M резидентных IP

Каждый запрос ротирует резидентный IP по 30 регионам, поэтому вы получаете доступ к любому сайту как настоящий локальный посетитель.

анти-бот

Обход блокировок и CAPTCHA

Бот-стены, CAPTCHA и лимиты запросов обходятся автоматически. Нечего решать, нечего поддерживать при изменении сайта.

извлечение

Autoparse и скраперы

Получите полный отрендеренный HTML или добавьте autoparse=true или scraper=… чтобы вернуть заголовок, контент, цены, изображения и ссылки в виде JSON.

захват

Скриншоты

Добавьте screenshot=true чтобы захватить полностраничное изображение отрендеренной страницы, сохранённое и готовое к загрузке.

масштаб

Асинхронность и облачное хранилище

Запускайте асинхронно с вебхуками и краулером, и храните каждую обойдённую страницу в облачном хранилище. Смотреть живое демо.

03 Параметры

Каждый запрос, полностью параметризованный.

Один эндпоинт, управляемый параметрами запроса. Геотаргетинг, рендеринг, парсинг, скриншот, хранение и сессия, всё из одного вызова.

token=PRIVATE_TOKEN

Required. Your API access token.

url=https://crawlbase.com/ip

Required. A URL to crawl.

country=US

Proxy location country, +48 countries.

scraper=scraper-name

Crawl then extract with a scraper.

screenshot=true

Take screenshots of browser as images.

format=html

Response format: html, json or md (Markdown).

store=true

Store your crawled or scraped data in the cloud.

device=mobile

Crawl on mobile devices or desktop.

autoparse=true

Crawling API can autoparse any web page.

tor_network=true

Crawl onion websites over the Tor network.

Смотреть все параметры →

04 Как это работает

От URL до данных за один вызов.

Каждый запрос проходит один и тот же путь. Вы отправляете URL, мы управляем всем, что между.

Вы отправляете URL

Передайте любой URL со своим токеном плюс любые нужные параметры: страну, ожидания рендеринга, парсинг, скриншоты или хранение.

Мы ротируем прокси

Резидентный IP и география, которые доходят до сайта без проблем, выбранные из 140M IP по 30 регионам.

Мы рендерим страницу

Настоящий браузер загружает страницу, поэтому JavaScript, динамический контент и бесконечная прокрутка рендерятся до захвата.

Мы обходим анти-боты

Бот-проверки, CAPTCHA и лимиты запросов обрабатываются автоматически. Нечего решать, нечего поддерживать.

Мы возвращаем HTML или JSON

Возвращается полностью отрендеренный HTML, типизированный JSON при добавлении скрапера или autoparse, чистый Markdown по запросу, или изображение, когда вы запрашиваете скриншот.

05 Сценарии использования

Что команды строят на Crawling API.

USE / 01Коммерция

Мониторинг цен и каталогов

Отслеживайте цены, наличие и товарные позиции у ритейлеров и маркетплейсов, распарсенные в JSON на каждом обходе.

USE / 02Поиск

Отслеживание SERP и SEO

Обходите результаты поиска и страницы конкурентов, чтобы отслеживать позиции, сниппеты и контент в масштабе.

USE / 03AI

Обучающие данные и RAG

Подавайте чистые отрендеренные страницы и структурированный JSON в модели, RAG-пайплайны и агентов через один API.

USE / 04Рост

Поиск лидов и контактов

Обходите каталоги, профили и списки, чтобы строить и обогащать пайплайны.

USE / 05Исследования

Рыночная и контентная аналитика

Агрегируйте новости, отзывы и публичные данные, чтобы принимать решения по продукту, ценообразованию и стратегии.

USE / 06Охват

Любой сайт, один API

Обходите любой публичный URL с тем же токеном, от одной страницы до миллионов с асинхронным краулером.

06 Цены

Добавьте сайты, которые обходите, и увидите цену.

Добавьте сайты, которые обходите, с их месячным объёмом и типом запроса. Мы группируем их по сложности и типу, затем оцениваем каждую группу по её суммарному объёму, поэтому чем больше вы обходите, тем дешевле это обходится.

100k / mo

Сайтов пока нет. Добавьте один выше, чтобы начать оценку.

Оценочная месячная стоимость

$0/ mo

≈ $0.00 усреднённо за 1,000 запросов

До 10,000 запросов бесплатно. Без банковской карты.

Начать бесплатно Обходите более 1B в месяц? Свяжитесь с нами →

07 Заметки

Полезно знать.

Тестируйте бесплатно

До 10,000 запросов бесплатны, без банковской карты. Один и тот же токен работает в Crawling API и каждом скрапере.

Простое ценообразование по использованию

Платите за то, что обходите, без долгосрочных контрактов, отмена в любой момент. Смотрите полную разбивку на странице цен.

Полностью документировано

Каждый параметр и ответ описан в документации Crawling API, с примерами copy-paste для каждого SDK.

Соответствие GDPR и CCPA

Crawlbase внедряет стандарты защиты потребителей по всему миру, со встроенными справедливостью и прозрачностью в том, как обрабатываются данные.

08 Почему Crawlbase

Создано для обхода веба в масштабе.

Crawling API работает в той же сети, что обслуживает 46,000+ платящих клиентов и 70,000+ разработчиков. Не нужно покупать прокси, запускать браузеры, ничего не нужно патчить при изменении сайта.

99%

Средний процент успешных запросов

46K+

Платящих клиентов в сети

Регионов для точных локальных результатов

99.99%

Аптайм сети

Один токен, официальные SDK для Node, Python, Ruby, PHP, Java, .NET и Go, и резидентная сеть под капотом.

09 FAQ

Вопросы о Crawling API.

Единый REST API, который обходит любой URL через резидентные прокси в настоящем браузере, обходит бот-проверки и CAPTCHA, и возвращает полностью отрендеренный HTML. Добавьте скрапер или autoparse для структурированного JSON, либо screenshot=true для изображения.

Да. Настоящий браузер исполняет страницу, поэтому динамически загружаемый контент, бесконечная прокрутка и одностраничные приложения захватываются, а не только исходный HTML. Добавьте ajax_wait или page_wait для медленных страниц.

Да. Добавьте scraper=generic-extractor для универсального JSON, autoparse=true для популярных сайтов вроде Amazon и Google, или именованный скрапер для конкретного сайта. Иначе вы получаете полный отрендеренный HTML, чтобы распарсить самостоятельно.

Crawlbase направляет каждый запрос через ротируемые резидентные IP по 30 регионам и обходит бот-проверки автоматически. Вы не управляете прокси и не решаете CAPTCHA, и нечего поддерживать, когда сайт меняет свою настройку.

Да. Добавьте screenshot=true, и API захватывает полностраничный скриншот отрендеренной страницы в виде изображения, сохранённого для вас на срок до одного часа.

Любые. Crawling API это обычный REST-эндпоинт, с официальными SDK для Node, Python, Ruby, PHP, Java, .NET и Go, поэтому он встраивается в ваш существующий стек.

Начните бесплатно, до 10,000 запросов и без банковской карты. Платные планы масштабируются с использованием, и один и тот же токен работает в Crawling API и каждом скрапере Crawlbase.

Начните обходить веб.
Забудьте о прокси и блокировках.

Бесплатно на старте, до 10,000 запросов. Один токен для Crawling API и каждого скрапера.