Документация для разработчиков Crawlbase
Веб,
структурированный для разработчиков.
Краульте, скрейпьте и парсите любые сайты в масштабе через единый API. Готовые к продакшену эндпоинты, нативные SDKs и MCP-сервер, который напрямую подключается к Claude, Cursor и вашему агентскому стеку.
Выберите интерфейс под ваш стек
Универсальный краулинг с полным рендерингом в headless-браузере, резидентными прокси и встроенным обходом анти-бот защиты. Швейцарский нож.
Отправляйте миллионы URL с высокой конкурентностью, получайте результаты потоком на ваш webhook. Мы берём на себя очередь, ретраи и хранилище.
Резидентные и датацентровые прокси с ротацией. Единый endpoint, который выбирает правильный exit-узел, ретраит ошибки и работает с любым HTTP-клиентом.
Храните, управляйте и отдавайте собранные данные. Сохраняйте краулированный HTML и распарсенный JSON - получайте позже по url или rid, без инфраструктуры для эксплуатации.
Что можно построить?
Опрашивайте страницы товаров Amazon, Walmart, Best Buy или любого другого ритейлера по расписанию. Сохраняйте снимки цены, наличия и рейтинга в базу данных - получайте алерты при их изменении.
Ежедневные снимки SERP по вашим целевым ключевым словам. Отслеживайте позиции домена в органике, мониторьте охват People-Also-Ask, постройте дашборд присутствия в SERP-фичах.
Доступ к вебу в реальном времени для Claude, Cursor и любого MCP-совместимого агента. Или массово краульте корпус и направляйте Markdown в индекс для retrieval, чтобы получать обоснованные ответы LLM.
Пройдитесь по списку доменов компаний, извлеките все видимые email-адреса с помощью скрейпера email-extractor, обогатите данными компаний и профилей LinkedIn. Списки лидов готовы к загрузке в CRM.
Отслеживайте запуски продуктов конкурентов, вовлечённость в соцсетях и тональность отзывов во времени. Сравнивайте JSON, собранный неделя к неделе, чтобы фиксировать изменения цен, текстов или функций.
Ваш первый краулинг за 60 секунд
curl 'https://api.crawlbase.com/?token=YOUR_TOKEN&url=https%3A%2F%2Fgithub.com%2Fcrawlbase'from crawlbase import CrawlingAPI
api = CrawlingAPI({'token': 'YOUR_TOKEN'})
response = api.get('https://github.com/crawlbase')
if response['status_code'] == 200:
print(response['body'])const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_TOKEN' });
api.get('https://github.com/crawlbase')
.then(res => console.log(res.statusCode, res.body))
.catch(err => console.error(err));require 'crawlbase'
api = Crawlbase::API.new(token: 'YOUR_TOKEN')
response = api.get('https://github.com/crawlbase')
puts response.status_code
puts response.body<?php
use Crawlbase\CrawlingAPI;
$api = new CrawlingAPI(['token' => 'YOUR_TOKEN']);
$response = $api->get('https://github.com/crawlbase');
echo $response->statusCode;
echo $response->body;package main
import (
"fmt"
"github.com/crawlbase/crawlbase-go"
)
func main() {
api := crawlbase.NewCrawlingAPI("YOUR_TOKEN")
res, _ := api.Get("https://github.com/crawlbase")
fmt.Println(res.StatusCode, res.Body)
}
