Which SDKs does Crawlbase offer?

Official SDKs for Node, Python, Ruby, PHP, Java, .NET and Go, plus a Scrapy middleware and a Zapier integration. All are free and call the Crawling API and every Crawlbase scraper through one client.

Yes. Every SDK and library is free, with no extra cost. You only pay for the Crawling API requests you make, and up to 5,000 are free.

What if my language is not listed?

You do not need an SDK. The Crawlbase API is a plain REST endpoint, so you can call it directly over HTTP from any language or tool.

What do the SDKs cover?

One client covers the Crawling API and the scrapers, with helpers for parameters such as autoparse, screenshots, geotargeting and storage, so you write less boilerplate.

How do I authenticate?

Initialize the client with one of your Crawlbase tokens. The same token works across the SDKs, the Crawling API, the Crawler and every scraper.

Every SDK is documented with copy-paste examples, and our support team is available if you hit an issue or want to contribute a library.

Продукт / Библиотеки и SDK

Библиотеки и SDK.
Один токен, любой язык.

Официальные бесплатные SDK для Node, Python, Ruby, PHP, Java, .NET и Go, а также Scrapy и Zapier.
Установите одной строкой или вызывайте REST API напрямую по HTTP откуда угодно.

Начать бесплатно Читать документацию

7 языков, 2 интеграцииБесплатно и открытоnpm · PyPI · RubyGems · Packagist

Живые вызовы SDK1.24M req/minПотоковая передача

200stackoverflow.com/questions/11227809ES152ms

200indeed.com/viewjob?jk=8a1cAU170ms

200github.com/crawlbaseIN123ms

200github.com/crawlbaseNL59ms

200google.com/search?q=4k+tvNL65ms

200glassdoor.com/Reviews/googleBR213ms

301booking.com/hotel/fr/le-meuriceIN185ms

200yelp.com/biz/blue-bottle-sfDE116ms

200github.com/crawlbaseSG194ms

200producthunt.com/posts/notionCA80ms

200etsy.com/listing/1029384US88ms

200tripadvisor.com/Hotel_Review-g60763GB146ms

200github.com/crawlbaseJP126ms

200yelp.com/biz/blue-bottle-sfAU91ms

200indeed.com/viewjob?jk=8a1cUS212ms

200github.com/crawlbaseDE157ms

200tripadvisor.com/Hotel_Review-g60763AU150ms

200linkedin.com/in/williamhgatesJP40ms

200producthunt.com/posts/notionAU111ms

200amazon.com/dp/B08N5JZGGWJP165ms

200booking.com/hotel/fr/le-meuriceDE163ms

200target.com/p/-/A-79348122JP142ms

200target.com/p/-/A-79348122AU198ms

200indeed.com/viewjob?jk=8a1cDE184ms

200zillow.com/homedetails/123GB107ms

200github.com/crawlbaseCA148ms

200stackoverflow.com/questions/11227809ES152ms

200indeed.com/viewjob?jk=8a1cAU170ms

200github.com/crawlbaseIN123ms

200github.com/crawlbaseNL59ms

200google.com/search?q=4k+tvNL65ms

200glassdoor.com/Reviews/googleBR213ms

301booking.com/hotel/fr/le-meuriceIN185ms

200yelp.com/biz/blue-bottle-sfDE116ms

200github.com/crawlbaseSG194ms

200producthunt.com/posts/notionCA80ms

200etsy.com/listing/1029384US88ms

200tripadvisor.com/Hotel_Review-g60763GB146ms

200github.com/crawlbaseJP126ms

200yelp.com/biz/blue-bottle-sfAU91ms

200indeed.com/viewjob?jk=8a1cUS212ms

200github.com/crawlbaseDE157ms

200tripadvisor.com/Hotel_Review-g60763AU150ms

200linkedin.com/in/williamhgatesJP40ms

200producthunt.com/posts/notionAU111ms

200amazon.com/dp/B08N5JZGGWJP165ms

200booking.com/hotel/fr/le-meuriceDE163ms

200target.com/p/-/A-79348122JP142ms

200target.com/p/-/A-79348122AU198ms

200indeed.com/viewjob?jk=8a1cDE184ms

200zillow.com/homedetails/123GB107ms

200github.com/crawlbaseCA148ms

01 Живая демонстрация

Один и тот же вызов. Выберите язык.

Один клиент, набираемый вживую. Установите, инициализируйте своим токеном и запускайте краулинг. На любом языке возвращается идентичный JSON. Наведите курсор, чтобы приостановить и прочитать.

готово

клавиши 1-5 переключают · клик для паузызапустить свой URL

Выполните первый запрос за считанные минуты. До 5,000 бесплатных запросов, без кредитной карты.Начать бесплатно

02 Библиотеки

Официальные SDK для всех основных языков.

Бесплатные, открытые и с минимумом зависимостей. Установите одной строкой, инициализируйте своим токеном и вызывайте один и тот же API откуда угодно.

Node.jsnpm i crawlbase

Готовый клиент для проектов на Node и TypeScript.

npm →Pythonpip install crawlbase

Установите и вызывайте класс Crawlbase из любого приложения на Python.

PyPI →Rubygem install crawlbase

Gem без зависимостей для краулинга и скрейпинга.

RubyGems →PHPcomposer require crawlbase/crawlbase

Легковесный пакет PHP для API Crawlbase.

Packagist →Javacom.crawlbase:crawlbase-java-sdk-pom

SDK на Java для краулинга и скрейпинга с Crawlbase.

Maven →.NETdotnet add package CrawlbaseAPI

Интегрируйте API Crawlbase в проекты .NET через NuGet.

NuGet →Gogo get github.com/crawlbase/crawlbase-go

Компактный клиент на Go для Crawling API.

pkg.go.dev →Scrapypip install scrapy-crawlbase-middleware

Middleware от Crawlbase для ваших пауков Scrapy.

PyPI →Zapier

Подключите Crawlbase к no-code рабочим процессам Zapier.

Zapier →Любой языкcurl https://api.crawlbase.com

SDK не нужен. Вызывайте REST API напрямую по HTTP откуда угодно.

Смотреть документацию →Не хватает какого-то?

Создали библиотеку или хотите сотрудничать? Мы будем рады работать с вами.

Свяжитесь с нами →

03 Как это работает

От установки до данных за четыре строки.

Легко развернуть, начинаете вы или работаете в масштабе.

Выберите свой язык

Node, Python, Ruby, PHP, Java, .NET или Go. Или пропустите SDK и используйте обычный HTTP.

Установите пакет

Одна строка из вашего реестра: npm, PyPI, RubyGems, Packagist, Maven, NuGet или go get.

Инициализируйте своим токеном

Создайте клиент с одним из ваших токенов Crawlbase. Один и тот же токен работает везде.

Вызовите API

Передайте любой URL плюс параметры вроде autoparse или screenshot и прочитайте ответ.

04 Примечания

Полезно знать.

Бесплатно и открыто

Каждый SDK и каждая библиотека бесплатны. Вы платите только за те запросы к Crawling API, которые делаете, а до 5,000 бесплатны.

Любой язык по HTTP

Нет SDK для вашего стека? API представляет собой обычную конечную точку REST, поэтому вы можете вызывать его напрямую откуда угодно, что говорит по HTTP.

Полностью документировано

Каждый SDK описан в документации по SDK, с готовыми к копированию примерами установки и использования.

Один токен, любой продукт

Один и тот же токен и клиент охватывают Crawling API, Crawler и каждый скрейпер. Смотрите цены по использованию на странице тарифов.

05 Почему Crawlbase

Один клиент, вся платформа.

SDK оборачивают ту же сеть, что обслуживает более 70,000 разработчиков. Не нужно покупать прокси, запускать браузеры или что-то править, когда сайт меняется.

Официальные языковые SDK

Бесплатно

Каждая библиотека, до 5,000 бесплатных запросов

70K+

Разработчиков в сети

Токен для любого продукта

Установите одной строкой, инициализируйте своим токеном, и Crawling API и каждый скрейпер будут на расстоянии вызова метода.

06 FAQ

Вопросы по SDK.

Официальные SDK для Node, Python, Ruby, PHP, Java, .NET и Go, а также middleware для Scrapy и интеграция с Zapier. Все бесплатны и вызывают Crawling API и каждый скрейпер через один клиент.

Да. Каждый SDK и каждая библиотека бесплатны. Вы платите только за те запросы к Crawling API, которые делаете, а до 5,000 бесплатны.

Вам не нужен SDK. API Crawlbase представляет собой обычную конечную точку REST, поэтому вы можете вызывать его напрямую по HTTP с любого языка или инструмента.

Один клиент охватывает Crawling API и скрейперы, с помощниками для параметров вроде autoparse, скриншотов, геотаргетинга и хранилища, поэтому вы пишете меньше шаблонного кода.

Инициализируйте клиент одним из ваших токенов Crawlbase. Один и тот же токен работает во всех SDK, в Crawling API, в Crawler и в каждом скрейпере.

Каждый SDK документирован с готовыми к копированию примерами, а наша команда поддержки готова помочь, если вы столкнулись с проблемой или хотите внести свою библиотеку.

Установите SDK.
Краулинг за четыре строки.

Бесплатное начало, до 5,000 бесплатных запросов к Crawling API. Один токен, любой язык.