Which SDKs does Crawlbase offer?

Official SDKs for Node, Python, Ruby, PHP, Java, .NET and Go, plus a Scrapy middleware and a Zapier integration. All are free and call the Crawling API and every Crawlbase scraper through one client.

Yes. Every SDK and library is free, with no extra cost. You only pay for the Crawling API requests you make, and up to 5,000 are free.

What if my language is not listed?

You do not need an SDK. The Crawlbase API is a plain REST endpoint, so you can call it directly over HTTP from any language or tool.

What do the SDKs cover?

One client covers the Crawling API and the scrapers, with helpers for parameters such as autoparse, screenshots, geotargeting and storage, so you write less boilerplate.

How do I authenticate?

Initialize the client with one of your Crawlbase tokens. The same token works across the SDKs, the Crawling API, the Crawler and every scraper.

Every SDK is documented with copy-paste examples, and our support team is available if you hit an issue or want to contribute a library.

Продукт / Библиотеки и SDK

Библиотеки и SDK.
Один токен, любой язык.

Официальные бесплатные SDK для Node, Python, Ruby, PHP, Java, .NET и Go, а также Scrapy и Zapier.
Установите одной строкой или вызывайте REST API напрямую по HTTP откуда угодно.

Начать бесплатно Читать документацию

7 языков, 2 интеграцииБесплатно и открытоnpm · PyPI · RubyGems · Packagist

Живые вызовы SDK1.24M req/minПотоковая передача

200producthunt.com/posts/notionAU101ms

200zillow.com/homedetails/123SG137ms

200producthunt.com/posts/notionSG176ms

200github.com/crawlbaseDE208ms

200target.com/p/-/A-79348122CA150ms

200producthunt.com/posts/notionIN50ms

200google.com/search?q=4k+tvSG190ms

200booking.com/hotel/fr/le-meuriceFR153ms

200yelp.com/biz/blue-bottle-sfSG85ms

200target.com/p/-/A-79348122FR132ms

200github.com/crawlbaseSG144ms

200stackoverflow.com/questions/11227809CA102ms

200amazon.com/dp/B08N5JZGGWAU149ms

200walmart.com/ip/55088165IN60ms

200ebay.com/itm/195830173IN113ms

200walmart.com/ip/55088165GB56ms

200walmart.com/ip/55088165ES90ms

200booking.com/hotel/fr/le-meuriceNL113ms

200booking.com/hotel/fr/le-meuriceBR185ms

200ebay.com/itm/195830173CA213ms

200indeed.com/viewjob?jk=8a1cES65ms

200amazon.com/dp/B08N5JZGGWSG69ms

200tripadvisor.com/Hotel_Review-g60763ES68ms

200walmart.com/ip/55088165US172ms

200glassdoor.com/Reviews/googleFR95ms

200yelp.com/biz/blue-bottle-sfGB76ms

200producthunt.com/posts/notionAU101ms

200zillow.com/homedetails/123SG137ms

200producthunt.com/posts/notionSG176ms

200github.com/crawlbaseDE208ms

200target.com/p/-/A-79348122CA150ms

200producthunt.com/posts/notionIN50ms

200google.com/search?q=4k+tvSG190ms

200booking.com/hotel/fr/le-meuriceFR153ms

200yelp.com/biz/blue-bottle-sfSG85ms

200target.com/p/-/A-79348122FR132ms

200github.com/crawlbaseSG144ms

200stackoverflow.com/questions/11227809CA102ms

200amazon.com/dp/B08N5JZGGWAU149ms

200walmart.com/ip/55088165IN60ms

200ebay.com/itm/195830173IN113ms

200walmart.com/ip/55088165GB56ms

200walmart.com/ip/55088165ES90ms

200booking.com/hotel/fr/le-meuriceNL113ms

200booking.com/hotel/fr/le-meuriceBR185ms

200ebay.com/itm/195830173CA213ms

200indeed.com/viewjob?jk=8a1cES65ms

200amazon.com/dp/B08N5JZGGWSG69ms

200tripadvisor.com/Hotel_Review-g60763ES68ms

200walmart.com/ip/55088165US172ms

200glassdoor.com/Reviews/googleFR95ms

200yelp.com/biz/blue-bottle-sfGB76ms

01 Живая демонстрация

Один и тот же вызов. Выберите язык.

Один клиент, набираемый вживую. Установите, инициализируйте своим токеном и запускайте краулинг. На любом языке возвращается идентичный JSON. Наведите курсор, чтобы приостановить и прочитать.

готово

клавиши 1-5 переключают · клик для паузызапустить свой URL

Выполните первый запрос за считанные минуты. До 5,000 бесплатных запросов, без кредитной карты.Начать бесплатно

02 Библиотеки

Официальные SDK для всех основных языков.

Бесплатные, открытые и с минимумом зависимостей. Установите одной строкой, инициализируйте своим токеном и вызывайте один и тот же API откуда угодно.

Node.jsnpm i crawlbase

Готовый клиент для проектов на Node и TypeScript.

npm →Pythonpip install crawlbase

Установите и вызывайте класс Crawlbase из любого приложения на Python.

PyPI →Rubygem install crawlbase

Gem без зависимостей для краулинга и скрейпинга.

RubyGems →PHPcomposer require crawlbase/crawlbase

Легковесный пакет PHP для API Crawlbase.

Packagist →Javacom.crawlbase:crawlbase-java-sdk-pom

SDK на Java для краулинга и скрейпинга с Crawlbase.

Maven →.NETdotnet add package CrawlbaseAPI

Интегрируйте API Crawlbase в проекты .NET через NuGet.

NuGet →Gogo get github.com/crawlbase/crawlbase-go

Компактный клиент на Go для Crawling API.

pkg.go.dev →Scrapypip install scrapy-crawlbase-middleware

Middleware от Crawlbase для ваших пауков Scrapy.

PyPI →Zapier

Подключите Crawlbase к no-code рабочим процессам Zapier.

Zapier →Любой языкcurl https://api.crawlbase.com

SDK не нужен. Вызывайте REST API напрямую по HTTP откуда угодно.

Смотреть документацию →Не хватает какого-то?

Создали библиотеку или хотите сотрудничать? Мы будем рады работать с вами.

Свяжитесь с нами →

03 Как это работает

От установки до данных за четыре строки.

Легко развернуть, начинаете вы или работаете в масштабе.

Выберите свой язык

Node, Python, Ruby, PHP, Java, .NET или Go. Или пропустите SDK и используйте обычный HTTP.

Установите пакет

Одна строка из вашего реестра: npm, PyPI, RubyGems, Packagist, Maven, NuGet или go get.

Инициализируйте своим токеном

Создайте клиент с одним из ваших токенов Crawlbase. Один и тот же токен работает везде.

Вызовите API

Передайте любой URL плюс параметры вроде autoparse или screenshot и прочитайте ответ.

04 Примечания

Полезно знать.

Бесплатно и открыто

Каждый SDK и каждая библиотека бесплатны. Вы платите только за те запросы к Crawling API, которые делаете, а до 5,000 бесплатны.

Любой язык по HTTP

Нет SDK для вашего стека? API представляет собой обычную конечную точку REST, поэтому вы можете вызывать его напрямую откуда угодно, что говорит по HTTP.

Полностью документировано

Каждый SDK описан в документации по SDK, с готовыми к копированию примерами установки и использования.

Один токен, любой продукт

Один и тот же токен и клиент охватывают Crawling API, Crawler и каждый скрейпер. Смотрите цены по использованию на странице тарифов.

05 Почему Crawlbase

Один клиент, вся платформа.

SDK оборачивают ту же сеть, что обслуживает более 70,000 разработчиков. Не нужно покупать прокси, запускать браузеры или что-то править, когда сайт меняется.

Официальные языковые SDK

Бесплатно

Каждая библиотека, до 5,000 бесплатных запросов

70K+

Разработчиков в сети

Токен для любого продукта

Установите одной строкой, инициализируйте своим токеном, и Crawling API и каждый скрейпер будут на расстоянии вызова метода.

06 FAQ

Вопросы по SDK.

Официальные SDK для Node, Python, Ruby, PHP, Java, .NET и Go, а также middleware для Scrapy и интеграция с Zapier. Все бесплатны и вызывают Crawling API и каждый скрейпер через один клиент.

Да. Каждый SDK и каждая библиотека бесплатны. Вы платите только за те запросы к Crawling API, которые делаете, а до 5,000 бесплатны.

Вам не нужен SDK. API Crawlbase представляет собой обычную конечную точку REST, поэтому вы можете вызывать его напрямую по HTTP с любого языка или инструмента.

Один клиент охватывает Crawling API и скрейперы, с помощниками для параметров вроде autoparse, скриншотов, геотаргетинга и хранилища, поэтому вы пишете меньше шаблонного кода.

Инициализируйте клиент одним из ваших токенов Crawlbase. Один и тот же токен работает во всех SDK, в Crawling API, в Crawler и в каждом скрейпере.

Каждый SDK документирован с готовыми к копированию примерами, а наша команда поддержки готова помочь, если вы столкнулись с проблемой или хотите внести свою библиотеку.

Установите SDK.
Краулинг за четыре строки.

Бесплатное начало, до 5,000 бесплатных запросов к Crawling API. Один токен, любой язык.