Which SDKs does Crawlbase offer?

Official SDKs for Node, Python, Ruby, PHP, Java, .NET and Go, plus a Scrapy middleware and a Zapier integration. All are free and call the Crawling API and every Crawlbase scraper through one client.

Yes. Every SDK and library is free, with no extra cost. You only pay for the Crawling API requests you make, and up to 20,000 are free.

What if my language is not listed?

You do not need an SDK. The Crawlbase API is a plain REST endpoint, so you can call it directly over HTTP from any language or tool.

What do the SDKs cover?

One client covers the Crawling API and the scrapers, with helpers for parameters such as autoparse, screenshots, geotargeting and storage, so you write less boilerplate.

How do I authenticate?

Initialize the client with one of your Crawlbase tokens. The same token works across the SDKs, the Crawling API, the Crawler and every scraper.

Every SDK is documented with copy-paste examples, and our support team is available if you hit an issue or want to contribute a library.

Продукт / Библиотеки и SDK

Библиотеки и SDK.
Один токен, любой язык.

Официальные бесплатные SDK для Node, Python, Ruby, PHP, Java, .NET и Go, а также Scrapy и Zapier.
Установите одной строкой или вызывайте REST API напрямую по HTTP откуда угодно.

Начать бесплатно Читать документацию

7 языков, 2 интеграцииБесплатно и открытоnpm · PyPI · RubyGems · Packagist

Живые вызовы SDK1.24M req/minПотоковая передача

200amazon.com/dp/B08N5JZGGWAU57ms

200producthunt.com/posts/notionUS136ms

200tripadvisor.com/Hotel_Review-g60763SG207ms

200amazon.com/dp/B08N5JZGGWUS168ms

200zillow.com/homedetails/123DE43ms

200linkedin.com/in/williamhgatesGB60ms

301producthunt.com/posts/notionNL211ms

200github.com/crawlbaseSG48ms

200glassdoor.com/Reviews/googleGB205ms

200ebay.com/itm/195830173NL164ms

200booking.com/hotel/fr/le-meuriceSG53ms

200booking.com/hotel/fr/le-meuriceGB208ms

200zillow.com/homedetails/123DE125ms

200stackoverflow.com/questions/11227809ES54ms

200indeed.com/viewjob?jk=8a1cDE81ms

200booking.com/hotel/fr/le-meuriceNL181ms

200yelp.com/biz/blue-bottle-sfBR60ms

200zillow.com/homedetails/123BR162ms

200github.com/crawlbaseCA219ms

200github.com/crawlbaseBR157ms

200github.com/crawlbaseCA200ms

200glassdoor.com/Reviews/googleES40ms

200google.com/search?q=4k+tvCA63ms

200zillow.com/homedetails/123IN176ms

200google.com/search?q=4k+tvNL178ms

200booking.com/hotel/fr/le-meuriceDE163ms

200amazon.com/dp/B08N5JZGGWAU57ms

200producthunt.com/posts/notionUS136ms

200tripadvisor.com/Hotel_Review-g60763SG207ms

200amazon.com/dp/B08N5JZGGWUS168ms

200zillow.com/homedetails/123DE43ms

200linkedin.com/in/williamhgatesGB60ms

301producthunt.com/posts/notionNL211ms

200github.com/crawlbaseSG48ms

200glassdoor.com/Reviews/googleGB205ms

200ebay.com/itm/195830173NL164ms

200booking.com/hotel/fr/le-meuriceSG53ms

200booking.com/hotel/fr/le-meuriceGB208ms

200zillow.com/homedetails/123DE125ms

200stackoverflow.com/questions/11227809ES54ms

200indeed.com/viewjob?jk=8a1cDE81ms

200booking.com/hotel/fr/le-meuriceNL181ms

200yelp.com/biz/blue-bottle-sfBR60ms

200zillow.com/homedetails/123BR162ms

200github.com/crawlbaseCA219ms

200github.com/crawlbaseBR157ms

200github.com/crawlbaseCA200ms

200glassdoor.com/Reviews/googleES40ms

200google.com/search?q=4k+tvCA63ms

200zillow.com/homedetails/123IN176ms

200google.com/search?q=4k+tvNL178ms

200booking.com/hotel/fr/le-meuriceDE163ms

01 Живая демонстрация

Один и тот же вызов. Выберите язык.

Один клиент, набираемый вживую. Установите, инициализируйте своим токеном и запускайте краулинг. На любом языке возвращается идентичный JSON. Наведите курсор, чтобы приостановить и прочитать.

готово

клавиши 1-5 переключают · клик для паузызапустить свой URL

Выполните первый запрос за считанные минуты. До 20,000 бесплатных запросов, без кредитной карты.Начать бесплатно

02 Библиотеки

Официальные SDK для всех основных языков.

Бесплатные, открытые и с минимумом зависимостей. Установите одной строкой, инициализируйте своим токеном и вызывайте один и тот же API откуда угодно.

Node.jsnpm i crawlbase

Готовый клиент для проектов на Node и TypeScript.

npm →Pythonpip install crawlbase

Установите и вызывайте класс Crawlbase из любого приложения на Python.

PyPI →Rubygem install crawlbase

Gem без зависимостей для краулинга и скрейпинга.

RubyGems →PHPcomposer require crawlbase/crawlbase

Легковесный пакет PHP для API Crawlbase.

Packagist →Javacom.crawlbase:crawlbase-java-sdk-pom

SDK на Java для краулинга и скрейпинга с Crawlbase.

Maven →.NETdotnet add package CrawlbaseAPI

Интегрируйте API Crawlbase в проекты .NET через NuGet.

NuGet →Gogo get github.com/crawlbase/crawlbase-go

Компактный клиент на Go для Crawling API.

pkg.go.dev →Scrapypip install scrapy-crawlbase-middleware

Middleware от Crawlbase для ваших пауков Scrapy.

PyPI →Zapier

Подключите Crawlbase к no-code рабочим процессам Zapier.

Zapier →Любой языкcurl https://api.crawlbase.com

SDK не нужен. Вызывайте REST API напрямую по HTTP откуда угодно.

Смотреть документацию →Не хватает какого-то?

Создали библиотеку или хотите сотрудничать? Мы будем рады работать с вами.

Свяжитесь с нами →

03 Как это работает

От установки до данных за четыре строки.

Легко развернуть, начинаете вы или работаете в масштабе.

Выберите свой язык

Node, Python, Ruby, PHP, Java, .NET или Go. Или пропустите SDK и используйте обычный HTTP.

Установите пакет

Одна строка из вашего реестра: npm, PyPI, RubyGems, Packagist, Maven, NuGet или go get.

Инициализируйте своим токеном

Создайте клиент с одним из ваших токенов Crawlbase. Один и тот же токен работает везде.

Вызовите API

Передайте любой URL плюс параметры вроде autoparse или screenshot и прочитайте ответ.

04 Примечания

Полезно знать.

Бесплатно и открыто

Каждый SDK и каждая библиотека бесплатны. Вы платите только за те запросы к Crawling API, которые делаете, а до 20,000 бесплатны.

Любой язык по HTTP

Нет SDK для вашего стека? API представляет собой обычную конечную точку REST, поэтому вы можете вызывать его напрямую откуда угодно, что говорит по HTTP.

Полностью документировано

Каждый SDK описан в документации по SDK, с готовыми к копированию примерами установки и использования.

Один токен, любой продукт

Один и тот же токен и клиент охватывают Crawling API, Crawler и каждый скрейпер. Смотрите цены по использованию на странице тарифов.

05 Почему Crawlbase

Один клиент, вся платформа.

SDK оборачивают ту же сеть, что обслуживает более 70,000 разработчиков. Не нужно покупать прокси, запускать браузеры или что-то править, когда сайт меняется.

Официальные языковые SDK

Бесплатно

Каждая библиотека, до 20,000 бесплатных запросов

70K+

Разработчиков в сети

Токен для любого продукта

Установите одной строкой, инициализируйте своим токеном, и Crawling API и каждый скрейпер будут на расстоянии вызова метода.

06 FAQ

Вопросы по SDK.

Официальные SDK для Node, Python, Ruby, PHP, Java, .NET и Go, а также middleware для Scrapy и интеграция с Zapier. Все бесплатны и вызывают Crawling API и каждый скрейпер через один клиент.

Да. Каждый SDK и каждая библиотека бесплатны. Вы платите только за те запросы к Crawling API, которые делаете, а до 20,000 бесплатны.

Вам не нужен SDK. API Crawlbase представляет собой обычную конечную точку REST, поэтому вы можете вызывать его напрямую по HTTP с любого языка или инструмента.

Один клиент охватывает Crawling API и скрейперы, с помощниками для параметров вроде autoparse, скриншотов, геотаргетинга и хранилища, поэтому вы пишете меньше шаблонного кода.

Инициализируйте клиент одним из ваших токенов Crawlbase. Один и тот же токен работает во всех SDK, в Crawling API, в Crawler и в каждом скрейпере.

Каждый SDK документирован с готовыми к копированию примерами, а наша команда поддержки готова помочь, если вы столкнулись с проблемой или хотите внести свою библиотеку.

Установите SDK.
Краулинг за четыре строки.

Бесплатное начало, до 20,000 бесплатных запросов к Crawling API. Один токен, любой язык.