Войти

Официальные SDKs

Нативные клиентские библиотеки для семи языков, на которых разработчики реально пишут продакшен. Один и тот же интерфейс для всех: установка, аутентификация, вызов. Каждый SDK оборачивает Crawling, Scraper, Leads и Screenshots APIs (плюс Cloud Storage там, где это поддерживает язык), так что вы получаете одну зависимость для всей платформы.

Что дают вам SDKs

SDKs — это тонкие обёртки, которые берут на себя формирование запросов (URL-кодирование, валидацию параметров, разбор ответа, хелперы для повторов), так что ваш код приложения читается как продуктовый код, а не как HTTP-сантехника. Каждый SDK предоставляет один и тот же набор клиентов: Crawling API, Scraper API, Leads API, Screenshots API (плюс Cloud Storage в Python / Ruby / PHP / .NET), и поверхность API один-в-один отражает базовые параметры. Если параметр описан на странице API, он работает в каждом SDK. К Enterprise Crawler обращаются через сам Crawling API, передавая опции async + callback + crawler; отдельного клиентского класса Crawler нет.

Выберите свой язык

У каждого языка есть своя страница с инструкциями по установке, аутентификации, примерами для разных APIs и справочником методов.

Python
Самый популярный SDK. Установка через pip install crawlbase. Работает на Python 3.9+ и поставляется с async-хелперами.
Подробнее
Node.js
Установка через npm install crawlbase. Поддерживаются ESM и CommonJS. Promise-based во всех API.
Подробнее
Ruby
Gem без зависимостей для скрейпинга и краулинга через Crawlbase APIs. Идиоматичный Ruby; поддерживает 2.7+ и JRuby.
Подробнее
PHP
Лёгкий PSR-совместимый пакет классов. Установка через composer require crawlbase/crawlbase. PHP 7.4+.
Подробнее
Go
Идиоматичный, context-aware клиент. go get github.com/crawlbase/crawlbase-go на Go 1.18+.
Подробнее
Java
Артефакт Maven / Gradle com.crawlbase:crawlbase. JDK 11+, Jakarta-совместимый во всех APIs.
Подробнее
C# / .NET
NuGet-пакет CrawlbaseAPI. Поддержка .NET 6+, async/await повсюду. Установка через dotnet add package CrawlbaseAPI.
Подробнее

Ещё

Другие способы интеграции, когда ни один из официальных SDKs не подходит.

Другие языки
Нет SDK для вашего стека? Обращайтесь к Crawling API напрямую по HTTP — каждый SDK под капотом делает именно это.
Использовать API
Чего-то не хватает?
Создали SDK для языка, который мы не охватываем, или хотите поработать над ним вместе? Свяжитесь с нами, и мы всё организуем.
Связаться с нами

Какой SDK выбрать?

Используйте SDK, который соответствует основному языку вашего проекта, это почти всегда правильный ответ. Интерфейсы имеют одинаковую форму во всех языках, поэтому выбор сводится исключительно к удобству экосистемы (ваш менеджер зависимостей, ваш рантайм, ваши существующие типы).

Если вашего стека нет в списке, вы можете использовать Crawling API напрямую по HTTP, каждый SDK под капотом делает именно это. API Playground генерирует сырые примеры curl/HTTP, которые можно перенести в любой клиент.

Открытый исходный код

Все SDKs имеют открытый исходный код на GitHub: github.com/crawlbase. Issues, PR и запросы фич приветствуются, большинство недочётов в SDKs, о которых сообщают пользователи, исправляются в течение одного релизного цикла.