Войти

Начало работы

Пять коротких страниц, которые проведут вас от регистрации до первого успешного crawl, а затем расскажут об операционных деталях - аутентификация, квоты, ошибки - которые понадобятся, когда вы начнёте отправлять реальный трафик. Читайте сверху вниз или переходите сразу к той части, ради которой пришли.

Впервые здесь?

Начните с Quick Start - там вы получите рабочий запрос меньше чем за пять минут. Остальные страницы этого раздела - справочный материал, к которому можно возвращаться по мере появления вопросов.

Ваш первый запрос

  • Быстрый старт - зарегистрируйтесь, получите token и отправьте рабочий crawl за пять минут. Примеры кода на curl, Python, Node.js, Ruby, PHP, Go, Java и C#. Прочитайте это первым.

Аутентификация и лимиты

Когда запросы уже идут, следующие вопросы обычно такие: «как работает аутентификация?» и «сколько я могу отправить?». Две короткие справочные страницы отвечают на оба.

  • Аутентификация - Normal vs. JavaScript token, почему их два, когда использовать каждый, как не допустить их попадания в репозиторий. Token аутентифицирует любой Crawlbase API одинаково, поэтому это применимо ко всей платформе.
  • Лимиты запросов - бюджеты конкурентности по тарифным планам, разница между пропускной способностью запросов и конкурентными соединениями, а также шаблон отката при достижении предела.

Коды состояния и ошибки

Реальный трафик означает реальные сбои - captcha, гео-блокировки, падения целевых сайтов, неправильная настройка параметров на стороне клиента. Две страницы объясняют, что возвращается и что с этим делать.

  • Коды состояния - каждый HTTP-статус, который возвращает платформа, и его значение. Crawlbase разделяет ответ на два поля статуса (pc_status для нашей стороны, original_status для целевого сайта), чтобы вы могли отличать два режима сбоя.
  • Обработка ошибок - восстанавливаемые vs. терминальные ошибки, стратегия повторных попыток и конкретные форматы ошибок, которые возвращает платформа, чтобы ваш клиент мог ветвиться по ним.

Что дальше

После раздела «Начало работы» платформа разделяется по двум осям: что вы создаёте и как хотите интегрироваться.

  • По поверхности API: API Reference охватывает Crawling API, Smart AI Proxy, Cloud Storage, Enterprise Crawler и более мелкие вспомогательные API (Account API, User Agents API).
  • По способу интеграции: SDKs для семи основных языков, Интеграции для low-code платформ (LangChain, Zapier, n8n, Make, Airbyte) и раздел AI & MCP для агентного доступа через Claude, Cursor, VS Code и других MCP-совместимых клиентов.
  • По задаче: Scraper Library предлагает готовые скрейперы, которые возвращают структурированный JSON для популярных сайтов - обычно это быстрее, чем парсить HTML самостоятельно.
  • Для экспериментов: API Playground позволяет собирать и выполнять живые запросы прямо в браузере, не написав ни строчки клиентского кода.