Docs
Войти

User Agents API

Бесплатный эндпоинт с ограничением частоты запросов, возвращающий случайную строку User-Agent, оптимизированную для веб-краулинга. Используйте его, когда запускаете собственный краулер вне инфраструктуры Crawlbase.

Бесплатное использование

User Agents API полностью бесплатен в использовании, независимо от вашего тарифа Crawlbase. Ограничение — 1 запрос в секунду.

Обзор

Возвращает случайную строку User-Agent, оптимизированную для веб-краулинга. Логика выбора отдаёт предпочтение UA, которые выглядят естественно в реальном трафике: современные сборки Chrome, Firefox и Safari для десктопа и мобильных устройств, взвешенные в соответствии с реальным распределением использования.

Endpoint:https://api.crawlbase.com/user_agents

Быстрый старт

curl 'https://api.crawlbase.com/user_agents?token=YOUR_TOKEN'

Возвращает одну строку User-Agent. Используйте её напрямую в заголовке User-Agent вашего исходящего HTTP-запроса.

Параметры

token
строкаобязательный
Ваш token Crawlbase. Эндпоинт бесплатный, но token необходим для учёта ограничений частоты запросов.
device
desktop | tablet | mobiledesktop
Фильтр по классу устройства. Полезно, когда вашему скраперу нужны реалистичные UA для конкретного набора платформ.
size
целое число1
Количество UA, возвращаемых за один вызов. Максимум 10. Комбинируйте с device для предварительной фильтрации, затем кэшируйте партию на стороне клиента и ротируйте локально - это и быстрее, и позволяет обойти ограничение в 1 запрос/с.

Ограничение частоты

1 запрос в секунду. Кэшируйте строки UA на стороне клиента и ротируйте их самостоятельно вместо вызова на каждый запрос - это и быстрее, и позволяет не упереться в лимит.

Когда это использовать

Это нужно только в том случае, если вы запускаете собственный краулер для сайтов, которые не проходят через Crawlbase. Crawling API и Smart AI Proxy уже автоматически выполняют рандомизацию UA - вам не нужно устанавливать User-Agent в запросах через них.