Docs
Войти

User Agents API

Бесплатный эндпоинт с ограничением частоты запросов, возвращающий случайную строку User-Agent, оптимизированную для веб-краулинга. Используйте его, когда запускаете собственный краулер вне инфраструктуры Crawlbase.

Бесплатное использование

User Agents API полностью бесплатен в использовании, независимо от вашего тарифа Crawlbase. Ограничение — 1 запрос в секунду.

Обзор

Возвращает случайную строку User-Agent, оптимизированную для веб-краулинга. Логика выбора отдаёт предпочтение UA, которые выглядят естественно в реальном трафике — современные сборки Chrome, Firefox и Safari для десктопов и мобильных устройств, взвешенные в соответствии с реальным использованием.

Endpoint:https://api.crawlbase.com/user_agents

Быстрый старт

curl 'https://api.crawlbase.com/user_agents?token=YOUR_TOKEN'

Возвращает одну строку User-Agent. Используйте её напрямую в заголовке User-Agent вашего исходящего HTTP-запроса.

Параметры

token
строкаобязательный
Ваш token Crawlbase. Эндпоинт бесплатный, но token необходим для учёта ограничений частоты запросов.
device
desktop | tablet | mobiledesktop
Фильтр по классу устройства. Полезно, когда вашему скраперу нужны реалистичные UA для конкретного набора платформ.
size
целое число1
Количество UA, возвращаемых за один вызов. Максимум 10. Комбинируйте с device для предварительной фильтрации, затем кэшируйте пакет на стороне клиента и ротируйте локально — это и быстрее, и позволяет избежать ограничения в 1 запрос/сек.

Ограничение частоты

1 запрос в секунду. Кэшируйте строки UA на стороне клиента и ротируйте их самостоятельно, вместо того чтобы делать вызов на каждый запрос — это и быстрее, и позволяет не упираться в лимит.

Когда это использовать

Это нужно вам, только если вы запускаете собственный краулер для сайтов, не проходящих через Crawlbase. Crawling API и Smart AI Proxy уже автоматически обрабатывают рандомизацию UA — для запросов через них устанавливать User-Agent не нужно.