Proxy API

Endpoint

# Username = your token + optional session/country qualifiers
# Password = blank

Базовое использование

curl -x 'http://YOUR_TOKEN:@backconnect.crawlbase.com:9000' \
     'https://httpbin.org/ip'

import requests

proxies = {
    'http':  'http://YOUR_TOKEN:@backconnect.crawlbase.com:9000',
    'https': 'http://YOUR_TOKEN:@backconnect.crawlbase.com:9000',
}
res = requests.get('https://httpbin.org/ip', proxies=proxies)

По умолчанию каждый запрос проходит через другой резидентный IP: чистая ротация.

Sticky-сессии

Чтобы привязать запросы к одному IP, добавьте идентификатор сессии к имени пользователя. Один и тот же идентификатор сессии возвращает один и тот же IP примерно 30 минут.

# Format: TOKEN-session-SESSION_ID
curl -x 'http://YOUR_TOKEN-session-checkout42:@backconnect.crawlbase.com:9000' \
     'https://shop.example.com/cart'

Таргетинг по стране

# Format: TOKEN-country-XX
curl -x 'http://YOUR_TOKEN-country-DE:@backconnect.crawlbase.com:9000' \
     'https://www.amazon.de'

# Combine: country + session
curl -x 'http://YOUR_TOKEN-country-DE-session-cart-1:@backconnect.crawlbase.com:9000' \
     'https://www.amazon.de/cart'

Квалификаторы имени пользователя

Справочник всех доступных модификаторов имени пользователя, объединяемых через дефис.

Статические IP и геолокализация

Когда нужно сохранить один и тот же выходной IP между несколькими запросами (многошаговые сценарии оформления заказа, вход в аккаунт + скрапинг, всё, что зависит от того, чтобы целевой сайт распознавал одного и того же клиента), Backconnect может закрепить статический IP и вернуть порт + время жизни сессии. Прокси будет удерживать этот IP привязанным к вашему token до тех пор, пока вы продолжаете использовать его в рамках окна сессии.

Endpoint для статических IP имеет ограничение 1 запрос в 5 минут на страну (или 1 в 5 минут в целом, если страна не указана). Кэшируйте порт, который получает ваш клиент: не запрашивайте его заново при каждом краулинге.

Получить статический IP

Возвращает порт для использования с proxy.crawlbase.com, а также количество секунд, в течение которых сохраняется привязка. Таймер сессии автоматически продлевается, пока вы продолжаете отправлять трафик через этот порт в пределах окна.

curl 'https://api.crawlbase.com/proxy/static?token=YOUR_TOKEN'

# Response
# { "port": 1234, "host": "proxy.crawlbase.com", "session_time": 10 }

Статический IP из конкретной страны

Передайте двухбуквенный код страны ISO 3166 (US, GB, DE, IT, RU, …), чтобы закрепить статический IP за этой географией. Если в запрошенной стране сейчас нет свободного порта, ответ содержит ошибку: подождите и повторите попытку с учётом ограничения по стране.

curl 'https://api.crawlbase.com/proxy/static?token=YOUR_TOKEN&country=FR'

# Response
# { "port": 4551, "host": "proxy.crawlbase.com", "session_time": 10 }

Whitelisting IP-адресов

Backconnect поддерживает whitelisting IP-адресов: исходящие IP вашего сервера могут аутентифицироваться на прокси без отправки token при каждом запросе. Полезно для конвейеров с фиксированными IP, где не хочется хранить учётные данные в коде, и это единственный способ использовать Backconnect из окружений, которые не могут передавать заголовок Proxy-Authorization.

Три endpoint'а, все под /proxy/whitelist_ips, различаются HTTP-методом. Изменения распространяются до 1 минуты.

Добавить IP в whitelist

curl -X POST 'https://api.crawlbase.com/proxy/whitelist_ips?token=YOUR_TOKEN&ip=123.123.123.123'

Удалить IP из whitelist

curl -X DELETE 'https://api.crawlbase.com/proxy/whitelist_ips?token=YOUR_TOKEN&ip=123.123.123.123'

Просмотр whitelisted IP

Возвращает текущий список whitelisted IP для вашего токена в JSON.

curl 'https://api.crawlbase.com/proxy/whitelist_ips?token=YOUR_TOKEN'

Backconnect vs Smart AI Proxy