Proxy API

Endpoint

# Username = your token + optional session/country qualifiers
# Password = blank

Базовое использование

curl -x 'http://YOUR_TOKEN:@backconnect.crawlbase.com:9000' \
     'https://httpbin.org/ip'

import requests

proxies = {
    'http':  'http://YOUR_TOKEN:@backconnect.crawlbase.com:9000',
    'https': 'http://YOUR_TOKEN:@backconnect.crawlbase.com:9000',
}
res = requests.get('https://httpbin.org/ip', proxies=proxies)

Каждый запрос по умолчанию идёт через другой резидентный IP — чистая ротация.

Sticky-сессии

Чтобы привязать запросы к одному IP, добавьте идентификатор сессии к имени пользователя. Один и тот же идентификатор сессии возвращает один и тот же IP примерно 30 минут.

# Format: TOKEN-session-SESSION_ID
curl -x 'http://YOUR_TOKEN-session-checkout42:@backconnect.crawlbase.com:9000' \
     'https://shop.example.com/cart'

Таргетинг по стране

# Format: TOKEN-country-XX
curl -x 'http://YOUR_TOKEN-country-DE:@backconnect.crawlbase.com:9000' \
     'https://www.amazon.de'

# Combine: country + session
curl -x 'http://YOUR_TOKEN-country-DE-session-cart-1:@backconnect.crawlbase.com:9000' \
     'https://www.amazon.de/cart'

Квалификаторы имени пользователя

Справочник всех доступных модификаторов имени пользователя, объединяемых через дефис.

Статические IP и геолокализация

Когда нужно сохранять один и тот же выходной IP между несколькими запросами — многошаговые сценарии оформления заказа, вход в аккаунт + скрейпинг, любые случаи, когда целевой сайт должен распознавать одного и того же клиента, — Backconnect может закрепить статический IP и вернуть порт и время жизни сессии. Прокси удерживает этот IP привязанным к вашему токену до тех пор, пока вы продолжаете использовать его в пределах окна сессии.

На endpoint статического IP действует ограничение 1 запрос за 5 минут на страну (или 1 запрос за 5 минут в целом, если страна не указана). Кэшируйте порт, который получает ваш клиент — не запрашивайте его заново при каждом краулинге.

Получить статический IP

Возвращает порт для использования с proxy.crawlbase.com, а также количество секунд, в течение которых сохраняется привязка. Таймер сессии автоматически продлевается, пока вы продолжаете отправлять трафик через этот порт в пределах окна.

curl 'https://api.crawlbase.com/proxy/static?token=YOUR_TOKEN'

# Response
# { "port": 1234, "host": "proxy.crawlbase.com", "session_time": 10 }

Статический IP из конкретной страны

Передайте двухбуквенный код страны ISO 3166 (US, GB, DE, IT, RU, …), чтобы привязать статический IP к этой географии. Если в запрашиваемой стране сейчас нет свободного порта, в ответе придёт ошибка — сделайте паузу и повторите попытку с учётом ограничения частоты по стране.

curl 'https://api.crawlbase.com/proxy/static?token=YOUR_TOKEN&country=FR'

# Response
# { "port": 4551, "host": "proxy.crawlbase.com", "session_time": 10 }

Whitelisting IP-адресов

Backconnect поддерживает whitelisting IP — позвольте исходящим IP вашего сервера аутентифицироваться на прокси без отправки токена в каждом запросе. Удобно для конвейеров с фиксированными IP, в которых не хочется хранить учётные данные в коде, и это единственный способ использовать Backconnect из окружений, которые не могут передавать заголовок Proxy-Authorization.

Три endpoint'а, все под /proxy/whitelist_ips, различаются HTTP-методом. Изменения распространяются до 1 минуты.

Добавить IP в whitelist

curl -X POST 'https://api.crawlbase.com/proxy/whitelist_ips?token=YOUR_TOKEN&ip=123.123.123.123'

Удалить IP из whitelist

curl -X DELETE 'https://api.crawlbase.com/proxy/whitelist_ips?token=YOUR_TOKEN&ip=123.123.123.123'

Просмотр whitelisted IP

Возвращает текущий список whitelisted IP для вашего токена в JSON.

curl 'https://api.crawlbase.com/proxy/whitelist_ips?token=YOUR_TOKEN'

Backconnect или Smart Proxy