Crawler: часто задаваемые вопросы

По умолчанию запрос повторяется 110 раз в течение 48 часов с момента начала его обработки.

Вы всегда будете получать обратный вызов в случае успеха или сбоя, пожалуйста, проверьте cb_status и original_status, чтобы узнать код состояния.

Если обратный вызов вашего Crawler недоступен, вы уведомляетесь по электронной почте, ваши краулеры приостанавливаются, а ваш последний неудавшийся запрос из-за простоя вашей конечной точки помечается для повтора. Ваши краулеры автоматически возобновляются, когда ваша конечная точка становится доступной. Наша система мониторинга проверяет вашу конечную точку каждую минуту.

"Waiting" означает, что ваши запросы находятся в очереди вашего краулера в ожидании обработки. "Concurrent crawlers", это запросы, которые краулятся одновременно. Количество одновременных краулеров увеличивается нашей системой, если у вас много страниц для краулинга, мы также отслеживаем краулеры и увеличиваем или уменьшаем параллельность в зависимости от пула. "Sets to be retried", это ваши запросы, которые не удались по какой-либо причине, они попадают в очередь повторов вашего краулера и обрабатываются с частотой повтора вплоть до максимум 110 повторов.

Вы можете получить ключи API или токены запросов на странице документации аккаунта Crawlbase.

https://crawlbase.com/dashboard/account/docs

Лимит в 30 URL в секунду применяется к краулингу LinkedIn. Для других веб-сайтов мы можем оценить и потенциально увеличить лимит в индивидуальном порядке. Пожалуйста, свяжитесь с нами, чтобы обсудить ваши конкретные потребности.