Crawlbase FAQ

На данный момент единственный способ использовать Crawlbase, это интегрировать его в ваш продукт или сервис, поэтому вам потребуется знать разработку или знать/оплачивать кого-то, кто может вам помочь.

Обратите внимание, что у нас есть очень простые для интеграции библиотеки.

Вы можете получить ключи API или токены запросов на странице документации аккаунта Crawlbase.

https://crawlbase.com/dashboard/account/docs

По умолчанию запрос повторяется 110 раз в течение 48 часов с момента начала его обработки.

Лимит в 30 URL в секунду применяется к краулингу LinkedIn. Для других веб-сайтов мы можем оценить и потенциально увеличить лимит в индивидуальном порядке. Пожалуйста, свяжитесь с нами, чтобы обсудить ваши конкретные потребности.

Да, вы можете изменить адрес электронной почты своего аккаунта. Для этого посетите страницу аккаунта и найдите опцию "Change email address". После обновления адреса электронной почты вы получите подтверждающее письмо на новый адрес. Пожалуйста, подтвердите изменение, следуя инструкциям в письме.

Да, Smart AI Proxy можно использовать для HTTPS-сайтов, но подключение к прокси должно выполняться по http. Поэтому при подключении к прокси используйте http://smartproxy.crawlbase.com, а не https://smartproxy.crawlbase.com.

Весь HTTPS-трафик, который вы отправляете на любой веб-сайт с использованием Smart AI Proxy, будет по-прежнему передаваться безопасно, и мы никак не сможем получить к нему доступ.

Мы хотим предложить нечто большее, чем просто список или списки прокси, поэтому наши продукты API и Crawler построены на основе тысяч резидентных и датацентровых прокси со всего мира в сочетании с искусственным интеллектом плюс нашей команды инженеров, которая помогает обеспечить наилучший возможный результат по данным. Если вы ищете только прокси и не хотите получать какие-либо другие преимущества, мы рекомендуем использовать Smart Proxy

Да, вы можете использовать бесплатные запросы для javaScript или обычных запросов.

Мы делаем всё возможное, чтобы поддерживать каждый веб-сайт. Пожалуйста, свяжитесь с нами, чтобы узнать, как мы можем помочь.

"Waiting" означает, что ваши запросы находятся в очереди вашего краулера в ожидании обработки. "Concurrent crawlers", это запросы, которые краулятся одновременно. Количество одновременных краулеров увеличивается нашей системой, если у вас много страниц для краулинга, мы также отслеживаем краулеры и увеличиваем или уменьшаем параллельность в зависимости от пула. "Sets to be retried", это ваши запросы, которые не удались по какой-либо причине, они попадают в очередь повторов вашего краулера и обрабатываются с частотой повтора вплоть до максимум 110 повторов.