Продукт / CrawlerCrawler.
Crawler.
Отправляйте URL, получайте данные, асинхронно и в любом масштабе.
Отправляйте миллионы URL в управляемую очередь push/pull, построенную на Crawling API, и получайте отрендеренные данные на свой вебхук или в облачное хранилище.
Никаких очередей, повторных попыток или прокси для запуска.
Живая очередь краулера1.24M req/minПотоковая передача
200ebay.com/sch/i.html?_nkw=gpu&_pgn=1NL148ms
200ebay.com/sch/i.html?_nkw=gpu&_pgn=1IN196ms
200ebay.com/sch/i.html?_nkw=gpu&_pgn=1JP185ms
200etsy.com/c/jewelry?page=4GB124ms
200tripadvisor.com/Hotels-g60763-oa30CA176ms
200amazon.com/s?k=laptops&page=2CA171ms
200amazon.com/s?k=laptops&page=2US219ms
200aliexpress.com/category/100003070/men.htmlIN146ms
200amazon.com/s?k=laptops&page=2FR141ms
200aliexpress.com/category/100003070/men.htmlAU50ms
301ebay.com/sch/i.html?_nkw=gpu&_pgn=1IN161ms
200ebay.com/sch/i.html?_nkw=gpu&_pgn=1SG48ms
200target.com/c/electronics/-/N-5xtg6DE207ms
200target.com/c/electronics/-/N-5xtg6SG174ms
200bestbuy.com/site/searchpage.jsp?st=tvES133ms
200etsy.com/c/jewelry?page=4NL135ms
301yelp.com/search?find_desc=cafe&start=30US62ms
404aliexpress.com/category/100003070/men.htmlUS136ms
200amazon.com/s?k=laptops&page=2BR165ms
200glassdoor.com/Reviews/company-reviews.htmGB63ms
200zillow.com/homes/for_sale/2_p/ES112ms
200amazon.com/s?k=laptops&page=2GB111ms
200zillow.com/homes/for_sale/2_p/FR191ms
200amazon.com/s?k=laptops&page=2SG124ms
301amazon.com/s?k=laptops&page=2FR133ms
200crunchbase.com/discover/organization.companiesNL167ms
200ebay.com/sch/i.html?_nkw=gpu&_pgn=1NL148ms
200ebay.com/sch/i.html?_nkw=gpu&_pgn=1IN196ms
200ebay.com/sch/i.html?_nkw=gpu&_pgn=1JP185ms
200etsy.com/c/jewelry?page=4GB124ms
200tripadvisor.com/Hotels-g60763-oa30CA176ms
200amazon.com/s?k=laptops&page=2CA171ms
200amazon.com/s?k=laptops&page=2US219ms
200aliexpress.com/category/100003070/men.htmlIN146ms
200amazon.com/s?k=laptops&page=2FR141ms
200aliexpress.com/category/100003070/men.htmlAU50ms
301ebay.com/sch/i.html?_nkw=gpu&_pgn=1IN161ms
200ebay.com/sch/i.html?_nkw=gpu&_pgn=1SG48ms
200target.com/c/electronics/-/N-5xtg6DE207ms
200target.com/c/electronics/-/N-5xtg6SG174ms
200bestbuy.com/site/searchpage.jsp?st=tvES133ms
200etsy.com/c/jewelry?page=4NL135ms
301yelp.com/search?find_desc=cafe&start=30US62ms
404aliexpress.com/category/100003070/men.htmlUS136ms
200amazon.com/s?k=laptops&page=2BR165ms
200glassdoor.com/Reviews/company-reviews.htmGB63ms
200zillow.com/homes/for_sale/2_p/ES112ms
200amazon.com/s?k=laptops&page=2GB111ms
200zillow.com/homes/for_sale/2_p/FR191ms
200amazon.com/s?k=laptops&page=2SG124ms
301amazon.com/s?k=laptops&page=2FR133ms
200crunchbase.com/discover/organization.companiesNL167ms
01 Живое демо
Отправьте URL. Получите доставленные данные.
Crawler в действии, вживую. Отправьте URL в очередь, затем получите отрендеренный результат на свой вебхук. Наведите курсор, чтобы приостановить и прочитать.
Запустите свой первый запрос за считанные минуты. До 10,000 бесплатных запросов, без кредитной карты.Начать бесплатно
02 Возможности
Краулинг в любом масштабе, очереди включены.
Всё, что делает крупные краулинги сложными, выполняется за вас: асинхронная очередь, повторные попытки, доставка и мониторинг, всё поверх Crawling API.
async
Асинхронные push и pull
Отправляйте столько URL, сколько хотите, и продолжайте работу. Crawlbase помещает их в очередь, планирует и рендерит в фоновом режиме, поэтому ваш клиент никогда не блокируется.
built-on
Построен на Crawling API
Сохраняется каждая функция Crawling API: рендеринг JavaScript, резидентные прокси, геотаргетинг, параметры и обход анти-бот-защиты в каждом запросе.
deliver
Доставка через вебхук
Направьте краулер на ваш эндпоинт, и каждый результат отправляется на него. Crawlbase следит за вашим вебхуком, чтобы доставка оставалась точной и надёжной.
storage
Облачное хранилище
Предпочитаете получать данные по запросу? Храните каждую собранную страницу в облачном хранилище Crawlbase и забирайте её по собственному расписанию. Смотреть Cloud Storage.
monitor
Настраиваемые краулеры, живая статистика
Задайте имя краулеру для каждой задачи и наблюдайте за ним в реальном времени. Проверяйте статистику через API, приостанавливайте или возобновляйте работу в соответствии с вашим бюджетом.
fresh
Свежие данные, меньше повторных попыток
Каждая страница собирается вживую, ничего не кэшируется. Система push/pull повышает успешность почти до 100%, поэтому повторные попытки на стороне клиента практически исчезают.
03 Как это работает
Миграция в два дополнительных параметра.
Сохраните свои вызовы Crawling API. Добавьте колбэк и имя краулера, и вы работаете асинхронно.
01
Создайте краулер
Откройте панель Crawler, создайте именованный краулер и направьте его на ваш вебхук или облачное хранилище.
02
Отправьте URL
Вызовите Crawling API с callback=true и crawler=YourCrawlerName, для одного URL или миллионов.
03
Мы ставим в очередь и рендерим
Crawlbase планирует каждый запрос, ротирует резидентный прокси, рендерит страницу и повторяет любые неудачные попытки.
04
Доставьте результат
Каждая отрендеренная страница отправляется на ваш вебхук или записывается в облачное хранилище, в виде HTML или структурированного JSON.
05
Получайте и отслеживайте
Забирайте данные из хранилища, когда они готовы, и отслеживайте каждый краулер вживую, с приостановкой и возобновлением по требованию.
04 Сценарии использования
Что команды строят на Crawler.
USE / 01Масштаб
Миллионы страниц
Отправьте целые каталоги или карты сайтов и позвольте очереди обработать их, без планирования на стороне клиента.
USE / 02Пайплайны
Данные в вашем стеке
Доставляйте отрендеренные страницы прямо на вебхук или в хранилище, готовые для вашего хранилища данных, индекса или модели.
USE / 03Коммерция
Непрерывный мониторинг
Повторно собирайте цены, наличие и товарные позиции по расписанию, со свежими данными на каждом проходе.
USE / 04ИИ
Корпуса для обучения и RAG
Создавайте большие, чистые наборы страниц для обучения и поиска, забирая их из хранилища массово.
USE / 05Миграция
Уйдите от собственного краулера
Замените свою систему push/pull на нашу с помощью двух параметров и откажитесь от прокси, очередей и повторных попыток.
USE / 06Охват
Миллионы сайтов
Собирайте данные с миллионов поддерживаемых сайтов с одним краулером и одним токеном.
05 Цены
Добавьте сайты, которые вы собираете, и посмотрите цену.
Добавьте сайты, которые вы собираете, с их месячным объёмом и типом запроса. Мы группируем их по сложности и типу, затем рассчитываем цену для каждой группы по её суммарному объёму, поэтому чем больше вы собираете, тем дешевле выходит.
100k / mo
Пока нет сайтов. Добавьте один выше, чтобы начать оценку.
Ориентировочная месячная стоимость
$0/ мес
≈ $0.00 смешанная за 1,000 запросов
До 10,000 запросов бесплатно. Без кредитной карты.
Начать бесплатноСобираете более 1B в месяц? Свяжитесь с нами →06 Заметки
Полезно знать.
Тестируйте бесплатно
До 10,000 запросов бесплатны, без кредитной карты. Один и тот же токен работает с Crawler, Crawling API и каждым скрапером.
Ценообразование по использованию
Платите за то, что собираете, без долгосрочных контрактов, отмена в любое время. Приостанавливайте и возобновляйте работу в соответствии с вашим бюджетом. Смотрите полную разбивку на странице с ценами.
Полностью документировано
Создание краулеров, колбэки и доставка полностью описаны в документации Crawler, с готовыми примерами для копирования.
Соответствие GDPR и CCPA
Crawlbase применяет стандарты защиты потребителей по всему миру, с заложенными в обработку данных принципами справедливости и прозрачности.
07 Почему Crawlbase
Создан для краулинга веба в любом масштабе.
Crawler работает в той же сети, что обслуживает более 70,000 разработчиков и самые требовательные краулинговые задачи в мире. Никаких очередей для запуска, никаких прокси для покупки, ничего не нужно патчить, когда сайт меняется.
99%
Средняя успешность запросов
70K+
Клиентов в сети
Async
Push и pull, очереди под контролем
99.99%
Аптайм сети
Один токен для Crawler, Crawling API и каждого скрапера, с доставкой на ваш вебхук или в хранилище.
08 FAQ
Вопросы о Crawler.
Асинхронный краулер, построенный на Crawling API. Вы отправляете URL в управляемую очередь push/pull, а Crawlbase рендерит каждую страницу, повторяет неудачные попытки и доставляет результат на ваш вебхук или в облачное хранилище, поэтому вам никогда не нужно управлять очередями, повторными попытками или прокси.
Crawling API синхронный, вы получаете ответ на том же вызове. Crawler асинхронный, вы отправляете URL, и данные доставляются позже на ваш вебхук или в хранилище. Он сохраняет каждую функцию Crawling API, включая рендеринг JavaScript и резидентные прокси.
Создайте именованный краулер в панели, затем добавьте два параметра к вашему вызову Crawling API, callback=true и crawler=YourCrawlerName. Это единственное изменение, необходимое для переключения синхронных вызовов на асинхронную систему push/pull.
Двумя способами. Направьте краулер на ваш эндпоинт вебхука, и Crawlbase отправит каждый результат на него, либо храните результаты в облачном хранилище и забирайте их, когда будете готовы. За URL вебхуков ведётся мониторинг, чтобы доставка оставалась надёжной.
Да. Панель показывает живую статистику по каждому краулеру, а Crawler API позволяет проверять статистику и управлять краулингами. Вы можете приостанавливать и возобновлять краулинг в соответствии с вашим бюджетом и потребностями.
Да. Каждая страница собирается вживую из интернета в момент запроса. Ничего не кэшируется и не отдаётся из более раннего краулинга, поэтому получаемые вами данные актуальны.
Собирайте веб асинхронно.
Отправляйте URL, мы доставляем данные.
Бесплатно для старта, до 10,000 запросов. Один токен для Crawler, Crawling API и каждого скрапера.