Продукт / Cloud StorageCloud Storage.
Cloud Storage.
Каждое сканирование сохранено, ничего не запрашивается повторно.
Добавьте store=true к любому сканированию, и Crawlbase сохранит отрендеренную страницу, JSON и скриншоты в облаке.
Получайте по RID, выполняйте полнотекстовый поиск и обойдитесь без базы данных, бакета S3 и резервных копий.
Записи в хранилище в реальном времени1.24M req/minПотоковая передача
200ebay.com/itm/204512389011AU132ms
200target.com/p/-/A-79404211NL147ms
200glassdoor.com/Reviews/index.htmCA149ms
200google.com/search?q=web+scrapingCA66ms
200zillow.com/homes/for_sale/ES183ms
301walmart.com/ip/55048794FR129ms
200reddit.com/r/programmingES51ms
200zillow.com/homes/for_sale/JP203ms
200yelp.com/biz/blue-bottle-coffeeES172ms
200booking.com/searchresults.html?ss=ParisDE173ms
200glassdoor.com/Reviews/index.htmIN104ms
200walmart.com/ip/55048794BR154ms
200ebay.com/itm/204512389011GB218ms
200zillow.com/homes/for_sale/US69ms
200stackoverflow.com/questions/11227809IN203ms
200google.com/search?q=web+scrapingCA110ms
200tripadvisor.com/Restaurants-g60763BR82ms
200booking.com/searchresults.html?ss=ParisIN215ms
200google.com/search?q=web+scrapingAU144ms
200amazon.com/dp/B08N5WRWNWJP189ms
301reddit.com/r/programmingCA135ms
200producthunt.com/posts/notionJP98ms
200tripadvisor.com/Restaurants-g60763NL166ms
200amazon.com/dp/B08N5WRWNWUS108ms
301booking.com/searchresults.html?ss=ParisCA40ms
200target.com/p/-/A-79404211IN70ms
200ebay.com/itm/204512389011AU132ms
200target.com/p/-/A-79404211NL147ms
200glassdoor.com/Reviews/index.htmCA149ms
200google.com/search?q=web+scrapingCA66ms
200zillow.com/homes/for_sale/ES183ms
301walmart.com/ip/55048794FR129ms
200reddit.com/r/programmingES51ms
200zillow.com/homes/for_sale/JP203ms
200yelp.com/biz/blue-bottle-coffeeES172ms
200booking.com/searchresults.html?ss=ParisDE173ms
200glassdoor.com/Reviews/index.htmIN104ms
200walmart.com/ip/55048794BR154ms
200ebay.com/itm/204512389011GB218ms
200zillow.com/homes/for_sale/US69ms
200stackoverflow.com/questions/11227809IN203ms
200google.com/search?q=web+scrapingCA110ms
200tripadvisor.com/Restaurants-g60763BR82ms
200booking.com/searchresults.html?ss=ParisIN215ms
200google.com/search?q=web+scrapingAU144ms
200amazon.com/dp/B08N5WRWNWJP189ms
301reddit.com/r/programmingCA135ms
200producthunt.com/posts/notionJP98ms
200tripadvisor.com/Restaurants-g60763NL166ms
200amazon.com/dp/B08N5WRWNWUS108ms
301booking.com/searchresults.html?ss=ParisCA40ms
200target.com/p/-/A-79404211IN70ms
01 Живая демонстрация
Сохраняйте одним флагом. Получайте по RID.
Cloud Storage, набранное вживую. Сохраните сканирование одним параметром, а затем получите его позже по его RID. Наведите курсор, чтобы приостановить и прочитать.
Сохраните своё первое сканирование за считанные минуты. 10,000 документов бесплатно, без кредитной карты.Начать бесплатно
02 Возможности
Хранилище, созданное для сканирований.
Сохраняйте, находите и загружайте собранные данные, не разворачивая собственное хранилище.
store
Сохранение одним флагом
Добавьте store=true к любому вызову Crawling API или направьте Crawler в облачное хранилище, и отрендеренная страница сохранится автоматически.
retrieve
Получение по RID
Каждое сохранённое сканирование получает RID. Отправьте GET-запрос с ним, и страница вернётся напрямую, без повторного сканирования.
search
Полнотекстовый поиск
Ищите по всему, что вы просканировали, чтобы найти именно нужные страницы, вместо того чтобы просматривать собственную базу данных.
capture
Страницы и скриншоты
Храните отрендеренный HTML, структурированный JSON и полностраничные скриншоты вместе, всё доступно по одному и тому же RID.
scale
Масштабирование берём на себя
Crawlbase управляет масштабированием, резервным копированием и очисткой вашего пространства, так что вы можете отказаться от бакета S3 и обслуживания.
pipe
Цель вебхука Crawler
Используйте хранилище как цель доставки для асинхронного Crawler, чтобы крупные сканирования приходили готовыми к загрузке.
03 Как это работает
Один флаг для сохранения, один вызов для загрузки.
Оставьте своё сканирование как есть. Добавьте параметр для сохранения и GET для получения.
01
Добавьте store=true
Сканируйте любой URL с store=true или задайте облачное хранилище как цель вебхука вашего Crawler.
02
Мы сохраняем и индексируем
Отрендеренная страница, JSON и скриншот сохраняются и индексируются для полнотекстового поиска, с масштабированием на нашей стороне.
03
Сохраните RID
В ответе возвращается RID хранилища, который однозначно идентифицирует только что сохранённую вами страницу.
04
Получайте или ищите
Отправьте GET на эндпоинт хранилища с RID, ищите по своим сканированиям или загружайте из панели управления.
04 Сценарии использования
Что команды хранят в Cloud Storage.
USE / 01Конвейеры
Буфер для вашего стека
Размещайте просканированные страницы в хранилище и загружайте их в своё хранилище данных, индекс или модель по своему собственному расписанию.
USE / 02История
Снимки во времени
Сохраняйте каждое сканирование, чтобы сравнивать страницу за разные даты без повторного сканирования.
USE / 03Поиск
Поиск по вашим сканированиям
Выполняйте полнотекстовый поиск по всему сохранённому, чтобы найти именно нужные страницы и поля.
USE / 04Стоимость
Откажитесь от собственного хранилища
Уберите бакет S3 и базу данных. Хранилище масштабируется, делает резервные копии и очищается само.
USE / 05ИИ
Корпуса для обучения и RAG
Создавайте и заново загружайте большие, чистые наборы страниц для обучения и извлечения прямо из хранилища.
USE / 06Асинхронность
Доставка через Crawler
Сочетайте хранилище с Crawler, чтобы высоконагруженные асинхронные сканирования приходили готовыми к получению.
05 Цены
Бесплатно начать, дёшево масштабировать.
Cloud Storage бесплатно для разработчиков и недорого для компаний. Вы платите за объём сканирования, а не за работу базы данных.
БесплатныйНачните создавать рабочие процессы для ИИ и веб-данных
$0/ mo
Начать бесплатно- 10k запросов
- Хранение 14 дней
- Get API
- Delete API
- Bulk API
DeveloperНадежное хранилище для рабочих процессов ИИ и автоматизации
$29/ mo
Выбрать Developer- 100k запросов
- Хранение 30 дней
- Get API
- Delete API
- Bulk API
Самый популярный
BusinessСоздан для масштабируемых операций с данными
$249/ mo
Выбрать Business- 1M запросов
- Хранение 30 дней
- Get API
- Delete API
- Bulk API
EnterpriseИндивидуальная инфраструктура для крупномасштабных систем данных
Contact us
Связаться с нами- Индивидуальный объем
- Индивидуальное хранение
- Get API
- Delete API
- Bulk API
06 Почему Crawlbase
Хранилище, которое вам не нужно обслуживать.
Cloud Storage работает в той же сети, что обслуживает более 70,000 разработчиков. Не нужно разворачивать S3, делать резервные копии базы данных или что-либо очищать, когда оно заполнится.
99%
Средняя доля успешных запросов
70K+
Клиентов в сети
10K
Документов бесплатно на 14 дней
99.99%
Время безотказной работы сети
Добавьте store=true один раз, и каждое сканирование будет сохранено, проиндексировано и готово к загрузке.
07 FAQ
Вопросы о Cloud Storage.
Масштабируемое облачное хранилище для ваших собранных и извлечённых данных. Добавьте store=true к сканированию, и отрендеренный HTML, JSON и скриншоты будут сохранены для вас, готовые к получению по RID или к поиску, без необходимости запускать собственную базу данных.
Добавьте store=true к вызову Crawling API или используйте Cloud Storage как цель вебхука для Crawler. В ответе возвращается RID хранилища, который идентифицирует сохранённую страницу.
Отправьте GET-запрос на эндпоинт хранилища с RID, выполните полнотекстовый поиск по сохранённым страницам или просматривайте и загружайте из панели управления хранилищем.
Да. Сохранённые сканирования могут включать отрендеренный HTML, структурированный JSON и полностраничные скриншоты, всё доступно по одному и тому же RID.
Нет. Crawlbase берёт на себя масштабирование, резервное копирование и очистку вашего пространства хранилища, так что вы можете перестать обслуживать бакет S3 или собственную базу данных.
Это бесплатно для разработчиков: хранение до 10,000 документов в течение 14 дней без кредитной карты. Сверх этого стоимость недорого масштабируется с объёмом вашего сканирования, и один и тот же токен работает во всех Crawling API, Crawler и каждом скрапере.
Сохраняйте каждую страницу, которую сканируете.
Обойдитесь без базы данных.
Бесплатно начать, храните до 10,000 документов в течение 14 дней. Один токен для Cloud Storage и всех продуктов.