Один баланс кредитов, одна тарифная сеткаКак устроены цены Crawlbase для всех продуктов

Конвейер для скрейпинга редко обходится одним продуктом. Он загружает страницы через API, часть из них рендерит в браузере, ставит крупные обновления в очередь краулера и сохраняет результаты в хранилище. Когда у каждого из этих звеньев свой прайс-лист и свой баланс, чтобы понять, сколько стоит рабочий процесс, приходится сводить четыре счёта.

Crawlbase тарифицирует всё это по одному балансу кредитов и одной ступенчатой тарифной сетке. Crawling API, Enterprise Crawler, Smart AI Proxy, Cloud Storage и вызовы через Crawlbase Web MCP Server расходуют один и тот же пул, а вы сами выбираете: платить по мере использования или оформить подписку на ежемесячный пакет. В этой статье разберём, как устроена тарифная сетка, сколько на самом деле стоит один запрос и как держать расходы под контролем по мере роста нагрузки.

Как работает ступенчатая тарифная сетка

Тарифная сетка устроена как шкала подоходного налога. Первая часть вашего месячного использования оплачивается по первой ставке, следующая часть по второй и так далее. Переход через порог снижает ставку для последующего использования, но никогда не пересчитывает то, что вы уже использовали. Ставки при оплате по мере использования для успешных стандартных запросов:

Если пройти по ступеням, 100,000 успешных стандартных запросов стоят $76.40, примерно $0.76 за 1,000. Один миллион стоит $527.50, примерно $0.53 за 1,000, а десять миллионов стоят $1,471.90, примерно $0.15 за 1,000:

100,000 standard requests
  first  1,000  x $3.00 / 1,000  =  $3.00
  next  10,000  x $2.00 / 1,000  = $20.00
  next  89,000  x $0.60 / 1,000  = $53.40
                          total  = $76.40

Эти цифры относятся к стандартным запросам. У запросов к более сложным сайтам или с рендерингом JavaScript есть множитель, поэтому одного лишь числа запросов недостаточно, чтобы спрогнозировать смешанную нагрузку. Калькулятор стоимости выполняет расчёт для стандартных, средних и сложных сайтов, с JavaScript и без него.

Сколько стоит один запрос

Успешный запрос к стандартному сайту расходует один кредит. Цена всего остального определяется тремя правилами: уровнем сложности сайта, тем, нужен ли странице настоящий браузер, и тем, сохраняете ли вы результат.

Уровень назначается домену автоматически, выбирать его не нужно. Рендеринг JavaScript удваивает любой уровень, поэтому запрос с рендерингом к стандартному сайту стоит 2 кредита, а к сайту средней сложности 3. Скриншоту нужен настоящий браузер, поэтому он оплачивается так же, как запрос с рендерингом: 2 кредита на стандартном сайте и больше на более сложных. Сохранение страницы добавляет полкредита в момент сохранения, а сохранённые страницы хранятся 30 дней.

Проверьте уровень сайта до масштабирования

Гадать не нужно. Откройте Playground в консоли, введите целевой URL, и он покажет домен, его уровень, множитель и число кредитов, которое потратит успешный запрос. Для https://www.amazon.com/dp/1098145356 он показывает amazon.com · Moderate · 1.5x.

Оценка обновляется при изменении параметров. Когда опция Store result включена (а по умолчанию это так), пример с amazon показывает 2 кредита: 1.5 за запрос плюс 0.5 за хранение. Отключите хранение, и будет 1.5; включите JavaScript, и часть за запрос удвоится до 3. Режим Screenshot включает JavaScript, потому что скриншоту нужен браузер. Кнопка Run request отправляет живой тестовый запрос, а Copy as cURL выдаёт тот же вызов, чтобы повторно использовать его в вашем коде. Когда нагрузка охватывает несколько доменов, проверка каждого из них здесь быстрее всего избавляет от привычки считать, что все сайты стоят одинаково.

Оплата по мере использования или подписка

Оба варианта используют один баланс и одни и те же продукты. Разница в том, как вы его пополняете.

Оплата по мере использования не предполагает ежемесячной платы. Счёт выставляется раз в месяц, постфактум, за фактическое успешное использование по ступенчатым ставкам выше. Этот вариант подходит для тестирования, разовых задач и нагрузок с трудно прогнозируемым объёмом.

Подписка даёт ежемесячный пакет кредитов по более низкой эффективной ставке:

Пакет обновляется каждый ежемесячный расчётный цикл, а при годовой оплате действует скидка. На странице тарифов всегда указаны актуальные планы. Подписки подходят для стабильных нагрузок, например ежедневного обновления каталога или непрерывного мониторинга цен. Для очень крупных или специализированных нагрузок корпоративные условия предусматривают индивидуальный объём, пропускную способность, обязательства по SLA и оплату по счёту.

Когда пакет заканчивается

Если перерасход с оплатой по мере использования включён, запросы продолжают выполняться и после того, как месячный пакет израсходован. Сначала расходуется пакет, а использование сверх него оплачивается как перерасход. Шкала не начинается заново: если использование по вашему плану уже вывело вас за первые ступени, перерасход продолжается с достигнутой ступени, а не по $3 за 1,000.

Если перерасход выключен, запросы приостанавливаются, когда пакет исчерпан, и возобновляются при продлении плана. Поверх любой из этих настроек можно задать лимиты расходов: один на аккаунт, в долларах, и по одному на каждое рабочее пространство, в кредитах. По достижении лимита новые запросы останавливаются.

Какая настройка правильная, решает продукт, а не биллинг. Для живого фида товарных остатков важна непрерывность, и перерасход можно разрешить; для исследовательской выборки с фиксированным бюджетом лучше подойдёт жёсткая остановка. Сделайте выбор до того, как нагрузка исчерпает пакет, а не узнавайте о нём по остановившемуся конвейеру.

Один баланс на все продукты

Конвейер товарных данных может загружать страницы через Crawling API, запускать ночные обновления через Enterprise Crawler и сохранять отдельные страницы в Cloud Storage. Все три тратят кредиты из одного баланса, каждый по своему правилу. Сам Web MCP Server бесплатен; API-запросы, которые он выполняет, стоят столько же, сколько при прямом вызове API. Аккаунты, у которых всё ещё есть устаревший пакет Smart AI Proxy, оплачивают трафик по этому пакету, пока не перейдут на план.

Общий пул не отменяет необходимости отслеживать использование по каждой нагрузке, но вы следите за одним балансом, а не за предоплаченным бюджетом для каждой интеграции.

Что оплачивается

Вы платите за успешные запросы. Запрос оплачивается, когда Crawlbase получил от сайта пригодный ответ: саму страницу, редирект, по которому он перешёл, или настоящий 404 или 410, потому что «этой страницы больше не существует» тоже реальный ответ. Блокировки вроде 403 и 429, тайм-ауты и сбои на стороне Crawlbase не оплачиваются.

Поэтому с ненадёжными целевыми сайтами работать дешевле: неудачные попытки не попадают в счёт. Но и полностью бесплатными сбои от этого не становятся: они всё равно занимают параллельные потоки и время. Задавайте разумные тайм-ауты и лимиты повторов и следите за долей успешных запросов, ведь оплата за успех сокращает напрасные траты, но не заменяет грамотного управления запросами.

Оцените месяц до масштабирования

1. Оцените объём успешных запросов для каждой нагрузки, а не число URL в очереди.
2. Разделите его по уровням и рендерингу, определяя уровень каждого домена в Playground.
3. Добавьте дополнительные расходы, особенно скриншоты и страницы, которые вы храните в Cloud Storage.
4. Сравните оплату по мере использования с подпиской, затем решите, как быть с перерасходом и лимитами расходов.

Наш калькулятор учитывает ступенчатую шкалу и распространённые множители. После первых боевых запусков сравните оценку с фактически потраченными кредитами и скорректируйте её. О том, почему Crawlbase берёт плату за каждый успешный запрос, подробнее читайте в статье Как устроены цены Crawlbase.

Заключение

Ценность единого баланса и единой тарифной сетки не в том, что у любой нагрузки в итоге одна и та же цена за единицу. Она в том, что стоимость становится предсказуемой даже в системе из многих взаимосвязанных частей: проверьте уровень каждого сайта, учтите рендеринг и хранение, выберите способ оплаты и заранее решите, что произойдёт, когда пакет закончится.

Сравните планы и посчитайте свои цифры на странице тарифов, или создайте бесплатный аккаунт и протестируйте свои целевые сайты, прежде чем брать на себя какие-либо обязательства.

Часто задаваемые вопросы (FAQ)

Каждый ли запрос стоит одинаковое число кредитов?

Нет. Успешный запрос к стандартному сайту стоит один кредит. У более сложных сайтов множитель от 1.5 до 20, рендеринг JavaScript удваивает уровень сайта, скриншот оплачивается как запрос с рендерингом, а сохранение страницы добавляет полкредита.

Взимается ли плата за неудачные или заблокированные запросы?

Нет. Блокировки вроде 403 и 429, тайм-ауты и сбои на стороне Crawlbase не оплачиваются. Запрос оплачивается, когда возвращает пригодный ответ от сайта, включая настоящий 404 или 410 для страницы, которой больше не существует.

Если подписка закончилась, а перерасход включён, начинается ли тарификация снова с верхней ступени?

Нет. Перерасход продолжается со ступени, которой уже достигло ваше использование, а не начинается заново с самой высокой ставки. Если перерасход выключен, запросы приостанавливаются до продления плана, а пакеты обновляются каждый ежемесячный расчётный цикл.

Можно ли использовать одни и те же кредиты в разных продуктах?

Да. Crawling API, Enterprise Crawler, Smart AI Proxy, Cloud Storage и API-вызовы через Crawlbase Web MCP Server расходуют один и тот же баланс, каждый по своему правилу. Аккаунты, которые всё ещё на устаревшем пакете Smart AI Proxy, оплачивают этот трафик по пакету.

Сколько Cloud Storage хранит страницу?

Тридцать дней. Сохранение страницы добавляет полкредита к запросу, который её загрузил, а повторное чтение бесплатно.

NZ

Neil Zamora

Старший архитектор · Crawlbase

Старший архитектор в Crawlbase, сосредоточен на системах, стоящих за краулингом в больших масштабах: ротация прокси, устойчивость к anti-bot и API, скрывающие эту сложность.

IK

Ian Kalvin

Инженер технической поддержки · Crawlbase

Инженер технической поддержки в Crawlbase, пишет с переднего края того, что на самом деле ломается в продакшене при скрейпинге и в прокси-конфигурациях.