Как считаются цифры

Что считается успехом

Crawlbase записывает одну строку на запрос. Запрос считается успешным, когда Crawlbase ответил с cb_status 200, 207, 227 или 228, а сам сайт ответил 200, 201, 204, редиректом (301, 302, 303, 307 или 308), 404 или 410. Всё остальное считается сбоем.

Поэтому 404 на товар, который сайт удалил, считается успехом: запрос дошёл до сайта, и сайт ответил. Страница блокировки, проверка, которую не удалось пройти, таймаут или внутренняя ошибка считаются сбоем. Доля успешных запросов равна числу успехов, делённому на сумму успехов и сбоев.

Какие запросы считаются

Все. Каждый запрос от каждого аккаунта через Crawling API, Crawler и Smart AI Proxy за один календарный месяц. Без выборки, без исключения аккаунтов или повторных попыток. Месяц указан на каждой странице; цифры обновляются, когда закрывается следующий месяц.

Сайты идентифицируются по регистрируемому имени без окончания, так же, как их хранят счётчики, поэтому idealo.de, idealo.es и idealo.co.uk считаются одним сайтом. На странице показан тот домен, который аккаунты запрашивают чаще всего.

Что означает доля браузера

Каждый запрос выполняется либо с обычным токеном, либо с JavaScript-токеном. Доля браузера равна доле успешных запросов, выполненных с JavaScript-токеном. Она показывает, как аккаунты решили запрашивать сайт, а не что сайт строго требует; об этом говорит рецепт. "Нет" означает менее 5%, "Да" означает более 95%, всё между ними показывается как доля.

Уровни и кредиты

Каждый сайт относится к ценовому уровню. Страница уровня «стандартный» стоит один кредит; остальные уровни умножают это: умеренный 1.5, сложный 2, сложный I 3, сложный II 4.5, экстремальный 9, экстремальный I 13.5, экстремальный II 20. Показан уровень, действовавший в день генерации страницы. JavaScript-запрос стоит цену уровня плюс надбавку за браузер, описанную на странице цен.

Как пишется рецепт

Рецепт складывается из того, что аккаунты, запрашивающие сайт, реально отправляют и получают в ответ: шаблоны URL, страна и токен, которые дают успех, статусы, которыми отвечает сайт, задержка. Четыре рецепта также написаны вручную. На странице нет догадок; каждая фраза называет цифру, которая за ней стоит. Ни один клиент никогда не называется и не может быть опознан.

Обновление

Цифры пересчитываются по полному календарному месяцу после его закрытия, и каждая страница показывает свой месяц. Сайт, опустившийся ниже порога, теряет страницу, пока снова его не преодолеет.

Какие сайты получают страницу

Сайт появляется в Cookbook, когда три или больше аккаунтов запрашивали его как минимум с тысячей успешных запросов за месяц. Хостинг и CDN-инфраструктура, банки и платёжные бренды, учебные заведения и сервисы поиска людей и проверки биографий, никогда не получают страницу, что бы ни говорили цифры.