16 ноября 2026 года запрос страницы Google Trends Explore по термину web scraping вернулся с HTTP 200. Crawlbase сообщил cb_status=200, а собственный ответ Google был записан как original_status=200. В теле значилось "Oops! There was a problem displaying this page" с предложением повторить попытку. Истории ключевого слова в нём не было.

Путь Explore Markdown вёл себя так во всех двадцати первых попытках. Девятнадцать тел содержали сообщение Oops, одно содержало уведомление reCAPTCHA. Проверка, читающая только HTTP-статус, приняла бы каждое из них. Конвейер должен установить, что запрошенные данные Trends действительно пришли, прежде чем засчитывать запрос как полезную работу.

Эта статья следует за сопутствующим репозиторием: построение запросов, обработка ответов, парсеры, проверки содержимого, ограниченная повторная попытка и свидетельства, записанные харнесом. Crawling API обеспечивает получение и встроенные пути извлечения. Приложение решает, какие возвращённые тела соответствуют его требованиям к данным. Цифры получены в одном регионе за один календарный день и приводятся как наблюдения, а не как бенчмарк.

Коротко
  • HTTP 200 и cb_status=200 описывают пришедший документ. Для Google Trends этот документ может оказаться уведомлением об ошибке. Прочитайте тело, прежде чем принимать ответ.
  • Чаще всего проходили встроенные скраперы: Trending Now 20/20 и Explore 18/20 с токеном JavaScript. Explore в виде Markdown на токене Normal прошёл 0/20.
  • Повторяйте по вердикту, а не по коду статуса. Одна повторная попытка, обе попытки сохраняются, и прошедший 200 никогда не повторяется.
Успех относится к оболочке, а не к данным. Статус описывает пришедший документ; проверка должна читать тело.

Диаграмма разделяет получение документа и получение требуемых данных. Она не указывает, какой браузерный запрос или виджет отказал внутри Google Trends, и прогон этого тоже не установил.

Тест охватывает три URL. Интерес по субрегионам входит в ответ Explore, поэтому истории ключевого слова и региональному интересу в этой реализации не нужны отдельные целевые страницы.

Поверхность URL в тесте Данные, которые использует проект
Trending Now https://trends.google.com/trending?geo=US Трендовые запросы, метки объёма поиска, рост, время начала, статус и термины разбивки
Explore https://trends.google.com/trends/explore?q=web scraping&geo=US&date=today 12-m Интерес во времени, интерес по субрегионам и связанные запросы
Trending RSS https://trends.google.com/trending/rss?geo=US Заголовок элемента, приблизительный трафик и дата публикации

Trending Now отвечает на вопрос, какие запросы набирают популярность в выбранном регионе; сохранённый образец скрапера отражает фильтр страницы "Past 24 hours". Explore отвечает, как меняется интерес к одному термину за выбранный период. Документация Google по Trending Now называет RSS вариантом экспорта, и ленты достаточно, когда её меньший набор полей покрывает задачу.

Официальная альфа-версия Trends API от Google является отдельным интерфейсом. На момент прогона доступ был ограничен избранными тестировщиками, а публичный обзор не упоминал данные Trending Now. В этом проекте она не вызывалась. Проект также избегает неофициальной библиотеки pytrends, репозиторий которой был архивирован 17 апреля 2025 года, а последний push записан 10 августа 2024 года. Такой статус сопровождения имеет значение, когда новый конвейер выбирает зависимость.

Четыре поверхности, пять путей, девять проверенных ячеек. Официальный API показан для контекста и не входил в тест.

Сделайте путь запроса явным

Модуль путей получения определяет пять форм запроса. Каждый путь проходит через конечную точку Crawling API по адресу https://api.crawlbase.com/, включая запрос ленты RSS.

Путь Параметры, которые его отличают Токен в матрице
Отрисованный HTML page_wait и ajax_wait=true Токен JavaScript
Встроенный скрапер scraper=google-trends или scraper=google-trends-explore Normal для Trending Now; JavaScript для Explore
Markdown format=md Токен Normal
HTML без ожидания Целевой URL без параметров ожидания Токен JavaScript
Запрос RSS Целевой URL RSS Токен Normal

Контроль без ожидания всё равно отрисовывает JavaScript. Его единственное отличие от отрисованного пути состоит в отсутствии двух явных параметров ожидания. Аналогично результаты Markdown описывают путь Markdown с токеном Normal, который действительно тестировался. Каждое сравнение в этой статье называет свой токен и настройки запроса.

Построитель запросов держит значения токенов вне подготовки параметров. Для запросов скрапера он не возвращает предпочтительный тип токена; вызывающая сторона берёт выбор из probe-config.json. Затем клиент читает соответствующий секрет и передаёт параметры в requests.Session.get() с таймаутом 180 секунд:

python
def prepare(
    path: str,
    url: str,
    *,
    page_wait: int | None = None,
    ajax_wait: bool | None = None,
    scraper: str | None = None,
    store: bool = False,
) -> tuple[str | None, dict]:
    """Return (token_kind, params) for a path.

    token_kind is "js", "normal", or None. None means the caller chooses
    the token (the built-in scrapers do not name one).
    """
    params = {"url": url}
    if store:
        params["store"] = "true"
    if path == "rendered":
        params["page_wait"] = str(page_wait)
        params["ajax_wait"] = "true" if ajax_wait else "false"
        return "js", params
    if path == "scraper":
        params["scraper"] = scraper or ""
        return None, params
    if path == "markdown":
        params["format"] = "md"
        return "normal", params
    if path == "nowait":
        return "js", params
    if path == "rss":
        return "normal", params
    raise ValueError(f"unknown path {path}")

Отрисованный Trending Now использует page_wait=5000 и ajax_wait=true. Отрисованный Explore использует page_wait=8000 и ajax_wait=true. page_wait задаёт фиксированную задержку в миллисекундах после загрузки страницы. ajax_wait=true ждёт, пока сетевая активность утихнет, прежде чем страница будет захвачена, и не добавляет собственной фиксированной задержки.

Сохраняйте решение пробы о токене доступным для проверки

Проба делает тринадцать целевых вызовов. Она пробует оба типа токенов для каждого встроенного скрапера, пути HTML и Markdown, RSS, отдельный сравнительный запрос и один запрос RSS с включённым хранением. Она также записывает сводки аккаунта до и после, с интервалом не менее пяти минут между двумя вызовами аккаунта.

Сырые тела пробы не закоммичены, поэтому находка живёт в конфигурации, которую читает матрица: пустые объекты графика с токеном Normal и 53 точки временного ряда с токеном JavaScript. Поэтому матрица использует токен JavaScript для Explore:

json
{
  "probed_on": "2026-11-16",
  "trending_scraper_token": "normal",
  "explore_scraper_token": "js",
  "trending_page_wait": 5000,
  "trending_ajax_wait": true,
  "explore_page_wait": 8000,
  "explore_ajax_wait": true,
  "store": false,
  "store_reason": "re-crawling the same URL with store=true replaces the stored copy, so it cannot keep 20 runs",
  "explore_scraper_token_reason": "On the 16 Nov 2026 probe the normal token returned empty chart objects. The JS token returned 53 timeline points."

Журнал пробы всё ещё содержит вердикты, сформированные до исправления обработки конверта и проверок содержимого, поэтому эти исходные вердикты не отражают окончательных правил. Конфигурация является частью воспроизводимого эксперимента. Свежая проба может её заменить. Проверьте выбор токенов перед запуском матрицы, потому что матрица никогда не переключает токены и не выбирает другой путь получения после неудачного ответа.

Прочитайте слои ответа перед разбором данных

Исполнитель получения записывает внешний статус, статус Crawlbase, статус целевого сайта, конечный URL, затраченное время, размер тела и сложность домена. Исключение транспорта становится результатом без HTTP-ответа и с пустым телом, а значения токенов вычищаются из текста исключения.

Сигнал Что он устанавливает в этом проекте
Внешний HTTP-статус Пришёл ли ответ от Crawlbase и с каким статусом
cb_status Результат обхода Crawlbase; приложение требует 200, прежде чем принять содержимое
original_status HTTP-статус, сообщённый Google, сохраняется в CSV
Вердикт приложения Удовлетворяет ли тело проверкам для запрошенной поверхности и пути

Ответам скрапера нужен один дополнительный шаг. В наблюдаемом JSON-конверте cb_status, original_status, domain_complexity, а также url окружают вложенный body как внутренний объект. Исполнитель разворачивает этот конверт перед валидацией. Если смотреть только на заголовки, метаданные, которые он несёт, будут упущены; именно это пошло не так в первой пробе:

python
def unwrap_envelope(body: str):
    """Scrapers return a JSON envelope. The fields we check are under body."""
    text = (body or "").lstrip("\ufeff").strip()
    if not text.startswith("{"):
        return body, None, None, None, None
    try:
        data = json.loads(text)
    except json.JSONDecodeError:
        return body, None, None, None, None
    if not isinstance(data, dict) or "body" not in data or "cb_status" not in data:
        return body, None, None, None, None
    inner = data.get("body")
    if isinstance(inner, (dict, list)):
        inner_text = json.dumps(inner)
    elif inner is None:
        inner_text = ""
    else:
        inner_text = str(inner)
    return (
        inner_text,
        data.get("cb_status"),
        data.get("original_status"),
        data.get("domain_complexity"),
        data.get("url"),
    )

Исполнитель измеряет body_bytes по исходному тексту ответа в кодировке UTF-8, до разворачивания, поэтому для JSON скрапера цифра включает конверт. Это не размер сжатой передачи. Затраченные миллисекунды охватывают вызов транспорта; значение 180 секунд следует семантике таймаутов Requests вместо строгого дедлайна по настенным часам.

Первый шлюз приёмки находится в assertions.py. Он удаляет блоки script и style и теги, затем ищет в видимом тексте настроенные маркеры: сообщение Oops, reCAPTCHA, unusual traffic, /sorry/, а также g-recaptcha. Удаление скриптов в первую очередь не даёт ссылке на библиотеку reCAPTCHA на обычной странице читаться как проверка (challenge), а регрессионный тест test_recaptcha_script_on_a_data_page_is_not_a_challenge закрепляет это поведение:

python
def _visible_text(body: str) -> str:
    """Drop scripts and tags so a library URL is not mistaken for a challenge."""
    text = re.sub(r"(?is)<script\b[^>]*>.*?</script>", " ", body)
    text = re.sub(r"(?is)<style\b[^>]*>.*?</style>", " ", text)
    text = re.sub(r"(?is)<[^>]+>", " ", text)
    return text


def challenge_reason(body: str) -> str | None:
    if not body:
        return None
    lowered = _visible_text(body).lower()
    for marker in CHALLENGE_MARKERS:
        if marker.lower() in lowered:
            return f"challenge marker: {marker}"
    return None


def gate(body: str | None, cb_status: int | None) -> Verdict | None:
    """Return a failing verdict, or None when the body may be parsed."""
    text = body or ""
    challenge = challenge_reason(text)
    if cb_status != 200:
        if challenge:
            return Verdict(False, f"cb_status {cb_status}, {challenge}")
        return Verdict(False, f"cb_status {cb_status}")
    if text.strip() == "":
        return Verdict(False, "empty body")
    if challenge:
        return Verdict(False, challenge)
    return None

Категория маркеров объединяет уведомления, которые приложение не может использовать. Сообщение Oops само по себе не говорит, почему Google не смог отобразить страницу. А когда шлюз пропускает тело к парсеру, требуемые данные всё равно должны пройти собственные проверки.

Разбирайте поля, которые действительно нужны задаче

Сами парсеры превращают каждый формат ответа в значения, которых ожидают утверждения. Диспетчер проверок выбирает правила для поверхности и пути и добавляет обработку транспорта, языка и географии.

Для JSON скрапера Trending Now парсер читает массив trends в структурированном виде. Для HTML и Markdown он сначала ищет видимые английские строки объёма, такие как 20K+ searches и предшествующие им заголовки, а также читает строки HTML-таблиц и таблицы Markdown. Различия форматов явные: структурированный путь скрапера проверяет больше полей, чем пути разметки.

Разбор Explore сначала ищет структурированные данные графика, включая JSON-объект, встроенный в документ. Когда этих полей нет, он читает видимые строки под английскими заголовками разделов. Извлечение временного ряда из видимого текста ожидает метку даты вида Nov 16, 2026 с последующим целым числом, поэтому локализованные заголовки или даты могут оставить парсер без временного ряда, даже когда пришла полная локализованная страница.

Ответ Правила приёмки, реализованные приложением
JSON скрапера Trending Now Не менее десяти записей; каждая запись содержит position, title, searchVolume, increasePercentage, started, а также status; trendsCount равен длине массива
HTML или Markdown Trending Now Не менее десяти извлечённых строк, каждая с заголовком и меткой объёма, соответствующей ожидаемому шаблону
Explore Не менее 40 значений временного ряда; каждое эквивалентно целому и лежит в диапазоне от 0 до 100; максимум равен 100; извлечённый список субрегионов непуст
География скрапера Explore Распознанная метка Соединённых Штатов или буквальное geo=US в возвращённом URL
RSS Не менее пяти элементов, каждый с заголовком, приблизительным трафиком и датой публикации

Утверждение о временном ряде принимает целые числа, числа с плавающей точкой с целым значением и целочисленные строки, а булевы значения отвергает. Оно не проверяет даты, хронологическую непрерывность, запрошенный термин или каждую региональную оценку:

python
def assert_timeline(values) -> Verdict:
    if not isinstance(values, list) or len(values) < TIMELINE_FLOOR:
        count = len(values) if isinstance(values, list) else 0
        return Verdict(
            False,
            f"timeline length {count} below {TIMELINE_FLOOR}",
            timeline_passed=False,
        )
    numbers = []
    for value in values:
        number = _as_int(value)
        if number is None:
            return Verdict(
                False,
                f"timeline value {value!r} is not an integer",
                timeline_passed=False,
            )
        if number < 0 or number > 100:
            return Verdict(
                False,
                f"timeline value {number} outside 0 to 100",
                timeline_passed=False,
            )
        numbers.append(number)
    if max(numbers) != 100:
        return Verdict(False, "timeline max is not 100", timeline_passed=False)
    return Verdict(True, "ok", timeline_passed=True)

Эти пороги относятся к US-запросу этого эксперимента за период today 12-m. Сорок точек являются правилом минимального покрытия, а не определением полного года. Требование пика в 100 подходит для графика с одной серией, который ожидает этот харнес, и не должно превращаться в утверждение, что каждый ответ Trends без 100 является сломанным разбором. Требование географии применяется только к пути скрапера Explore; пути HTML и Markdown его не применяют.

Сохраняйте смысл чисел

Значения временного ряда Explore являются нормализованными оценками интереса. Объяснение нормализации Trends от Google описывает относительный интерес к поиску для времени и места, приведённый к шкале от 0 до 100. Значение 50 не означает пятьдесят поисков. Ноль может означать низкий объём поиска; он не является автоматически пропущенным наблюдением. В этом проекте пустой временной ряд считается неудачным извлечением, а временной ряд, содержащий нули, проверяется как последовательность значений.

Поле searchVolume в Trending Now является другим измерением. Метки вида 1M+ представляют поисковый трафик по корзинам, а increasePercentage показывает рост относительно прогнозной базы. Реализация сохраняет эти строки как есть. Она не превращает 1M+ в точное число, не преобразует относительные метки started в отметки времени и не выводит абсолютные числа поисков из оценок Explore.

Парсер субрегионов сохраняет названия регионов для проверки на непустой список. Прохождение этой проверки не подтверждает каждое региональное значение и не загружает каждую страницу регионов. Скрапер вернул первые пять субрегионов, которые показывает проверяемая страница, вместе с общим количеством и текстом пагинации, а проект не листал остальные.

Сначала проверка, затем повторная попытка. Связанные запросы, не имеющие общего токена с термином, записываются рядом с проходом, а не используются, чтобы провалить хороший временной ряд.

Диаграмма группирует проверки по назначению. Функции, на которые даны ссылки выше, определяют фактический порядок и то, какие проверки применяются к каждому формату ответа.

Повторяйте неудачный вердикт и сохраняйте обе попытки

Сам харнес получает три вызываемых объекта: fetch, check и sleep. Его решение о повторной попытке следует вердикту, и каждая попытка в завершённой партии становится отдельной записью со статусами, временем, размером тела, вердиктом, причиной и диагностикой:

python
def run_with_retry(fetch, check, sleep, *, surface, path, run, date=""):
    """Fetch and check. Sleep and try once more only if the check fails."""
    attempts = []
    for attempt in (1, 2):
        result = fetch()
        verdict = check(result)
        attempts.append(
            Attempt(
                surface=surface,
                path=path,
                run=run,
                attempt=attempt,
                date=date,
                latency_ms=result.latency_ms,
                body_bytes=result.body_bytes,
                credits=getattr(result, "credits", None),
                passed=verdict.passed,
                reason=verdict.reason,
                related_flagged=getattr(verdict, "related_flagged", None),
                related_share=getattr(verdict, "related_share", None),
                timeline_passed=getattr(verdict, "timeline_passed", None),
                http_status=getattr(result, "http_status", None),
                cb_status=getattr(result, "cb_status", None),
                original_status=getattr(result, "original_status", None),
                target_url=getattr(result, "target_url", ""),
                final_url=getattr(result, "final_url", None),
                my_location=getattr(verdict, "my_location", None),
                classic_banner=getattr(verdict, "classic_banner", None),
                selected_geo=getattr(verdict, "selected_geo", None),
                domain_complexity=getattr(result, "domain_complexity", None),
            )
        )
        if verdict.passed:
            break
        if attempt == 1:
            sleep(10)
    return attempts

Прошедшая первая попытка завершает цикл. Неудачная первая попытка получает одну повторную попытку того же настроенного запроса через десять секунд. Завершённые партии хранят отдельные строки CSV для первой попытки и её повтора, даже когда повтор проходит.

Раннер матрицы обходит девять применимых ячеек в каждом раунде с одним запросом в полёте и ждёт три секунды после партии каждой ячейки. Когда ячейке нужна повторная попытка, десятисекундное ожидание происходит внутри этой партии, поэтому промежутки не означают ровно три секунды между каждой парой вызовов.

Матрица 16 ноября сделала 221 целевой вызов: 180 первых попыток и 41 повторную попытку. Повторные попытки следовали правилам, действовавшим во время этого прогона. Применение исправленных проверок позже изменило оценку сохранённых ответов; оно не изменило, какие запросы были повторены.

Сводка группирует записи по поверхности и пути и учитывает только attempt == 1 в счётчиках проходов, медианной задержке и медианном размере тела. Эти медианы включают как прошедшие, так и неудачные первые попытки, поэтому таблица результатов не смешивает начальную надёжность с восстановлением:

python
def summarise(attempts):
    """First-attempt pass rate, median latency, median body size, credit sum."""
    keys = sorted({(item.surface, item.path) for item in attempts})
    rows = []
    for surface, path in keys:
        first = [
            item
            for item in attempts
            if item.surface == surface and item.path == path and item.attempt == 1
        ]
        runs = len(first)
        passes = sum(1 for item in first if item.passed)
        known = [item.credits for item in first if item.credits is not None]
        rows.append(
            {
                "surface": surface,
                "path": path,
                "runs": runs,
                "passes": passes,
                "pass_rate": (passes / runs) if runs else None,
                "median_latency_ms": median([item.latency_ms for item in first]),
                "median_body_bytes": median([item.body_bytes for item in first]),
                "credits": sum(known) if known else None,
            }
        )
    return rows

Что вернулось

Таблица отражает прогон 16 ноября 2026 года с исправленными проверками, применёнными к его сохранённым ответам. Каждая строка содержит двадцать первых попыток. Explore использовал фиксированный запрос web scraping, geo=US, а также date=today 12-m; Trending Now и RSS использовали geo=US без ключевого слова.

Поверхность Путь Проход, первая попытка Проход, английские страницы Медианная задержка (мс) Медианное тело (байты)
Trending Now Встроенный скрапер 20/20 20/20 10 607 6 864
Trending Now Markdown 20/20 н/д, нет языкового тега 11 151 5 110
Trending Now Отрисованный HTML 18/20 18/18 26 077 2 351 950
Trending Now HTML без ожидания 15/20 15/15 19 735 2 323 239
Explore Встроенный скрапер 18/20 14/16 26 029 4 075
Explore Markdown 0/20 н/д, нет языкового тега 44 669 475
Explore Отрисованный HTML 17/20 17/17 27 493 705 602
Explore HTML без ожидания 15/20 15/16 34 444 686 376
Trending RSS Запрос RSS 20/20 н/д, XML 2 850 22 028

Столбец английских страниц использует языковой тег HTML для HTML-ответов и язык метки географии для JSON скрапера. Он исключает выявленные неанглийские страницы и ошибку транспорта. Для Markdown и RSS языковая классификация не записывалась, поэтому в этих ячейках стоит н/д. Столбец первых попыток учитывает все двадцать попыток на путь, включая неудачи на локализованных страницах.

Проходы первых попыток из двадцати на каждый путь с медианным телом, которое каждый путь передал парсеру. Два скрапера и RSS проходят чаще всего и возвращают меньше всего.

Исходный CSV-файл хранит вердикты, использованные во время живого прогона. Исправленные счётчики проходов, а также показатели времени и размера можно пересчитать из пересчитанного CSV. Медианы округлены до целых миллисекунд и байтов. Кредиты не измерялись.

Встроенный скрапер Trending Now прошёл 20 из 20 первых попыток с медианной задержкой 10 607 миллисекунд и медианным ответом 6 864 байта. Это первая запись из урезанного образца с двумя трендами:

json
{
  "position": 1,
  "title": "steelers vs bengals",
  "searchVolume": "1M+",
  "searchVolumeText": "1M+ searches",
  "increasePercentage": "1,000%",
  "started": "19 hours ago",
  "status": "Active",
  "trendBreakdown": [
    "bengals vs steelers",
    "joe burrow",
    "ja'marr chase"
  ],
  "trendBreakdownMoreCount": 78
},

Образец сохраняет исходный trendsCount=25 и метаданные пагинации, оставляя для иллюстрации только две записи. Это укороченный живой образец, а не полное тело для подачи в утверждение о десяти записях.

Отрисованный HTML Trending Now прошёл 18 из 20 с медианным телом 2 351 950 байт. Пересчитанный CSV определяет обе неудачи как португальские страницы, которые английский парсер не смог прочитать; французский встречается среди неудач Trending Now без ожидания. Подмножество отрисованных страниц только на английском прошло 18 из 18.

Markdown Trending Now тоже прошёл 20 из 20 с медианным телом 5 110 байт, сопоставляя требуемые английские шаблоны заголовка и объёма. Прохождение этой проверки не означает, что шесть полей, проверенных на JSON скрапера, были проверены на Markdown.

Explore: 200, который проваливает каждую проверку содержимого

Explore Markdown прошёл 0 из 20 первых попыток. Все двадцать записали HTTP 200, cb_status=200, а также original_status=200. Девятнадцать содержали сообщение Oops, одно уведомление reCAPTCHA. По первым попыткам и повторам сообщение Oops появилось в 36 из сорока сохранённых тел Explore Markdown. Это сохранённый образец ошибки, из которого удалена строка баннера cookie:

text
Oops! There was a problem displaying this page.

 Please try again

Google apps

Please upgrade to a [supported browser](https://support.google.com/recaptcha/?hl=en#6223828) to get a reCAPTCHA challenge.

[Why is this happening to me?](https://support.google.com/recaptcha#6262736)

Путь вернул небольшой разбираемый документ с медианным телом 475 байт и ни одного требуемого элемента данных по ключевому слову.

Отрисованный HTML Explore прошёл 17 из 20 с медианной задержкой 27 493 миллисекунды и медианным телом 705 602 байта. Три его неудачи были неанглийскими страницами; подмножество только на английском прошло 17 из 17. Контроль Explore без ожидания прошёл 15 из 20: три неанглийские страницы, одна ошибка транспорта без тела ответа и одна английская страница с пустым извлечённым временным рядом. Сравнение подтверждает записанную конфигурацию ожидания для этого случая. Двадцать попыток на путь не доказывают, что ожидание исправляет каждый пустой график.

Скрапер Explore: исходная оценка и исправленная оценка

Скрапер Explore изначально прошёл 14 из 20 первых попыток. Ещё четыре ответа имели временные ряды и субрегионы, но провалили исходное правило географии, потому что метка Соединённых Штатов была локализована: испанская или португальская, русская или нидерландская. Исправленные проверки принимают распознанные локализованные метки и в качестве запасного варианта используют geo=US в URL ответа для пути скрапера.

Пересчёт тех же тел поднял счёт первых попыток до 18 из 20, а одна повторная попытка с польской меткой перешла из неудачи в проход. Отчёт о пересчёте фиксирует всего 23 изменённых вердикта: пять изменений проход/неудача и восемнадцать изменений причины, причём четыре из пяти изменений проход/неудача приходятся на первые попытки.

Две оставшиеся неудачи первых попыток исправленного скрапера были пустыми временными рядами на английских страницах. Его подмножество с английской меткой составило 14 из 16 при обеих версиях правил. Его медианный ответ составил 4 075 байт против 705 602 байт для отрисованного HTML Explore. Скрапер сократил ответ, который приложению приходилось обрабатывать, на два порядка, сохранив временной ряд и отображаемые субрегионы.

Язык объясняет большую часть разрыва между сырыми и отфильтрованными результатами

Семнадцать первых попыток были определены как локализованные страницы или локализованные метки скрапера. Тринадцать провалили английский парсер: русские, турецкие, словацкие, ивритские, украинские, французские, португальские, китайские и персидские страницы. Остальные четыре были ответами скрапера Explore, принятыми после исправления географии. Диспетчер помечает эти неудачи разбора, чтобы локализованная полная страница не сообщалась как пустой виджет:

python
def check_result(surface: str, path: str, result, term: str = TERM):
    verdict = _check(surface, path, result, term)
    if verdict.passed:
        return verdict
    lang = page_lang(result.body or "")
    if (
        lang
        and not lang.lower().startswith("en")
        and surface in ("trending", "explore")
        and verdict.reason.startswith(LOCALE_SENSITIVE)
    ):
        return dataclasses.replace(
            verdict,
            reason=f"non-English page ({lang}), localized labels not read: {verdict.reason}",
        )
    return verdict

Эта метка является ограничением парсера, наблюдаемым на локализованном содержимом. Она не устанавливает, что виджеты Google были пусты, и не делает эти ответы пригодными для текущего приложения, поэтому в сыром счёте проходов они остаются неудачами.

Языковая настройка не отправлялась. Вариация в зависимости от маршрута запроса является правдоподобным объяснением меняющегося языка страницы, но прогон не доказывает этот механизм. Добавление hl=en-US является полезным следующим экспериментом, а не контролем, включённым в эти результаты. Статья сообщает об одном регионе и одном календарном дне, без матрицы второго дня или с закреплённым языком.

Изучайте диагностику, которую может скрыть прошедший временной ряд

Структурная валидация ловит страницы ошибок и пустые временные ряды в этом прогоне. Она также оставляет возможность записывать подозрительные поля, не отбрасывая пригодную часть ответа.

Связанные запросы не совпали с запрошенным термином

Среди 59 первых попыток, записавших флаг связанных запросов, ни одна не имела связанного термина с общим токеном с web scraping, и этот счёт включает ответы с пустым списком связанных запросов. Отчёт переводит термин в нижний регистр, извлекает буквенно-цифровые токены длиной не менее трёх символов, добавляет простую основу для подходящих слов на -ing и ищет эти токены как подстроки в связанных названиях:

python
def term_tokens(term: str) -> list[str]:
    tokens = []
    for word in re.findall(r"[a-z0-9]+", term.lower()):
        if len(word) < 3:
            continue
        tokens.append(word)
        if word.endswith("ing") and len(word) > 5:
            stem = word[:-3]
            if len(stem) >= 3:
                tokens.append(stem)
    return tokens


def related_report(term: str, names) -> tuple[bool, float]:
    """Return (flagged, share). Flagged when no query shares a term token."""
    queries = [name for name in (names or []) if name]
    if not queries:
        return True, 0.0
    tokens = term_tokens(term)
    hits = 0
    for name in queries:
        lowered = str(name).lower()
        if any(token in lowered for token in tokens):
            hits += 1
    share = hits / len(queries)
    return hits == 0, share

Пустой список тоже помечается, поэтому related_flagged=True само по себе не доказывает, что пришёл непустой список. Это диагностическая эвристика, а не модель семантической релевантности, и приложение намеренно оставляет вердикт по временному ряду нетронутым, когда список связанных запросов помечен. Наблюдаемые несвязанные термины оправдывают проверку привязки запроса, прежде чем связанные запросы пойдут дальше по конвейеру; этот прогон не установил их причину.

"My location" отличалось от выбранного региона поиска

HTML Trending Now показал пятнадцать разных стран через метку "My location" в 33 строках первых попыток. Индия встретилась восемь раз; Вьетнам, Индонезия и Ливан по три раза. Выбранный регион тренда оставался Соединёнными Штатами во всех 33 строках. Парсер записывает my_location отдельно от selected_geo. Используйте выбранную географию Trends, чтобы определить охват данных. То, что "My location" следует за маршрутом запроса, является выводом из этих наблюдений, а не задокументированной гарантией Google.

Classic Explore показывал баннер об истечении срока

Баннер "Classic Explore is expiring soon" (Classic Explore скоро прекратит работу) появился на семнадцати из двадцати отрисованных страниц Explore и на шестнадцати из двадцати страниц без ожидания. JSON встроенного скрапера его не содержал. Поле classic_banner записывает его присутствие, не используя его как условие прохода. Баннер не называет дату миграции, но это операционная причина повторно запускать репрезентативные проверки при изменении интерфейса Explore, особенно для парсеров, привязанных к видимым заголовкам и форматам дат.

Подбирайте метод под задачу

Записанный прогон поддерживает такие отправные точки:

Задача Какой путь использовать Свидетельства, 16 ноября 2026 года
Ежедневная лента трендов Встроенный скрапер Trending Now или RSS, когда достаточно заголовка, приблизительного трафика и даты публикации Скрапер 20/20, медиана 10 607 мс; RSS 20/20, медиана 2 850 мс
История ключевого слова Встроенный скрапер Explore с токеном JavaScript 18/20 по исправленному правилу географии; два пустых временных ряда
Региональная разбивка Список субрегионов встроенного скрапера Explore Возвращается в том же ответе; первые пять отображаемых субрегионов, а не полный список
Вызов инструмента агентом Встроенный скрапер Trending Now в виде JSON 20/20; структурированные поля можно проверить до возврата данных вызывающей стороне
Какой путь для какой задачи. Отрисованный Explore остаётся отдельно реализованным вариантом; харнес никогда не вызывает его как автоматический запасной путь.

Результат 0/20 для Explore Markdown относится к проверенному пути с токеном Normal. Эти результаты являются основой для выбора конфигурации, которую нужно проверить на вашем собственном целевом запросе, а не заменой такой проверки.

Запустите реализацию и проверьте, что изменилось

Полный пакет импортирует три модуля шагов через load_steps.py, поэтому формы запросов, утверждения и функция повторной попытки, процитированные выше, и есть код, который запускает CLI. Итоговый набор содержит тридцать тестов, охватывающих утверждения, поведение парсеров, обработку конверта, редактирование токенов, повторные попытки, лимит оплачиваемых ответов, статистику и выполнение CLI. Его тест паритета проверяет общую сводку харнеса; он не перепроверяет живые ответы Google.

Файл requirements объявляет requests>=2.32 и pytest>=8 без закрепления точных версий. Записанный прогон использовал Python 3.13. Скопируйте шаблон окружения в .env внутри final/ и задайте CRAWLBASE_TOKEN и CRAWLBASE_JS_TOKEN из вашего аккаунта Crawlbase. Файл добавлен в gitignore. Клиент добавляет секрет только на границе HTTP, его журнал записывает тип токена, а сохранённые тела и сообщения исключений вычищаются от настроенных секретов. Из корня репозитория:

bash
cd final
cp .env.example .env          # add CRAWLBASE_TOKEN and CRAWLBASE_JS_TOKEN
python -m pytest -q
python -m trends_probe --offline --date 2026-11-16
python -m trends_probe --matrix --runs 20 --max-billable 400 --date 2026-11-16 --geo US

Команды pytest и offline не делают живых целевых вызовов. Команда matrix делает живые вызовы и расходует кредиты. Её аргумент --date только подписывает вывод; он не запрашивает исторический снимок, а today 12-m разрешается в момент, когда Google обслуживает запрос. README описывает настройку в Windows, Linux и macOS.

Держите фикстуры и живые свидетельства отдельно

Команда offline использует синтетические фикстуры: минимальный временной ряд, примерные тренды, элементы RSS, тело Oops и пустой ответ. Её сводка обозначает себя как прогон на фикстурах. Эти результаты демонстрируют поведение программы и не должны засчитываться как дополнительные живые попытки.

Для живых прогонов CLI сохраняет вычищенное тело каждого вызова в results/raw/matrix/ и записывает завершённые партии в CSV как контрольные точки. Публичный репозиторий содержит оба записанных CSV и урезанные живые образцы; полный каталог сырых тел добавлен в gitignore.

--report восстанавливает сводку из записанных вердиктов. --rescore требует соответствующих локальных сырых тел, повторно применяет текущие проверки и записывает отдельные CSV и отчёт Markdown с суффиксом -rescored без новых целевых запросов. Сохраняйте каталог сырых тел каждого прогона вместе с его CSV перед следующей матрицей: имена файлов тел начинают счётчик вызовов заново, а пересчёт сопоставляет строки с файлами в порядке вызовов после проверки их поверхности и пути.

Матрица использует store=False и никогда не использует предыдущее успешное тело как запасной вариант. Один запрос пробы задействовал store=true с Crawlbase Cloud Storage. Его журнал записал заголовок storage_url и никакого отдельного rid; идентификатор появляется только внутри строки запроса этого URL. Закоммиченная конфигурация отмечает, что повторное сохранение того же URL заменяет сохранённую копию. Поэтому прогон хранил отдельные локальные тела для сравнения. Справочник Crawling API документирует rid для сохранённых запросов; эта реализация не зависит от этого идентификатора.

Держите счёт запросов отдельно от расхода кредитов

Матрица насчитала 220 оплачиваемых ответов при настроенном лимите 400. Лимит считает ответы, а не кредиты. Локальный классификатор смотрит в основном на cb_status:

python
BILLABLE = {200, 207}


class BudgetStop(Exception):
    """The billable cap was reached before the matrix finished."""


def is_billable(result) -> bool:
    if result.cb_status in BILLABLE:
        return True
    if result.cb_status is None and result.http_status == 200 and not result.error:
        return True
    return False

Задокументированное правило оплаты Crawlbase также учитывает original_status. В этой записанной матрице все 220 полученных ответов имели cb_status=200 и original_status=200, а оставшийся вызов был ошибкой транспорта, поэтому на этих данных два правила согласуются. Тело может провалить проверки этого приложения, при этом удовлетворяя статусам оплаты. Непригодные ответы Explore Markdown именно так и сделали. Счёт проходов приложения и его счёт оплачиваемых ответов отвечают на разные вопросы.

Кредиты не измерялись. Заголовок с кредитами не записывался, а сводки аккаунта пробы вернулись с полями использования, равными null. Это ошибка чтения в помощнике, а не пустой аккаунт: Account API вкладывает итоги месяца в currentMonth, а помощник читает totalSuccess и остальные поля на верхнем уровне, поэтому они всегда null. Эти сводки не устанавливают измеренной дельты использования:

python
def account(self):
    token = self._token("normal")
    try:
        response = self._session.get(
            "https://api.crawlbase.com/account",
            params={"token": token, "product": "crawling-api"},
            timeout=60,
        )
    except Exception as exc:
        return {"error": self._fetch.scrub(str(exc), self._secrets())}
    try:
        payload = response.json()
    except ValueError:
        return {"error": "account response was not JSON", "http_status": response.status_code}
    return {
        "http_status": response.status_code,
        "totalSuccess": payload.get("totalSuccess"),
        "totalFailed": payload.get("totalFailed"),
        "totalDue": payload.get("totalDue"),
        "remainingCredits": payload.get("remainingCredits"),
    }

Все 220 полученных ответов матрицы записали уровень complex как сложность домена. Согласно задокументированным множителям кредитов, запрос уровня Complex расходует два кредита, а отрисовка JavaScript удваивает это. Матрица содержала 100 полученных ответов с токеном Normal и 120 полученных ответов с токеном JavaScript:

Оценка расхода матрицы: (100 × 2) + (120 × 4) = 680 кредитов.

Это оценка по записанному составу токенов, а не показание аккаунта, и она не включает пробу. Страница продукта Google scraper обещает до 5 000 бесплатных запросов; проверьте фактический баланс кредитов и применимые множители, прежде чем читать квоту как число вызовов Explore.

Раннер работает последовательно, использует описанные выше ожидания и останавливается перед следующим запросом, как только достигнут лимит оплачиваемых ответов. Если меньший лимит прерывает партию между неудачной первой попыткой и её повтором, текущий раннер может не включить эту частичную партию в CSV; в записанном прогоне этого не произошло. В пределах лимита уведомление о проверке (challenge) получает ту же одну повторную попытку, что и любой другой неудачный вердикт, и приложение не добавляет логику решения CAPTCHA. Ознакомьтесь с условиями Google относительно допустимого использования и выберите расписание, соответствующее нужной вашей задаче свежести данных. Веб начал ставить краулерам оценки раскрывает более широкий контекст темпа и поведения краулеров.

Заключение

Прогон 16 ноября показал, почему пригодным данным Google Trends нужна собственная проверка приёмки. Каждый полученный ответ матрицы сообщал успешные статусы HTTP и обхода, однако Explore Markdown не дал ни одного пригодного временного ряда, у некоторых английских ответов Explore были пустые графики, а локализованные страницы показали пределы парсера разметки.

Встроенные скраперы Crawlbase дали компактные структурированные ответы: Trending Now прошёл 20/20, а скрапер Explore с токеном JavaScript прошёл 18/20 после исправления географии. Приложение сделало эти результаты проверяемыми, сохраняя статусы, проверяя требуемые поля, отделяя диагностику от приёмки и храня каждую повторную попытку как отдельную попытку.

Начните с задокументированного скрапера Google Trends или скрапера Google Trends Explore, применяйте проверки, подходящие запрошенным данным, и сохраняйте репрезентативные тела всякий раз, когда вердикт меняется. Это даёт конвейеру определение успеха, выходящее за рамки получения 200.

Crawlbase Crawling API

Получайте Google Trends как отрисованный HTML, Markdown или структурированный JSON из встроенных скраперов Trending Now и Explore, с cb_status и original_status в каждом ответе, чтобы ваши собственные проверки решали, что засчитывать. Для начала доступно до 5 000 бесплатных запросов, карта не нужна.

Часто задаваемые вопросы (FAQ)

Они устанавливают сообщённые статусы получения. Этот прогон при таких статусах всё равно вернул страницы Oops, уведомление reCAPTCHA и пустые временные ряды. Требуйте поля и покрытие, нужные вашему приложению, прежде чем принимать данные. Неудачный вердикт приложения также не делает полученный ответ неоплачиваемым.

Выбор токена зависит от поверхности и пути. JSON скрапера Trending Now, Markdown Trending Now и RSS в этой матрице прошли с токеном Normal. Скрапер Explore использовал токен JavaScript после того, как ответ пробы с токеном Normal вернулся с пустыми объектами графика. Отрисованный HTML и HTML без ожидания использовали токены JavaScript. Харнес повторяет настроенный запрос, не меняя токены самостоятельно.

Нет. Значения Explore являются нормализованными оценками интереса для выбранного времени и географии. Метки Trending Now вида 1M+ представляют трафик по корзинам за выбранный период тренда. Сохраняйте смысл каждого поля: ни оценка Explore в 100, ни метка 1M+ не являются точным числом поисков, которое это приложение может восстановить.

Можно ли использовать те же проверки для другой страны или более короткого диапазона времени?

Сначала адаптируйте их. Опция CLI --geo меняет запрашиваемые URL, но правило приёмки скрапера Explore по-прежнему ожидает Соединённые Штаты. Минимум в 40 точек и проверка пика в 100 были выбраны для фиксированного эксперимента с одним термином за двенадцать месяцев, а локализованная разметка может потребовать изменений парсера. Проверьте целевую географию, язык и временное окно с подходящими утверждениями, прежде чем сравнивать их долю проходов с этим прогоном.

Начать создавать

Обходите любой сайт в масштабе, без борьбы с инфраструктурой.

Crawlbase берёт на себя прокси, отпечатки и CAPTCHA, чтобы ваша команда занималась конвейерами данных, а не поддержкой инфраструктуры обхода. До 5 000 запросов бесплатно, карта не нужна.

Самообслуживание · Звонок отдела продаж не требуется · Доступны корпоративные объёмы краулинга