Скраперы / Google

Google SERP.
Результаты поиска в JSON.

Превратите любой URL поиска Google в структурированный JSON. Органические результаты, реклама, People Also Ask, локальный блок и связанные запросы.
Резидентные прокси и обход защиты от ботов встроены. Никаких браузеров для запуска.

99% успешных запросов140M резидентных IP30 регионов
URL GoogleСтруктурированный JSONgoogle.com/search?q=...CrawlbaseМаршрутРендерингИзвлечениеРезультаты поискаТоварные предложенияТрендыgoogle-serpgoogle-product-offersgoogle-trendsgoogle.com · rate limit rerouted · 200
Живой поток сканирования · Google1.24M req/minПотоковая передача
200google.com/maps/search/coffeeAU184ms
200images.google.com/search?q=sneakersUS137ms
301google.com/maps/search/coffeeNL108ms
200google.com/finance/quote/GOOGLES161ms
404scholar.google.com/scholar?q=llmSG123ms
404images.google.com/search?q=sneakersAU69ms
200google.com/search?q=web+scrapingSG73ms
200news.google.com/topics/technologyCA121ms
200google.com/finance/quote/GOOGLES103ms
301google.com/finance/quote/GOOGLGB50ms
200google.com/maps/search/coffeeAU179ms
200news.google.com/topics/technologyFR75ms
200google.com/finance/quote/GOOGLBR94ms
200google.com/travel/hotels/parisNL126ms
200google.com/travel/hotels/parisIN164ms
200play.google.com/store/apps/detailsIN215ms
200google.com/maps/search/coffeeCA149ms
200news.google.com/topics/technologyBR111ms
200books.google.com/books?q=mlJP87ms
200google.com/travel/hotels/parisUS128ms
200google.com/shopping/product/4k-tvBR126ms
200google.com/search?q=web+scrapingSG125ms
200google.com/shopping/product/4k-tvBR186ms
200play.google.com/store/apps/detailsGB215ms
200google.com/travel/flightsUS74ms
404google.com/finance/quote/GOOGLGB90ms
200google.com/maps/search/coffeeAU184ms
200images.google.com/search?q=sneakersUS137ms
301google.com/maps/search/coffeeNL108ms
200google.com/finance/quote/GOOGLES161ms
404scholar.google.com/scholar?q=llmSG123ms
404images.google.com/search?q=sneakersAU69ms
200google.com/search?q=web+scrapingSG73ms
200news.google.com/topics/technologyCA121ms
200google.com/finance/quote/GOOGLES103ms
301google.com/finance/quote/GOOGLGB50ms
200google.com/maps/search/coffeeAU179ms
200news.google.com/topics/technologyFR75ms
200google.com/finance/quote/GOOGLBR94ms
200google.com/travel/hotels/parisNL126ms
200google.com/travel/hotels/parisIN164ms
200play.google.com/store/apps/detailsIN215ms
200google.com/maps/search/coffeeCA149ms
200news.google.com/topics/technologyBR111ms
200books.google.com/books?q=mlJP87ms
200google.com/travel/hotels/parisUS128ms
200google.com/shopping/product/4k-tvBR126ms
200google.com/search?q=web+scrapingSG125ms
200google.com/shopping/product/4k-tvBR186ms
200play.google.com/store/apps/detailsGB215ms
200google.com/travel/flightsUS74ms
404google.com/finance/quote/GOOGLGB90ms
01 Живое демо

Любой URL Google на входе. Структурированный JSON на выходе.

Три скрапера Google, набираемые вживую. Переключайте вкладки или наведите курсор, чтобы поставить на паузу и прочитать.

готово
клавиши 1-3 переключают · клик для паузызапустить свой URL
Выполните первый запрос за минуты. До 10,000 бесплатных запросов, без кредитной карты.Начать бесплатно
02 Скраперы

Каждая часть Google, разобранная.

Один API, один токен и та же сеть резидентных прокси для поиска, шопинга и трендов Google. Направьте скрапер на URL и получите типизированный JSON, а не сырой HTML.

google-serp

Результаты поиска

Разберите любой URL поиска Google в органические результаты, рекламу, People Also Ask, локальный блок карты, связанные запросы и общее число результатов, каждый как типизированный JSON с позицией, заголовком, url и описанием.

google-product-offers

Товарные предложения

Считайте товар из Google Shopping в предложения от каждого магазина, каждое с названием магазина, ценой товара, стоимостью доставки, условиями доставки и возврата, а также рейтингами и связанными товарами.

google-trends

Тренды

Получайте популярные запросы с заголовком, объёмом поиска, процентом роста и статусом. Используйте google-trends-explore для интереса во времени по конкретному термину.

one token

Один API для всего

Переключайте скраперы, меняя один параметр. Прокси, геотаргетинг, рендеринг и обход защиты от ботов остаются идентичными внутри. Посмотреть живое демо.

03 Вывод

Чистые поля, а не сырой HTML.

Вызов к google-serp возвращает типизированный JSON. Вот структура для одной страницы результатов Google.

{ "searchResults": [{ "position": 1, "title": "Web Scraping API", "url": "crawlbase.com", "description": "..." }], "ads": [ "..." ], "peopleAlsoAsk": [ "..." ], "snackPack": { "results": "..." }, "relatedSearches": [ "..." ], "numberOfResults": 84100000 }

Органические

searchResults · array  position · number  title · string  url · string

Реклама

ads · array  siteLinks · array

Вопросы

peopleAlsoAsk · array  destination · string

Локальные

snackPack · object  mapLink · string

Связанные

relatedSearches · array  numberOfResults · number

04 Как это работает

От URL к JSON за один вызов.

Каждый запрос к Google проходит по одному пути. Вы отправляете URL, мы управляем всем остальным.

01

Отправьте URL

Передайте любой URL поиска, шопинга или трендов Google с вашим токеном и скрапером.

02

Ротация прокси

Резидентный IP и регион, которые чисто достигают Google, выбранные из 140M IP по 30 регионам.

03

Рендеринг страницы

Реальный браузер загружает результаты, когда Google требует JavaScript, поэтому актуальные позиции и функции фиксируются.

04

Обход защиты от ботов

reCAPTCHA и ограничения частоты запросов Google обрабатываются автоматически. Ничего решать, ничего поддерживать, когда Google меняет свою вёрстку.

05

Возврат JSON

Страница разбирается в типизированные поля и возвращается как JSON, или сырой HTML, если вы предпочитаете разобрать его сами.

05 Сценарии использования

Что команды строят на данных Google.

USE / 01SEO

Отслеживание позиций и ключевых слов

Отслеживайте органические позиции, рекламу и функции SERP для тысяч ключевых слов по локациям и устройствам.

USE / 02Функции SERP

Мониторинг функций SERP

Следите за рекламой, People Also Ask, локальным блоком и связанными запросами, чтобы отобразить всю страницу результатов во времени.

USE / 03Локальные

Отслеживание локального блока

Считывайте блок карты для любого запроса, чтобы следить за локальными позициями, листингами и конкурентами по регионам.

USE / 04Исследования

Исследование спроса и трендов

Используйте Trends для отображения растущих запросов, объёма поиска и роста для планирования рынка и контента.

USE / 05Цены

Ценовая аналитика

Получайте товарные предложения по магазинам, чтобы сравнивать цены, доставку и наличие из Google Shopping.

USE / 06AI

Обучающие данные и агенты

Подавайте чистый JSON SERP в модели, RAG-конвейеры и исследовательские агенты через один и тот же API.

06 Заметки

Полезно знать при сборе данных Google.

Геотаргетинг для каждого запроса

SERP зависят от локации. Используйте геотаргетинг по 30 регионам, чтобы зафиксировать точные органические результаты, рекламу и локальный блок, которые видит пользователь на этом рынке, что необходимо для локального отслеживания позиций.

Вся страница результатов

Помимо десяти синих ссылок, google-serp возвращает рекламу, People Also Ask, локальный блок snackPack и связанные запросы как отдельные массивы, поэтому вы можете отслеживать каждую функцию SERP.

Стандартные параметры Google

Передавайте обычные параметры Google, такие как gl, hl, num и start в URL для страны, языка, числа результатов и пагинации, ровно так, как их ожидает страница поиска.

Поиск, шопинг и тренды

google-serp охватывает поиск, google-product-offers считывает предложения Shopping по магазинам, а google-trends и google-trends-explore выявляют растущие запросы и интерес во времени.

07 Почему Crawlbase

Создано для сбора данных Google в масштабе.

Скраперы Google работают в той же сети, что обслуживает 46,000+ платящих клиентов и 70,000+ разработчиков. Никаких прокси для покупки, никаких браузеров для запуска, ничего латать, когда Google меняется.

99%
Средний процент успешных запросов
140M
Резидентные IP, плюс 98M дата-центровых
30
Регионов для точных локальных SERP
20/s
Запросов в секунду по умолчанию, больше по запросу

Один токен, официальные SDK для Python, Node и Ruby и сеть с аптаймом 99.99% в основе.

08 FAQ

Вопросы о сборе данных Google.

Отправьте URL поиска Google в Crawlbase Crawling API с вашим токеном и scraper=google-serp. Crawlbase обрабатывает прокси, рендеринг и проверки защиты от ботов и возвращает чистый JSON с органическими результатами, рекламой, People Also Ask, локальным блоком, связанными запросами и числом результатов.
Используйте google-serp для результатов поиска, google-product-offers для предложений Google Shopping по магазинам и google-trends и google-trends-explore для популярных запросов и интереса во времени.
Crawlbase направляет каждый запрос через ротируемые резидентные IP по 30 регионам, рендерит JavaScript при необходимости и автоматически проходит проверки на ботов. Вам не нужно управлять прокси или решать CAPTCHA, и нечего поддерживать, когда Google меняет свою вёрстку.
Да. Ответ google-serp отделяет органические searchResults от ads, peopleAlsoAsk, локального блока карты snackPack и relatedSearches, каждый как типизированный JSON.
Да. Запросы можно геотаргетировать по 30 регионам, чтобы вы видели результаты, которые увидел бы пользователь в этой локации, что важно для локальных позиций и цен.
Да. Каждый скрапер Google возвращает разобранный, типизированный JSON. Вы также можете запросить сырой HTML, если предпочитаете разобрать его сами.
Вы можете начать бесплатно, до 10,000 запросов и без кредитной карты. Платные планы масштабируются с использованием, и один и тот же токен работает во всех скраперах Crawlbase и в Crawling API.

Собирайте данные Google в масштабе.
Пропустите прокси и разбор.

Бесплатно на старте, до 10,000 запросов. Один токен для SERP, предложений и трендов.