Поисковые системы

Обзор

Скраперы поисковых систем превращают страницу результатов Google или Bing в структурированный JSON: органическую выдачу, рекламу, панель знаний, похожие запросы и "Похожие вопросы" - все поверхности, один парсер, один счёт. Браузерные сложности (окна согласия, JS-рендеринг, анти-бот, гео-маршрутизация) происходят на стороне сервера; вы получаете разобранную структуру напрямую.

Типичные сценарии:

• Отслеживание позиций: ежедневно отслеживайте список ключевых слов, сохраняйте позицию вашего домена (и доменов конкурентов) в organic[].url и оповещайте о движении.
• Мониторинг SERP-функций: определяйте, когда Google продвигает блок "Похожие вопросы", панель знаний или AI-обзор, который вытесняет органическую выдачу ниже сгиба.
• SEO-исследования: собирайте related_searches и people_also_ask для анализа пробелов в контенте без подписки на сторонний SaaS.
• Наборы данных для обучения ИИ: соберите корпус снимков "что Google показывает по запросу X" для retrieval-augmented generation и оценки answer-движков.

Гео и язык задаются явно: передайте country + language в запросе, и скрапер обратится к нужному домену Google (например, google.de для country=DE), так что SERP, которую вы видите, совпадёт с тем, что видит пользователь на этом рынке. Сочетайте со Smart Proxy, когда вам нужна пагинация с закреплённой сессией по глубоким страницам результатов.

Google

Полная Google-SERP - органическая выдача, реклама, сниппеты, похожие запросы и "Похожие вопросы". Самый используемый скрапер в каталоге; естественно сочетается с e-commerce-скраперами *-product-details, когда нужен конвейер обнаружение → обогащение.

• Google SERP - страница результатов поиска Google - органическая выдача, реклама, панель знаний, похожие запросы.

Bing

Страница результатов поиска Bing. Полезна, когда нужен второй источник данных для SEO-исследований или когда ваша аудитория смещена в сторону enterprise/Windows, где доля Bing заметно выше, чем предполагает его общая доля рынка.

• Bing SERP - страница результатов поиска Bing.

Пример вызова

Ниже: один вызов google-serp. Передавайте country и language вместе с URL, когда вам нужна региональная витрина - Google формирует свою SERP исходя как из местоположения вашего IP, так и из ваших URL-параметров hl/gl, поэтому мы задаём их явно.

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.google.com/search?q=samsung+social+accounts' \
  --data-urlencode 'scraper=google-serp' \
  --data-urlencode 'country=US' -G

Пример ответа

{
  "query": "samsung social accounts",
  "results": [
    {
      "title": "Samsung Mobile (@SamsungMobile) / X",
      "url": "https://x.com/SamsungMobile",
      "snippet": "The official Samsung Mobile X account…"
    }
  ],
  "related_searches": ["samsung instagram", "samsung official tiktok"],
  "people_also_ask": [
    {
      "question": "Does Samsung have a TikTok?",
      "answer": "Yes, Samsung is on TikTok at @samsung."
    }
  ]
}

Полный справочник (параметры, все 4 языка SDK, крайние случаи): Google SERP - полный справочник