crawlbaseДокументация
Войти

Обзор

Страницы отзывов и Q&A несут одни из самых сигнально насыщенных пользовательских материалов в вебе - проверенные отзывы о продуктах, ответы из реального опыта и язык, которым настоящие клиенты описывают свои проблемы. Эти скраперы превращают этот контент в JSON, который вы можете подавать в LLM, модели тональности или дашборды продуктовых исследований, не парся каждый домен вручную.

Типичные сценарии:

  • Продуктовые исследования: выявляйте реальные плюсы/минусы из g2-product-reviews для категории, в которую вы входите, или конкурента, которого оцениваете.
  • VoC-аналитика (голос клиента): подавайте отзывы проверенных покупателей в модель тональности и сегментируйте по роли рецензента / размеру компании, чтобы выяснить, какие профили клиентов любят или ненавидят ту или иную функцию.
  • Обнаружение контента: проходите ветки quora-question, чтобы найти точные формулировки, которыми покупатели описывают проблему, решаемую вашим продуктом, - входные данные для текстов лендингов и SEO.
  • Обучение ИИ: постройте индекс для извлечения из качественных пар Q&A для answer-движка или доменно-специфичного copilot.

Скраперы G2 и Quora обрабатывают пагинацию внутренне - один вызов продукта G2 возвращает распределение оценок и видимую партию отзывов; передайте page для более старых страниц. Ветки Quora возвращают вопрос + все загруженные ответы за один раз. Скраперы Product Hunt возвращают ранжированные запуски из leaderboard или апвоуты, мейкеров, темы и отзывы отдельного продукта за один вызов.

G2

Отзывы о программных продуктах на G2. Возвращает общий рейтинг, общее число отзывов, распределение оценок и разобранные отзывы, включая роль рецензента и размер компании там, где G2 их показывает.

  • G2 Product Reviews - отзывы о программных продуктах на G2, распределение оценок, отдельные отзывы, плюсы/минусы.

Quora

Страницы вопросов Quora - вопрос, все ответы, сведения об авторах и счётчики вовлечённости.

  • Quora Question - страница вопроса Quora со всеми ответами.
  • Quora SERP - результаты поиска Quora.

Product Hunt

Страницы запусков Product Hunt - ежедневные и еженедельные leaderboard плюс отдельные страницы продуктов с апвоутами, мейкерами, темами и отзывами.

  • Product Hunt Leaderboard - ежедневные и еженедельные leaderboard Product Hunt с рангами, апвоутами и мейкерами.
  • Product Hunt Product - отдельная страница продукта Product Hunt с апвоутами, мейкерами, темами и отзывами.

Stack Exchange

Q&A сети Stack Exchange - списки вопросов и полные ветки вопросов на Stack Overflow, Super User, Ask Ubuntu, Server Fault, MathOverflow и каждом сайте *.stackexchange.com. Один парсер на тип страницы, независимый от хоста во всей сети.

  • Stack Exchange Questions - страница вопросов, тегов или результатов поиска в виде структурированного массива со счётом, числом ответов и просмотров, тегами и пагинацией.
  • Stack Exchange Thread - отдельный вопрос с его полным текстом плюс каждым ответом и комментарием, со счётом, статусом принятия и авторами.

Пример вызова

Ниже: один вызов g2-product-reviews. Ответ несёт агрегаты на уровне продукта плюс разобранную партию отзывов - заголовок, оценку, роль рецензента и размер компании.

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.g2.com/products/zoom/reviews' \
  --data-urlencode 'scraper=g2-product-reviews' -G

Пример ответа

{
  "product_name": "Zoom",
  "overall_rating": 4.5,
  "total_reviews": 52840,
  "reviews": [
    {
      "title": "Reliable for daily standups",
      "rating": 4.5,
      "reviewer_role": "Engineering Manager",
      "reviewer_company_size": "51-200 employees"
    }
  ]
}

Полный справочник (параметры, все 4 языка SDK, крайние случаи): G2 Product Reviews, полный справочник