Отзывы & Q&A
Семь скраперов для платформ отзывов и сообществ вопросов и ответов. Извлекайте структурированные отзывы и ветки ответов, не борясь с изменениями разметки.
Обзор
Страницы отзывов и Q&A несут одни из самых сигнально насыщенных пользовательских материалов в вебе - проверенные отзывы о продуктах, ответы из реального опыта и язык, которым настоящие клиенты описывают свои проблемы. Эти скраперы превращают этот контент в JSON, который вы можете подавать в LLM, модели тональности или дашборды продуктовых исследований, не парся каждый домен вручную.
Типичные сценарии:
- Продуктовые исследования: выявляйте реальные плюсы/минусы из
g2-product-reviewsдля категории, в которую вы входите, или конкурента, которого оцениваете. - VoC-аналитика (голос клиента): подавайте отзывы проверенных покупателей в модель тональности и сегментируйте по роли рецензента / размеру компании, чтобы выяснить, какие профили клиентов любят или ненавидят ту или иную функцию.
- Обнаружение контента: проходите ветки
quora-question, чтобы найти точные формулировки, которыми покупатели описывают проблему, решаемую вашим продуктом, - входные данные для текстов лендингов и SEO. - Обучение ИИ: постройте индекс для извлечения из качественных пар Q&A для answer-движка или доменно-специфичного copilot.
Скраперы G2 и Quora обрабатывают пагинацию внутренне - один вызов продукта G2 возвращает распределение оценок и видимую партию отзывов; передайте page для более старых страниц. Ветки Quora возвращают вопрос + все загруженные ответы за один раз. Скраперы Product Hunt возвращают ранжированные запуски из leaderboard или апвоуты, мейкеров, темы и отзывы отдельного продукта за один вызов.
G2
Отзывы о программных продуктах на G2. Возвращает общий рейтинг, общее число отзывов, распределение оценок и разобранные отзывы, включая роль рецензента и размер компании там, где G2 их показывает.
- G2 Product Reviews - отзывы о программных продуктах на G2, распределение оценок, отдельные отзывы, плюсы/минусы.
Quora
Страницы вопросов Quora - вопрос, все ответы, сведения об авторах и счётчики вовлечённости.
- Quora Question - страница вопроса Quora со всеми ответами.
- Quora SERP - результаты поиска Quora.
Product Hunt
Страницы запусков Product Hunt - ежедневные и еженедельные leaderboard плюс отдельные страницы продуктов с апвоутами, мейкерами, темами и отзывами.
- Product Hunt Leaderboard - ежедневные и еженедельные leaderboard Product Hunt с рангами, апвоутами и мейкерами.
- Product Hunt Product - отдельная страница продукта Product Hunt с апвоутами, мейкерами, темами и отзывами.
Stack Exchange
Q&A сети Stack Exchange - списки вопросов и полные ветки вопросов на Stack Overflow, Super User, Ask Ubuntu, Server Fault, MathOverflow и каждом сайте *.stackexchange.com. Один парсер на тип страницы, независимый от хоста во всей сети.
- Stack Exchange Questions - страница вопросов, тегов или результатов поиска в виде структурированного массива со счётом, числом ответов и просмотров, тегами и пагинацией.
- Stack Exchange Thread - отдельный вопрос с его полным текстом плюс каждым ответом и комментарием, со счётом, статусом принятия и авторами.
Пример вызова
Ниже: один вызов g2-product-reviews. Ответ несёт агрегаты на уровне продукта плюс разобранную партию отзывов - заголовок, оценку, роль рецензента и размер компании.
curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
--data-urlencode 'url=https://www.g2.com/products/zoom/reviews' \
--data-urlencode 'scraper=g2-product-reviews' -G
Пример ответа
{
"product_name": "Zoom",
"overall_rating": 4.5,
"total_reviews": 52840,
"reviews": [
{
"title": "Reliable for daily standups",
"rating": 4.5,
"reviewer_role": "Engineering Manager",
"reviewer_company_size": "51-200 employees"
}
]
}
Полный справочник (параметры, все 4 языка SDK, крайние случаи): G2 Product Reviews, полный справочник