Скрапер Product Hunt.
Любая страница, полностью отрендеренная.
Отправьте любой URL Product Hunt и получите обратно полностью отрендеренный HTML через резидентные прокси со встроенной обработкой защиты от ботов.
Или получите структурированный JSON с помощью скраперов producthunt-leaderboard и producthunt-product.
Два скрапера Product Hunt, вживую.
Crawling API, набираемый вживую. Смотрите, как скраперы producthunt-leaderboard и producthunt-product каждый возвращают структурированный JSON. Наведите курсор, чтобы приостановить и прочитать.
Один API для всего, что подбрасывает Product Hunt.
Product Hunt загружает свои ленты запусков, апвоуты и комментарии из GraphQL после отрисовки страницы и жёстко защищает главную страницу и страницы продуктов. Crawling API рендерит её в настоящем браузере, обращается к ней через резидентные IP и отдаёт вам чистый HTML или JSON.
Полный рендеринг JavaScript
Настоящий браузер исполняет страницу, поэтому загруженные через GraphQL запуски, счётчики апвоутов, комментарии и медиа захватываются целиком, а не только исходный HTML.
140M резидентных IP
Каждый запрос ротирует резидентный IP по 30 регионам, поэтому вы обращаетесь к Product Hunt как настоящий локальный посетитель.
Блокировки обрабатываются за вас
CAPTCHA, стены защиты от ботов и лимиты частоты снимаются автоматически. Ничего решать, ничего поддерживать.
HTML или JSON
Получите полный отрендеренный HTML или добавьте scraper=producthunt-leaderboard или producthunt-product, чтобы вернуть лидерборды и запуски в виде структурированного JSON.
Скриншоты и асинхронность
Тот же вызов может сделать скриншот всей страницы или выполниться асинхронно с вебхуками и облачным хранилищем.
Один API для любого сайта
Crawling API работает с любым URL, поэтому один и тот же токен покрывает Product Hunt и всё остальное, что вы обходите. Посмотреть живое демо.
Каждое поле лидерборда, как чистый JSON.
Отправьте URL лидерборда с scraper=producthunt-leaderboard, и лидерборд вернётся в виде типизированного JSON. Переключитесь на producthunt-product, чтобы сделать то же самое для отдельного запуска.
Leaderboard
period · string date · string url · string productCount · number
Products
products · array products[].name · string products[].tagline · string products[].slug · string
Ranking
products[].position · number products[].rank · number
Engagement
products[].upvotes · number products[].commentsCount · number products[].topics · array
Meta
products[].makerCount · number products[].thumbnail · string products[].isPromoted · boolean
От URL к данным за один вызов.
Каждый запрос к Product Hunt проходит по одному и тому же пути. Вы отправляете URL, мы управляем всем, что между.
Отправьте URL
Передайте любой публичный URL Product Hunt со своим токеном: ленту главной страницы, продукт, тему или профиль мейкера.
Ротируйте прокси
Резидентный IP и регион, которые чисто обращаются к Product Hunt, выбираются из 140M IP по 30 регионам.
Отрендерьте страницу
Настоящий браузер загружает страницу, поэтому ленты запусков GraphQL, счётчики апвоутов и комментарии отрисовываются перед захватом.
Снимите защиту от ботов
Агрессивная детекция ботов Product Hunt на главной странице и страницах продуктов обрабатывается автоматически. Ничего решать, ничего поддерживать.
Верните HTML или JSON
Возвращается полностью отрендеренный HTML или типизированный JSON, когда вы добавляете producthunt-leaderboard или producthunt-product.
Что команды строят на данных Product Hunt.
Отслеживание запусков
Собирайте ежедневные запуски с апвоутами, мейкерами и комментариями, чтобы отслеживать, что выходит и как это заходит.
Мониторинг трендов и тем
Следите за страницами тем и лидербордов, чтобы рано замечать растущие продукты, категории и нарративы.
Лиды по мейкерам и продуктам
Собирайте мейкеров, продукты и профили, чтобы строить списки потенциальных клиентов и конкурентные карты.
Мониторинг бренда и конкурентов
Отслеживайте, как ваш продукт и конкуренты запускаются, ранжируются и обсуждаются по всей ленте.
Исследование рынка и продукта
Анализируйте тексты запусков, слоганы и ветки комментариев, чтобы задавать позиционирование и дорожные карты.
Любой URL, один API
Обходите ленту главной страницы, посты, темы, лидерборды и профили мейкеров, а также любой другой сайт, который вам нужен.
Что полезно знать при скрапинге Product Hunt.
Отрендерено как в настоящем браузере
Product Hunt загружает запуски, апвоуты и комментарии из GraphQL после отрисовки; Crawling API запускает настоящий браузер, поэтому они все отрисовываются перед захватом.
HTML по умолчанию, JSON по запросу
Вы получаете полный отрендеренный HTML. Добавьте scraper=producthunt-leaderboard или scraper=producthunt-product для распарсенного типизированного JSON или распарсьте HTML самостоятельно.
Только публичные страницы
Crawling API читает публично видимые страницы без входа в систему, поэтому вы получаете то, что видит незалогиненный посетитель.
Обращайтесь к Product Hunt откуда угодно
Геотаргетинг по 30 регионам и 140M резидентных IP означают стабильный доступ без управления прокси.
Создано для обхода Product Hunt в масштабе.
Crawling API работает в той же сети, которая обслуживает более 46,000 платящих клиентов и более 70,000 разработчиков. Никаких прокси для покупки, никаких браузеров для запуска, ничего чинить, когда Product Hunt меняется.
Один токен, официальные SDK для Python, Node и Ruby и сеть с аптаймом 99.99% под капотом.
Вопросы о скрапинге Product Hunt.
Начните скрапить Product Hunt.
Пропустите прокси и блокировки.
Бесплатно для старта, до 20,000 запросов. Один токен для Crawling API и каждого скрапера.