Daum Scraper.
Любая страница, полностью отрендеренная.
Отправьте любой URL Daum и получите обратно полностью отрендеренный HTML через резидентные прокси в Корее со встроенным обходом систем защиты от ботов.
Превратите его в JSON с помощью generic extractor.
Любой URL Daum на входе. HTML или JSON на выходе.
Crawling API, набираемый вживую. Получите отрендеренный HTML или переключитесь на generic extractor для JSON. Наведите курсор, чтобы приостановить и прочитать.
Один API для всего, что подбрасывает вам Daum.
Daum: корейский портал, отрисовываемый на JavaScript, чьи новостные и поисковые ленты загружаются динамически и гео-ограничены Кореей. Crawling API отрисовывает его в реальном браузере, обращается к нему через резидентные IP в Корее и передает вам чистый HTML или JSON.
Полная отрисовка JavaScript
Реальный браузер выполняет страницу, поэтому динамически загружаемые новостные заголовки, результаты поиска и ленты портала захватываются целиком, а не только исходный HTML.
Резидентные IP в Корее
Daum гео-ограничен Кореей, поэтому каждый запрос ротирует резидентный IP в Корее, и вы обращаетесь к порталу как реальный местный посетитель.
Блокировки обрабатываются за вас
CAPTCHA, стены ботов и ограничения по частоте снимаются автоматически. Ничего решать, ничего поддерживать.
HTML или JSON
Получите полный отрендеренный HTML или добавьте scraper=generic-extractor чтобы вернуть заголовок, содержимое, изображения и ссылки в виде структурированного JSON.
Скриншоты и асинхронность
Тот же вызов может снять полностраничный скриншот или выполниться асинхронно с вебхуками и облачным хранилищем.
Один API для любого сайта
Crawling API работает с любым URL, поэтому один и тот же токен покрывает Daum и все остальное, что вы обходите. Посмотреть живое демо.
Отрендеренный HTML или чистый JSON.
По умолчанию вы получаете отрендеренный HTML. Добавьте generic-extractor и та же страница вернется в виде типизированного JSON.
Страница
title · string canonical · string favicon · string
Мета
meta.description · string meta.keywords · string
Содержимое
content · string
Медиа
images · array og_images · array
Ссылки
links · array
От URL до данных за один вызов.
Каждый запрос к Daum проходит по одному и тому же пути. Вы отправляете URL, мы обслуживаем все, что между.
Отправьте URL
Передайте любой публичный URL Daum со своим токеном: главную страницу, новостную статью, страницу результатов поиска или кафе.
Ротируйте прокси
Резидентный IP в Корее, который чисто обращается к Daum, взятый из 140M IP по 30 регионам.
Отрисуйте страницу
Реальный браузер загружает страницу, поэтому новостные заголовки, результаты поиска и ленты портала отрисовываются до захвата.
Обойдите анти-бот
Гео-ограничение Daum, проверки ботов и ограничения по частоте обрабатываются автоматически. Ничего решать, ничего поддерживать.
Верните HTML или JSON
Возвращается полностью отрендеренный HTML или типизированный JSON, когда вы добавляете generic extractor.
Что команды строят на данных Daum.
Исследование корейского рынка
Отслеживайте, что в тренде по всему порталу, новостям и сообществам кафе, чтобы читать корейский рынок в реальном времени.
Мониторинг новостей
Наблюдайте за новостными заголовками Daum и страницами поиска, чтобы следить за сюжетами, освещением и настроениями по мере их появления.
Локализация и QA
Отрисовывайте Daum как посетитель из Кореи, чтобы проверить локализованные страницы, региональный контент и гео-ограниченное поведение.
Данные портала и SERP
Собирайте результаты поиска Daum, разделы и ссылки, чтобы оценить видимость и ранжирование на корейском рынке.
Финансовые и спортивные ленты
Извлекайте финансовые и спортивные страницы для цен, расписаний и цифр, которые обновляются в течение дня.
Любой URL, один API
Обходите главную страницу, новости, поиск, кафе и финансы, плюс любой другой сайт, который вам нужен.
Полезно знать при сборе данных с Daum.
Отрисовка как в реальном браузере
Daum: портал, отрисовываемый на JavaScript; Crawling API запускает реальный браузер, поэтому новостные заголовки, результаты поиска и ленты портала загружаются до захвата.
Геотаргетинг на Корею
Daum гео-ограничен Кореей. Crawlbase ротирует резидентные IP в Корее, поэтому портал загружается чисто, без покупки или управления прокси с вашей стороны.
HTML по умолчанию, JSON по запросу
Вы получаете полный отрендеренный HTML. Добавьте scraper=generic-extractor для разобранного заголовка, содержимого, изображений и ссылок или разберите HTML самостоятельно.
Только публичные страницы
Crawling API читает публично видимые страницы, без входа в систему, поэтому вы получаете то, что видит вышедший из системы посетитель в Корее.
Создан для обхода Daum в масштабе.
Crawling API работает в той же сети, что обслуживает более 46,000 платящих клиентов и более 70,000 разработчиков. Никаких прокси для покупки, никаких браузеров для запуска, ничего латать, когда Daum меняется.
Один токен, официальные SDK для Python, Node и Ruby и сеть с аптаймом 99.99% под капотом.
Вопросы о сборе данных с Daum.
Начните собирать данные с Daum.
Достигните Кореи без прокси.
Бесплатно начать, до 20,000 запросов. Один токен для Crawling API и каждого скрапера.