Crawling API / Daum

Daum Scraper.
Любая страница, полностью отрендеренная.

Отправьте любой URL Daum и получите обратно полностью отрендеренный HTML через резидентные прокси в Корее со встроенным обходом систем защиты от ботов.
Превратите его в JSON с помощью generic extractor.

99% успешных запросов140M резидентных IP30 регионов
URL DaumHTML or JSONwww.daum.net/search?q=weatherCrawlbaseМаршрутРендерингИзвлечениеГотовый HTMLСтруктурированный JSONcrawling-apigeneric-extractordaum.net · лимит запросов перенаправлен · 200
Живая лента обхода · Daum1.24M req/minПотоковая передача
200sports.daum.net/schedule/kboBR83ms
200finance.daum.net/exchangesBR44ms
200finance.daum.net/quote/A005930NL209ms
200finance.daum.net/exchangesUS146ms
200cafe.daum.net/bookloveUS151ms
200cafe.daum.net/bookloveGB218ms
200finance.daum.net/domestic/allES194ms
200search.daum.net/search?q=%EB%82%A0%EC%94%A8BR75ms
200news.daum.net/v/20260625174208910FR112ms
200www.daum.net/search?q=%EC%84%9C%EC%9A%B8+%EB%A7%9B%EC%A7%91ES76ms
200search.daum.net/search?w=img&q=hanokBR63ms
200sports.daum.net/schedule/kboUS131ms
200sports.daum.net/schedule/kboFR94ms
200news.daum.net/v/20260626093015421JP198ms
200cafe.daum.net/bookloveCA210ms
200search.daum.net/search?w=img&q=hanokES156ms
200finance.daum.net/domestic/allDE161ms
200finance.daum.net/domestic/allNL176ms
200search.daum.net/search?q=%EB%82%A0%EC%94%A8DE157ms
200sports.daum.net/schedule/kboGB126ms
200www.daum.net/search?q=weatherAU93ms
200www.daum.net/search?q=weatherJP135ms
200www.daum.net/search?q=weatherGB67ms
200cafe.daum.net/bookloveSG187ms
200www.daum.net/search?q=%EC%9C%A0%EA%B0%80IN83ms
200www.daum.net/search?q=%EC%9C%A0%EA%B0%80SG110ms
200sports.daum.net/schedule/kboBR83ms
200finance.daum.net/exchangesBR44ms
200finance.daum.net/quote/A005930NL209ms
200finance.daum.net/exchangesUS146ms
200cafe.daum.net/bookloveUS151ms
200cafe.daum.net/bookloveGB218ms
200finance.daum.net/domestic/allES194ms
200search.daum.net/search?q=%EB%82%A0%EC%94%A8BR75ms
200news.daum.net/v/20260625174208910FR112ms
200www.daum.net/search?q=%EC%84%9C%EC%9A%B8+%EB%A7%9B%EC%A7%91ES76ms
200search.daum.net/search?w=img&q=hanokBR63ms
200sports.daum.net/schedule/kboUS131ms
200sports.daum.net/schedule/kboFR94ms
200news.daum.net/v/20260626093015421JP198ms
200cafe.daum.net/bookloveCA210ms
200search.daum.net/search?w=img&q=hanokES156ms
200finance.daum.net/domestic/allDE161ms
200finance.daum.net/domestic/allNL176ms
200search.daum.net/search?q=%EB%82%A0%EC%94%A8DE157ms
200sports.daum.net/schedule/kboGB126ms
200www.daum.net/search?q=weatherAU93ms
200www.daum.net/search?q=weatherJP135ms
200www.daum.net/search?q=weatherGB67ms
200cafe.daum.net/bookloveSG187ms
200www.daum.net/search?q=%EC%9C%A0%EA%B0%80IN83ms
200www.daum.net/search?q=%EC%9C%A0%EA%B0%80SG110ms
01 Живое демо

Любой URL Daum на входе. HTML или JSON на выходе.

Crawling API, набираемый вживую. Получите отрендеренный HTML или переключитесь на generic extractor для JSON. Наведите курсор, чтобы приостановить и прочитать.

ready
keys 1-2 switch · click to pauserun your own URL
Run your first request in minutes. Up to 20,000 free requests, no credit card.Начать бесплатно
02 Возможности

Один API для всего, что подбрасывает вам Daum.

Daum: корейский портал, отрисовываемый на JavaScript, чьи новостные и поисковые ленты загружаются динамически и гео-ограничены Кореей. Crawling API отрисовывает его в реальном браузере, обращается к нему через резидентные IP в Корее и передает вам чистый HTML или JSON.

отрисовка

Полная отрисовка JavaScript

Реальный браузер выполняет страницу, поэтому динамически загружаемые новостные заголовки, результаты поиска и ленты портала захватываются целиком, а не только исходный HTML.

прокси

Резидентные IP в Корее

Daum гео-ограничен Кореей, поэтому каждый запрос ротирует резидентный IP в Корее, и вы обращаетесь к порталу как реальный местный посетитель.

анти-бот

Блокировки обрабатываются за вас

CAPTCHA, стены ботов и ограничения по частоте снимаются автоматически. Ничего решать, ничего поддерживать.

формат

HTML или JSON

Получите полный отрендеренный HTML или добавьте scraper=generic-extractor чтобы вернуть заголовок, содержимое, изображения и ссылки в виде структурированного JSON.

дополнительно

Скриншоты и асинхронность

Тот же вызов может снять полностраничный скриншот или выполниться асинхронно с вебхуками и облачным хранилищем.

один токен

Один API для любого сайта

Crawling API работает с любым URL, поэтому один и тот же токен покрывает Daum и все остальное, что вы обходите. Посмотреть живое демо.

03 Вывод

Отрендеренный HTML или чистый JSON.

По умолчанию вы получаете отрендеренный HTML. Добавьте generic-extractor и та же страница вернется в виде типизированного JSON.

{ "title": "Daum: news, search and mail", "favicon": "https://www.daum.net/favicon.ico", "meta": { "description": "Daum portal: news, search, mail and more.", "keywords": "..." }, "content": "Portal sections, news headlines, search results and links...", "canonical": "https://www.daum.net/", "images": [ "..." ], "og_images": [ "..." ], "links": [ "..." ] }

Страница

title · string  canonical · string  favicon · string

Мета

meta.description · string  meta.keywords · string

Содержимое

content · string

Медиа

images · array  og_images · array

Ссылки

links · array

04 Как это работает

От URL до данных за один вызов.

Каждый запрос к Daum проходит по одному и тому же пути. Вы отправляете URL, мы обслуживаем все, что между.

01

Отправьте URL

Передайте любой публичный URL Daum со своим токеном: главную страницу, новостную статью, страницу результатов поиска или кафе.

02

Ротируйте прокси

Резидентный IP в Корее, который чисто обращается к Daum, взятый из 140M IP по 30 регионам.

03

Отрисуйте страницу

Реальный браузер загружает страницу, поэтому новостные заголовки, результаты поиска и ленты портала отрисовываются до захвата.

04

Обойдите анти-бот

Гео-ограничение Daum, проверки ботов и ограничения по частоте обрабатываются автоматически. Ничего решать, ничего поддерживать.

05

Верните HTML или JSON

Возвращается полностью отрендеренный HTML или типизированный JSON, когда вы добавляете generic extractor.

05 Сценарии использования

Что команды строят на данных Daum.

USE / 01Корея

Исследование корейского рынка

Отслеживайте, что в тренде по всему порталу, новостям и сообществам кафе, чтобы читать корейский рынок в реальном времени.

USE / 02Новости

Мониторинг новостей

Наблюдайте за новостными заголовками Daum и страницами поиска, чтобы следить за сюжетами, освещением и настроениями по мере их появления.

USE / 03Локализация

Локализация и QA

Отрисовывайте Daum как посетитель из Кореи, чтобы проверить локализованные страницы, региональный контент и гео-ограниченное поведение.

USE / 04Поиск

Данные портала и SERP

Собирайте результаты поиска Daum, разделы и ссылки, чтобы оценить видимость и ранжирование на корейском рынке.

USE / 05Финансы

Финансовые и спортивные ленты

Извлекайте финансовые и спортивные страницы для цен, расписаний и цифр, которые обновляются в течение дня.

USE / 06Охват

Любой URL, один API

Обходите главную страницу, новости, поиск, кафе и финансы, плюс любой другой сайт, который вам нужен.

06 Примечания

Полезно знать при сборе данных с Daum.

Отрисовка как в реальном браузере

Daum: портал, отрисовываемый на JavaScript; Crawling API запускает реальный браузер, поэтому новостные заголовки, результаты поиска и ленты портала загружаются до захвата.

Геотаргетинг на Корею

Daum гео-ограничен Кореей. Crawlbase ротирует резидентные IP в Корее, поэтому портал загружается чисто, без покупки или управления прокси с вашей стороны.

HTML по умолчанию, JSON по запросу

Вы получаете полный отрендеренный HTML. Добавьте scraper=generic-extractor для разобранного заголовка, содержимого, изображений и ссылок или разберите HTML самостоятельно.

Только публичные страницы

Crawling API читает публично видимые страницы, без входа в систему, поэтому вы получаете то, что видит вышедший из системы посетитель в Корее.

07 Почему Crawlbase

Создан для обхода Daum в масштабе.

Crawling API работает в той же сети, что обслуживает более 46,000 платящих клиентов и более 70,000 разработчиков. Никаких прокси для покупки, никаких браузеров для запуска, ничего латать, когда Daum меняется.

99%
Средняя доля успешных запросов
140M
Резидентных IP, плюс 98M дата-центровых
30
Регионов для точных локальных результатов
20/s
Запросов в секунду по умолчанию, больше по запросу

Один токен, официальные SDK для Python, Node и Ruby и сеть с аптаймом 99.99% под капотом.

08 FAQ

Вопросы о сборе данных с Daum.

Отправьте URL Daum в Crawlbase Crawling API со своим токеном. Crawlbase ротирует резидентный прокси в Корее, отрисовывает страницу в реальном браузере, снимает проверки ботов и возвращает полностью отрендеренный HTML. Добавьте scraper=generic-extractor, чтобы вместо этого получить структурированный JSON.
Да. По умолчанию Crawling API возвращает отрендеренный HTML; добавьте generic extractor (scraper=generic-extractor), чтобы получить заголовок, мета, содержимое, изображения и ссылки в виде JSON, или разберите HTML самостоятельно.
Да. Реальный браузер выполняет страницу, поэтому динамически загружаемые новостные заголовки, результаты поиска и ленты портала захватываются, а не только исходный HTML.
Daum гео-ограничен Кореей, поэтому запросы должны приходить с IP в Корее, чтобы загружаться чисто. Crawlbase выполняет геотаргетинг на Корею и ротирует резидентные IP за вас, поэтому вы обращаетесь к Daum как местный посетитель, без покупки или управления прокси.
Crawlbase направляет каждый запрос через ротируемые резидентные IP и снимает проверки ботов автоматически. Вы не управляете прокси и не решаете CAPTCHA, и нечего поддерживать, когда Daum меняет свою конфигурацию.
Любой публичный URL по всему порталу: главную страницу, новостные статьи, страницы результатов поиска, спорт, финансы и страницы кафе. Тот же API работает и на любом другом сайте.
Начните бесплатно, до 20,000 запросов и без кредитной карты. Платные планы масштабируются с использованием, и тот же токен работает в Crawling API и каждом скрапере Crawlbase.

Начните собирать данные с Daum.
Достигните Кореи без прокси.

Бесплатно начать, до 20,000 запросов. Один токен для Crawling API и каждого скрапера.