Crawling API / DuckDuckGoСкрапер DuckDuckGo.
Скрапер DuckDuckGo.
Каждый результат, полностью отрендеренный.
Отправьте любой URL результатов DuckDuckGo и получите обратно полностью отрендеренный HTML через резидентные прокси со встроенным обходом анти-бот защиты.
Превратите его в JSON с помощью generic extractor.
Живая лента краулинга · DuckDuckGo1.24M req/minПотоковая передача
200duckduckgo.com/?q=crm+softwareDE156ms
200duckduckgo.com/?q=residential+proxyIN148ms
200duckduckgo.com/?q=data+pipeline&t=h_FR117ms
200duckduckgo.com/?q=link+buildingGB142ms
200duckduckgo.com/html/?q=best+vpnNL62ms
200duckduckgo.com/?q=ecommerce+platform&t=h_AU133ms
200duckduckgo.com/html/?q=seo+toolsSG52ms
200duckduckgo.com/?q=python+tutorial&t=h_NL58ms
200duckduckgo.com/?q=cloud+hostingNL157ms
200duckduckgo.com/?q=residential+proxyUS216ms
200duckduckgo.com/?q=python+tutorial&t=h_AU139ms
200duckduckgo.com/?q=crm+softwareES132ms
200duckduckgo.com/?q=machine+learningUS165ms
200duckduckgo.com/?q=ai+startups&ia=webAU216ms
200duckduckgo.com/?q=python+tutorial&t=h_AU84ms
200duckduckgo.com/?q=ecommerce+platform&t=h_BR138ms
200duckduckgo.com/?q=web+scraping+api&ia=webJP148ms
200duckduckgo.com/?q=data+pipeline&t=h_ES171ms
200duckduckgo.com/html/?q=seo+toolsSG174ms
200duckduckgo.com/?q=electric+cars&ia=webNL181ms
200duckduckgo.com/html/?q=privacy+browserIN194ms
404duckduckgo.com/?q=ecommerce+platform&t=h_SG123ms
200duckduckgo.com/html/?q=seo+toolsJP117ms
200duckduckgo.com/?q=ai+startups&ia=webDE171ms
200duckduckgo.com/?q=ecommerce+platform&t=h_GB58ms
200duckduckgo.com/?q=residential+proxySG129ms
200duckduckgo.com/?q=crm+softwareDE156ms
200duckduckgo.com/?q=residential+proxyIN148ms
200duckduckgo.com/?q=data+pipeline&t=h_FR117ms
200duckduckgo.com/?q=link+buildingGB142ms
200duckduckgo.com/html/?q=best+vpnNL62ms
200duckduckgo.com/?q=ecommerce+platform&t=h_AU133ms
200duckduckgo.com/html/?q=seo+toolsSG52ms
200duckduckgo.com/?q=python+tutorial&t=h_NL58ms
200duckduckgo.com/?q=cloud+hostingNL157ms
200duckduckgo.com/?q=residential+proxyUS216ms
200duckduckgo.com/?q=python+tutorial&t=h_AU139ms
200duckduckgo.com/?q=crm+softwareES132ms
200duckduckgo.com/?q=machine+learningUS165ms
200duckduckgo.com/?q=ai+startups&ia=webAU216ms
200duckduckgo.com/?q=python+tutorial&t=h_AU84ms
200duckduckgo.com/?q=ecommerce+platform&t=h_BR138ms
200duckduckgo.com/?q=web+scraping+api&ia=webJP148ms
200duckduckgo.com/?q=data+pipeline&t=h_ES171ms
200duckduckgo.com/html/?q=seo+toolsSG174ms
200duckduckgo.com/?q=electric+cars&ia=webNL181ms
200duckduckgo.com/html/?q=privacy+browserIN194ms
404duckduckgo.com/?q=ecommerce+platform&t=h_SG123ms
200duckduckgo.com/html/?q=seo+toolsJP117ms
200duckduckgo.com/?q=ai+startups&ia=webDE171ms
200duckduckgo.com/?q=ecommerce+platform&t=h_GB58ms
200duckduckgo.com/?q=residential+proxySG129ms
01 Живое демо
Любой URL DuckDuckGo на входе. HTML или JSON на выходе.
Crawling API, набираемый вживую. Получите отрендеренный HTML или переключитесь на generic extractor для JSON. Наведите курсор, чтобы приостановить и прочитать.
Выполните первый запрос за считанные минуты. До 20,000 бесплатных запросов, без кредитной карты.Начать бесплатно
02 Возможности
Один API для всего, что подкидывает DuckDuckGo.
DuckDuckGo рендерит свои результаты с помощью JavaScript и срабатывает на лимиты запросов и бот-проверки при больших объёмах. Crawling API рендерит их в настоящем браузере, обращается к ним через резидентные IP и отдаёт вам чистый HTML или JSON.
render
Полный рендеринг JavaScript
Настоящий браузер выполняет страницу, поэтому динамически загружаемые органические результаты, заголовки, сниппеты и ссылки полностью захватываются, а не только исходная оболочка.
proxies
140M резидентных IP
Каждый запрос меняет резидентный IP по 30 регионам, поэтому вы обращаетесь к DuckDuckGo как настоящий локальный пользователь и видите местные рейтинги.
anti-bot
Блокировки решаются за вас
CAPTCHA, бот-стены и лимиты запросов снимаются автоматически. Ничего решать, ничего поддерживать.
format
HTML или JSON
Получите полностью отрендеренный HTML или добавьте scraper=generic-extractor чтобы вернуть заголовок, контент, изображения и ссылки в виде структурированного JSON.
extras
Скриншоты и асинхронность
Тот же вызов может сделать скриншот всей страницы или выполниться асинхронно с вебхуками и облачным хранилищем.
one token
Один API для любого сайта
Crawling API работает с любым URL, поэтому один токен покрывает DuckDuckGo и всё остальное, что вы краулите. Посмотреть живое демо.
03 Вывод
Отрендеренный HTML или чистый JSON.
По умолчанию вы получаете отрендеренный HTML. Добавьте generic-extractor и та же страница вернётся в виде типизированного JSON.
{
"title": "web scraping at DuckDuckGo",
"favicon": "https://duckduckgo.com/favicon.ico",
"meta": { "description": "DuckDuckGo. Privacy, simplified.", "keywords": "..." },
"content": "Organic results, titles, snippets and result URLs for the query...",
"canonical": "https://duckduckgo.com/?q=web+scraping",
"images": [ "..." ],
"og_images": [ "..." ],
"links": [ "..." ]
}
Страница
title · string canonical · string favicon · string
Мета
meta.description · string meta.keywords · string
Контент
content · string
Медиа
images · array og_images · array
Ссылки
links · array
04 Как это работает
От URL к данным за один вызов.
Каждый запрос к DuckDuckGo проходит один и тот же путь. Вы отправляете URL, мы управляем всем, что между.
01
Отправьте URL
Передайте любой публичный URL результатов DuckDuckGo с вашим токеном: запрос, HTML-эндпоинт, вертикаль или фильтрованный поиск.
02
Смените прокси
Резидентный IP и регион, которые чисто достигают DuckDuckGo, выбираются из 140M IP по 30 регионам.
03
Отрендерите страницу
Настоящий браузер загружает страницу, поэтому отрендеренные через JavaScript органические результаты, заголовки и сниппеты рендерятся до захвата.
04
Обойдите анти-бот защиту
Лимиты запросов и бот-проверки DuckDuckGo обрабатываются автоматически. Ничего решать, ничего поддерживать.
05
Верните HTML или JSON
Возвращается полностью отрендеренный HTML или типизированный JSON, когда вы добавляете generic extractor.
05 Сценарии использования
Что команды создают на данных DuckDuckGo.
USE / 01Рейтинги
Отслеживание позиций по ключевым словам
Краульте URL результатов по каждому запросу и региону по расписанию, чтобы отслеживать позиции и изменения рейтинга со временем.
USE / 02SERP
Мониторинг SERP
Следите за страницами результатов на предмет новых участников, изменений функций и движения по важным для вас запросам.
USE / 03SEO-исследование
SEO-исследование
Извлекайте ранжированные заголовки, сниппеты и URL результатов, чтобы изучать намерения, конкурентов и пробелы в контенте.
USE / 04Обнаружение
Поиск лидов и ссылок
Выявляйте домены, профили и страницы, ранжирующиеся по вашим терминам, для аутрич-кампаний и поиска ссылок.
USE / 05Обучение
Обучающие данные и RAG
Подавайте чистый текст результатов и URL результатов в модели, RAG-конвейеры и агентов через один API.
USE / 06Охват
Любой URL, один API
Краульте запросы, HTML-эндпоинт, вертикали и фильтры, а также любой другой нужный вам сайт.
06 Заметки
Полезно знать при скрапинге DuckDuckGo.
Рендеринг как в настоящем браузере
DuckDuckGo загружает свои результаты динамически через JavaScript; Crawling API запускает настоящий браузер, поэтому органические результаты рендерятся до захвата.
HTML по умолчанию, JSON по запросу
Вы получаете полностью отрендеренный HTML. Добавьте scraper=generic-extractor для распарсенных заголовка, контента, изображений и ссылок или распарсьте HTML сами для заголовков результатов, сниппетов и URL.
Локализуйте результаты по региону
Геотаргетинг выбирает регион прокси, поэтому вы можете читать рейтинги так, как их увидел бы пользователь в конкретной стране.
Достигайте DuckDuckGo откуда угодно
Ротация по 30 регионам и 140M резидентных IP означает стабильный доступ при больших объёмах без управления прокси и срабатывания лимитов запросов.
07 Почему Crawlbase
Создан для краулинга DuckDuckGo в масштабе.
Crawling API работает в той же сети, что обслуживает 46,000+ платящих клиентов и 70,000+ разработчиков. Не нужно покупать прокси, запускать браузеры и что-либо чинить, когда DuckDuckGo меняется.
99%
Средний процент успешных запросов
140M
Резидентных IP, плюс 98M датацентровых
30
Регионов для точных локальных результатов
20/s
Запросов в секунду по умолчанию, больше по запросу
Один токен, официальные SDK для Python, Node и Ruby и сеть с аптаймом 99.99% под капотом.
08 FAQ
Вопросы о скрапинге DuckDuckGo.
Отправьте URL результатов DuckDuckGo в Crawlbase Crawling API с вашим токеном. Crawlbase меняет резидентный прокси, рендерит страницу в настоящем браузере, снимает бот-проверки и возвращает полностью отрендеренный HTML с органическими результатами на месте. Добавьте scraper=generic-extractor, чтобы получить структурированный JSON вместо этого.
Да. По умолчанию Crawling API возвращает отрендеренный HTML; добавьте generic extractor (scraper=generic-extractor), чтобы получить заголовок, мета, контент, изображения и ссылки в виде JSON, или распарсьте HTML сами для заголовков результатов, сниппетов и URL.
Да. DuckDuckGo загружает свои результаты динамически через JavaScript. Настоящий браузер выполняет страницу, поэтому органические результаты рендерятся до захвата, а не только исходная оболочка.
Crawlbase направляет каждый запрос через ротирующиеся резидентные IP по 30 регионам и снимает бот-проверки и лимиты запросов автоматически. Вам не нужно управлять прокси или решать CAPTCHA, и нечего поддерживать, когда DuckDuckGo меняет свою настройку.
Да. Краульте URL результатов по каждому запросу и региону по расписанию, затем читайте ранжированные заголовки результатов и URL из HTML или JSON, чтобы отслеживать позиции со временем.
Любой публичный URL результатов: стандартные запросы, HTML-эндпоинт, веб- и новостные вертикали, а также поиски с фильтрами по региону или времени. Тот же API работает и на любом другом сайте.
Начните бесплатно, до 20,000 запросов и без кредитной карты. Платные планы масштабируются с использованием, и тот же токен работает по всему Crawling API и каждому скраперу Crawlbase.
Начните скрапить DuckDuckGo.
Отслеживайте рейтинги без блокировок.
Бесплатно на старте, до 20,000 запросов. Один токен для Crawling API и каждого скрапера.