Скрапинг duckduckgo.com

О duckduckgo.com

duckduckgo.com описывает себя так: «Компания интернет-приватности, которая позволяет вам легко взять под контроль свою личную информацию в сети без каких-либо компромиссов».

Главная страница объявляет 12 языков: af-za, be-by, bg-bg, cs-cz, da-dk, de-de, el-gr, en-us, es-es, et-ee, fi-fi, fr-fr.

Его sitemap перечисляют 318 URL в 2 файла. 292 из 317 датированных записей изменились за последние 30 дней, самая свежая 3 сентября 2026.

Его robots.txt называет 2 sitemap и запрещает 6 путей, среди них /lite, /html, /email/.

Измерено на Crawlbase

Доля успеха по каждому запросу каждого аккаунта за август 2026: 95.9%. Шаблоны, страны и сбои взяты из лога запросов с 14 августа 2026; 0.0% успешных вызовов использовали JavaScript-токен, медианный ответ занял 2.1s.

Среди 11 сайтов категории технологии и разработка в Cookbook duckduckgo.com занимает 8 место из 11 по доле успеха; медиана категории 97.8%. Его медианный ответ 2.1s на уровне медианы категории 1.9s. 8 из 11 принимают обычный токен, и этот сайт тоже.

Вызов

Самая частая форма URL, которую запрашивают аккаунты, с country и токеном, которые срабатывают чаще всего. Замените путь-заполнитель на реальный путь с сайта.

curl "https://api.crawlbase.com/?token=YOUR_TOKEN&url=https%3A%2F%2Fwww.duckduckgo.com%2Fexample-page"

from crawlbase import CrawlingAPI
api = CrawlingAPI({'token': 'YOUR_TOKEN'})

r = api.get('https://www.duckduckgo.com/example-page')
html = r['body']

const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_TOKEN' });

const r = await api.get('https://www.duckduckgo.com/example-page');

Важные параметры

Шаблоны URL, которые запрашивают аккаунты

Поля, которые вы получаете

Поля зависят от типа страницы. Страницы товаров обычно содержат блок ld+json с названием, ценой, валютой и наличием, страницы статей: заголовок и текст; проверьте первый полученный ответ.

Что ломается и как починить

На сбои с 14 августа 2026 сайт отвечал:

Запуск по расписанию

Медианный ответ на этом сайте 2.1s. Отправьте список URL в Crawler с callback-адресом для всего, что превышает несколько тысяч страниц в день; он распределяет вызовы по времени и повторяет то, что сайт отклонил.

Вопросы

Другие страницы на duckduckgo.com

Страницы, которые duckduckgo.com указывает в своих sitemap, запрошены Crawlbase 6 сентября 2026 и подтверждены в 2 прогонах подряд. В каждой строке самый дешёвый вызов, вернувший страницу с содержимым.