Скрапинг таблиц предложений idealo в пяти странах

О idealo.de

idealo.de описывает себя так: «✓ Более 50.000 магазинов ✓ Более 350 миллионов предложений ✓ Советы по покупке и мнения экспертов ✓ Сравнивайте цены и товары на idealo.de и экономьте!».

Главная страница объявляет 6 языков: it-it, de-at, en-gb, es-es, fr-fr, de-de.

Его robots.txt запрещает 12 путей.

Измерено на Crawlbase

97.0% успеха за август 2026 на самом крупном сайте длинного хвоста, который мы обслуживаем. Большая часть этого объёма идёт через Smart AI Proxy; вызов ниже это форма того же запроса для Crawling API. 20.5% успешных вызовов использовали JavaScript-токен; таблица предложений лежит в HTML, поэтому остальные получили те же данные за половину цены.

Вызов

# Offer table for one product on idealo.de
curl "https://api.crawlbase.com/?token=YOUR_TOKEN&country=DE&url=https%3A%2F%2Fwww.idealo.de%2Fpreisvergleich%2FOffersOfProduct%2F203251234.html"

# Same product on idealo.es: switch the domain and the exit country together
curl "https://api.crawlbase.com/?token=YOUR_TOKEN&country=ES&url=https%3A%2F%2Fwww.idealo.es%2Fprecios%2F203251234.html"

from crawlbase import CrawlingAPI
api = CrawlingAPI({'token': 'YOUR_TOKEN'})

r = api.get('https://www.idealo.de/preisvergleich/OffersOfProduct/203251234.html', {'country': 'DE'})
# offers are rows under .productOffers-listItem; shop, price, shipping, delivery per row

const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_TOKEN' });
const r = await api.get('https://www.idealo.de/preisvergleich/OffersOfProduct/203251234.html', { country: 'DE' });

Важные параметры

Поля, которые вы получаете, на каждую строку предложения

Что ломается и как починить

Запуск по расписанию

Мониторинг цен такого масштаба должен жить в Crawler: отправьте URL товаров с callback-адресом и позвольте очереди распределять запросы по времени.

Вопросы

Другие страницы на idealo.de

Страницы, которые idealo.de указывает в своих sitemap, запрошены Crawlbase 6 сентября 2026 и подтверждены в 2 прогонах подряд. В каждой строке самый дешёвый вызов, вернувший страницу с содержимым.