Скрапинг таблиц предложений idealo в пяти странах
Полный список предложений по товару на idealo.de, .es, .it, .fr и .co.uk: магазин, цена, доставка, срок доставки, наличие. Самый тяжёлый по объёму рецепт в Cookbook.
Измерено на Crawlbase
97.0% успеха за August 2026 на самом крупном сайте длинного хвоста, который мы обслуживаем. Большая часть этого объёма идёт через Smart AI Proxy; вызов ниже это форма того же запроса для Crawling API. 20.5% успешных вызовов использовали JavaScript-токен; таблица предложений лежит в HTML, поэтому остальные получили те же данные за половину цены.
Вызов
# Offer table for one product on idealo.de curl "https://api.crawlbase.com/?token=YOUR_TOKEN&country=DE&url=https%3A%2F%2Fwww.idealo.de%2Fpreisvergleich%2FOffersOfProduct%2F203251234.html" # Same product on idealo.es: switch the domain and the exit country together curl "https://api.crawlbase.com/?token=YOUR_TOKEN&country=ES&url=https%3A%2F%2Fwww.idealo.es%2Fprecios%2F203251234.html"
from crawlbase import CrawlingAPI api = CrawlingAPI({'token': 'YOUR_TOKEN'}) r = api.get('https://www.idealo.de/preisvergleich/OffersOfProduct/203251234.html', {'country': 'DE'}) # offers are rows under .productOffers-listItem; shop, price, shipping, delivery per row
const { CrawlingAPI } = require('crawlbase'); const api = new CrawlingAPI({ token: 'YOUR_TOKEN' }); const r = await api.get('https://www.idealo.de/preisvergleich/OffersOfProduct/203251234.html', { country: 'DE' });
Важные параметры
| Параметр | Значение | Зачем |
|---|---|---|
country | по домену: DE, ES, IT, FR, GB | idealo перенаправляет иностранный выход на сайт своей страны, и вы получаете не ту таблицу предложений под правильным URL. |
javascript | не задавать | Строки предложений рендерятся на сервере. Вызовы с браузером платили вдвое за ту же таблицу. |
format | html | Отдельного скрапера пока нет. Селекторы ниже те, которые читают аккаунты на этом рецепте. |
Поля, которые вы получаете, на каждую строку предложения
.productOffers-listItemTitle.productOffers-listItemOfferPrice.productOffers-listItemOfferShippingDetails.productOffers-listItemOfferDeliveryTimedata-availabilitya[href] (redirect)Что ломается и как починить
?page=. Первая страница отсортирована по цене с учётом доставки; следующие страницы сохраняют этот порядок.Запуск по расписанию
Мониторинг цен такого масштаба должен жить в Crawler: отправьте URL товаров с callback-адресом и позвольте очереди распределять запросы по времени.
Вопросы
Нужен ли idealo JavaScript?
Нет. Таблицы предложений лежат в HTML. Задайте country по стране сайта и обойдитесь без браузера.
Какие страны idealo работают?
Измерены Германия, Испания, Италия, Франция и Великобритания. Австрия работает с country=AT, но трафика слишком мало, чтобы сообщить долю успеха.