Скрапинг сайтов категории открытые данные
11 сайтов в этой категории, измерено на трафике Crawlbase за August 2026. На каждой странице есть рабочий запрос и цифры за ним.
Госорганы и открытые данные, sec.gov, nyc.gov, justice.gov и openstreetmap.org. Обычная форма: поиск и карточки записей; около половины сайтов рендерят результаты на клиенте и требуют JavaScript-токен. 5 из 11 сайтов отвечают на обычный токен. Каждый сайт стоит 1 кредит за страницу.
Страницы на sec.gov: без браузера, 97.6% успешных запросов за Aug 2026.
Страницы на nyc.gov: без браузера, 92.0% успешных запросов за Aug 2026.
Главную страницу на justice.gov: браузер только там, где требует шаблон, 97.2% успешных запросов за Aug 2026.
Как получить результаты поиска с openstreetmap.org: без браузера, 99.7% успеха, один запрос на страницу.
98.6% запросов к bizapedia.com успешны. страницы, без браузера, медианный ответ 7.6s.
95.7% запросов к ademe.fr успешны. страницы, JavaScript-токен, медианный ответ 1.7s.
92.5% запросов к nysenate.gov успешны. страницы, JavaScript-токен, медианный ответ 33.4s.
Как получить страницы с unep-wcmc.org: без браузера, 95.9% успеха, один запрос на страницу.
90.1% запросов к fmi.fi успешны. страницы, без браузера, медианный ответ 1.8s.
98.6% запросов к societe.com успешны. страницы, JavaScript-токен, медианный ответ 7.2s.
99.8% запросов к planninginspectorate.gov.uk успешны. страницы projects, JavaScript-токен, медианный ответ 3.4s.