Cookbook·Открытые данные·nysenate.gov
Скрапинг nysenate.gov
Запрос, который сегодня возвращает страницы с nysenate.gov, с параметрами, шаблонами и типами ошибок из лога запросов с 14 Aug 2026.
92.5% успеха · Aug 2026Нужен браузерЦена Стандартный · 1 кредит
Измерено на Crawlbase
Доля успеха по каждому запросу каждого аккаунта за August 2026: 92.5%. Шаблоны, страны и сбои взяты из лога запросов с 14 Aug 2026; 99.9% успешных вызовов использовали JavaScript-токен, медианный ответ занял 33.4s.
Среди 11 сайтов категории открытые данные в Cookbook nysenate.gov занимает 9 место из 11 по доле успеха; медиана категории 97.2%. Его медианный ответ 33.4s медленнее медианы категории 2.3s. 5 из 11 принимают обычный токен; этому сайту нужен JavaScript-токен.
Вызов
Самая частая форма URL, которую запрашивают аккаунты, с country и токеном, которые срабатывают чаще всего. Замените путь-заполнитель на реальный путь с сайта.
curl "https://api.crawlbase.com/?token=YOUR_JS_TOKEN&url=https%3A%2F%2Fwww.nysenate.gov%2Fexample-page%2Fexample-page"from crawlbase import CrawlingAPI api = CrawlingAPI({'token': 'YOUR_JS_TOKEN'}) r = api.get('https://www.nysenate.gov/example-page/example-page') html = r['body']
const { CrawlingAPI } = require('crawlbase'); const api = new CrawlingAPI({ token: 'YOUR_JS_TOKEN' }); const r = await api.get('https://www.nysenate.gov/example-page/example-page');
Важные параметры
| Параметр | Значение | Зачем |
|---|---|---|
country | не задавать | Большинство успешных вызовов не задают country (99.9%) и срабатывают с долей успеха 93.0%. |
javascript | использовать JavaScript-токен | 99.8% вызовов используют JavaScript-токен и срабатывают с долей успеха 93.1%. Обычный токен пробовали слишком редко (6 вызовов), чтобы что-то о нём сказать. |
Шаблоны URL, которые запрашивают аккаунты
| Шаблон | Доля успехов | JavaScript-токен | Страна | Параметры запроса |
|---|---|---|---|---|
/{slug}/{slug} | 85.5% | 100% | нет | нет |
/{slug}/{slug}/{slug} | 13.0% | 100% | нет | нет |
Поля, которые вы получаете
Поля зависят от типа страницы. Страницы товаров обычно содержат блок ld+json с названием, ценой, валютой и наличием, страницы статей: заголовок и текст; проверьте первый полученный ответ.
Что ломается и как починить
На сбои с 14 Aug 2026 сайт отвечал:
0: 20.4% сбоев Статус 0 означает запрос, который так и не получил ответа в пределах таймаута. Повторите один раз с JavaScript-токеном, если шаблону нужен браузер.
403: 18.1% сбоев 403 означает, что сайт отказал точке выхода. Задайте country, который используют успешные вызовы, и повторите один раз; второй 403 означает, что защищён сам URL.
530, 594, 500: вместе 41.1% сбоев 5xx означает сбой сайта, а не запроса. Повторите через минуту.
Запуск по расписанию
Медианный ответ на этом сайте 33.4s. Отправьте список URL в Crawler с callback-адресом для всего, что превышает несколько тысяч страниц в день; он распределяет вызовы по времени и повторяет то, что сайт отклонил.
Вопросы
Нужен ли браузер для скрапинга nysenate.gov?
Да, для большинства страниц. Вызовы с JavaScript-токеном срабатывают с долей успеха 93.1%, а вызовы с обычным токеном достигают 66.7%.
Сколько стоит страница nysenate.gov на Crawlbase?
1 кредит без браузера. nysenate.gov относится к уровню стандартный.
Какой country задать для nysenate.gov?
Никакой не нужен: большинство успешных вызовов оставляют его незаданным.
Названия сайтов обозначают страницы, которые запрашивает рецепт. Crawlbase не аффилирован ни с одним из перечисленных сайтов. Используйте рецепты в рамках политики допустимого использования.Измеренные цифры за August 2026, обновляются ежемесячно