Cookbook·Новости и медиа·gendai.media
Скрапинг: страницы list на gendai.media
Запрос, который сегодня возвращает страницы list с gendai.media, с параметрами, шаблонами и типами ошибок из лога запросов с 14 августа 2026. Последняя проверка 6 сентября 2026.
99.9% успеха · авг 2026Браузер не нуженЦена Стандартный · 1 кредит
О gendai.media
Его sitemap перечисляют 188 589 URL в 19 файлов. 6 346 из 184 026 датированных записей изменились за последние 30 дней, самая свежая 6 сентября 2026.
Его robots.txt называет 2 sitemap и запрещает 4 пути, среди них /search.
Измерено на Crawlbase
Доля успеха по каждому запросу каждого аккаунта за август 2026: 99.9%. Шаблоны, страны и сбои взяты из лога запросов с 14 августа 2026; 0.0% успешных вызовов использовали JavaScript-токен, медианный ответ занял 1.2s.
Среди 74 сайтов категории новости и медиа в Cookbook gendai.media занимает 9 место из 74 по доле успеха; медиана категории 98.9%. Его медианный ответ 1.2s быстрее медианы категории 2.3s. 58 из 74 принимают обычный токен, и этот сайт тоже.
Вызов
Страницы статей здесь запрашивают чаще всего, со страной и токеном, которые успешны чаще всего. Замените путь-заполнитель настоящим URL статьи с сайта.
curl "https://api.crawlbase.com/?token=YOUR_TOKEN&url=https%3A%2F%2Fwww.gendai.media%2Flist%2Fexample-section%2Fexample-page"from crawlbase import CrawlingAPI api = CrawlingAPI({'token': 'YOUR_TOKEN'}) r = api.get('https://www.gendai.media/list/example-section/example-page') html = r['body']
const { CrawlingAPI } = require('crawlbase'); const api = new CrawlingAPI({ token: 'YOUR_TOKEN' }); const r = await api.get('https://www.gendai.media/list/example-section/example-page');
Важные параметры
| Параметр | Значение | Зачем |
|---|---|---|
country | не задавать | Большинство успешных вызовов не задают country (100%) и срабатывают с долей успеха 100%. |
javascript | не задавать | Вызовы с обычным токеном срабатывают с долей успеха 100% и составляют 100% трафика. Браузер стоит дороже и на этом сайте ничего не даёт. |
Шаблоны URL, которые запрашивают аккаунты
| Шаблон | Доля успехов | JavaScript-токен | Страна | Параметры запроса |
|---|---|---|---|---|
/list/{slug}/{slug} | 100% | 0.0% | нет | нет |
Поля, которые вы получаете
Структурированные данные, которые Crawlbase нашёл на gendai.media, по типам страниц. Это типы schema.org на странице, поля, которые ваш парсер может читать прямо из блока JSON-LD:
- Статья:
NewsMediaOrganization, NewsArticle, BreadcrumbList
Что ломается и как починить
С 14 августа 2026 не сработал меньше чем один вызов из тысячи. Обходить на этом сайте сегодня нечего.
Запуск по расписанию
Новости меняются каждый час. Опрашивайте рубрику или sitemap на новые ссылки, затем отправляйте URL статей в Crawler с callback-адресом, чтобы запросы шли равномерно. Медианный ответ на этом сайте 1.2s.
Вопросы
Нужен ли браузер для скрапинга gendai.media?
Нет. 100% вызовов с обычным токеном срабатывают, и аккаунты отправляют 100% своего трафика без браузера.
Сколько стоит страница gendai.media на Crawlbase?
1 кредит без браузера. gendai.media относится к уровню стандартный.
Какой country задать для gendai.media?
Никакой не нужен: большинство успешных вызовов оставляют его незаданным.
Другие страницы на gendai.media
Страницы, которые gendai.media указывает в своих sitemap, запрошены Crawlbase 6 сентября 2026 и подтверждены в 2 прогонах подряд. В каждой строке самый дешёвый вызов, вернувший страницу с содержимым.
| Страница | Пример | Токен | Страна | Медиана |
|---|---|---|---|---|
Список/{slug}/tag/{slug} | нет | Обычный | нет | 2.0s |
Статья/articles/{slug}/{id}Структурированные данные: NewsMediaOrganization, NewsArticle, BreadcrumbList | gendai.media/articles/-/9 | Обычный | нет | 2.3s |
Профиль/{slug}/author/{slug} | нет | Обычный | нет | 19.0s |
Другое/{slug}/{slug}/{slug} | нет | Обычный | нет | 2.0s |
Названия сайтов обозначают страницы, которые запрашивает рецепт. Crawlbase не аффилирован ни с одним из перечисленных сайтов. Используйте рецепты в рамках политики допустимого использования.Измеренные цифры за август 2026, обновляются ежемесячно