Документация Crawlbase

# Режимы секции мощности

При выполнении запроса Crawlbase вы получите ответ.

Этот ответ будет называться объектом JSON или HTML-кодом страницы в зависимости от вашего параметра. формат параметр (по умолчанию html).

# HTML-ответ

Если вы выберете формат ответа HTML (который используется по умолчанию), в качестве ответа вы получите HTML-код страницы.

The параметры ответа будут добавлены в заголовки ответа.

GET 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories&format=html'
Response:
  Headers:
    url: https://github.com/crawlbase?tab=repositories
    original_status: 200
    pc_status: 200
    'X-Domain-Complexity': standard

  Body:
    <!doctype html><html class="a-no-js" data-19ax5a9jf="dingo"><!-- sp:feature:head-start -->
    <head><script>var aPageStart = (new Date()).getTime();</script><meta charset="utf-8">
    ... (all the html of the page)

# Ответ JSON

Если вы выберете форму ответа JSON, вы получите объект JSON, который можно рассмотреть.

Этот объект содержит всю необходимую вам информацию. Читать параметры ответа за всю информацию.

GET 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories&format=json'
Response:
{
  "original_status": "200",
  "pc_status": 200,
  "url": "https://github.com/crawlbase?tab=repositories",
  "domain_complexity": "standard",
  "body": "\u003C!doctype html\u003E\u003Chtml class=\"a-no-js\" data-19ax5a9jf\n... (all the html of the page)"
}

# Заголовки

Как вы видели в примерах выше, ответ, json или html, вернет параметры для json или заголовки для html, что позволит вам узнать, что произошло с запросом.

# URL

Исходный URL, который был отправлен в запросе, или URL перенаправления, который Crawlbase последовало.

# оригинальный_статус

Статус ответа, который мы (Crawlbase) получаем при сканировании URL-адреса, отправленного в запросе.

Это может быть любой действительный код HTTP.

Адресное внимание, что Crawlbase только запросы на оплату, которые имеют original_status успех (200, 201, 204), постоянное перенаправление (301), временное перенаправление (302), если последующее перенаправление вернуло контент, не найдено (410, 404). И когда pc_status 200. Любое другое original_status Полученные коды не будут оплачены.

# pc_status

The Crawlbase Код состояния (ПК) может быть любым кодом состояния, и именно этот код в конечном итоге оказывается действительным.
Например, веб-сайт может вернуться original_status 200 с капчей, в таком случае, pc_status будет 503.

Любой код, который, например, не является стандартным, 601, 999 и т. д. д., используется внутри компании инженерной службой и применяется только для устранения неполадок при выходе в пункт поддержки.

пожалуйста, обратите внимание что просили, сделали Crawlbase что заканчивается неудачей pc_status код (так отличие от 200) не будет написан.

# X-Домен-Сложность

Уровень сложности показывает, что на данный момент сложно сканировать или сканировать в настоящее время, а также отражает соответствующие требования к ресурсам и ценам:

  • standard – Домены, которые легко сканировать или скрейпить, с впечатляющими мерами защиты. Такие домены обычно имеют низкую ценовую оценку.
  • moderate – Домены с умеренным обращением с ботами, требующие специализированной обработки. Такие домены обычно имеют промежуточный ценовой уровень и требуют больше ресурсов для обработки.
  • complex – Домены с передовыми жизненными защитами, которые сложно сканировать или скрейпить. Для этого требуются передовые методы и специализированные ресурсы, что отражается на самом высоком ценовом уровне.

Понимание уровней сложности различных доменов поможет вам оценить потенциальные цены и технические рекомендации для ваших задач. Для получения конкретной информации о ценах на основе уровней сложности домена, пожалуйста, обратитесь к вашему плану подписки или свяжитесь с нашей командой по продажам через Контакт.

# тело

Этот параметр доступен только в формате json. формат, в html format будет являться текстом самого ответа.

Содержание страницы, последняя Crawlbase Найден в результате обработки прокси-сервером URL-адреса, отправленного в запросе.

← POST-запрос →

© 2025 Crawlbase