# этот Crawling API Лучший способ начать
API-интерфейс API, доступный API Crawlbase 在您的爬行项目中非常容易。
# Использование API-интерфейса
URL URL-адреса API 都以以下基本部分开头: https://api.crawlbase.com
因此,拨打您的第一个电话就像在终端中运行以下行一样简单。
继续尝试!
curl 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories'
有时使用普通令牌是不够的,因为该站点仅在启用 JavaScript Использование JavaScript в JavaScript令牌。
Используйте JS 爬取吧!
curl 'https://api.crawlbase.com/?token=_JS_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories'
Примечание: Это 解决方案&帖子 也支持请求。 请 去这里 了解更多信息或继续下面的 API API.。
# Бесплатная пробная версия
前 1,000 个请求是免费的.
确保充分使用免费试用版!
# предел скорости
API-интерфейс 的速率限制为最大值 День 20 个请求, 每个令牌(可根据要求增加速率限制)。
这意味着您可以发送 每秒最多 20 个请求,这意味着每月大约 51 万个请求,无论他们使用多少线程。
API-интерфейс 429 超过速率限制时的状态码。
Примечание: 某些特定网站可能有较低的限制。 如果您需要更高的限制,请 联系支持 (打开新窗口) (открывается новое окно).
# API-интерфейс
API 的平均响应时间在 4–10 秒之间,但 мы рекомендуем 为至少 90 秒的调用设置超时。
# успех и неудача
我们只对成功的请求收费(请参阅 原始状态 и 电脑状态 在下面的响应参数中)。
# другие инструкции
- 如果你更喜欢使用库来集成 Crawlbase,你可以看到可用的 API库在这里 (打开新窗口) (открывается новое окно).
- 建议使用 Accept-Encoding gzip 标头。
- 如果您使用 Scrapy для Python,请确保 禁用 DNS 缓存 (打开新窗口) (открывается новое окно).
# 认证
Используйте API API.
你有两个令牌; 一个用于普通请求,另一个用于 JavaScript 请求(真实浏览器)。
普通令牌
_USER_TOKEN_
Использование JavaScript
_JS_TOKEN_