# Headless-браузеры (рендеринг JavaScript)

Используйте токен JavaScript, когда контент, который необходимо сканировать, перемещается с помощью JavaScript, либо потому, что эта страница создана с помощью JavaScript (React, Angular и т. д.), либо потому, что контент перемещается в браузере.

# Как это работает?

Когда вы отправляете запрос, используя свой токен JavaScript, Crawling API, мы внутри позволяем вашему запросу работать в нашей обезглавленной браузерной инфраструктуре. Использование токена JS позволяет воспользоваться такими возможностями, как захват изображений скриншотов и обход блокировки веб-сайтов, которые работают только в браузерных сканерах. Прорат параметр раздел со списком функций, которые можно использовать и которые доступны только при сканировании JS.

# Ограничение скорости JavaScript API

По умолчаню Crawling API ограничено 20 запросами в секунду (1.728 млн запросов в день) для обработки JavaScript. Если вам требуется более высокая скорость, пожалуйста. обратитесь в службу поддержки, (открывается новое окно) (открывается новое окно) с вашим способом использования.

# Пример запроса JavaScript

curl "https://api.crawlbase.com/?token=_JS_TOKEN_&url=https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499"

require 'net/http'

uri = URI('https://api.crawlbase.com')
uri.query = URI.encode_www_form({
  token: '_JS_TOKEN_',
  url: 'https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499'})

res = Net::HTTP.get_response(uri)
puts "Response HTTP Status Code: \#{res.code}"
puts "Response HTTP Header Original Status: \#{res['original_status']}"
puts "Response HTTP Response Body: \#{res.body}"

const https = require('https');

const url = encodeURIComponent('https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499');
const options = {
  hostname: 'api.crawlbase.com',
  path: '/?token=_JS_TOKEN_&url=' + url
};

https.request(options, (response) => {
  let body = '';
  response.on('data', chunk => body += chunk).on('end', () => console.log(body));
}).end();

$url = urlencode('https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499');

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://api.crawlbase.com/?token=_JS_TOKEN_&url=' . $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

$response = curl_exec($ch);
curl_close($ch);

var_dump($response);

import requests
from urllib.parse import quote_plus

url = quote_plus('https://github.com/crawlbase?tab=repositories')

response = requests.get(f'https://api.crawlbase.com/?token=_JS_TOKEN_&url={url}')

print(response.text)

package main

import (
  "net/http"
  "fmt"
  "io/ioutil"
  "net/url"
)

func main() {
  url := url.QueryEscape("https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499")
  resp, _ := http.Get("https://api.crawlbase.com/?token=_JS_TOKEN_&url=" + url)

  defer resp.Body.Close()
  body, _ := ioutil.ReadAll(resp.Body)

  fmt.Println("response Body: ", string(body))

# Выполнение JavaScript

Если вы хотите настроить пользовательский код JavaScript на страницах, которые вы хотите скопировать, прежде чем мы вернем вам HTML, пожалуйста, обратитесь в службу поддержки, (открывается новое окно) (открывается новое окно) с вашим способом использования.