# Enterprise Crawler API

Для наблюдения Enterprise Crawler Для просмотра статистики, управления заданиями, очистки данных от веб-краулера через API, приостановки/возобновления работы веб-краулера, пожалуйста, следуйте ниже:

Примечание: Для сканеров JS замените токен TCP на токен JS во всех вызовах API.

# API-статистика

Используйте преобразователь с помощью ваших сканеров, включая параллелизм, статус очереди и историю (развивка успешных и неудачных операций):

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/stats'

Фильтровать историю по разным датам:

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/stats?history_from=yyyy-mm-dd&history_to=yyyy-mm-dd'

# API очистка

Чтобы удалить текущий поисковый робот, выполните следующий запрос POST с именем поискового робота и токеном (JS/TCP):

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/purge'

Примечание: Это немедленно удалено все страницы с гусеничного трактора.

# API для удаления заданий

Чтобы удалить задание из сканера, отредактируйте этот POST-запрос с запросом RID, именем сканера и токеном (JS/TCP):

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/delete_job?rid=RID'

# API поиска работы

Чтобы найти запрос на RID в очереди вашего сканера, воспользуйтесь следующим GET-запросом (JS/TCP):

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/find_by_rid/RID'

Ответы:

• Если В ОЧЕРЕДИ:

{
  "status": "QUEUED",
  "request_info": {
    "rid": "YOUR_RID",
    "url": "YOUR_URL",
    "retry": 3,
    "created_at": 1600494969.189415
  }
}

• ЕСЛИ НЕ В ОЧЕРЕДИ: Если заявка уже просканирована или отсутствует в очереди.

{
  "status": "NOT_QUEUED",
  "request_info": {
    "rid": "YOUR_RID"
  }
}

# Пауза API

Чтобы приостановить работу сканера, воспользуйтесь этим POST-запросом с именем сканера и токеном (JS/TCP):

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/pause'

# API Card

Чтобы возобновить работу сканера, отправьте следующий запрос POST с именем сканера и токеном (JS/TCP):

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/unpause'