crawlbaseДокументация
Войти

GitHub Repository

Разбирайте страницу одного репозитория GitHub в структурированный JSON со звёздами, форками, наблюдателями, языками, темами, лицензией, открытыми issue и PR, веткой по умолчанию и последним релизом.

Использование API

Добавьте &scraper=github-repository к запросу Crawling API. URL-кодируйте целевой URL в параметре url.

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://github.com/rails/rails' \
  --data-urlencode 'scraper=github-repository' -G
from crawlbase import CrawlingAPI

api = CrawlingAPI({'token': 'YOUR_TOKEN'})
res = api.get(
    'https://github.com/rails/rails',
    {'scraper': 'github-repository'}
)

import json
data = json.loads(res['body'])
const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_TOKEN' });

const res = await api.get(
  'https://github.com/rails/rails',
  { scraper: 'github-repository' }
);
const data = JSON.parse(res.body);
require 'crawlbase'
api = Crawlbase::API.new(token: 'YOUR_TOKEN')

res = api.get('https://github.com/rails/rails', scraper: 'github-repository')
data = JSON.parse(res.body)

Пример входного URL

URL, передаваемый в параметре url (URL-декодированный для удобства чтения):

https://github.com/rails/rails

Структура ответа

Тело ответа в формате JSON. Типы полей могут быть null, если исходная страница не содержит значения.

name
string | null
Название репозитория.
owner
string | null
Логин владельца (пользователя или организации).
fullName
string
Полный идентификатор owner/name.
url
string
Канонический URL репозитория.
description
string | null
Описание репозитория (подзаголовок под шапкой).
primaryLanguage
string | null
Основной язык программирования (первая запись в languages).
languages
array
Языки, перечисленные в полосе языков репозитория.
stars
integer | null
Количество звёзд.
forks
integer | null
Количество форков.
watchers
integer | null
Количество наблюдателей.
hasIssues
boolean
True, если вкладка Issues включена.
openIssuesCount
integer | null
Количество открытых issue.
openPrsCount
integer | null
Количество открытых pull request.
topics
array
Теги тем репозитория.
license
string | null
Название лицензии, показанное на боковой панели.
defaultBranch
string | null
Название ветки по умолчанию.
latestRelease
string | null
Тег последнего релиза, если у репозитория есть релизы.
readmePresent
boolean
True, если присутствует отрендеренный README.
archived
boolean
True, если репозиторий заархивирован (только для чтения).

Пример ответа

{
  "name": "rails",
  "owner": "rails",
  "fullName": "rails/rails",
  "url": "https://github.com/rails/rails",
  "description": "Ruby on Rails",
  "primaryLanguage": "Ruby",
  "languages": ["Ruby", "JavaScript", "HTML", "SCSS", "CSS", "Dockerfile"],
  "stars": 58789,
  "forks": 22414,
  "watchers": 2400,
  "hasIssues": true,
  "openIssuesCount": 478,
  "openPrsCount": 1081,
  "topics": ["ruby", "rails", "html", "activerecord", "framework", "mvc", "activejob"],
  "license": "MIT license",
  "defaultBranch": "main",
  "latestRelease": "v8.1.3",
  "readmePresent": true,
  "archived": false
}