crawlbaseДокументация
Войти

Kaggle Dataset

Разбирайте страницу отдельного датасета Kaggle в структурированный JSON с его описанием, владельцем, лицензией, списком файлов, ключевыми словами и счётчиками вовлечённости.

Использование API

Добавьте &scraper=kaggle-dataset к запросу Crawling API. URL-кодируйте целевой URL в параметре url.

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.kaggle.com/datasets/uciml/iris' \
  --data-urlencode 'scraper=kaggle-dataset' -G
from crawlbase import CrawlingAPI

api = CrawlingAPI({'token': 'YOUR_TOKEN'})
res = api.get(
    'https://www.kaggle.com/datasets/uciml/iris',
    {'scraper': 'kaggle-dataset'}
)

import json
data = json.loads(res['body'])
const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_TOKEN' });

const res = await api.get(
  'https://www.kaggle.com/datasets/uciml/iris',
  { scraper: 'kaggle-dataset' }
);
const data = JSON.parse(res.body);
require 'crawlbase'
api = Crawlbase::API.new(token: 'YOUR_TOKEN')

res = api.get('https://www.kaggle.com/datasets/uciml/iris', scraper: 'kaggle-dataset')
data = JSON.parse(res.body)

Пример входного URL

В параметре url работает любая страница датасета Kaggle - страница по адресу /datasets/<owner>/<dataset>. Например:

https://www.kaggle.com/datasets/uciml/iris
https://www.kaggle.com/datasets/johnsmith88/heart-disease-dataset
https://www.kaggle.com/datasets/zynicide/wine-reviews

Структура ответа

Тело ответа в формате JSON. Типы полей могут быть null, если исходная страница не содержит значения.

url
string
URL страницы датасета, которая была обработана.
id
string | null
Числовой идентификатор датасета Kaggle, возвращаемый в виде строки.
title
string | null
Отображаемый заголовок датасета.
subtitle
string | null
Однострочное описание, показанное под заголовком.
description
string | null
Полное описание датасета в Markdown, в том виде, как его написал владелец - ссылки, изображения и списки сохраняются, а не схлопываются.
version
integer | null
Номер текущей версии датасета.
keywords
array
Тематические теги датасета, в виде массива строк.
owner
object
Аккаунт, публикующий датасет.
owner.name
string | null
Отображаемое имя владельца.
owner.url
string | null
Абсолютный URL профиля владельца или страницы организации.
owner.image
string | null
URL аватара владельца.
license
object
Лицензия, под которой опубликован датасет.
license.name
string | null
Отображаемое название лицензии (например, CC0: Public Domain).
license.url
string | null
Канонический URL текста лицензии.
files
array
Загружаемые архивы, прикреплённые к датасету.
files[].format
string | null
Формат архива (например, zip).
files[].sizeBytes
integer | null
Размер архива в байтах.
files[].downloadUrl
string | null
Абсолютный URL для скачивания, привязанный к текущей версии датасета.
files[].requiresSubscription
boolean
Требует ли Kaggle вход в аккаунт для начала загрузки.
downloads
integer | null
Общее количество загрузок датасета.
views
integer | null
Общее количество просмотров страницы.
votes
integer | null
Количество апвоутов.
commentCount
integer | null
Количество комментариев в обсуждении датасета.
lastUpdated
string | null
Временная метка последнего обновления датасета в формате ISO 8601.
discussionUrl
string | null
Абсолютный URL вкладки обсуждения датасета.
thumbnail
string | null
URL изображения карточки датасета.
isAccessibleForFree
boolean
Помечает ли Kaggle датасет как свободно доступный.

Пример ответа

{
  "url": "https://www.kaggle.com/datasets/uciml/iris",
  "id": "19",
  "title": "Iris Species",
  "subtitle": "Classify iris plants into three species in this classic dataset",
  "description": "The Iris dataset was used in R.A. Fisher's classic 1936 paper, [The Use of Multiple Measurements in Taxonomic Problems](http://rcs.chemometrics.ru/Tutorials/classification/Fisher.pdf), and can also be found on the [UCI Machine Learning Repository][1].\n\nIt includes three iris species with 50 samples each as well as some properties about each flower.",
  "version": 2,
  "keywords": [
    "subject",
    "earth and nature",
    "biology"
  ],
  "owner": {
    "name": "UCI Machine Learning",
    "url": "https://www.kaggle.com/organizations/uciml",
    "image": "https://storage.googleapis.com/kaggle-organizations/7/thumbnail.png"
  },
  "license": {
    "name": "CC0: Public Domain",
    "url": "https://creativecommons.org/publicdomain/zero/1.0/"
  },
  "files": [
    {
      "format": "zip",
      "sizeBytes": 3687,
      "downloadUrl": "https://www.kaggle.com/datasets/uciml/iris/download?datasetVersionNumber=2",
      "requiresSubscription": true
    }
  ],
  "downloads": 907784,
  "views": 3131083,
  "votes": 4861,
  "commentCount": 33,
  "lastUpdated": "2016-09-27T07:38:05.44Z",
  "discussionUrl": "https://www.kaggle.com/uciml/iris/discussion",
  "thumbnail": "https://storage.googleapis.com/kaggle-datasets-images/19/19/default-backgrounds/dataset-card.jpg",
  "isAccessibleForFree": true
}