Crawling API / KaggleСкрапер Kaggle.
Скрапер Kaggle.
Датасеты и ноутбуки, полностью отрендеренные.
Отправьте любой URL Kaggle и получите обратно полностью отрендеренный HTML через резидентные прокси со встроенной обработкой анти-бот-защиты.
Или получите структурированный JSON со скраперами kaggle-dataset-serp, kaggle-dataset, kaggle-notebook-serp и kaggle-notebook.
Живой поток краулинга · Kaggle1.24M req/minСтриминг
200kaggle.com/datasets/johnsmith88/heart-disease-datasetJP53ms
200kaggle.com/code?searchQuery=xgboost&language=PythonCA103ms
200kaggle.com/datasets?search=heart+diseaseFR91ms
200kaggle.com/code?searchQuery=xgboost&language=PythonDE217ms
301kaggle.com/code?searchQuery=titanicAU153ms
200kaggle.com/datasets?search=weather&page=2AU214ms
200kaggle.com/datasets/uciml/irisSG171ms
200kaggle.com/code?searchQuery=xgboost&language=PythonNL188ms
200kaggle.com/code?searchQuery=nlp&page=2GB138ms
301kaggle.com/datasets/mlg-ulb/creditcardfraudBR177ms
200kaggle.com/datasets?search=heart+diseaseES67ms
200kaggle.com/datasets?search=weather&page=2AU190ms
200kaggle.com/codeDE156ms
200kaggle.com/code/alexisbcook/titanic-tutorialIN71ms
200kaggle.com/datasets/johnsmith88/heart-disease-datasetSG162ms
200kaggle.com/code?searchQuery=titanicAU100ms
200kaggle.com/code/startupsci/titanic-data-science-solutionsAU123ms
200kaggle.com/datasets?search=nlp&fileType=csvDE192ms
200kaggle.com/datasets?search=nlp&fileType=csvFR101ms
200kaggle.com/datasets?search=image+classificationUS151ms
200kaggle.com/datasets?search=image+classificationNL132ms
301kaggle.com/datasets/mlg-ulb/creditcardfraudFR109ms
200kaggle.com/code/ldfreeman3/a-data-science-framework-to-achieve-99-accuracyDE179ms
200kaggle.com/datasetsES70ms
200kaggle.com/code/startupsci/titanic-data-science-solutionsDE126ms
200kaggle.com/code/alexisbcook/titanic-tutorialES49ms
200kaggle.com/datasets/johnsmith88/heart-disease-datasetJP53ms
200kaggle.com/code?searchQuery=xgboost&language=PythonCA103ms
200kaggle.com/datasets?search=heart+diseaseFR91ms
200kaggle.com/code?searchQuery=xgboost&language=PythonDE217ms
301kaggle.com/code?searchQuery=titanicAU153ms
200kaggle.com/datasets?search=weather&page=2AU214ms
200kaggle.com/datasets/uciml/irisSG171ms
200kaggle.com/code?searchQuery=xgboost&language=PythonNL188ms
200kaggle.com/code?searchQuery=nlp&page=2GB138ms
301kaggle.com/datasets/mlg-ulb/creditcardfraudBR177ms
200kaggle.com/datasets?search=heart+diseaseES67ms
200kaggle.com/datasets?search=weather&page=2AU190ms
200kaggle.com/codeDE156ms
200kaggle.com/code/alexisbcook/titanic-tutorialIN71ms
200kaggle.com/datasets/johnsmith88/heart-disease-datasetSG162ms
200kaggle.com/code?searchQuery=titanicAU100ms
200kaggle.com/code/startupsci/titanic-data-science-solutionsAU123ms
200kaggle.com/datasets?search=nlp&fileType=csvDE192ms
200kaggle.com/datasets?search=nlp&fileType=csvFR101ms
200kaggle.com/datasets?search=image+classificationUS151ms
200kaggle.com/datasets?search=image+classificationNL132ms
301kaggle.com/datasets/mlg-ulb/creditcardfraudFR109ms
200kaggle.com/code/ldfreeman3/a-data-science-framework-to-achieve-99-accuracyDE179ms
200kaggle.com/datasetsES70ms
200kaggle.com/code/startupsci/titanic-data-science-solutionsDE126ms
200kaggle.com/code/alexisbcook/titanic-tutorialES49ms
01 Живое демо
Четыре скрапера Kaggle. Чистый JSON от каждого.
Четыре скрапера Kaggle, вводятся вживую. kaggle-dataset-serp читает страницу поиска датасетов, kaggle-dataset берёт один датасет с его файлами и лицензией, kaggle-notebook-serp читает список ноутбуков, а kaggle-notebook возвращает один ноутбук с его статистикой и входными данными. Переключайте вкладки или наведите, чтобы приостановить и прочитать.
Запустите первый запрос за минуты. До 5 000 бесплатных запросов, без кредитной карты.Начать бесплатно
02 Возможности
Один API, каждый уголок Kaggle.
Четыре специализированных скрапера покрывают важные страницы: поиск датасетов, отдельные датасеты, поиск ноутбуков и отдельные ноутбуки. Crawling API рендерит каждую страницу в реальном браузере, достигает её через резидентные IP и выдаёт вам чистый HTML или JSON.
поиск датасетов
Каждый список датасетов
kaggle-dataset-serp превращает страницу поиска датасетов в JSON: totalCount, page и hasNextPage, плюс каждая карточка с её позицией, заголовком, slug, владельцем, рейтингом удобства, числом и форматом файлов, размером, загрузками, числом ноутбуков, голосами и медалью.
датасеты
Полные метаданные датасета
kaggle-dataset возвращает один датасет с его заголовком, подзаголовком, описанием в Markdown, версией, ключевыми словами, владельцем, лицензией, списком файлов с форматами и размерами в байтах, а также счётчиками загрузок, просмотров, голосов и комментариев.
поиск ноутбуков
Списки ноутбуков
kaggle-notebook-serp возвращает страницу поиска ноутбуков, каждая строка с её позицией, заголовком, slug, автором и соавторами, последним обновлением, числом комментариев, контекстом соревнования или датасета, голосами и медалью.
ноутбуки
Отдельные ноутбуки
Добавьте scraper=kaggle-notebook чтобы вернуть один ноутбук с его автором, языком, средой выполнения, историей версий, просмотрами, голосами, копиями, комментариями, медалью, лицензией и входными данными.
прокси
140M резидентных IP
Каждый запрос ротирует резидентный IP по 30 регионам и преодолевает проверки бота автоматически. Ничего не нужно решать, ничего не нужно поддерживать.
один токен
Один API для каждой страницы
Crawling API работает с любым URL, поэтому один и тот же токен покрывает каждый датасет и ноутбук Kaggle и всё остальное, что вы краулите. Смотреть живое демо.
03 Вывод
Каждое поле датасета как чистый JSON.
Отправьте URL датасета с scraper=kaggle-dataset и датасет возвращается типизированным JSON, включая файлы и лицензию. Замените на kaggle-dataset-serp, kaggle-notebook-serp или kaggle-notebook для списков и ноутбуков.
{
"url": "https://www.kaggle.com/datasets/uciml/iris",
"id": "19",
"title": "Iris Species",
"subtitle": "Classify iris plants into three species in this classic dataset",
"description": "The famous Iris flower data set, first used by Sir R.A. Fisher.",
"version": 2,
"keywords": [ "subject", "earth and nature", "biology" ],
"owner": { "name": "UCI Machine Learning", "url": "https://www.kaggle.com/organizations/uciml" },
"license": { "name": "CC0: Public Domain", "url": "https://creativecommons.org/publicdomain/zero/1.0/" },
"files": [
{ "format": "zip", "sizeBytes": 3687,
"downloadUrl": "https://www.kaggle.com/api/v1/datasets/download/uciml/iris",
"requiresSubscription": true }
],
"downloads": 907784,
"views": 3131083,
"votes": 4861,
"commentCount": 33,
"lastUpdated": "2016-09-27T07:38:05.44Z",
"isAccessibleForFree": true
}
Датасет
url · string id · string title · string subtitle · string
Владелец и лицензия
owner.name · string owner.url · string license.name · string license.url · string
Файлы
files[].format · string files[].sizeBytes · number files[].downloadUrl · string files[].requiresSubscription · boolean
Вовлечённость
downloads · number views · number votes · number commentCount · number
Метаданные
description · string keywords · array lastUpdated · string isAccessibleForFree · boolean
04 Как это работает
От URL до данных за один вызов.
Каждый запрос к Kaggle проходит один и тот же путь. Вы отправляете URL, мы управляем всем остальным.
01
Отправьте URL
Передайте любой публичный URL Kaggle с вашим токеном: страницу поиска датасетов, датасет, список ноутбуков или отдельный ноутбук.
02
Ротируйте прокси
Резидентный IP и регион, которые чисто достигают сайта, из 140M IP по 30 регионам.
03
Отрендерьте страницу
Реальный браузер загружает страницу, чтобы результаты поиска, карточки датасетов и боковые панели ноутбуков отрендерились до захвата.
04
Преодолейте анти-бот
Проверки бота и лимиты частоты сайта обрабатываются автоматически. Ничего не нужно решать, ничего не нужно поддерживать.
05
Верните HTML или JSON
Возвращается полностью отрендеренный HTML или типизированный JSON, когда вы добавляете kaggle-dataset-serp, kaggle-dataset, kaggle-notebook-serp или kaggle-notebook.
05 Сценарии использования
Что команды строят на данных Kaggle.
USE / 01Поиск
Обнаружение датасетов
Проходите страницы поиска датасетов по ключевому слову и странице, чтобы построить поисковый индекс того, что существует, кому оно принадлежит и как лицензировано.
USE / 02Каталог
Синхронизация каталога данных
Зеркальте заголовки, подзаголовки, описания, ключевые слова, версии, форматы файлов и размеры в байтах во внутренний каталог и поддерживайте его актуальным.
USE / 03Лицензии
Проверки лицензий и доступа
Читайте название и URL лицензии, isAccessibleForFree и пофайловый флаг requiresSubscription до того, как датасет попадёт в пайплайн.
USE / 04Исследования
Исследование ноутбуков и методов
Собирайте списки ноутбуков и отдельные ноутбуки, чтобы увидеть, с какими языками, средами выполнения и контекстами соревнований сообщество реально работает.
USE / 05Рейтинги
Отслеживание популярности
Отслеживайте загрузки, просмотры, голоса, копии и число комментариев во времени, чтобы видеть, какие датасеты и ноутбуки набирают популярность.
USE / 06Охват
Любой URL, один API
Краульте поиск датасетов, датасеты, поиск ноутбуков и отдельные ноутбуки, плюс любой другой сайт, который вам нужен.
06 Заметки
Полезно знать при скрапинге Kaggle.
HTML по умолчанию, JSON по запросу
Вы получаете полностью отрендеренный HTML. Добавьте scraper=kaggle-dataset-serp, kaggle-dataset, kaggle-notebook-serp или kaggle-notebook для распарсенного JSON или парсите HTML сами.
Списки ноутбуков отдают метку, а не число
Kaggle рендерит в списке ноутбуков только Results (100+), поэтому totalCountLabel возвращается этой строкой дословно, а не выдуманным числом. Список датасетов при этом отдаёт реальный числовой totalCount.
Тела ноутбуков живут в iframe
Выполненный ноутбук отдаётся с отдельного origin внутри iframe, поэтому он не является частью документа страницы. contentUrl адресует этот фрейм и несёт недолговечный подписанный токен, так что запрашивайте его вскоре после краулинга.
Статистика списков приходит как отображается
В карточке датасета size - это строка, которую Kaggle показывает с единицами, например 6 kB, а сокращённое число загрузок разворачивается обратно в целое число, поэтому 362K возвращается как 362000.
07 Почему Crawlbase
Создано для краулинга Kaggle в масштабе.
Crawling API работает на той же сети, что обслуживает более 46 000 платящих клиентов и 70 000 разработчиков. Никаких прокси для покупки, никаких браузеров для запуска, ничего не нужно патчить, когда сайт меняется.
99%
Средний процент успешных запросов
140M
Резидентных IP, плюс 98M датацентровых
30
Регионов для точных локальных результатов
20/s
Запросов в секунду по умолчанию, больше по запросу
Один токен, официальные SDK для Python, Node и Ruby и сеть с аптаймом 99,99% под капотом.
08 FAQ
Вопросы о скрапинге Kaggle.
Отправьте любой URL Kaggle в Crawlbase Crawling API с вашим токеном. Crawlbase ротирует резидентный прокси, рендерит страницу в реальном браузере, преодолевает проверки бота и возвращает полностью отрендеренный HTML. Добавьте специализированный скрапер (scraper=kaggle-dataset-serp, kaggle-dataset, kaggle-notebook-serp или kaggle-notebook), чтобы вместо этого получить структурированный JSON.
Да. По умолчанию Crawling API возвращает отрендеренный HTML; добавьте специализированный скрапер, чтобы получить структурированный JSON: kaggle-dataset-serp для страницы поиска датасетов, kaggle-dataset для одного датасета, kaggle-notebook-serp для списка ноутбуков и kaggle-notebook для одного ноутбука.
Страницы поиска и списков датасетов, страницы отдельных датасетов, страницы поиска и списков ноутбуков и страницы отдельных ноутбуков на kaggle.com. Тот же API работает и на любом другом сайте.
Crawlbase маршрутизирует каждый запрос через ротирующиеся резидентные IP по 30 регионам и преодолевает проверки бота автоматически, поэтому доступ остаётся стабильным, и нечего поддерживать, когда сайт меняет свою конфигурацию.
kaggle-dataset-serp возвращает страницу поиска датасетов с totalCount, пагинацией и карточкой на каждый результат. kaggle-dataset возвращает один датасет с его описанием, ключевыми словами, владельцем, лицензией, файлами и счётчиками. kaggle-notebook-serp возвращает список ноутбуков с автором, соавторами, контекстом, голосами и медалью в каждой строке. kaggle-notebook возвращает один ноутбук с его языком, средой выполнения, версиями, просмотрами, голосами, копиями, лицензией и входными данными.
Скрапер kaggle-notebook возвращает метаданные ноутбука: автора, язык, среду выполнения, число версий, просмотры, голоса, копии, комментарии, медаль, лицензию и входные данные. Тело выполненного ноутбука отдаётся в отдельном iframe, поэтому его нет в документе страницы; скрапер возвращает contentUrl, который адресует этот фрейм и несёт недолговечный подписанный токен, который вы можете запросить сразу после краулинга.
Начните бесплатно с 5 000 запросов и без кредитной карты. Платные планы масштабируются с использованием, и тот же токен работает во всех Crawling API и каждом скрапере Crawlbase.
Начните скрапить Kaggle.
Забудьте о прокси и лимитах частоты.
Бесплатно для старта с 5 000 запросов. Один токен для Crawling API и каждого скрапера.