How do I scrape Duolingo?

Send the Duolingo URL to the Crawlbase Crawling API with your token. Crawlbase rotates a residential proxy, renders the page in a real browser, clears bot checks, and returns the fully rendered HTML. Add scraper=generic-extractor to get structured JSON instead.

Can I get Duolingo data as JSON?

Yes. By default the Crawling API returns rendered HTML; add the generic extractor (scraper=generic-extractor) to receive title, meta, content, images and links as JSON, or parse the HTML yourself.

Does it render Duolingo's JavaScript app?

Yes. Duolingo is a single-page app, so a real browser executes it and the course trees, lessons, leaderboards and profile data that load through internal APIs are captured, not just the initial shell.

How do I avoid getting blocked scraping Duolingo?

Crawlbase routes each request through rotating residential IPs across 30 geographies and clears bot checks automatically. You do not manage proxies or solve CAPTCHAs, and there is nothing to maintain when Duolingo changes its setup.

Can I scrape Duolingo courses in different languages?

Yes. Pass any course URL (the from and to languages live in the path) and geotarget the request, so you can collect course content and localized strings across language pairs.

Which Duolingo pages can I crawl?

Any public URL: course and unit pages, the course catalog, leaderboards, language landing pages and public profiles. The same API works on any other site too.

How much does it cost?

Start free with up to 20,000 requests and no credit card. Paid plans scale with usage, and the same token works across the Crawling API and every Crawlbase scraper.

Crawling API / Duolingo

Скрапер Duolingo.
Любая страница, полностью отрендеренная.

Отправьте любой URL Duolingo и получите обратно полностью отрендеренный HTML через резидентные прокси со встроенным обходом защиты от ботов.
Превратите его в JSON с помощью generic extractor.

Начать бесплатно Посмотреть вживую

99% успешных запросов140M резидентных IP30 регионов

Живая лента краулинга · Duolingo1.24M req/minПотоковая передача

404duolingo.com/learnES152ms

200duolingo.com/course/it/en/Learn-ItalianCA95ms

200duolingo.com/esGB160ms

301duolingo.com/course/pt/en/Learn-PortugueseGB55ms

200duolingo.com/coursesGB211ms

200duolingo.com/profile/kenji88IN211ms

200duolingo.com/learnJP65ms

200duolingo.com/course/en/es/Aprende-inglesBR173ms

200duolingo.com/coursesNL156ms

200duolingo.com/course/fr/en/Learn-FrenchSG102ms

301duolingo.com/coursesSG167ms

200duolingo.com/course/fr/en/Learn-FrenchUS131ms

200duolingo.com/learnSG46ms

200duolingo.com/course/pt/en/Learn-PortugueseDE118ms

200duolingo.com/course/pt/en/Learn-PortugueseES59ms

200duolingo.com/course/en/es/Aprende-inglesUS210ms

200duolingo.com/coursesSG54ms

200duolingo.com/course/ja/en/Learn-JapaneseBR93ms

200duolingo.com/course/es/en/Learn-SpanishBR139ms

200duolingo.com/profile/kenji88NL166ms

200duolingo.com/leaderboardsJP51ms

200duolingo.com/profile/luca_devUS211ms

200duolingo.com/course/en/es/Aprende-inglesIN175ms

200duolingo.com/esJP176ms

200duolingo.com/course/zh/en/Learn-ChineseFR145ms

200duolingo.com/profile/maria_langCA139ms

404duolingo.com/learnES152ms

200duolingo.com/course/it/en/Learn-ItalianCA95ms

200duolingo.com/esGB160ms

301duolingo.com/course/pt/en/Learn-PortugueseGB55ms

200duolingo.com/coursesGB211ms

200duolingo.com/profile/kenji88IN211ms

200duolingo.com/learnJP65ms

200duolingo.com/course/en/es/Aprende-inglesBR173ms

200duolingo.com/coursesNL156ms

200duolingo.com/course/fr/en/Learn-FrenchSG102ms

301duolingo.com/coursesSG167ms

200duolingo.com/course/fr/en/Learn-FrenchUS131ms

200duolingo.com/learnSG46ms

200duolingo.com/course/pt/en/Learn-PortugueseDE118ms

200duolingo.com/course/pt/en/Learn-PortugueseES59ms

200duolingo.com/course/en/es/Aprende-inglesUS210ms

200duolingo.com/coursesSG54ms

200duolingo.com/course/ja/en/Learn-JapaneseBR93ms

200duolingo.com/course/es/en/Learn-SpanishBR139ms

200duolingo.com/profile/kenji88NL166ms

200duolingo.com/leaderboardsJP51ms

200duolingo.com/profile/luca_devUS211ms

200duolingo.com/course/en/es/Aprende-inglesIN175ms

200duolingo.com/esJP176ms

200duolingo.com/course/zh/en/Learn-ChineseFR145ms

200duolingo.com/profile/maria_langCA139ms

01 Живое демо

Любой URL Duolingo на входе. HTML или JSON на выходе.

Crawling API, набранный вживую. Получите отрендеренный HTML или переключитесь на generic extractor для JSON. Наведите курсор, чтобы приостановить и прочитать.

готово

клавиши 1-2 переключают · клик для паузызапустите свой URL

Запустите свой первый запрос за минуты. До 20,000 бесплатных запросов, без кредитной карты.Начать бесплатно

02 Возможности

Один API для всего, что подкидывает Duolingo.

Duolingo, это одностраничное JavaScript-приложение, где деревья курсов, таблицы лидеров и профили рендерятся через внутренние API, с обнаружением ботов на страницах приложения и профиля. Crawling API рендерит его в настоящем браузере, обращается к нему через резидентные IP и отдаёт вам чистый HTML или JSON.

render

Полный рендеринг JavaScript

Настоящий браузер выполняет одностраничное приложение, поэтому разделы курсов, уроки, таблицы лидеров и данные профилей, загружаемые через внутренние API, захватываются целиком, а не только исходная оболочка.

proxies

140M резидентных IP

Каждый запрос ротирует резидентный IP в 30 регионах, поэтому вы обращаетесь к Duolingo как настоящий местный ученик.

anti-bot

Блокировки обрабатываются за вас

CAPTCHA, бот-стены и лимиты запросов снимаются автоматически. Ничего решать, ничего поддерживать.

format

HTML или JSON

Получите полный отрендеренный HTML или добавьте scraper=generic-extractor, чтобы вернуть заголовок, контент, изображения и ссылки в виде структурированного JSON.

extras

Скриншоты и асинхронность

Тот же вызов может сделать полностраничный скриншот или выполниться асинхронно с вебхуками и облачным хранилищем.

one token

Один API для любого сайта

Crawling API работает с любым URL, поэтому один и тот же токен покрывает Duolingo и всё остальное, что вы краулите. Посмотрите живое демо.

03 Вывод

Отрендеренный HTML или чистый JSON.

По умолчанию вы получаете отрендеренный HTML. Добавьте generic-extractor, и та же страница вернётся в виде типизированного JSON.

{ "title": "Learn Spanish | Duolingo", "favicon": "https://d35aaqx5ub95lt.cloudfront.net/favicon.ico", "meta": { "description": "Learn a language for free with Duolingo.", "keywords": "..." }, "content": "Course units, lessons, leaderboards and profile data...", "canonical": "https://www.duolingo.com/course/es/en/Learn-Spanish", "images": [ "..." ], "og_images": [ "..." ], "links": [ "..." ] }

Страница

title · string canonical · string favicon · string

Мета

meta.description · string meta.keywords · string

Контент

content · string

Медиа

images · array og_images · array

Ссылки

links · array

04 Как это работает

От URL до данных за один вызов.

Каждый запрос к Duolingo проходит одним и тем же путём. Вы отправляете URL, мы обеспечиваем всё остальное между.

Отправьте URL

Передайте любой публичный URL Duolingo со своим токеном: курс, каталог, таблицу лидеров или публичный профиль.

Ротация прокси

Резидентный IP и регион, которые чисто достигают Duolingo, выбираемые из 140M IP в 30 регионах.

Рендеринг страницы

Настоящий браузер загружает одностраничное приложение, чтобы разделы курсов, таблицы лидеров и данные профилей отрендерились перед захватом.

Обход защиты от ботов

Проверки Duolingo на ботов на страницах приложения и профиля обрабатываются автоматически. Ничего решать, ничего поддерживать.

Вернуть HTML или JSON

Возвращается полностью отрендеренный HTML или типизированный JSON, когда вы добавляете generic extractor.

05 Сценарии использования

Что команды строят на данных Duolingo.

USE / 01Курсы

Мониторинг курсов и контента

Отслеживайте разделы курсов, уроки и изменения каталога по языковым парам по мере того, как Duolingo их обновляет.

USE / 02Язык

Данные для изучения языков

Собирайте содержание курсов, задания упражнений и локализованные строки, чтобы изучать, как устроены уроки.

USE / 03Конкуренция

Конкурентный анализ

Сравнивайте охват курсов, функции и таблицы лидеров с другими приложениями для изучения языков.

USE / 04Локализация

Исследование локализации

Сравнивайте один и тот же курс между исходным и целевым языками, чтобы направлять работу по переводу и локализации.

USE / 05Обучение

Обучающие данные и RAG

Подавайте чистый текст Duolingo в модели, RAG-конвейеры и агентов через один API.

USE / 06Охват

Любой URL, один API

Краульте курсы, каталог, таблицы лидеров и профили, плюс любой другой нужный вам сайт.

06 Примечания

Что полезно знать при скрапинге Duolingo.

Рендеринг как в настоящем браузере

Duolingo, это одностраничное приложение; Crawling API запускает настоящий браузер, поэтому деревья курсов, таблицы лидеров и данные профилей загружаются через их внутренние API перед захватом.

HTML по умолчанию, JSON по запросу

Вы получаете полный отрендеренный HTML. Добавьте scraper=generic-extractor для распарсенных заголовка, контента, изображений и ссылок или парсите HTML самостоятельно.

Языковые пары живут в пути

URL курса несёт исходный и целевой языки, поэтому вы можете нацелиться на конкретную пару и геотаргетировать запрос для локализованного контента.

Доступ к Duolingo откуда угодно

Геотаргетинг по 30 регионам и 140M резидентных IP означает стабильный доступ без управления прокси.

07 Почему Crawlbase

Создан для краулинга Duolingo в масштабе.

Crawling API работает в той же сети, которая обслуживает более 46,000 платящих клиентов и более 70,000 разработчиков. Никаких прокси для покупки, никаких браузеров для запуска, нечего латать, когда Duolingo меняется.

99%

Средняя доля успешных запросов

140M

Резидентных IP, плюс 98M дата-центровых

Регионов для точных локальных результатов

20/s

Запросов в секунду по умолчанию, больше по запросу

Один токен, официальные SDK для Python, Node и Ruby, и сеть с аптаймом 99.99% под капотом.

08 FAQ

Вопросы о скрапинге Duolingo.

Отправьте URL Duolingo в Crawlbase Crawling API со своим токеном. Crawlbase ротирует резидентный прокси, рендерит страницу в настоящем браузере, снимает проверки на ботов и возвращает полностью отрендеренный HTML. Добавьте scraper=generic-extractor, чтобы получить вместо этого структурированный JSON.

Да. По умолчанию Crawling API возвращает отрендеренный HTML; добавьте generic extractor (scraper=generic-extractor), чтобы получить заголовок, мета, контент, изображения и ссылки в виде JSON, или парсите HTML самостоятельно.

Да. Duolingo, это одностраничное приложение, поэтому настоящий браузер выполняет его, и деревья курсов, уроки, таблицы лидеров и данные профилей, загружаемые через внутренние API, захватываются, а не только исходная оболочка.

Crawlbase направляет каждый запрос через ротирующиеся резидентные IP в 30 регионах и снимает проверки на ботов автоматически. Вы не управляете прокси и не решаете CAPTCHA, и нечего поддерживать, когда Duolingo меняет свою конфигурацию.

Да. Передайте любой URL курса (исходный и целевой языки живут в пути) и геотаргетируйте запрос, чтобы собирать содержание курсов и локализованные строки по языковым парам.

Любой публичный URL: страницы курсов и разделов, каталог курсов, таблицы лидеров, языковые лендинги и публичные профили. Тот же API работает и на любом другом сайте.

Начните бесплатно, до 20,000 запросов и без кредитной карты. Платные планы масштабируются с использованием, и тот же токен работает по всему Crawling API и каждому скраперу Crawlbase.

Начните скрапить Duolingo.
Забудьте про прокси и блокировки.

Бесплатно на старте, до 20,000 запросов. Один токен для Crawling API и каждого скрапера.

Начать бесплатно Читать документацию