How do I scrape Yandex search results?

Send the Yandex search URL to the Crawlbase Crawling API with your token. Crawlbase rotates a residential proxy in Russia or the CIS, renders the page in a real browser, clears SmartCaptcha, and returns the fully rendered HTML. Add scraper=generic-extractor to get structured JSON instead.

Can I get Yandex data as JSON?

Yes. By default the Crawling API returns rendered HTML; add the generic extractor (scraper=generic-extractor) to receive title, meta, content, images and links as JSON, or parse the result titles, snippets and URLs from the HTML yourself.

Does it render Yandex JavaScript?

Yes. A real browser executes the page, so the JavaScript-rendered results, snippets and result URLs are captured, not just the initial HTML.

How do I avoid SmartCaptcha and blocks on Yandex?

Crawlbase routes each request through rotating residential IPs and clears SmartCaptcha and rate limits automatically. You do not manage proxies or solve CAPTCHAs, and there is nothing to maintain when Yandex changes its setup.

Can I target Russia and the CIS region?

Yes. Yandex results are geo-gated, so you set the country and the lr region parameter to return the local SERP you need from Russia and the CIS, with residential IPs in the matching region.

Which Yandex pages can I crawl?

Any public URL: search result pages on yandex.com and yandex.ru, by query and region. The same API works on any other site too.

How much does it cost?

Start free with up to 20,000 requests and no credit card. Paid plans scale with usage, and the same token works across the Crawling API and every Crawlbase scraper.

Crawling API / Yandex

Скрапер Yandex.
Любой поиск, полностью отрендеренный.

Отправьте любой URL поиска Yandex и получите обратно полностью отрендеренный HTML через резидентные прокси со встроенным обходом SmartCaptcha.
Превратите его в JSON с помощью универсального экстрактора.

Начать бесплатно Посмотреть вживую

99% успешных запросов140M резидентных IP30 регионов

Живая лента обхода · Yandex1.24M req/minПотоковая передача

200yandex.com/search/?text=data+extraction+apiES154ms

200yandex.ru/search/?text=%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B+%D0%B4%D0%B5%D1%88%D0%B5%D0%B2%D0%BEGB208ms

200yandex.com/search/?text=web+scrapingGB126ms

200yandex.com/search/?text=web+scrapingCA115ms

200yandex.ru/search/?text=%D0%B2%D0%B0%D0%BA%D0%B0%D0%BD%D1%81%D0%B8%D0%B8+%D0%BC%D0%B0%D1%80%D0%BA%D0%B5%D1%82%D0%BE%D0%BB%D0%BE%D0%B3&lr=54CA127ms

200yandex.com/search/?text=hotels+in+sochi&lr=239GB119ms

200yandex.ru/search/?text=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%BD%D0%BE%D1%83%D1%82%D0%B1%D1%83%D0%BA&lr=2FR99ms

200yandex.com/search/?text=residential+proxiesES203ms

200yandex.com/search/?text=best+vpn+2026IN156ms

404yandex.com/search/?text=hotels+in+sochi&lr=239FR194ms

200yandex.ru/search/?text=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%BD%D0%BE%D1%83%D1%82%D0%B1%D1%83%D0%BA&lr=2FR121ms

200yandex.com/search/?text=electric+carsAU118ms

301yandex.com/search/?text=data+extraction+apiSG173ms

200yandex.com/search/?text=crm+software&lr=143GB163ms

200yandex.com/search/?text=python+tutorialIN91ms

200yandex.com/search/?text=best+vpn+2026FR139ms

200yandex.ru/search/?text=%D0%BD%D0%B5%D0%B4%D0%B2%D0%B8%D0%B6%D0%B8%D0%BC%D0%BE%D1%81%D1%82%D1%8C+%D0%BC%D0%BE%D1%81%D0%BA%D0%B2%D0%B0&lr=213GB137ms

200yandex.ru/search/?text=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%BD%D0%BE%D1%83%D1%82%D0%B1%D1%83%D0%BA&lr=2JP57ms

200yandex.ru/search/?text=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%BD%D0%BE%D1%83%D1%82%D0%B1%D1%83%D0%BA&lr=2US108ms

200yandex.com/search/?text=web+scrapingUS48ms

200yandex.ru/search/?text=%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B+%D0%B4%D0%B5%D1%88%D0%B5%D0%B2%D0%BEGB81ms

200yandex.com/search/?text=residential+proxiesFR203ms

200yandex.com/search/?text=best+vpn+2026BR100ms

200yandex.com/search/?text=python+tutorialSG128ms

200yandex.com/search/?text=best+vpn+2026JP207ms

200yandex.com/search/?text=data+extraction+apiES164ms

200yandex.com/search/?text=data+extraction+apiES154ms

200yandex.ru/search/?text=%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B+%D0%B4%D0%B5%D1%88%D0%B5%D0%B2%D0%BEGB208ms

200yandex.com/search/?text=web+scrapingGB126ms

200yandex.com/search/?text=web+scrapingCA115ms

200yandex.ru/search/?text=%D0%B2%D0%B0%D0%BA%D0%B0%D0%BD%D1%81%D0%B8%D0%B8+%D0%BC%D0%B0%D1%80%D0%BA%D0%B5%D1%82%D0%BE%D0%BB%D0%BE%D0%B3&lr=54CA127ms

200yandex.com/search/?text=hotels+in+sochi&lr=239GB119ms

200yandex.ru/search/?text=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%BD%D0%BE%D1%83%D1%82%D0%B1%D1%83%D0%BA&lr=2FR99ms

200yandex.com/search/?text=residential+proxiesES203ms

200yandex.com/search/?text=best+vpn+2026IN156ms

404yandex.com/search/?text=hotels+in+sochi&lr=239FR194ms

200yandex.ru/search/?text=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%BD%D0%BE%D1%83%D1%82%D0%B1%D1%83%D0%BA&lr=2FR121ms

200yandex.com/search/?text=electric+carsAU118ms

301yandex.com/search/?text=data+extraction+apiSG173ms

200yandex.com/search/?text=crm+software&lr=143GB163ms

200yandex.com/search/?text=python+tutorialIN91ms

200yandex.com/search/?text=best+vpn+2026FR139ms

200yandex.ru/search/?text=%D0%BD%D0%B5%D0%B4%D0%B2%D0%B8%D0%B6%D0%B8%D0%BC%D0%BE%D1%81%D1%82%D1%8C+%D0%BC%D0%BE%D1%81%D0%BA%D0%B2%D0%B0&lr=213GB137ms

200yandex.ru/search/?text=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%BD%D0%BE%D1%83%D1%82%D0%B1%D1%83%D0%BA&lr=2JP57ms

200yandex.ru/search/?text=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%BD%D0%BE%D1%83%D1%82%D0%B1%D1%83%D0%BA&lr=2US108ms

200yandex.com/search/?text=web+scrapingUS48ms

200yandex.ru/search/?text=%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B+%D0%B4%D0%B5%D1%88%D0%B5%D0%B2%D0%BEGB81ms

200yandex.com/search/?text=residential+proxiesFR203ms

200yandex.com/search/?text=best+vpn+2026BR100ms

200yandex.com/search/?text=python+tutorialSG128ms

200yandex.com/search/?text=best+vpn+2026JP207ms

200yandex.com/search/?text=data+extraction+apiES164ms

01 Живое демо

Любой URL Yandex на входе. HTML или JSON на выходе.

Crawling API в реальном времени. Получите отрендеренный HTML или переключитесь на универсальный экстрактор для JSON. Наведите курсор, чтобы поставить на паузу и прочитать.

готово

клавиши 1-2 переключают · клик для паузызапустите свой URL

Запустите свой первый запрос за минуты. До 20,000 бесплатных запросов, без кредитной карты.Начать бесплатно

02 Возможности

Один API для всего, что Yandex вам подкидывает.

Результаты Yandex рендерятся на JavaScript, гео-ограничены Россией и СНГ и защищены SmartCaptcha. Crawling API рендерит страницу поиска в реальном браузере, обращается к ней через резидентные IP в нужном регионе и отдаёт вам чистый HTML или JSON.

render

Полный рендеринг JavaScript

Реальный браузер выполняет страницу, поэтому динамически отрендеренные результаты, заголовки, сниппеты и URL результатов захватываются полностью, а не только исходный HTML.

proxies

140M резидентных IP

Каждый запрос меняет резидентный IP по 30 регионам, с покрытием России и СНГ, поэтому вы обращаетесь к Yandex как реальный местный посетитель.

anti-bot

SmartCaptcha решается за вас

Yandex SmartCaptcha, бот-стены и ограничения по частоте снимаются автоматически. Нечего решать, нечего поддерживать.

format

HTML или JSON

Получите полный отрендеренный HTML или добавьте scraper=generic-extractor чтобы вернуть заголовок, контент, изображения и ссылки в виде структурированного JSON.

extras

Скриншоты и асинхронность

Тот же вызов может сделать скриншот всей страницы или выполниться асинхронно с вебхуками и облачным хранилищем.

one token

Один API для любого сайта

Crawling API работает с любым URL, поэтому один и тот же токен покрывает Yandex и всё остальное, что вы обходите. Посмотреть живое демо.

03 Вывод

Отрендеренный HTML или чистый JSON.

По умолчанию вы получаете отрендеренный HTML. Добавьте generic-extractor и та же страница возвращается в виде типизированного JSON.

{ "title": "web scraping: Yandex search", "favicon": "https://yastatic.net/favicon.ico", "meta": { "description": "Yandex search results.", "keywords": "..." }, "content": "Organic results, titles, snippets and result URLs for the query...", "canonical": "https://yandex.com/search/?text=web+scraping", "images": [ "..." ], "og_images": [ "..." ], "links": [ "..." ] }

Страница

title · string canonical · string favicon · string

Мета

meta.description · string meta.keywords · string

Контент

content · string

Медиа

images · array og_images · array

Ссылки

links · array

04 Как это работает

От URL к данным за один вызов.

Каждый запрос к Yandex проходит одним и тем же путём. Вы отправляете URL, мы управляем всем, что между ними.

Отправьте URL

Передайте любой публичный URL поиска Yandex со своим токеном: запрос, регион через параметр lr, на yandex.com или yandex.ru.

Смена прокси

Резидентный IP и география, которые чисто достигают Yandex, с покрытием России и СНГ, из 140M IP по 30 регионам.

Рендеринг страницы

Реальный браузер загружает страницу поиска, чтобы отрендеренные на JavaScript результаты, сниппеты и URL результатов отобразились до захвата.

Обход анти-бот защиты

Yandex SmartCaptcha и ограничения по частоте обрабатываются автоматически. Нечего решать, нечего поддерживать.

Возврат HTML или JSON

Возвращается полностью отрендеренный HTML или типизированный JSON, когда вы добавляете универсальный экстрактор.

05 Сценарии использования

Что команды строят на данных Yandex.

USE / 01Ранжирование

Отслеживание позиций

Отслеживайте позиции ключевых слов в Yandex по запросам и регионам, чтобы контролировать видимость на рынке РФ и СНГ.

USE / 02Поиск

Мониторинг выдачи

Следите за страницами результатов на предмет сдвигов в ранжировании, новых конкурентов и элементов выдачи по мере их изменения.

USE / 03SEO

SEO-исследования

Извлекайте заголовки, сниппеты и URL результатов, чтобы изучать намерение и конкурентную среду на рынке РФ и СНГ.

USE / 04Обнаружение

Поиск ссылок и лидов

Выявляйте URL результатов и домены со страниц поиска, чтобы строить списки ссылок, потенциальных клиентов и лидов.

USE / 05Обучение

Обучающие данные и RAG

Подавайте чистый текст выдачи Yandex в модели, RAG-пайплайны и агентов через один API.

USE / 06Покрытие

Любой URL, один API

Обходите запросы и регионы Yandex, а также любой другой нужный вам сайт.

06 Заметки

Что полезно знать при скрапинге Yandex.

Рендеринг как в реальном браузере

Результаты Yandex рендерятся на JavaScript; Crawling API запускает реальный браузер, поэтому органические результаты, заголовки, сниппеты и URL результатов загружаются до захвата.

HTML по умолчанию, JSON по запросу

Вы получаете полный отрендеренный HTML. Добавьте scraper=generic-extractor для разобранных заголовка, контента, изображений и ссылок или сами разберите заголовки результатов, сниппеты и URL из HTML.

Геотаргетинг для России и СНГ

Результаты Yandex гео-ограничены, поэтому задайте страну и параметр региона lr, чтобы вернуть локальную выдачу из России и СНГ, отдаваемую через резидентные IP в соответствующем регионе.

SmartCaptcha снимается автоматически

Yandex SmartCaptcha и объёмные ограничения по частоте обрабатываются за вас, поэтому стабильный сбор выдачи продолжается без ручного решения.

07 Почему Crawlbase

Создан для обхода Yandex в масштабе.

Crawling API работает в той же сети, что обслуживает более 46,000 платящих клиентов и более 70,000 разработчиков. Никаких прокси для покупки, никаких браузеров для запуска, ничего не нужно чинить, когда Yandex меняется.

99%

Средний уровень успешных запросов

140M

Резидентных IP, плюс 98M дата-центровых

Регионов для точных локальных результатов

20/s

Запросов в секунду по умолчанию, больше по запросу

Один токен, официальные SDK для Python, Node и Ruby и сеть с аптаймом 99.99% под капотом.

08 FAQ

Вопросы о скрапинге Yandex.

Отправьте URL поиска Yandex в Crawlbase Crawling API со своим токеном. Crawlbase меняет резидентный прокси в России или СНГ, рендерит страницу в реальном браузере, снимает SmartCaptcha и возвращает полностью отрендеренный HTML. Добавьте scraper=generic-extractor, чтобы получить структурированный JSON вместо этого.

Да. По умолчанию Crawling API возвращает отрендеренный HTML; добавьте универсальный экстрактор (scraper=generic-extractor), чтобы получить заголовок, мета, контент, изображения и ссылки в виде JSON, или сами разберите заголовки результатов, сниппеты и URL из HTML.

Да. Реальный браузер выполняет страницу, поэтому отрендеренные на JavaScript результаты, сниппеты и URL результатов захватываются, а не только исходный HTML.

Crawlbase направляет каждый запрос через ротацию резидентных IP и автоматически снимает SmartCaptcha и ограничения по частоте. Вы не управляете прокси и не решаете CAPTCHA, и нечего поддерживать, когда Yandex меняет свою настройку.

Да. Результаты Yandex гео-ограничены, поэтому вы задаёте страну и параметр региона lr, чтобы вернуть нужную вам локальную выдачу из России и СНГ, с резидентными IP в соответствующем регионе.

Любой публичный URL: страницы результатов поиска на yandex.com и yandex.ru, по запросу и региону. Тот же API работает и на любом другом сайте.

Начните бесплатно, до 20,000 запросов и без кредитной карты. Платные тарифы масштабируются с использованием, и тот же токен работает во всём Crawling API и в каждом скрапере Crawlbase.

Начните скрапить Yandex.
Пропустите SmartCaptcha и блокировки.

Бесплатно на старте, до 20,000 запросов. Один токен для Crawling API и каждого скрапера.

Начать бесплатно Читать документацию