crawlbaseДокументация
Войти

Список изменений

Недавние релизы Crawlbase API, SDKs и интеграций. Исходные репозитории — на github.com/crawlbase.

Июль 2026

2026-07-24 · Новые скраперы: OLX

  • Два новых скрапера для объявлений OLX в категории Электронная коммерция, на общем фронтенде (olx.pl, olx.ua, olx.pt, olx.ro, olx.bg, olx.kz, olx.uz) - OLX SERP (страница результатов поиска или категории в виде ранжированного массива объявлений с ценами и местоположением, плюс пагинация) и OLX Item (отдельное объявление со всеми его атрибутами, ценой, продавцом и изображениями).

2026-07-22 · Новые скраперы: Exercism

  • Четыре новых скрапера для Exercism в категории Для разработчиков - Упражнения Exercism (страница упражнений трека в виде структурированного массива со сложностью и состоянием разблокировки), Упражнение Exercism (одно упражнение с полными инструкциями в виде текста и HTML), Решения Exercism (страница сообществ решений упражнения в виде постраничного массива авторов, языков и звёзд) и Решение Exercism (одно опубликованное решение с историей итераций и полным исходным кодом).

2026-07-20 · Новые скраперы: Stack Exchange

  • Два новых скрапера для сети Stack Exchange (Stack Overflow, Super User, Ask Ubuntu, Server Fault, MathOverflow и все сайты *.stackexchange.com) в категории Отзывы и Q&A - Stack Exchange Questions (страница вопросов, тегов или результатов поиска в виде структурированного массива с пагинацией) и Stack Exchange Thread (отдельный вопрос со всеми ветками ответов и комментариев).

2026-07-16 · Новые скраперы: Booking.com

  • Два новых скрапера для Booking.com в категории Путешествия, события и недвижимость - Booking SERP (страница результатов поиска в виде структурированного массива объектов размещения с ценами и оценками отзывов, плюс пагинация) и Booking Hotel (страница отдельного отеля с ценами, оценками отзывов и удобствами).

2026-07-16 · Новые скраперы: Product Hunt

  • Два новых скрапера для Product Hunt в категории Отзывы и Q&A - Product Hunt Leaderboard (ежедневные и еженедельные рейтинги в виде упорядоченного массива продуктов) и Product Hunt Product (страница отдельного продукта с апвоутами, создателями, темами и отзывами).

2026-07-15 · Новые скраперы: Reddit

  • Три новых скрапера для Reddit в категории Социальные сети - Reddit Subreddit (список сабреддита в виде упорядоченного массива постов с пагинацией), Reddit Search (страница результатов поиска Reddit в виде структурированного массива с пагинацией) и Reddit Post (отдельный пост с полным деревом комментариев).

2026-07-14 · Новые скраперы: GitHub

  • Три новых скрапера для GitHub, объединённых в новую категорию Для разработчиков - GitHub Repository (страница одного репозитория: звёзды, форки, наблюдатели, языки, темы, лицензия, открытые issue и PR, ветка по умолчанию и последний релиз), GitHub SERP (страница результатов поиска репозиториев в виде структурированного массива с пагинацией) и GitHub Profile (профиль пользователя или организации: био, подписчики, подписки, публичные репозитории, закреплённые репозитории и организации).

Июнь 2026

2026-06-30 · Новые скраперы: Google Trends

  • Два новых скрапера для Google Trends - Google Trends (страница «Trending now», возвращает топ трендовых запросов с метриками объёма поиска и разбивкой по трендам) и Google Trends Explore (возвращает интерес со временем, интерес по подрегионам, связанные темы и связанные запросы для заданной темы).

2026-06-29 · API Crawler: удаление crawler-а

  • Новый эндпоинт POST /crawler/<TOKEN>/<NAME>/delete полностью удаляет crawler - он очищает очередь и снимает crawler с регистрации, так что он больше не отображается в вашей панели или статистике. В отличие от Purge, который лишь опустошает очередь, delete удаляет сам crawler. Это действие необратимо.

2026-06-06 · Новые скраперы: Galaxus

  • Три новых скрапера для Galaxus - Product, SERP и Product Reviews - возвращают структурированные данные о товарах, поиске и отзывах с galaxus.ch.

2026-06-04 · Crawling API: вывод PDF

  • Новый параметр pdf=true в Crawling API возвращает полностью отрендеренную страницу в виде PDF (Content-Type: application/pdf) вместо HTML.
  • Сочетайте его с параметрами рендеринга (country, device, page_wait); PDF-запросы тарифицируются так же, как запрос с рендерингом JavaScript.

2026-06-02 · API управления краулерами

  • Создавайте, получайте и обновляйте краулеры программно через REST, а не только через дашборд.
  • Новые эндпоинты: POST /crawler/<TOKEN> для создания, GET /crawler/<TOKEN>/<NAME> для сведений и PUT /crawler/<TOKEN>/<NAME> для обновления.

Май 2026

2026-05-21 · Беспарольный онбординг

  • Входите по одноразовому коду, который приходит на email. Никаких паролей задавать, запоминать или сбрасывать не нужно; существующие аккаунты продолжают работать как раньше.
  • Переработали онбординг для новых аккаунтов. Мы заранее подбираем сценарий (scraping, MCP или интеграции) на основе указанного вами кейса, показываем живой предпросмотр вашего первого запроса к Crawling API и направляем вас в соответствующий раздел панели управления по завершении.

2026-05-08 · Новый сайт документации

  • Полностью перезапустили /docs - переработанная навигация, тёмная тема и мгновенные переходы между разделами на каждой странице.
  • Поиск через командную палитру (⌘K / Ctrl K) переносит вас сразу к нужным страницам, разделам и параметрам API из любого места.
  • Новая кнопка Ask AI открывает прямо на странице ассистента, обученного на материалах Crawlbase, — задавайте любые вопросы по документации, не покидая её.
  • Интерактивный API Playground выполняет реальные вызовы Crawling API прямо в браузере и показывает заголовки ответа и предпросмотр отрендеренной страницы рядом с body.
  • Добавьте .md к любому URL документации (например, /docs/crawling-api.md), чтобы получить чистую Markdown-копию, которую можно передать LLM.
  • Опубликовали /llms.txt в качестве индекса для обнаружения AI-ассистентами.
  • Обновили немецкий, французский, русский и упрощённый китайский переводы на всех страницах — текст стал точнее и естественнее.

2026-05-03 · Go SDK v0.1.0

  • Первый официальный Go SDK для Crawlbase API. Единый клиент CrawlingAPI, без зависимостей, идиоматичный Go.
  • Исходный код: github.com/crawlbase/crawlbase-go. Справочная документация опубликована на pkg.go.dev.

2026-05-02 · Интеграция LangChain v0.1.0

Апрель 2026

2026-04-24 · Crawling API: вывод в Markdown

  • Новый параметр format=md у Crawling API возвращает чистый Markdown вместо HTML.
  • Используйте вместе с md_readability=true, чтобы убрать навигацию, рекламу и обвязку страницы перед конвертацией - тот же принцип, что и в Reader Mode.

2026-04-23 · Опция устройства tablet

  • Параметр device у Crawling API теперь принимает tablet наряду с desktop и mobile.

2026-04-23 · MCP Server v1.3.0 - инструменты для storage

  • Crawlbase MCP server получает шесть инструментов для работы с хранилищем, чтобы агенты могли просматривать, читать и очищать элементы Cloud Storage между запусками краулинга, а не только инициировать новые.
  • Опубликован как @crawlbase/[email protected].

2026-04-23 · Плагин Codex

Март 2026

2026-03-25 · Enterprise Crawler: queue_timeout

  • Push у Enterprise Crawler теперь принимает queue_timeout, чтобы вы могли ограничить время ожидания запроса в очереди до его сброса — вместо бесконечного ожидания.

Февраль 2026

2026-02-10 · Crawler переименован в Enterprise Crawler

  • Асинхронный продукт push/pull теперь называется Enterprise Crawler в дашборде и документации, чтобы отличать его от синхронного Crawling API.
  • Endpoint'ы, параметры и токены остались без изменений.

Ноябрь 2025

2025-11-25 · MCP Server v1.2.0 - аутентификация и режим HTTP

  • MCP server теперь поддерживает аутентификацию через заголовки и опциональный транспорт HTTP в дополнение к stdio - полезно для общих и удалённых конфигураций MCP.
  • Опубликован как @crawlbase/[email protected].

2025-11-04 · Бренд Crawlbase во всех локалях

  • Переименование в Crawlbase теперь отражено в каждой переведённой версии документации (ранее — только в английской).

Октябрь 2025

2025-10-20 · Storage API переименован в Cloud Storage

  • Продукт для извлечения и хранения теперь называется Cloud Storage в документации, дашборде и именах методов SDK. Существующие endpoint'ы /storage продолжают работать.

Сентябрь 2025

2025-09-26 · Параметр custom_success_code

  • Crawling API получает custom_success_code, чтобы вы могли помечать ответы не из диапазона 2xx как успешные при скрейпинге endpoint'ов, которые легитимно возвращают, например, 404 или 451.

2025-09-16 · Smart Proxy → Smart AI Proxy

  • Smart Proxy теперь брендируется как Smart AI Proxy, что отражает добавленные под капотом AI-логику маршрутизации и повторов. На стороне клиента изменений нет.

Июль 2025

2025-07-10 · Crawlbase MCP Server v1.0

Июнь 2025

2025-06-25 · Smart Proxy: проброс заголовков и cookies

  • Smart Proxy теперь передаёт пользовательские заголовки запросов и cookies к целевому сайту - полезно для аутентифицированного краулинга и скрапинга с привязкой к сессии.

2025-06-18 · Уточнена тарификация scroll_interval

  • В документации Crawling API теперь подробно описано, как scroll_interval учитывается в тарификации на страницах с длинной прокруткой, чтобы вы могли заранее предсказать стоимость обхода с бесконечной прокруткой.