Список изменений

Сентябрь 2026

2026-09-15 · Консоль: роль Наблюдатель

• В рабочих областях появилась роль Наблюдатель с доступом только на чтение. Наблюдатель может открыть Потребление, Запросы, Storage и Crawlers, но никогда не видит API-ключ или адрес доставки краулера и ничего не может изменить. Роль участника выбирается в разделе Настройки > Команда.

2026-09-06 · Crawlbase Cookbook

• Открыт Crawlbase Cookbook: отдельная страница для каждого из 356 сайтов, которые краулят наши клиенты, с цифрами, измеренными на реальном трафике Crawlbase: доля успешных запросов, нужен ли браузер, кредиты на страницу. Ищите сайт поиском, фильтрами или по 26 страницам категорий, используйте пошаговые рецепты, например Sephora и idealo, и посмотрите, как мы считаем.

2026-09-06 · Playground: один ключ для рендеринга JavaScript

• Примеры кода в Playground консоли и Playground документации теперь используют обычный ключ с javascript=true для запросов с рендерингом вместо JavaScript-ключа. API переключается на ваш JavaScript-ключ перед краулингом, поэтому одного ключа хватает для всего, а запрос тарифицируется как JavaScript-запрос. См. параметры JavaScript.

2026-09-06 · Консоль: уведомления об истечении карты и неудачном платеже

• На странице Оплата показана привязанная карта и срок её действия. За 60 дней до истечения срока отметка становится жёлтой, а после истечения красной, чтобы вы успели обновить карту до следующего списания. Если платёж по карте не прошёл и повторяется, консоль показывает баннер о неудачном платеже с суммой и ссылкой для обновления способа оплаты.

2026-09-05 · Консоль: перерасход в долларах

• Для подписок перерасход теперь показан не только в кредитах, но и в долларах: на страницах Оплата, на главной странице консоли и в разделе Потребление, по той же цене, что и в счёте. На странице Оплата также указано следующее продление: тариф плюс ожидаемый перерасход.

2026-09-05 · Консоль: каталог скраперов

• В разделе Скраперы каждый скрапер показан карточкой с кратким описанием, ссылкой на документацию и кнопкой Попробовать в Playground. Фильтруйте по названию или категории.

2026-09-01 · Консоль: полная история счетов

• Список счетов на странице Оплата теперь охватывает всю историю, постранично, с экспортом в CSV. Каждый счёт скачивается в том виде, в каком был вам отправлен.

Август 2026

2026-08-25 · Консоль: выход из организации и смена владельцев

• В разделе Настройки > Команда участники теперь могут сами покинуть организацию, а владельцы могут нажатием на роль сделать другого участника владельцем или владельца участником. Последнего владельца удалить нельзя. Если вы принимаете приглашение в рабочую область, имея собственную подписку, консоль сначала поясняет, что подписка продолжит оплачиваться в вашей собственной организации.

2026-08-25 · Документация LangChain: ссылки на код и пакет

• Страница интеграции с LangChain теперь ссылается на исходный код на GitHub и пакет на PyPI, чтобы проверить их перед установкой langchain-crawlbase.

2026-08-22 · Консоль: поиск краулеров и live-панель

• В разделе Crawlers появилось поле поиска, которое фильтрует краулеры по имени по мере ввода, и фильтры Все, Работают и На паузе; краулер, остановленный из-за низкого баланса, считается приостановленным. Live-вкладка каждого краулера обновляется каждые 5 секунд и показывает задания в очереди и в работе, а также самое долгое ожидание.

2026-08-22 · Консоль: потребление за расчётный период и калькулятор перерасхода

• Раздел Потребление теперь открывается на Текущем периоде: расчётном периоде вашего тарифа или, без тарифа, текущем календарном месяце, поэтому итоги совпадают со счётом. Подписчики сначала видят израсходованные кредиты тарифа, а ползунок прогноза работает как калькулятор перерасхода: он показывает, какие объёмы покрывает тариф и сколько будет стоить превышение.

2026-08-21 · Консоль: архивирование рабочих областей и потребление по рабочим областям

• Владельцы могут архивировать рабочую область в разделе Настройки > Команда. Её токены сразу перестают работать, а история потребления и оплаты остаётся доступной. В аккаунтах с двумя и более рабочими областями выбор рабочей области ограничивает Потребление и график на главной странице трафиком этой рабочей области.

2026-08-20 · Консоль: читаемый предпросмотр в Storage

• Предпросмотр в Storage теперь форматируется: JSON, включая вывод скраперов и результаты с format=json, отображается с отступами, а HTML-страницы выводятся по одному тегу на строку вместо одной длинной строки. Сохранённые данные не меняются.

2026-08-19 · Консоль: отмена или сохранение тарифа

• Владелец оплаты может отменить тариф самообслуживания на странице Оплата. Тариф остаётся активным до конца периода и не продлевается. До этого момента показывается дата окончания, а кнопка Сохранить тариф отменяет отмену.

2026-08-14 · Новая консоль

• Дашборд переработан в консоль. Запросы - журнал ваших вызовов API с поиском, фильтрами по статусу, подробным просмотром каждого запроса и экспортом в CSV. Потребление разбивает кредиты по продуктам, уровням и доменам. Также в консоли: Storage, Crawlers с журналом доставки и повторами, Playground, тикеты поддержки, Настройки и Оплата со счетами и оплатой картой. Рабочие области позволяют разделять ключи и потребление по командам или проектам.

2026-08-11 · Прокси-режим выведен из эксплуатации

• Crawling API больше нельзя вызывать как HTTP-прокси. Слушатель прокси-режима выведен из эксплуатации, а его справочный раздел удалён из этой документации. Smart AI Proxy остаётся продуктом с прокси-интерфейсом и покрывает те же возможности, со своей подпиской и своей моделью параллелизма. REST-вызовы Crawling API это не затрагивает.

2026-08-08 · Crawling API: async для любого домена

• async=true теперь работает с любой целью. Раньше он принимался только для URL linkedin.com, а другие домены включались для токена по запросу. Вызов сразу возвращает rid, а готовая страница доставляется на ваш вебхук callback либо сохраняется и позже забирается из Cloud Storage по тому же rid. См. Async и хранилище.

2026-08-07 · Новые скраперы: LeetCode

• Четыре новых скрапера для LeetCode в категории Для разработчиков - LeetCode Problem Set (список задач в виде массива с идентификатором, сложностью, процентом принятия и признаком премиум-доступа), LeetCode Problem (отдельная задача с её условием, тематическими тегами, подсказками и заготовками кода), LeetCode Solutions (вкладка решений сообщества в виде массива с автором, тегами и счётчиками вовлечённости) и LeetCode Solution (отдельная публикация решения с её текстом и извлечёнными блоками кода).

Июль 2026

2026-07-29 · Новые скраперы: Kaggle

• Четыре новых скрапера для Kaggle в категории Для разработчиков - Kaggle Dataset Search (страница поиска или списка датасетов в виде ранжированного массива с владельцем, размером, оценкой удобства использования и числом загрузок), Kaggle Dataset (отдельный датасет с его описанием, ключевыми словами, лицензией и списком файлов), Kaggle Notebook Search (страница поиска или списка ноутбуков в виде ранжированного массива с автором, соавторами и контекстом соревнования) и Kaggle Notebook (отдельный ноутбук с его языком, временем выполнения, историей версий и прикреплёнными входными данными).

2026-07-24 · Новые скраперы: OLX

• Два новых скрапера для объявлений OLX в категории Электронная коммерция, на общем фронтенде (olx.pl, olx.ua, olx.pt, olx.ro, olx.bg, olx.kz, olx.uz) - OLX SERP (страница результатов поиска или категории в виде ранжированного массива объявлений с ценами и местоположением, плюс пагинация) и OLX Item (отдельное объявление со всеми его атрибутами, ценой, продавцом и изображениями).

2026-07-22 · Новые скраперы: Exercism

• Четыре новых скрапера для Exercism в категории Для разработчиков - Упражнения Exercism (страница упражнений трека в виде структурированного массива со сложностью и состоянием разблокировки), Упражнение Exercism (одно упражнение с полными инструкциями в виде текста и HTML), Решения Exercism (страница сообществ решений упражнения в виде постраничного массива авторов, языков и звёзд) и Решение Exercism (одно опубликованное решение с историей итераций и полным исходным кодом).

2026-07-20 · Новые скраперы: Stack Exchange

• Два новых скрапера для сети Stack Exchange (Stack Overflow, Super User, Ask Ubuntu, Server Fault, MathOverflow и все сайты *.stackexchange.com) в категории Отзывы и Q&A - Stack Exchange Questions (страница вопросов, тегов или результатов поиска в виде структурированного массива с пагинацией) и Stack Exchange Thread (отдельный вопрос со всеми ветками ответов и комментариев).

2026-07-16 · Новые скраперы: Booking.com

• Два новых скрапера для Booking.com в категории Путешествия, события и недвижимость - Booking SERP (страница результатов поиска в виде структурированного массива объектов размещения с ценами и оценками отзывов, плюс пагинация) и Booking Hotel (страница отдельного отеля с ценами, оценками отзывов и удобствами).

2026-07-16 · Новые скраперы: Product Hunt

• Два новых скрапера для Product Hunt в категории Отзывы и Q&A - Product Hunt Leaderboard (ежедневные и еженедельные рейтинги в виде упорядоченного массива продуктов) и Product Hunt Product (страница отдельного продукта с апвоутами, создателями, темами и отзывами).

2026-07-15 · Новые скраперы: Reddit

• Три новых скрапера для Reddit в категории Социальные сети - Reddit Subreddit (список сабреддита в виде упорядоченного массива постов с пагинацией), Reddit Search (страница результатов поиска Reddit в виде структурированного массива с пагинацией) и Reddit Post (отдельный пост с полным деревом комментариев).

2026-07-14 · Новые скраперы: GitHub

• Три новых скрапера для GitHub, объединённых в новую категорию Для разработчиков - GitHub Repository (страница одного репозитория: звёзды, форки, наблюдатели, языки, темы, лицензия, открытые issue и PR, ветка по умолчанию и последний релиз), GitHub SERP (страница результатов поиска репозиториев в виде структурированного массива с пагинацией) и GitHub Profile (профиль пользователя или организации: био, подписчики, подписки, публичные репозитории, закреплённые репозитории и организации).

Июнь 2026

2026-06-30 · Новые скраперы: Google Trends

• Два новых скрапера для Google Trends - Google Trends (страница «Trending now», возвращает топ трендовых запросов с метриками объёма поиска и разбивкой по трендам) и Google Trends Explore (возвращает интерес со временем, интерес по подрегионам, связанные темы и связанные запросы для заданной темы).

2026-06-29 · API Crawler: удаление crawler-а

• Новый эндпоинт POST /crawler/<TOKEN>/<NAME>/delete полностью удаляет crawler - он очищает очередь и снимает crawler с регистрации, так что он больше не отображается в вашей панели или статистике. В отличие от Purge, который лишь опустошает очередь, delete удаляет сам crawler. Это действие необратимо.

2026-06-06 · Новые скраперы: Galaxus

• Три новых скрапера для Galaxus - Product, SERP и Product Reviews - возвращают структурированные данные о товарах, поиске и отзывах с galaxus.ch.

2026-06-04 · Crawling API: вывод PDF

• Новый параметр pdf=true в Crawling API возвращает полностью отрендеренную страницу в виде PDF (Content-Type: application/pdf) вместо HTML.
• Сочетайте его с параметрами рендеринга (country, device, page_wait); PDF-запросы тарифицируются так же, как запрос с рендерингом JavaScript.

2026-06-02 · API управления краулерами

• Создавайте, получайте и обновляйте краулеры программно через REST, а не только через дашборд.
• Новые эндпоинты: POST /crawler/<TOKEN> для создания, GET /crawler/<TOKEN>/<NAME> для сведений и PUT /crawler/<TOKEN>/<NAME> для обновления.

Май 2026

2026-05-21 · Беспарольный онбординг

• Входите по одноразовому коду, который приходит на email. Никаких паролей задавать, запоминать или сбрасывать не нужно; существующие аккаунты продолжают работать как раньше.
• Переработали онбординг для новых аккаунтов. Мы заранее подбираем сценарий (scraping, MCP или интеграции) на основе указанного вами кейса, показываем живой предпросмотр вашего первого запроса к Crawling API и направляем вас в соответствующий раздел панели управления по завершении.

2026-05-08 · Новый сайт документации

• Полностью перезапустили /docs - переработанная навигация, тёмная тема и мгновенные переходы между разделами на каждой странице.
• Поиск через командную палитру (⌘K / Ctrl K) переносит вас сразу к нужным страницам, разделам и параметрам API из любого места.
• Новая кнопка Ask AI открывает прямо на странице ассистента, обученного на материалах Crawlbase: задавайте любые вопросы по документации, не покидая её.
• Интерактивный API Playground выполняет реальные вызовы Crawling API прямо в браузере и показывает заголовки ответа и предпросмотр отрендеренной страницы рядом с body.
• Добавьте .md к любому URL документации (например, /docs/crawling-api.md), чтобы получить чистую Markdown-копию, которую можно передать LLM.
• Опубликовали /llms.txt в качестве индекса для обнаружения AI-ассистентами.
• Обновили немецкий, французский, русский и упрощённый китайский переводы на всех страницах: текст стал точнее и естественнее.

2026-05-03 · Go SDK v0.1.0

• Первый официальный Go SDK для Crawlbase API. Единый клиент CrawlingAPI, без зависимостей, идиоматичный Go.
• Исходный код: github.com/crawlbase/crawlbase-go. Справочная документация опубликована на pkg.go.dev.

2026-05-02 · Интеграция LangChain v0.1.0

• langchain-crawlbase теперь доступен в PyPI - document loader, tool и retriever на базе Crawling API.
• Исходный код: github.com/crawlbase/langchain-crawlbase.

Апрель 2026

2026-04-24 · Crawling API: вывод в Markdown

• Новый параметр format=md у Crawling API возвращает чистый Markdown вместо HTML.
• Используйте вместе с md_readability=true, чтобы убрать навигацию, рекламу и обвязку страницы перед конвертацией - тот же принцип, что и в Reader Mode.

2026-04-23 · Опция устройства tablet

• Параметр device у Crawling API теперь принимает tablet наряду с desktop и mobile.

2026-04-23 · MCP Server v1.3.0 - инструменты для storage

• Crawlbase MCP server получает шесть инструментов для работы с хранилищем, чтобы агенты могли просматривать, читать и очищать элементы Cloud Storage между запусками краулинга, а не только инициировать новые.
• Опубликован как @crawlbase/[email protected].

2026-04-23 · Плагин Codex

• Плагин Codex от Crawlbase приносит Crawlbase MCP в OpenAI Codex.
• Сегодня устанавливается вручную через git clone в ~/.codex/plugins/; листинг в Codex Marketplace на рассмотрении.
• Исходный код: github.com/crawlbase/crawlbase-codex-plugin

Март 2026

2026-03-25 · Enterprise Crawler: queue_timeout

• Push у Enterprise Crawler теперь принимает queue_timeout, чтобы вы могли ограничить время ожидания запроса в очереди до его сброса, вместо бесконечного ожидания.

Февраль 2026

2026-02-10 · Crawler переименован в Enterprise Crawler

• Асинхронный продукт push/pull теперь называется Enterprise Crawler в дашборде и документации, чтобы отличать его от синхронного Crawling API.
• Endpoint'ы, параметры и токены остались без изменений.

Ноябрь 2025

2025-11-25 · MCP Server v1.2.0 - аутентификация и режим HTTP

• MCP server теперь поддерживает аутентификацию через заголовки и опциональный транспорт HTTP в дополнение к stdio - полезно для общих и удалённых конфигураций MCP.
• Опубликован как @crawlbase/[email protected].

2025-11-04 · Бренд Crawlbase во всех локалях

• Переименование в Crawlbase теперь отражено в каждой переведённой версии документации (ранее только в английской).

Октябрь 2025

2025-10-20 · Storage API переименован в Cloud Storage

• Продукт для извлечения и хранения теперь называется Cloud Storage в документации, дашборде и именах методов SDK. Существующие endpoint'ы /storage продолжают работать.

Сентябрь 2025

2025-09-26 · Параметр custom_success_code

• Crawling API получает custom_success_code, чтобы вы могли помечать ответы не из диапазона 2xx как успешные при скрейпинге endpoint'ов, которые легитимно возвращают, например, 404 или 451.

2025-09-16 · Smart Proxy → Smart AI Proxy

• Smart Proxy теперь брендируется как Smart AI Proxy, что отражает добавленные под капотом AI-логику маршрутизации и повторов. На стороне клиента изменений нет.

Июль 2025

2025-07-10 · Crawlbase MCP Server v1.0

• Первый публичный релиз Crawlbase MCP server в виде пакета @crawlbase/mcp в npm - три инструмента для краулинга (crawl, crawl_markdown, crawl_screenshot), доступные из Claude Desktop и Claude Code, Cursor и VS Code / Windsurf.

Июнь 2025

2025-06-25 · Smart Proxy: проброс заголовков и cookies

• Smart Proxy теперь передаёт пользовательские заголовки запросов и cookies к целевому сайту - полезно для аутентифицированного краулинга и скрапинга с привязкой к сессии.

2025-06-18 · Уточнена тарификация scroll_interval

• В документации Crawling API теперь подробно описано, как scroll_interval учитывается в тарификации на страницах с длинной прокруткой, чтобы вы могли заранее предсказать стоимость обхода с бесконечной прокруткой.