Войти

AI & MCP

Подключите Crawlbase к стеку ваших AI-агентов. MCP-сервер даёт любому MCP-совместимому клиенту (Claude Desktop, Cursor, VS Code, агенту Codex от OpenAI) живой структурированный доступ к вебу: без него ни одна модель не умеет ходить в сеть, с ним модель может краулить, скрапить и делать скриншоты любого URL по запросу.

Что такое MCP

MCP (Model Context Protocol) - это открытая спецификация от Anthropic для подключения AI-ассистентов к внешним инструментам и данным. MCP-сервер предоставляет набор именованных инструментов (таких как crawl_url, crawl_markdown, crawl_screenshot), которые любой MCP-совместимый клиент может обнаружить и вызвать. MCP-сервер Crawlbase даёт вашему агенту те же возможности краулинга и скрапинга, которые предоставляет Crawling API: они доступны как инструменты для агента, а не как REST-эндпоинты.

Начните отсюда

  • ai-mcp - справочник по MCP-серверу. Шаги установки, доступные инструменты (со схемами входа/выхода), конфигурация клиента, переменные окружения, заметки по безопасности. Самая подробная страница в этом разделе - читайте её первой.

Используйте его с вашим клиентом

Руководства по настройке для IDE и агентов, которые уже говорят на MCP:

  • ai-claude - Claude Desktop и Claude Code. Вставьте один блок JSON в настройки; Claude сможет краулить URL, которые вы упоминаете в чате.
  • ai-cursor - Cursor. MCP-сервер появляется как инструмент, который агент может вызвать прямо во время разговора.
  • ai-vscode - VS Code (с Continue, Claude Code или любым MCP-совместимым расширением).
  • ai-codex new - агент OpenAI Codex. Добавляет Crawlbase как подключённый инструмент.
  • ai-opencode new - терминальный агент OpenCode. Нативный MCP-клиент (локальный + удалённый, с OAuth): помещает инструменты Crawlbase прямо в цикл кодинга в шелле.

Шаблоны промптов

  • ai-prompts - рецепты того, как просить модель эффективно использовать инструменты Crawlbase. RAG-поиск, сценарии сравнения, многошаговые исследования, рассуждения на основе скриншотов - проверенные формы промптов для каждого случая.

Зачем маршрутизировать AI через Crawlbase

Большинство LLM-клиентов вообще не умеют ходить в живой веб; те немногие, что умеют (чат с поиском, агенты с браузером), упираются в те же стены, что и человек-скрапер: SPA с тяжёлым JS, антибот-проверки, геоограниченный контент, рейт-лимиты. MCP-сервер даёт агенту инструмент, который уже решил эти проблемы: каждая функция Crawlbase (резидентные прокси, JS-рендеринг, обход ботов, гео-маршрутизация, библиотека скраперов) доступна агенту без того, чтобы модель сталкивалась с деталями реализации.

Если вы выпускаете продукт-агент, это самый дешёвый способ дать ему реальный доступ к вебу, не разрабатывая собственный слой браузерной автоматизации.