n8n Эта платформа привлекает много внимания, потому что позволяет любому легко автоматизировать задачи. Вы можете связывать сервисы между собой, запускать действия и создавать целые рабочие процессы через понятный визуальный интерфейс. В сочетании с Crawlbase В Web MCP вы получаете нечто еще более мощное: способ парсить реальные веб-страницы и передавать данные непосредственно в модели искусственного интеллекта.

Crawlbase Веб-MCP Он выступает в качестве связующего звена, позволяющего вашему рабочему процессу извлекать контент из интернета, преобразовывать его в удобный формат и передавать на следующий этап обработки с помощью ИИ. Это делает его идеальным для исследований, мониторинга конкурентов, сбора информации в больших масштабах и многих других задач парсинга, которые обычно требуют использования пользовательских скриптов.

Поскольку многие пользователи хотят знать, как объединить эти инструменты, мы подробно расскажем вам о процессе настройки и покажем, как именно это работает.

Прежде чем мы начнём, вам нужно кое-что подготовить.

Что вам понадобится для настройки n8n Crawlbase Веб-MCP

Убедитесь, что у вас есть несколько основных вещей:

  • н8н - Работает как настольное приложение, так и облачное приложение n8n.
  • A Crawlbase Счет - Зарегистрироваться на Crawlbase чтобы получить бесплатные API-токены.
  • Node.js — Скачайте и установите Node.js для запуска Crawlbase Локальный веб-сервер MCP.
  • ngrok (необязательно) - Только для пользователей облачной платформы n8n, которым необходим доступ к локальному серверу через интернет.

Как только все это будет установлено, вы сможете соединить все воедино.

Как работает n8n с Crawlbase Через MCP

n8n использует MCP для взаимодействия с внешними инструментами. Вместо написания собственной интеграции вы запускаете сервер MCP, и n8n может вызывать любые функции, которые этот сервер предоставляет. В данном случае, Crawlbase Веб-сервер MCP предоставляет доступ к n8n. CrawlbaseФункции ползания.

Процесс довольно прост:

  • Инструмент MCP Client Tool в n8n обращается к серверу MCP.
  • Crawlbase Сервер Web MCP предоставляет фактические функции сбора данных.
  • Ваш рабочий процесс получает данные и передает их на этап обработки с помощью ИИ.

Вам не нужно иметь дело с заголовками API или скриптами. После того, как это будет настроено, n8n отправит запрос и Crawlbase Возвращает запрошенные вами данные.

Готовый? Давай начнем.

Шаг 1: Установите и запустите Crawlbase Веб-сервер MCP

Вам потребуется запущенный сервер MCP, поскольку он отвечает за предоставление функций обхода веб-страниц для n8n. Поэтому откройте терминал Node.js и установите проект:

1
2
3
мерзавец клонировать https://github.com/crawlbase/crawlbase-mcp
cd crawlbase-mcp
Установка npm

Замените приведенные ниже заполнители своими собственными токенами из... Crawlbase панель приборов.

1
CRAWLBASE_TOKEN=your_token CRAWLBASE_JS_TOKEN=your_js_token npm run start:http

Вот что они делают:

  • CRAWLBASE_TOKEN предназначен для стандартного ползания.
  • CRAWLBASE_JS_TOKEN предназначен для индексирования страниц, которые в значительной степени используют JavaScript.

Запустите сервер. Если всё установлено правильно, сервер будет доступен по адресу: http://localhost:3000.
Оставьте это окно терминала открытым, потому что n8n будет использовать этот работающий сервер при последующем подключении к MCP.

Примечание: Если вы хотите ознакомиться с дополнительными параметрами конфигурации, вы можете проверить... Crawlbase Документация Web MCP для режима передачи HTTP.

Для пользователей облачной платформы n8n (необязательно): использование ngrok.

Если вы используете n8n Desktop, эта часть не требуется. Однако пользователям облачной версии необходим общедоступный URL-адрес, чтобы n8n мог связаться с сервером MCP, работающим на вашем локальном компьютере.

нгрок Создает защищенный туннель из интернета к вашему локальному компьютеру. Вот как это настроить:

  1. Установить ngrok CLI
  2. Свяжите это с вашим счет ngrok
  3. Запустите туннель к вашему MCP-серверу:
1
нгрок http 3000

Вы получите ссылку, которая будет выглядеть примерно так:

1
https://abcd1234.ngrok.io

Используйте это в качестве конечной точки в n8n.

Небольшое напоминание: Поскольку это делает ваш MCP-сервер доступным из сети, избегайте распространения URL-адреса или ваших токенов.

Шаг 2: Подключите n8n к Crawlbase Веб-сервер MCP

Откройте n8n и перейдите к своему рабочему процессу. Добавьте Узел инструмента клиента MCP Рядом с узлом вашего ИИ-агента. Это та часть, которая позволяет ИИ-агенту использовать инструменты сбора данных из Crawlbase.

В настройках узла:

  • Конечная точка
    • Используйте http://localhost:3000 если вы работаете на настольном компьютере n8n
    • Используйте свой HTTPS-адрес ngrok, если вы используете облако n8n.
  • Транспортировка сервера: Выберите HTTP Streamable
  • Аутентификация: Выберите «Нет», поскольку ваши токены уже были установлены на шаге 1.
  • Инструменты, которые следует включить: Выберите Все

Если соединение установлено, вы увидите такие инструменты, как... crawl, crawl_markdown и crawl_screenshot появляются внутри узла.

Теперь ваше соединение готово, и вы можете перейти к созданию своего первого рабочего процесса сбора данных.

Шаг 3: Создайте свой первый рабочий процесс сбора данных с помощью ИИ (без кода)

Теперь, когда все подключено, давайте создадим простой рабочий процесс, который извлекает веб-страницу и формирует сводку.

Ваш рабочий процесс будет состоять из двух основных частей:

  1. Узел агента ИИ, который уже имеет доступ к клиентскому инструменту MCP, настроенному вами ранее.
  2. Узел модели чата OpenAI, который будет генерировать сводку.

Внутри узла «Агент ИИ» добавьте подсказку, которая указывает ИИ, что делать. Например:

1
Просканируйте статью по адресу https://crawlbase.com/blog/best-web-scraper-api-2025 и кратко изложите ее содержание в 3 пунктах.

Рабочий процесс запустит сканирование, соберет содержимое страницы, а затем передаст его модели для составления сводной информации.

Нажмите Выполнить шаг Проверьте свою настройку на узле AI Agent. Через некоторое время в выводе должно появиться краткое описание.

Если вы хотите увидеть, что происходило за кулисами, откройте журналы выполнения рабочего процесса. Вы увидите запрос на сканирование, возвращенные данные и этап преобразования в формат Markdown.

На данном этапе у вас есть автоматизированный цикл, в котором агент ИИ использует crawl_markdown Эта функция собирает контент и формирует понятное резюме без какой-либо дополнительной настройки.

Советы по устранению неполадок при подключении n8n к серверу MCP

Если что-то работает не так, как ожидалось, эти быстрые проверки обычно решают проблему.

n8n не может подключиться к серверу MCP.

  • Убедитесь, что сервер MCP по-прежнему запущен в вашем терминале.
  • Убедитесь, что конечная точка указана правильно. http://localhost:3000 или ваш URL-адрес ngrok
  • Проверьте, не блокирует ли ваша система порт 3000.

Ошибки токена или разрешений

  • Подтвердите свой Crawlbase токены на панели управления
  • Попробуйте скопировать токены еще раз, чтобы избежать лишних пробелов или пропущенных символов.
  • Убедитесь, что на вашем счету достаточно средств для выполнения запросов.

В узле «Инструменты клиента MCP» никакие инструменты не отображаются.

  • Убедитесь, что для параметра Server Transport установлен режим HTTP Streamable.
  • Попробуйте обновить список инструментов внутри n8n.
  • Если ничего не загружается, перезапустите серверы n8n и MCP.

Вывод пуст или выглядит некорректно.

  • Откройте журналы выполнения, чтобы посмотреть, что было возвращено.
  • Протестируйте рабочий процесс с помощью более простого URL-адреса.
  • Обновите подсказку, чтобы она четко указывала ИИ на необходимость выполнения сканирования.

Заключительные замечания: Создание большего с помощью n8n и Crawlbase Веб-MCP

К настоящему моменту у вас уже настроена рабочая система, позволяющая n8n загружать страницу. Crawlbase Создайте веб-интерфейс MCP и передайте контент модели искусственного интеллекта. Это простой пример, но как только вы увидите его в действии, станет очевидно, насколько больше можно сделать, используя ту же идею.

Вот несколько идей, которые можно попробовать в дальнейшем:

  • По расписанию собирайте данные со страниц конкурентов и настраивайте n8n на отправку кратких обзоров в Slack.
  • Отслеживайте цены на товары на нескольких сайтах и ​​получайте уведомления об изменениях.
  • Выберите несколько статей по одной и той же теме, и искусственный интеллект быстро создаст для вас обзор.
  • Собирайте информацию о компаниях из справочников и отправляйте ее напрямую в CRM-систему.
  • Отслеживайте изменения определенных страниц с течением времени, особенно в контексте SEO-оптимизации.

Если вы хотите углубиться в тему, вы можете объединить несколько инструментов MCP в одном рабочем процессе, добавить условия, чтобы n8n обрабатывал каждую страницу по-разному, или сохранить результаты парсинга в месте, где вы сможете сравнить их позже. Планирование также очень помогает, особенно для повторяющихся парсингов.

Преимущество такой конфигурации в том, что вам не нужно писать код для создания чего-то полезного. n8n занимается автоматизацией. Crawlbase Процесс сканирования выполняется автоматически, а MCP обеспечивает связь между всеми компонентами. Как только вы начнете экспериментировать, станет удивительно легко создавать рабочие процессы, которые обычно требуют использования пользовательских скриптов.

Если вам нужно больше вдохновения, то... сообщество n8n Здесь много примеров и обсуждений, которые помогут вам сформировать новые идеи.

Создайте Crawlbase аккаунт Получите бесплатные кредиты прямо сейчас и начните создавать свои собственные рабочие процессы уже сегодня.