Раньше автоматизация исследований продуктов с помощью API была доступна только разработчикам. Но всё изменилось. Сегодня некоторые инструменты позволяют любому человеку, даже без технического образования, разрабатывать и запускать собственные автоматизированные рабочие процессы.
В этом пошаговом руководстве мы покажем вам, как использовать n8n, платформа автоматизации с открытым исходным кодом, вместе с Crawlbase Crawling API для автоматического сбора сведений о товарах с сайтов электронной коммерции, таких как Amazon, и отправки их непосредственно в Google Таблицы.
Навыки программирования не требуются. Вам не нужно изучать Python или какой-либо другой язык программирования.
Простой рабочий процесс, который незаметно выполняется в фоновом режиме.
В результате у вас будет компактная, но мощная настройка для сбора данных Amazon, которая будет обновляться автоматически при каждом добавлении новых ASIN или планировании автоматического запуска.
Такая настройка идеально подходит для:
- Исследователи электронной коммерции собирают большие наборы данных
- Аналитики-конкуренты отслеживают изменения цен
- Продавцы Amazon отслеживают вариации
- Аналитики данных изучают рыночные тенденции с течением времени
Вот как выглядит весь процесс от начала до конца:
Настройка проста: вы начинаете со списка ASIN в Google Таблицах, n8n запускает рабочий процесс, Crawlbase извлекает данные из Amazon, и результаты записываются автоматически.
Простой контрольный список для автоматизации исследования товаров на Amazon
Прежде чем настраивать рабочий процесс, соберите несколько базовых данных. Вам не придётся ничего кодить, достаточно подключить несколько простых инструментов.
n8n
Используйте это для создания и запуска автоматизации. Размещайте его локально или запишитесь на n8n Облако. Это рабочее пространство с функцией перетаскивания, связывающее этапы между собой, поэтому программирование не требуется.
Crawlbase аккаунт
Crawlbase Он сканирует. Он загружает страницы Amazon и возвращает чистые, структурированные данные даже для сайтов с большим количеством JavaScript. Регистрация at Crawlbase и скопируйте ваш API-токены из панели управления, мы скоро будем использовать его в n8n.
Аккаунт Google с API Таблиц включен
Это позволяет n8n извлекать ASIN-коды из электронной таблицы и записывать в нее сведения о продукте. Вам нужно будет подключить свою учетную запись Google при первом добавлении узла Google Таблиц.
Таблица Google с вашим списком ASIN
Откройте пустой лист и добавьте один столбец с ASIN-кодами. Назовите его «Список ASIN» или как угодно. В дальнейшем n8n будет считывать данные отсюда и автоматически обновлять строки после каждого сканирования.
Как построить рабочий процесс n8n для автоматизации исследований продуктов Amazon
Пришло время собрать всё воедино. Мы объединим ваши источники данных и автоматизируем весь процесс исследования рынка электронной коммерции от начала до конца.
Шаг 1: Создайте новый рабочий процесс в n8n
Войдите в свою панель управления n8n и нажмите кнопку Создать рабочий процесс кнопку, чтобы начать новый.
Дайте ему понятное название, например, «Сборщик данных о продуктах Amazon».
Шаг 2: Подключите узел Google Таблиц (список ASIN)
Давайте настроим триггер, который запускает рабочий процесс каждый раз, когда в вашу таблицу Google добавляется новый ASIN.
Найдите Таблицы Google на панели и перетащите его в свой рабочий процесс.
Выберите При добавлении или обновлении строки триггер, который позволяет автоматически запускать рабочий процесс при появлении новых данных.
Авторизуйтесь с помощью своей учетной записи Google, затем выберите электронную таблицу и рабочий лист.
Нажмите Извлечь тестовое событие чтобы убедиться, что соединение работает правильно.
Теперь ваш рабочий процесс будет точно знать, откуда извлекать ASIN-ы.
Шаг 3: Добавьте Crawlbase Crawling API Узел
Эта часть важна, поскольку она позволит нашему рабочему процессу извлекать актуальные данные с сайта электронной коммерции, например Amazon.
Поскольку n8n пока не имеет встроенного Crawlbase узел, мы будем использовать HTTP-запрос вместо этого узел.
Добавьте новый узел и найдите HTTP-запрос на панели узлов.
Откройте панель конфигурации узла HTTP-запроса и заполните следующие данные:
В разделе «Параметры»
- Метод:
GET - URL:
https://api.crawlbase.com - Аутентификация:
None - Параметры отправки запроса: Переключать ON
Далее под Параметры запроса раздел, добавьте эти поля точно так, как показано ниже:
Параметры запроса
| Имя | Значение | Описание |
|---|---|---|
| знак | <your-crawlbase-token-here> | Ваша Crawlbase API-ключ. Вы можете найти его в вашем Crawlbase панель управления аккаунтом. |
| URL | https://www.amazon.com/dp/{{ $json.ASIN }}/ref=nosim | Это динамически создает URL-адрес продукта Amazon с использованием ASIN из вашей Google Таблицы. |
| скребок | amazon-product-details | Это говорит Crawlbase использовать встроенный скрапер Amazon Product Details. |
В качестве альтернативы вы можете перетащить ASIN из предыдущего узла Google Таблиц, чтобы динамически построить URL.
Теперь ваша настройка должна выглядеть примерно так:
После заполнения всех полей нажмите кнопку «Выполнить узел» вверху справа.
Вы увидите ответ JSON в Панель вывода справа, если всё работает правильно. Там будут такие поля, как title, price, rating, reviews_countИ многое другое.
Шаг 4: Сохраните результаты в Google Таблицах
Теперь, когда Crawlbase возвращает чистые данные о продукте, последний шаг — сохранить их в Google Таблице.
Откройте таблицу Google или создайте новую, а затем добавьте несколько столбцов для хранения информации о продукте, которую вы хотите получить (например, ASIN, название, цена, URL).
Вы всегда сможете добавить дополнительные поля позже, в зависимости от собираемых вами данных. Crawlbase.
Вернитесь к рабочему процессу n8n и добавьте еще один шаг сразу после узла HTTP-запроса.
Найдите Таблицы Google на панели узлов выберите Добавить или обновить строку на листе недооценивают ее Действия.
Затем настройте параметры, как показано на снимке экрана ниже:
Убедитесь в том, Столбец для сопоставления В разделе задано значение ASIN, чтобы избежать ошибок. И заполните поля данными из Crawlbase Ответ API, примерно такой:
1 | ASIN (используется для сопоставления) |
Шаг 5: Активация рабочего процесса
В правом верхнем углу вашего рабочего пространства n8n переключитесь Активных в ON. Это позволит вашему рабочему процессу начать автоматический сбор данных.
Протестируйте его, запустив рабочий процесс один раз. Через несколько секунд вы увидите, как ваша Google Таблица начнёт заполняться информацией о товарах, взятой с Amazon, такой как названия, цены и ссылки, аккуратно организованной.
Вот и всё. Рабочий процесс автоматически начнёт собирать новые данные при каждом добавлении новых кодов ASIN и поддерживать таблицу в актуальном состоянии, значительно сокращая объём ручной работы.
Улучшите и масштабируйте автоматизацию исследований в сфере электронной коммерции
Как только ваш рабочий процесс запущен, у вас уже есть основа. С этого момента вы сможете легко развить начатое и сделать его более полезным. Вам не придётся ничего переделывать. Просто добавьте несколько небольших улучшений со временем.
Расписание автоматических запусков
Вместо того, чтобы запускать его вручную, добавьте Расписание триггера узел В n8n. Вы можете настроить запуск один раз в день или каждые несколько часов. Как вам удобно. Ваша Google Таблица будет обновляться свежими данными Amazon, пока вы занимаетесь другими делами.
Сфотографируйте больше деталей
Сейчас вы, возможно, собираете только названия и цены. Это нормально для тестирования, но Crawlbase Вы можете сделать больше. Вы можете включить рейтинги, количество отзывов или названия продавцов. Дополнительная информация даёт более полное представление о том, как работают товары и как они меняются со временем.
Сохраните просканированные данные
Если вам нужна резервная копия всего, что вы собираете, используйте Crawlbase Cloud Storage, добавлять store=true на ваш запрос API, и Crawlbase автоматически сохраняет каждое сканирование в вашей учётной записи. Это полезно, если вам когда-либо понадобится вернуться назад, просмотреть старые страницы или сравнить изменения без повторного сканирования.
Исследуйте другие Crawlbase скребки
Crawlbase Работает со всеми видами парсеров практически для любого сайта, с которого вам нужно извлечь данные, и вам не нужно менять весь подход. Просто замените парсер данных введите, когда вам нужна другая информация.
Простая конфигурация, которая у вас сейчас есть, способна на гораздо большее, стоит лишь немного доработать. Не успеете оглянуться, как у вас появится надёжный инструмент для исследований, который обновляется новыми данными, отслеживает всё, что вы собрали, и помогает вам отслеживать товары, получая актуальную информацию при каждом использовании.
Заключение
Поздравляем! Вы только что создали полноценную автоматизированную систему сбора данных о товарах Amazon, не написав ни строчки кода.
Теперь у вас есть настройка, которая экономит часы ручной работы и позволяет постоянно обновлять ваши исследования благодаря n8n управление рабочим процессом и Crawlbase делаю соскоб.
Если вы еще этого не сделали, подпишитесь на Crawlbase аккаунт и начать экспериментировать с Crawling API.
Вы можете использовать тот же подход для других платформ электронной коммерции или даже расширить его для создания полномасштабных панелей управления данными.
Настройте его один раз, и ваши данные позаботятся о себе сами.
