Вы заинтересованы в раскрытии скрытых идей в обширной базе данных продуктов Amazon? Если да, то вы попали по адресу. В этом пошаговом Amazon очистка данных guide, мы проведем вас через процесс парсинга данных о продуктах Amazon и использования его возможностей для роста бизнеса. Мы рассмотрим все: от понимания важности данных о продуктах до обработки CAPTCHA и мер по борьбе с парсингом. Так что хватайте свои инструменты и приготовьтесь погрузиться в мир парсинга данных Amazon.

Мы будем использовать Crawlbase Crawling API вместе с JavaScript для эффективного сбора данных Amazon. Динамические возможности JavaScript в работе с веб-элементами в сочетании с механизмами API, препятствующими сбору данных, гарантируют бесперебойный процесс сбора данных. Конечным результатом станет множество данных о продуктах Amazon, аккуратно организованных в форматах HTML и JSON.

Готовы начать? Зарегистрируйте Crawlbase — ваши первые 1,000 запросов абсолютно бесплатны.

Если вы ищете готовое решение, ознакомьтесь с нашим Amazon Скребок инструмент.

Содержание

Как сканировать данные Amazon с помощью Python (руководство по коду)

Шаг 1: Зарегистрируйтесь, чтобы Crawlbase и получите свой личный токен. Вы можете получить этот токен из Crawlbase документация по счету раздел в вашем аккаунте.

Crawlbase страница документации по счету

Шаг 2: Выберите конкретную страницу продукта Amazon, которую вы хотите скрейпнуть. Для этой цели мы выбрали страницу продукта Amazon для Беспроводные спортивные наушники PHILIPS A4216. Важно выбрать страницу продукта с различными элементами, чтобы продемонстрировать универсальность процесса парсинга.

Страница продукта Amazon

Шаг 3: Установить Crawlbase Библиотека node.js.

Сначала убедитесь, что Node.js установлен в вашей системе. Если он не установлен, вы можете загрузить и установить его с сайта здесь, затем приступайте к установке Crawlbase Библиотека Node.js с помощью НПМ :

npm i crawlbase

Шаг 4: Создайте файл amazon-product-page-scraper.js с помощью следующей команды:

touch amazon-product-page-scraper.js

Шаг 5: Настройте Crawlbase Crawling API. Это включает в себя создание необходимого параметры и конечные точки для работы API. Вставьте следующий скрипт в файл amazon-product-page-scraper.js, который вы создали на шаге 4. Чтобы запустить скрипт ниже, вставьте эту команду node amazon-product-page-scraper.js в терминале:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
// Импортируем Crawling API
Const { CrawlingAPI знак равно требовать('crawlbase');

// Установите свой Crawlbase знак
Const API = новый CrawlingAPI({ знак: 'ВАШ_ТОКЕН_БАЗЫ_КРАНА' });

// URL-адрес страницы Amazon для копирования
Const amazonPageURL = 'https://www.amazon.com/dp/B099MPWPRY';

// Получить запрос на сканирование URL
API
  .получить(URL-адрес страницы amazon)
  .тогда((ответ) => {
    if (ответ.код состояния === 200) {
      консоль.журнал(ответ.тело);
    }
  })
  .поймать((ошибка) => консоль.ошибка);

Приведенный выше скрипт показывает, как использовать CrawlbaseАвтора Crawling API для доступа и извлечения данных со страницы продукта Amazon. Настроив токен API скрапинга Amazon, определив целевой URL и выполнив запрос GET. Результатом этого кода будет необработанный HTML-контент указанной страницы продукта Amazon (https://www.amazon.com/dp/B099MPWPRY). Он будет отображен в консоли, показывая неформатированную HTML-структуру страницы. console.log(response.body) строка выводит это HTML-содержимое на консоль, как показано ниже:

HTML-ответ на запрос API

. Crawlbase API для сбора данных о товарах на Amazon

В приведенных выше примерах мы говорили о том, как мы получаем только базовую структуру данных о продукте Amazon (HTML). Но иногда нам не нужны эти необработанные данные, вместо этого мы хотим получить важные вещи со страницы. Crawlbase Crawling API имеет встроенный API для скрапинга Amazon для извлечения важного контента со страниц Amazon. Чтобы это работало, нам нужно добавить параметр «scraper» при использовании Crawling API. Этот параметр «скребка» помогает нам получить хорошие части страницы в формате JSON. Мы вносим изменения в тот же файл amazon-product-page-scraper.jsДавайте рассмотрим пример ниже, чтобы получить более полное представление:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
// Импортируем Crawling API
Const { CrawlingAPI знак равно требовать('crawlbase');

// Установите свой Crawlbase знак
Const API = новый CrawlingAPI({ знак: 'ВАШ_ТОКЕН_БАЗЫ_КРАНА' });

// URL-адрес страницы Amazon для копирования
Const amazonPageURL = 'https://www.amazon.com/dp/B099MPWPRY';

// варианты для Crawling API
Const варианты = {
  скребок: 'amazon-product-details',
};

// Получить запрос на сканирование URL
API
  .получить(URL-адрес страницы amazon, параметры)
  .тогда((ответ) => {
    if (ответ.код состояния === 200) {
      // Анализируем ответ JSON и печатаем его
      консоль.журнал(JSON.разбор(ответ.тело));
    }
  })
  .поймать((ошибка) => {
    консоль.ошибка(«Ошибка запроса API:», ошибка);
  });

Результатом работы приведенного выше блока кода будет проанализированный ответ JSON, содержащий конкретную информацию о продукте Amazon, такую ​​как название продукта, описание, цена, валюта, родительский ASIN, имя продавца, информация о запасах и т. д. Эти данные будут отображаться на консоли, демонстрируя организованную информацию, извлеченную из указанной страницы продукта Amazon.

JSON-ответ на запрос API

Теперь мы извлечем название, цену, рейтинг и изображение продукта Amazon из ответа JSON, упомянутого ранее. Для этого мы должны сохранить ответ JSON в файле с именем "amazon-product-scraper-response.json". Для этого выполните следующий скрипт в терминале:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
// Импортируем необходимые модули
Const фс = требовать('фс');
Const { CrawlingAPI знак равно требовать('crawlbase');

// Установите свой Crawlbase знак
Const API = новый CrawlingAPI({ знак: 'ВАШ_ТОКЕН_БАЗЫ_КРАНА' });

// URL-адрес страницы Amazon для копирования
Const amazonPageURL = 'https://www.amazon.com/dp/B099MPWPRY';

// Варианты для Crawling API
Const варианты = {
  скребок: 'amazon-product-details',
};

// Получить запрос на сканирование URL
API
  .получить(URL-адрес страницы amazon, параметры)
  .тогда((ответ) => {
    if (ответ.код состояния === 200) {
      // Анализ ответа JSON
      Const jsonResponse = JSON.разбор(ответ.тело);

      // Сохранить ответ JSON в файл
      фс.записьФайл('amazon-product-scraper-response.json', JSON.стягивать(jsonResponse, нуль, 2), (заблуждаться) => {
        if (ошибка) {
          консоль.ошибка(«Ошибка сохранения JSON:», ошибся);
        } еще {
          консоль.журнал(«Ответ JSON сохранен в amazon-product-scraper-response.json»);
        }
      });
    }
  })
  .поймать((ошибка) => {
    консоль.ошибка(«Ошибка запроса API:», ошибка);
  });

Этот код успешно сканирует страницу продукта Amazon, извлекает ответ JSON и сохраняет его в файл. Сообщение в консоли указывает, что ответ JSON был сохранен в 'amazon-product-scraper-response.json'. Если во время выполнения этих шагов возникнут какие-либо ошибки, вы увидите соответствующие сообщения об ошибках в консоли.

Сообщение на консоли для сохранения файла JSON

Соскребите название продукта Amazon

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
// Импорт модуля fs
Const фс = требовать('фс');

фс.прочитать файл('amazon-product-scraper-response.json', 'Utf8', (ошибка, данные) => {
  if (ошибка) {
    консоль.ошибка(«Ошибка чтения файла JSON:», ошибся);
    возвращают;
  }

  стараться {
    // Анализ данных JSON
    Const jsonData = JSON.разбор(данные);

    // Извлечь определенное значение (например, возраст)
    Const ИмяПродукта = jsonData.тело.имя;

    // Распечатать извлеченное значение
    консоль.журнал(«Название_продукта:», ИмяПродукта);
  } поймать (ошибка) {
    консоль.ошибка(«Ошибка анализа данных JSON:», ошибка);
  }
});

Приведенный выше блок кода считывает данные из файла JSON с именем "amazon-product-scraper-response.json" с использованием модуля fs (файловая система) в Node.js. Затем он пытается проанализировать данные JSON, извлечь определенное значение (в данном случае "name" собственность от "body" объект) и выводит его на консоль. Если есть какие-либо ошибки, например, данные JSON не сформированы должным образом или указанное свойство не существует, будут отображены соответствующие сообщения об ошибках.

Извлечь название продукта Amazon из файла JSON

Как получить цену товара на Amazon

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
// Импорт модуля fs
Const фс = требовать('фс');

фс.прочитать файл('amazon-product-scraper-response.json', 'Utf8', (ошибка, данные) => {
  if (ошибка) {
    консоль.ошибка(«Ошибка чтения файла JSON:», ошибся);
    возвращают;
  }

  стараться {
    // Анализ данных JSON
    Const jsonData = JSON.разбор(данные);

    // Извлечь определенное значение (например, возраст)
    Const productPrice = jsonData.тело.цена;

    // Распечатать извлеченное значение
    консоль.журнал('Цена:', цена продукта);
  } поймать (ошибка) {
    консоль.ошибка(«Ошибка анализа данных JSON:», ошибка);
  }
});

Этот код использует Node.js fs модуль для взаимодействия с файловой системой и чтения содержимого JSON-файла с именем "amazon-product-scraper-response.json". При чтении файла он пытается разобрать содержащиеся в нем данные JSON. Если разбор успешен, он извлекает "price" собственность от "body" объект данных JSON. Это извлеченное значение цены затем выводится на консоль.

Извлечь цену товара Amazon из файла JSON

Как получить рейтинг товара на Amazon

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
// Импорт модуля fs
Const фс = требовать('фс');

фс.прочитать файл('amazon-product-scraper-response.json', 'Utf8', (ошибка, данные) => {
  if (ошибка) {
    консоль.ошибка(«Ошибка чтения файла JSON:», ошибся);
    возвращают;
  }

  стараться {
    // Анализ данных JSON
    Const jsonData = JSON.разбор(данные);

    // Извлечь определенное значение (например, возраст)
    Const productRating = jsonData.тело.Обзор клиента;

    // Распечатать извлеченное значение
    консоль.журнал('Рейтинг:', рейтинг продукта);
  } поймать (ошибка) {
    консоль.ошибка(«Ошибка анализа данных JSON:», ошибка);
  }
});

Код считывает содержимое JSON-файла с именем "amazon-product-scraper-response.json". Затем он пытается проанализировать данные JSON и извлечь значение, хранящееся под ключом "customerReview" из "body" объект. Извлеченное значение, которое, по-видимому, представляет рейтинг продукта, выводится как «Рейтинг:», за которым следует значение.

Извлечь рейтинг продукта Amazon из файла JSON

Как извлечь изображение товара с Amazon

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
// Импорт модуля fs
Const фс = требовать('фс');

фс.прочитать файл('amazon-product-scraper-response.json', 'Utf8', (ошибка, данные) => {
  if (ошибка) {
    консоль.ошибка(«Ошибка чтения файла JSON:», ошибся);
    возвращают;
  }

  стараться {
    // Анализ данных JSON
    Const jsonData = JSON.разбор(данные);

    // Извлечь определенное значение (например, возраст)
    Const productImage = jsonData.тело.основное изображение;

    // Распечатать извлеченное значение
    консоль.журнал('Изображение:', productImage);
  } поймать (ошибка) {
    консоль.ошибка(«Ошибка анализа данных JSON:», ошибка);
  }
});

Приведенный выше скрипт пытается проанализировать данные JSON и извлечь значение, хранящееся под ключом "mainImage" в "body" объект. Извлеченное значение, вероятно представляющее собой изображение продукта, печатается как "Image:" за которым следует значение. Полученное значение изображения записывается в консоль.

Извлечь URL-адрес изображения продукта Amazon из файла JSON

Собирайте отзывы о товарах Amazon с помощью CrawlbaseИнтегрированный скребок

В этом примере мы соберем отзывы клиентов об одном и том же продукте Amazon. Целевой URL, который мы соскребаем, — это https://www.amazon.com/product-reviews/B099MPWPRY. CrawlbaseАвтора Crawling API имеет встроенный скрепер, разработанный для обзоров продуктов Amazon. Этот скрепер позволяет нам извлекать отзывы клиентов из продукта Amazon. Чтобы добиться этого, все, что нам нужно сделать, это включить параметр «скребок» в наше использование Crawling API, присваивая ему значение "amazon-product-reviews"Давайте рассмотрим пример ниже, чтобы получить более ясную картину:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
// Импортируем Crawling API
Const { CrawlingAPI знак равно требовать('crawlbase');

// Установите свой Crawlbase знак
Const API = новый CrawlingAPI({ знак: 'ВАШ_ТОКЕН_БАЗЫ_КРАНА' });

// URL-адрес страницы Amazon для копирования
Const amazonPageURL = 'https://www.amazon.com/product-reviews/B099MPWPRY';

// варианты для Crawling API
Const варианты = {
  скребок: 'amazon-product-reviews',
};

// Получить запрос на сканирование URL
API
  .получить(URL-адрес страницы amazon, параметры)
  .тогда((ответ) => {
    if (ответ.код состояния === 200) {
      // Анализируем ответ JSON и печатаем его
      консоль.журнал(JSON.разбор(ответ.тело));
    }
  })
  .поймать((ошибка) => {
    консоль.ошибка(«Ошибка запроса API:», ошибка);
  });

Запуск приведенного выше скрипта приведет к извлечению данных обзоров продуктов Amazon через Crawlbase Crawling API. По мере выполнения кода он извлекает информацию об отзывах, связанных с указанной страницей продукта Amazon. Эти данные будут отформатированы в JSON и отображены на консоли, представляя ценную информацию об опыте и мнениях клиентов. Структурированный вывод демонстрирует различные аспекты отзывов, включая имена рецензентов, рейтинги, даты отзывов, заголовки отзывов и многое другое.

Ответ JSON на отзывы покупателей о продуктах Amazon

Мы раскрыли потенциал извлечения данных с помощью подробного пошагового руководства. Мы использовали CrawlbaseАвтора Crawling API для создания веб-скрейпера Amazon, который извлекал сложную информацию о продукте, такую ​​как описания, цены, продавцы и наличие на складе. Кроме того, руководство показывает, как Crawlbase Crawling API легко упрощает извлечение отзывов клиентов, предоставляя большой объем информации, такой как имена рецензентов, рейтинги, даты и тексты отзывов.

Как избежать блокировки при парсинге Amazon

Проблемы со сбором данных о продуктах Amazon

Crawlbase Crawling API предназначен для решения проблем, связанных с веб-скрапингом, особенно в сценариях, где сбор данных о продуктах Amazon обеспокоен. В связи с ростом числа вопросов вроде «получают ли инфлюенсеры Amazon бесплатные продукты» и растущим спросом на данные об инфлюенс-маркетинге, Crawlbase предоставляет решение для извлечения информации о продукте для поддержки анализа рынка и принятия решений. Вот как Crawlbase Crawling API может помочь смягчить эти проблемы:

  1. Меры против царапин: Crawlbase Crawling API использует передовые методы обхода механизмов антискрейпинга, таких как CAPTCHA, блокировка IP и обнаружение агента пользователя. Это обеспечивает бесперебойный сбор данных без срабатывания оповещений.
  2. Динамическая структура веб-сайта: API способен адаптироваться к изменениям в структуре веб-сайта с помощью интеллектуальных алгоритмов, которые автоматически корректируют шаблоны извлечения в соответствии с меняющейся компоновкой страниц Amazon.
  3. Правовые и этические проблемы: Crawlbase уважает условия использования таких сайтов, как Amazon, гарантируя, что парсинг осуществляется ответственным и этичным образом. Это сводит к минимуму риск юридических действий и этических дилемм.
  4. Объем и скорость данных: API эффективно управляет большими объемами данных, распределяя задачи по извлечению данных между несколькими серверами, что обеспечивает быстрое и масштабируемое извлечение данных.
  5. Сложность информации о продукте: CrawlbaseАвтора Crawling API использует интеллектуальные методы извлечения данных, которые точно собирают сложную информацию о продукте, такую ​​как обзоры, цены, изображения и спецификации.
  6. Ограничение скорости и блокировка IP-адресов: API управляет ограничениями скорости и блокировкой IP-адресов путем интеллектуального регулирования запросов и ротации IP-адресов, гарантируя бесперебойный сбор данных.
  7. Капча вызовы: CrawlbaseАвтора Crawling API может обрабатывать CAPTCHA с помощью автоматизированных механизмов решения, устраняя необходимость ручного вмешательства и ускоряя процесс сбора данных Amazon.
  8. Качество и целостность данных: API предлагает функции проверки и очистки данных, чтобы гарантировать точность и актуальность извлеченных данных, снижая риск использования устаревшей или неверной информации.
  9. Надежность скриптов скрапинга: Надежная архитектура API разработана для обработки различных сценариев, ошибок и изменений в структуре веб-сайта, что снижает необходимость постоянного мониторинга и корректировок.

Crawlbase Crawling API предоставляет комплексное решение, которое решает сложности и проблемы веб-скрапинга данных Amazon. Предлагая интеллектуальные методы скрапинга, надежную архитектуру и соблюдение этических стандартов, API позволяет компаниям собирать ценную информацию без типичных препятствий, связанных с веб-скрапингом.

Применение Amazon Scraper

Применение Scrape Amazon Product Data

Ваш бизнес может выиграть от использования инструмента веб-скрейпинга или инструмента Amazon для сбора данных в следующих целях:

  1. Одной из ключевых областей, где могут быть использованы данные Amazon, является анализ отзывов клиентов для улучшения продукта. Тщательно изучая отзывы, компании могут определить области, в которых их продукты могут быть улучшены, что приведет к повышению удовлетворенности клиентов.
  2. Еще одним ценным применением извлеченных данных является выявление рыночных тенденций и моделей спроса. Анализируя модели и тенденции поведения клиентов, компании могут предвидеть потребности потребителей и соответствующим образом адаптировать свои предложения. Это позволяет им опережать конкурентов и предлагать востребованные продукты или услуги.
  3. Мониторинг стратегий ценообразования конкурентов — еще одно важное применение извлеченных данных. Тщательно изучая, как конкуренты устанавливают цены на свою продукцию, компании могут принимать обоснованные решения относительно корректировки цен. Это гарантирует им конкурентоспособность на рынке и возможность корректировать свои стратегии ценообразования в режиме реального времени.
  4. Предприятия электронной коммерции могут использовать данные о продуктах, полученные путем скрейпинга, для создания контента веб-сайта, например, описаний продуктов, характеристик и спецификаций. Это может улучшить поисковую оптимизацию (SEO) и улучшить опыт онлайн-покупок.
  5. Бренды могут отслеживать Amazon на предмет несанкционированных или поддельных товаров, собирая данные о товарах и сравнивая их с оригинальными предложениями.

Вам нужен надежный парсер Amazon?

Это пошаговое руководство по сбору данных Amazon освещает важность данных о товарах Amazon и их потенциал для роста бизнеса. Компании могут принимать обоснованные решения по различным аспектам своей деятельности, эффективно извлекая и анализируя эти данные.

Попытка Crawlbaseготовый API для парсинга и простой обход блокировок. Начать бесплатно

Часто задаваемые вопросы (FAQ) о парсинге Amazon

Парсинг Amazon может быть юридически рискованным, особенно если вы нарушаете их Условия обслуживания. Хотя публичные данные не всегда защищены, Amazon активно блокирует ботов и может подать в суд за чрезмерный парсинг. Чтобы соблюдать правила, используйте инструменты для парсинга, учитывающие ограничения по скорости, избегайте контента с ограничениями по входу в систему и рассмотрите возможность использования API, таких как Crawlbase, которая занимается этическим сбором данных и ротацией прокси.

2. Какой инструмент лучше всего использовать для парсинга Amazon в 2025 году?

Выбор лучшего парсера Amazon зависит от ваших технических навыков и варианта использования. Для разработчиков: Crawlbase Предлагает мощный API для парсинга со встроенным управлением прокси-серверами, обработкой CAPTCHA и рендерингом JavaScript. Пользователи, не владеющие кодом, могут предпочесть такие инструменты, как Octoparse или Apify. Всегда выбирайте инструмент, который может обойти защиту Amazon от ботов, оставаясь при этом масштабируемым и соответствующим требованиям.

3. Можно ли парсить Amazon с помощью Python?

Да, вы можете парсить данные с Amazon, используя Python с такими библиотеками, как requests, BeautifulSoup или Selenium. Однако защита Amazon от ботов затрудняет прямой доступ к страницам товаров. Поэтому многие разработчики интегрируют Crawlbase API в свои скрипты Python для надежной загрузки полностью отрисованных страниц с уже обработанными заголовками и прокси.

4. Какие данные я могу извлечь из листингов Amazon?

Вы можете извлечь различные данные о товаре, включая название, цену, отзывы, рейтинги, ASIN, информацию о продавце, наличие товара, изображения и характеристики товара. Используя мощный парсер или API, например Crawlbase, вы можете собирать эти данные в структурированных форматах (JSON/CSV) для отслеживания продуктов, сравнения товаров или конкурентного анализа.

5. Как избежать блокировки при парсинге Amazon?

Чтобы избежать блокировки, необходимо менять IP-адреса, подделывать заголовки, устанавливать реалистичные задержки и избегать копирования контента, находящегося в системе. У Amazon есть мощные системы защиты от ботов, поэтому лучше использовать API для парсинга, например Crawlbase, который управляет всем этим в фоновом режиме, гарантируя, что ваши запросы будут выглядеть как человеческие и не будут заблокированы.