Как извлечь бестселлеры из Walmart

Отбор бестселлеров Walmart — стратегический шаг для тех, кто интересуется последними тенденциями рынка. Используя Crawlbase Crawling API и JavaScript вы можете легко извлечь информацию о самых популярных товарах в интернет-магазине Walmart.

Этот подход особенно полезен для розничных торговцев, которым необходимо держать руку на пульсе потребительского спроса, или для покупателей, желающих узнать о трендовых товарах. Сочетание JavaScript и Crawlbase API упрощает процесс, позволяя автоматизировать поиск данных и постоянно быть в курсе самых продаваемых товаров на Walmart.

Наше пошаговое руководство призвано помочь вам эффективно собирать необходимые данные, гарантируя, что вы всегда будете информированы и готовы принимать обоснованные решения в динамичной среде интернет-торговли.

Содержание

• Понимание бестселлеров Walmart
  • Какие товары являются бестселлерами Walmart?
  • Значение сбора этих данных
  • Определение конкретных данных, которые вы хотите извлечь
• Соберите бестселлеры Walmart: пошаговое руководство
  • Настройка среды
  • Извлечение HTML с помощью Crawling API
  • Собирайте значимые данные с помощью Crawlbase Скреперы
  • Соберите сведения о самых продаваемых товарах Walmart
• Советы по извлечению данных: стратегии эффективного извлечения бестселлеров Walmart
• Выводы
• Часто задаваемые вопросы (FAQ)

Понимание бестселлеров Walmart

Прежде чем приступить к сбору данных о бестселлерах Walmart, важно понять, что означает этот термин, почему он важен и какие данные вы можете извлечь из него.

1. Какие товары являются бестселлерами Walmart?

Бестселлеры Walmart — это товары, которые в настоящее время продаются как горячие пирожки на онлайн-платформе Walmart. Это товары с самым высоким рейтингом, пользующиеся спросом у клиентов Walmart. Они могут включать широкий ассортимент товаров, от электроники и одежды до товаров для дома и многого другого.

2. Значение сбора этих данных

• Обзор рынка: Анализ Walmart Best Sellers дает ценную рыночную информацию. Он помогает компаниям и частным лицам понять, какие продукты в тренде и пользуются высоким спросом, что может иметь решающее значение для принятия обоснованных решений в электронной коммерции и розничной торговле.
• Отслеживание цен: Мониторинг Best Sellers позволяет отслеживать изменения цен, скидки и акции. Эту информацию можно использовать для стратегий конкурентоспособного ценообразования и поиска лучших предложений.
• Исследование продукта: Исследователи и аналитики используют эти данные для изучения предпочтений потребителей, выявления новых тенденций и оценки эффективности различных категорий продуктов с течением времени.
• Создание контента: Создатели контента, такие как блогеры и влогеры, часто используют данные Best Sellers для создания интересного контента, например обзоров и рекомендаций продуктов.

3. Определение конкретных данных, которые вы хотите извлечь

При сборе данных из раздела «Лучшие продавцы Walmart» вам, возможно, захочется извлечь следующие данные:

• Названия продуктов: Названия самых продаваемых товаров.
• Цены: Текущие цены на эти продукты.
• Рейтинги: Оценки и отзывы покупателей по каждому продукту.
• Описания: Описания или сведения о продуктах.
• URL: Ссылки на страницы продуктов на сайте Walmart.

Вы можете выбрать извлечение всей или части этой информации в зависимости от ваших целей и информации, которую вы хотите получить. Наличие четкого плана относительно того, какие данные вам нужны, имеет важное значение, поскольку это будет направлять ваши усилия по извлечению данных и поможет вам эффективно использовать информацию.

Понимание Walmart Best Sellers и связанных с ними данных — первый шаг в вашем скрапинговом путешествии. С этими знаниями вы можете перейти к использованию Crawlbase Crawling API и JavaScript для сбора данных, необходимых для ваших конкретных целей.

Соберите бестселлеры Walmart: пошаговое руководство

Настройка среды

Чтобы зарегистрировать бесплатную учетную запись на Crawlbase и получите свой личный токен, перейдите на свой Crawlbase документация по счету .

Чтобы установить Crawlbase Библиотека Node.js, выполните следующие действия:

1. Убедитесь, что на вашем компьютере установлен Node.js. Вы можете скачать и установить его с официального сайта Node.js, если у вас его нет.

2. Убедившись, что Node.js установлен, откройте терминал и введите следующую команду:

npm установить crawlbase

Эта команда загрузит и установит Crawlbase Библиотека Node.js в вашей системе, чтобы вы могли использовать ее для своего проекта по веб-скрапингу.

3. Чтобы создать файл с именем "walmart-scraper.js вы можете использовать текстовый редактор или интегрированную среду разработки (IDE). Вот как создать файл, используя стандартный подход командной строки:

Запустите эту команду:

коснитесь walmart-scraper.js

Выполнение этой команды приведет к созданию пустого walmart-scraper.js файл в указанном каталоге. Затем вы можете открыть этот файл в предпочитаемом вами текстовом редакторе и добавить свой код JavaScript.

Извлечение HTML с помощью Crawling API

У вас есть учетные данные API, установлен Crawlbase Библиотека Node.js и создал файл с именем walmart-scraper.js. Теперь выберите страницу бестселлеров Walmart, которую вы хотите скопировать. В этом примере мы выбрали страницу бестселлеров Walmart для категория электроники.

Чтобы настроить Crawlbase Crawling API, вам нужно сделать несколько простых шагов:

1. Убедитесь, что вы сделали walmart-scraper.js файл, как обсуждалось в предыдущей части.
2. Просто скопируйте и вставьте скрипт, который мы вам предоставим ниже, в этот файл.
3. Запустите скрипт в терминале с помощью команды node walmart-scraper.js.

// Импортируем Crawling API
Const { CrawlingAPI знак равно требовать('crawlbase');

// Установите свой Crawlbase знак
Const API = новый CrawlingAPI({ знак: 'ВАШ_ТОКЕН_БАЗЫ_КРАНА' });

// URL-адрес страницы Walmart для копирования
Const walmartPageURL = 'https://www.walmart.com/shop/best-sellers/electronics';

// Получить запрос на сканирование URL
API
  .получить(URL-адрес страницы Walmart)
  .тогда((ответ) => {
    if (ответ.код состояния === 200) {
      консоль.журнал(ответ.тело);
    }
  })
  .поймать((ошибка) => консоль.ошибка);

Инструкции в скрипте выше покажут вам, как использовать CrawlbaseАвтора Crawling API для получения данных со страницы бестселлеров Walmart. Вам нужно настроить токен API, указать страницу Walmart, которую вы хотите получить, а затем отправить запрос GET. При запуске этого кода он отобразит необработанное HTML-содержимое страницы Walmart на вашей консоли.

Собирайте значимые данные с помощью Crawling API Параметры

В последнем примере мы узнали, как получить базовую схему самых продаваемых товаров Walmart: HTML-код с их веб-сайта. Однако нам может понадобиться только этот базовый код. Часто нам нужны конкретные детали с веб-страницы. Отличная новость в том, что Crawlbase Crawling API имеет специальные настройки, которые позволяют нам легко извлекать ключевые данные со страниц Walmart. Для этого необходимо использовать функцию «автопарсинга» при работе с Crawling API. Эта функция упрощает процесс сбора наиболее важной информации в формате JSON. Вы можете сделать это, обновив walmart-scraper.js файл. Давайте рассмотрим следующий пример, чтобы понять, как это работает.

// Импортируем Crawling API
Const { CrawlingAPI знак равно требовать('crawlbase');

// Установите свой Crawlbase знак
Const API = новый CrawlingAPI({ знак: 'ВАШ_ТОКЕН_БАЗЫ_КРАНА' });

// URL-адрес страницы Walmart для копирования
Const walmartPageURL = 'https://www.walmart.com/shop/best-sellers/electronics';

// варианты для Crawling API
Const варианты = {
  автоанализ: 'правда',
};

// Получить запрос на сканирование URL
API
  .получить(walmartPageURL, параметры)
  .тогда((ответ) => {
    if (ответ.код состояния === 200) {
      // Анализируем ответ JSON и печатаем его
      консоль.журнал(JSON.разбор(ответ.тело));
    }
  })
  .поймать((ошибка) => {
    консоль.ошибка(«Ошибка запроса API:», ошибка);
  });

Ответ JSON:

{
  "исходный_статус": 200,
  "статус_ПК": 200,
  "URL": "https://www.walmart.com/shop/best-sellers/electronics",
  «Тело»: {
    "тревога": «Был выбран универсальный веб-скрейпер. Обратитесь в службу поддержки, если вам требуется более подробный скрейпер для вашего URL-адреса».,
    "заглавие": «Лучшие продавцы электроники — Walmart.com»,
    "фавикон": "",
    "мета": {
      "описание": «Покупайте самые продаваемые товары из категории «Электроника» в Walmart и экономьте».,
      "ключевые слова": ""
    },
    "содержание": «Как вы хотите получить свои вещи?Как вы хотите получить свои вещи? Инструкции для программы чтения с экрана: в этом диалоговом окне вы найдете переключатели, с помощью которых можно выбрать способ совершения покупок. После выбора эта опция сохранится, чтобы персонализировать ваш опыт покупок в Walmart и показывать вам соответствующие товары. Если вы хотите изменить свои предпочтения, вы можете вызвать это диалоговое окно на любой странице. Кнопка вызова диалогового окна отображается после кнопки «Корзина» в порядке чтения и ввода с клавиатуры. Кнопка будет помечена в соответствии с последним выбранным вами вариантом. Чтобы выйти из этого диалогового окна, активируйте кнопку «Закрыть» или нажмите клавишу «Escape». Доставка Самовывоз Повторите попытку через минуту Экономьте с помощью устройства потоковой передачи Roku Ultra LT 4K/HDR/Dolby Vision/двухдиапазонный Wi-Fi с пультом дистанционного управления Roku Voice и кабелем HDMI 5074.6 из 5 звезд. 507 отзывов Экономьте при самовывозе Возможна доставка, прибытие в течение 2 дней Было $1,049.99 SGIN 15.6-дюймовый ноутбук 4 ГБ DDR4 128 ГБ SSD Windows 11 с 4-ядерным процессором Intel Celeron, Full HD 1920x1080 26974.5 из 5 звезд. 2697 отзывов Экономьте с бесплатной доставкой, прибудет через 2 дня Было $399.99 Система видеонаблюдения TOPVISION из 4 проводных камер, 8-канальный 3-мегапиксельный сетевой видеорегистратор для домашней безопасности, IP-камеры видеонаблюдения 1080P с цветным ночным видением, водонепроницаемость IP66, для использования в помещении и на улице, без жесткого диска (беспроводной Wi-Fi) 23574.6 из 5 звезд. 2357 отзывов Экономьте с бесплатной доставкой, прибудет в течение 2 дней Было 369.98 $ Проектор ROCONIA 5G WiFi Bluetooth Native 1080P, 13000LM Full HD кинопроектор, ЖК-технология 300-дюймовый дисплей с поддержкой домашнего кинотеатра 4K (экран проектора включен) 23774.6 из 5 звезд. 2377 отзывов Экономьте с бесплатной доставкой, прибудет через 2 дня Было $169.99 CRUA 24\" 165 Гц/180 Гц изогнутый игровой монитор - FHD 1080P безрамочный компьютерный монитор, AMD FreeSync, низкая размытость изображения, порты DP и HDMI, черный 9364.7 из 5 звезд. 936 отзывов Экономьте с бесплатной доставкой, прибудет в течение 2 дней Было $59.99 USX MOUNT Полноповоротное настенное крепление для телевизоров с диагональю 47-90 дюймов Повороты Наклоны Расширение Выравнивание Максимальная нагрузка до 132 фунтов VESA 600x400 мм, 16 дюймов Деревянные стойки 7894.7 из 5 звезд. 789 отзывов Экономьте с бесплатной доставкой, прибудет в течение 2 дней Варианты от $29.99 до $35.99 Беспроводная камера безопасности TOPVISION, 2K WiFi-камера с функцией ночного видения для улицы, водонепроницаемая камера IP66 для домашней системы безопасности, камера наблюдения с ИК-датчиком движения, двухсторонней аудиосвязью 2 из 32764.5 звезд. 3276 отзывов Экономьте с Proscan Elite 10.1\" Планшет/Портативный DVD-плеер, 32 ГБ памяти, Android 11, разрешение 1280x800, черный 1614 из 5 звезд. 161 отзыв Сэкономьте с бесплатной доставкой, прибудет через 2 дня Было $99.99 ULTIMEA 2.2-канальная звуковая панель для телевизора, встроенный двойной сабвуфер, разделяемая звуковая панель Bluetooth 2 1 в 5.3, регулируемая звуковая панель объемного звучания Bassmax для телевизора, динамики домашнего кинотеатра HDMI-ARC/Optical/Aux, настенное крепление 4344.5 из 5 звезд. 434 отзыва Экономьте с бесплатной доставкой, прибудет через 2 дня текущая цена $2,999.00 LG 77\" Class 4K UHD OLED Web OS Smart TV с Dolby Vision C2 Series OLED77C2PUA 30604.7 из 5 звезд. 3060 отзывов Бесплатная доставка, прибытие в течение 3+ дней Было $169.99 Проектор 5G WiFi с Bluetooth 5.1, 9000 люмен HD-кинопроектор, поддержка дисплея 1080P 250'' 4024.6 из 5 звезд. 402 отзыва Экономьте с бесплатной доставкой, прибудет в течение 2 дней Варианты от $449.00 до $1,199.99 Игровой ПК Skytech Blaze 3.0 Настольный компьютер AMD Ryzen 5 5600G 3.9 ГГц, графика AMD Radeon, 500 ГБ NVME SSD, 16 ГБ DDR4 RAM 3200, 600 Вт GOLD PSU, 11AC Wi-Fi, Windows 11 Home 64-bit 224.1 из 5 звезд. 22 отзыва Бесплатная доставка, прибытие в течение 3+ дней Было $749.00 Игровой настольный ПК IPASON, Amd Ryzen 5 5600G 6 Core 3.9GHz, AMD Radeon Graphics IGPU, 1TB SSD, 16GB DDR4 Ram, Windows 11 Home 743.5 из 5 звезд. 74 отзыва Экономьте с 2021 Apple iPad 10.2 дюйма Wi-Fi 64 ГБ - Space Gray (9-го поколения) 51024.7 из 5 звезд. 5102 отзыва Сохранить с добавлением $189.00 37484.6 из 5 звезд. 3748 отзывов Экономьте с бесплатной доставкой, прибудет через 2 дня Было $298.00 Hisense 58\" Class 4K UHD LED LCD Roku Smart TV HDR R6 Series 58R6E3 83984.2 из 5 звезд. 8398 отзывов Экономьте с бесплатной доставкой, поступит завтра Варианты от $149.00 до $179.55 Беспроводные наушники Beats Studio3 с шумоподавлением и чипом Apple W1 — матовый черный 12114.6 из 5 звезд. 1211 отзывов Бесплатная доставка, прибытие в течение 3+ дней Текущая цена $198.00 onn. 50 Class 4K UHD (2160P) LED Roku Smart TV HDR (100012585) 110844.3 из 5 звезд. 11084 отзыва Экономьте с VIZIO 50\" Class V-Series 4K UHD LED Smart TV V505-J09 200994.4 из 5 звезд. 20099 отзывов Сохранить с 7094.7 из 5 звезд. 709 отзывов Сохранить с помощью onn. 32-классный HD (720P) LED Roku Smart TV (100012589) 146814.4 из 5 звезд. 14681 отзывов Сохранить с 16304.4 из 5 звезд. 1630 отзыва Экономьте с VIZIO 65\" Class V-Series 4K UHD LED Smart TV V655-J09 200994.4 из 5 звезд. 20099 отзывов Экономьте с бесплатной доставкой, прибудет через 2 дня текущая цена $248.00 TCL 55\" Class 4-Series 4K UHD HDR Smart Roku TV - 55S451 106024.1 из 5 звезд. 10602 отзыва Экономьте с бесплатной доставкой, поступит завтра $699.00/ca Игровой настольный компьютер CyberPowerPC Gamer Master, AMD Ryzen 5 5500, 16 ГБ, AMD Radeon RX 6700 10 ГБ, 1 ТБ SSD, черный, GMA6800WST 6704.7 из 5 звезд. 670 отзывов Сохранить с 3104.6 из 5 звезд. 310 отзывов Бесплатная доставка, прибытие в течение 3+ дней LG 70\" Class 4K UHD 2160P webOS Smart TV - 70UQ7070ZUD 14634.4 из 5 звезд. 1463 отзыва Бесплатный самовывоз завтра Бесплатная доставка Была $229.00 Ноутбук HP Stream 14\", процессор Intel Celeron N4020, 4 ГБ ОЗУ, 64 ГБ eMMC, розовый, Windows 11 (режим S) с Office 365 на 1 год, 14-cf2112wm 29683.8 из 5 звезд. 2968 отзывов Экономьте с бесплатной доставкой, прибудет сегодня Было $179.00 Беспроводные накладные наушники Beats Solo3 с чипом Apple W1 — черные 20904.5 из 5 звезд. 2090 отзывов Бесплатная доставка, прибытие в течение 3+ дней SAMSUNG 65\" Class CU7000B Crystal UHD 4K Smart Television UN65CU7000BXZA 15044.5 из 5 звезд. 1504 отзыва Экономьте с бесплатной доставкой, прибудет через 2 дня текущая цена $498.00 onn. 75 Class 4K UHD (2160P) LED безрамочный Roku Smart TV (100044717) 28554.1 из 5 звезд. 2855 отзывов Бесплатная доставка доступна текущая цена $248.00 onn. 55 Class 4K UHD (2160P) LED Roku Smart TV HDR (100012586) 37494.2 из 5 звезд. 3749 отзывов Экономьте с бесплатной доставкой, прибудет через 2 дня Было $329.00 HP Chromebook X360 14\" HD сенсорный экран 2-в-1, Intel Celeron N4020, 4 ГБ ОЗУ, 64 ГБ eMMC, бирюзовый, 14a-ca0130wm 3764.2 из 5 звезд. 376 отзывов Экономьте с Beats Studio Buds – беспроводные наушники Bluetooth с шумоподавлением - черные 15114 из 5 звезд. 1511 отзывов Экономьте с SAMSUNG Galaxy Tab A8, 10.5\" Планшет 32 ГБ (Wi-Fi), темно-серый 14164.4 из 5 звезд. 1416 отзывов Экономьте с бесплатной доставкой, прибудет через 2 дня Было 133.00 $ Philips 32\" Class HD (720P) Smart Roku Borderless LED TV (32PFL6452/F7) 36714.4 из 5 звезд. 3671 отзыв Сэкономьте с бесплатной доставкой, прибудет в течение 2 дней Варианты от $479.00 до $618.00 Игровой ноутбук MSI GF63 15\", 144 Гц FHD, Intel i5-11400H, NVIDIA RTX 3050, 16 ГБ DDR4, 512 ГБ SSD, Win11 914.4 из 5 звезд. 91 отзыв Наличие в магазине может меняться Нет в наличии Звуковая панель TOPVISION для телевизора, звуковая панель с сабвуфером, проводные и беспроводные динамики объемного звучания Bluetooth 5.0 3D, оптическое/AUX/RCA/USB подключение, возможность крепления на стену, пульт дистанционного управления 36874.3 из 5 звезд. 3687 отзывов Нет в наличии Наушники VEATOOL Bluetooth True Wireless Наушники-вкладыши с 60-часовым воспроизведением, светодиодным дисплеем и беспроводным зарядным футляром IPX7 Водонепроницаемые внутриканальные наушники с микрофоном для телевизора, смартфона, компьютера, ноутбука 16164.6 из 5 звезд. 1616 отзывов Нет в наличии",
    "канонический": "https://www.walmart.com/shop/best-sellers/electronics",
    "изображения": [
      "//i5.walmartimages.com/dfw/63fd9f59-b3e1/7a569e53-f29a-4c3d-bfaf-6f7a158bfadd/v1/walmartLogo.svg",
      "https://i5.walmartimages.com/dfwrs/76316474-3850/k2-_c6d4aec7-b4a7-4ea4-9223-07c8daef4fcf.v1.png",
      "https://i5.walmartimages.com/dfwrs/76316474-f13c/k2-_d4e8ebb4-9d70-46b4-8f2b-ecc4ac774e07.v1.png",
      "https://i5.walmartimages.com/dfwrs/76316474-8720/k2-_d747b89f-5900-404d-a101-1a3452480882.v1.png",
      "https://i5.walmartimages.com/dfwrs/76316474-39c2/k2-_8deea800-0d44-4984-b1ce-5a3f12b192b7.v1.png",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-70f6/k2-_b29e64c4-bea1-474c-9b4d-a28e11524b56.v1.jpg",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-bf3d/k2-_f17f25c7-dff7-4ac6-8806-10943a345daf.v1.png",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-70e1/k2-_f03cf59c-7356-455c-b1c8-23131fe6dc36.v1.png",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-4bca/k2-_a131fab0-528b-45df-87eb-fa18c8eb0c9c.v1.png",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-e022/k2-_95447efb-7a97-444b-89c8-f52151e8c2ee.v1.png",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-bbb5/k2-_3299d0e4-ccb1-4bb3-83eb-31173286f728.v1.png",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-9008/k2-_9abdaa53-07da-4f73-a08a-cfbbb6a13fc6.v1.png",
      "https://i5.walmartimages.com/dfw/4ff9c6c9-628c/k2-_365e3c70-a606-42e8-b5a1-f02e43f8dfc2.v1.png"
    ],
    "видео": [],
    "сгруппированные_изображения": {
      "дб": ["//i5.walmartimages.com/dfw/63fd9f59-b3e1/7a569e53-f29a-4c3d-bfaf-6f7a158bfadd/v1/walmartLogo.svg"],
      "mr2 br-100 v-btm dn db-m": [
        "https://i5.walmartimages.com/dfwrs/76316474-3850/k2-_c6d4aec7-b4a7-4ea4-9223-07c8daef4fcf.v1.png"
      ],
      "v-btm": [
        "https://i5.walmartimages.com/dfwrs/76316474-f13c/k2-_d4e8ebb4-9d70-46b4-8f2b-ecc4ac774e07.v1.png",
        "https://i5.walmartimages.com/dfwrs/76316474-8720/k2-_d747b89f-5900-404d-a101-1a3452480882.v1.png",
        "https://i5.walmartimages.com/dfwrs/76316474-39c2/k2-_8deea800-0d44-4984-b1ce-5a3f12b192b7.v1.png"
      ],
      "mw-100 абсолютный слева-0 снизу-0": [
        "https://i5.walmartimages.com/dfw/4ff9c6c9-70f6/k2-_b29e64c4-bea1-474c-9b4d-a28e11524b56.v1.jpg",
        "https://i5.walmartimages.com/dfw/4ff9c6c9-bf3d/k2-_f17f25c7-dff7-4ac6-8806-10943a345daf.v1.png",
        "https://i5.walmartimages.com/dfw/4ff9c6c9-70e1/k2-_f03cf59c-7356-455c-b1c8-23131fe6dc36.v1.png",
        "https://i5.walmartimages.com/dfw/4ff9c6c9-4bca/k2-_a131fab0-528b-45df-87eb-fa18c8eb0c9c.v1.png",
        "https://i5.walmartimages.com/dfw/4ff9c6c9-e022/k2-_95447efb-7a97-444b-89c8-f52151e8c2ee.v1.png",
        "https://i5.walmartimages.com/dfw/4ff9c6c9-bbb5/k2-_3299d0e4-ccb1-4bb3-83eb-31173286f728.v1.png",
        "https://i5.walmartimages.com/dfw/4ff9c6c9-9008/k2-_9abdaa53-07da-4f73-a08a-cfbbb6a13fc6.v1.png",
        "https://i5.walmartimages.com/dfw/4ff9c6c9-628c/k2-_365e3c70-a606-42e8-b5a1-f02e43f8dfc2.v1.png"
      ],
      "абсолютный верх-0 слева-0": [
        "https://i5.walmartimages.com/asr/ac793ff4-d3da-4cbe-beba-f956e7494490_1.5bae15688eb0aafd22a99d01a072f9db.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/09219b67-9e5f-4658-994a-05ab956e6ffb.f61269f971887a13c79d2931e1c62694.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/5ef57c1c-eb19-4975-a8f5-468530ca131a.2237d30635f2d0b3ab76518bf69ccb2d.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/448940ca-3434-493d-ba05-8405f337392a.f58aea8fbf600a69f7aa8f2969cde029.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/7611030d-ded9-419e-b9df-bbd6e591f187.65129e104b761b44dd15365ec0edb600.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
      ],
      "сгибать": ["//i5.walmartimages.com/dfw/63fd9f59-ac39/29c6759d-7f14-49fa-bd3a-b870eb4fb8fb/v1/wplus-icon-blue.svg"],
      "br-100 v-btm ba b--прозрачный": [
        "https://i5.walmartimages.com/asr/76763ed0-f926-417c-8285-a328d6e91201.37c036e847a376f92d284c922b5c6ef4.jpeg?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/9c22524e-3900-4a20-8a00-e0703a37d5a6.939ba8e3711f058c2015a770ee3be00f.jpeg?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/96085919-473b-4348-af43-dd52162d51ad.9b9c40d4e2f1916bf023024a6882a7e3.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30",
        "https://i5.walmartimages.com/asr/8766773c-33e8-45f0-a5e2-7b8d7b5a2807.e1ebcd1be09e63793b37c59b1e4e7a43.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30",
        "https://i5.walmartimages.com/asr/d1e7a394-40bf-4bd0-ab2f-05962b339c11.7765451801d8914aa40bf76d8e4ee44c.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/ee67ea77-6e64-4148-9f57-048d5c8bb2cf.4ce415aa426d2c96832aa9a9478184ee.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/c52b904a-d551-4a22-96a8-7b79d0427e74_1.894be2a6177ecea43d3141b0fb8de755.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/1a81dac4-f33b-4a5c-9087-51303de450eb_1.6ecc6132b80c59da5e27509de279c0c0.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/ad6b701f-a6f0-4c92-886b-078ae6934a1e_1.8c2fe49d6e265471886e256e3f9fd9b8.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/0ce6ba44-ad2e-445c-a9ff-6c1ab11ad29d.f2b82cc9e22fbc2f4012ea2dcdbec766.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/845982ab-2ef5-4500-b0e4-9aa4c89d79cf.30c60a92a589d8cf97d1f49ec04f2622.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/42acaa56-6085-4729-8512-6547bffcfdb7.16099e0af118f0e2237b885a629c7d16.jpeg?odnHeight=30&odnWidth=30&odnBg=FFFFFF",
        "https://i5.walmartimages.com/asr/67f761e1-eefc-47d8-8dd0-5ad824debf9a.01f64ab355f971030adaca50c4b959b3.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30"
      ],
      "класс_не_найден": [
        "https://www.walmart.com/akam/13/pixel_17309a7b?a=dD01MDc2YzdiNWRiODEyYTZiYmRhNzMzYjYxNzZiNTgzZGZhYTU0M2E3JmpzPW9mZg=="
      ]
    },
    "og_images": [
      "https://i5.walmartimages.com/asr/ac793ff4-d3da-4cbe-beba-f956e7494490_1.5bae15688eb0aafd22a99d01a072f9db.jpeg?odnHeight=180&odnWidth=180&odnBg=ffffff"
    ],
    "ссылки": [
      "https://www.walmart.com/shop/best-sellers/electronics#maincontent",
      "https://www.walmart.com/",
      "https://www.walmart.com/my-items",
      "https://www.walmart.com/lists",
      "https://www.walmart.com/my-registries",
      "https://www.walmart.com/account/login?vid=oaoh",
      "https://www.walmart.com/orders",
      "https://www.walmart.com/shop/best-sellers",
      "https://www.walmart.com/shop/best-sellers/toys",
      "https://www.walmart.com/shop/best-sellers/sports-and-outdoors",
      "https://www.walmart.com/shop/best-sellers/electronics",
      "https://www.walmart.com/shop/best-sellers/home",
      "https://www.walmart.com/shop/best-sellers/fashion",
      "https://www.walmart.com/shop/best-sellers/baby",
      "https://www.walmart.com/shop/best-sellers/beauty",
      "https://www.walmart.com/ip/Apple-AirPods-with-Charging-Case-2nd-Generation/604342441?athbdg=L1800",
      "https://www.walmart.com/ip/Roku-Ultra-LT-Streaming-Device-4K-HDR-Dolby-Vision-Dual-Band-Wi-Fi-with-Roku-Voice-Remote-and-HDMI-Cable/855978264?athbdg=L1800",
      "https://www.walmart.com/ip/SGIN-15-6inch-Laptop-4GB-DDR4-128GB-SSD-Windows-11-with-4-Core-Intel-Celeron-Full-HD-1920x1080/1044996074?athbdg=L1800",
      "https://www.walmart.com/ip/TOPVISION-4pcs-Security-Wired-Camera-System-8CH-3MP-NVR-Home-Security-1080P-IP-Surveillance-Cameras-Color-Night-Vision-IP66-Waterproof-Indoor-Outdoor/166697493?athbdg=L1800",
      "https://www.walmart.com/ip/ROCONIA-5G-WiFi-Bluetooth-Native-1080P-Projector-13000LM-Full-HD-Movie-LCD-Technology-300-Display-Support-4k-Home-Theater-Projector-Screen-Included/663038446?athbdg=L1800",
      "https://www.walmart.com/ip/CRUA-24-165Hz-180Hz-Curved-Gaming-Monitor-FHD-1080P-Frameless-Computer-Monitor-AMD-FreeSync-Low-Motion-Blur-DP-HDMI-Port-Black/1277532195?athbdg=L1800",
      "https://www.walmart.com/ip/Skytech-Blaze-3-0-Gaming-PC-Desktop-AMD-Ryzen-5-5600G-3-9-GHz-Radeon-Graphics-500GB-NVME-SSD-16GB-DDR4-RAM-3200-600W-GOLD-PSU-11AC-Wi-Fi-Windows-11-H/1965053079?variantFieldId=actual_color",
      "https://www.walmart.com/ip/Skytech-Blaze-Gaming-PC-Desktop-INTEL-Core-i7-12700F-2-1-GHz-NVIDIA-RTX-4060-Ti-1TB-NVME-SSD-16GB-DDR4-RAM-3200-600W-GOLD-PSU-240mm-AIO-11AC-Wi-Fi-Wi/2472931979?variantFieldId=actual_color",
      "https://www.walmart.com/ip/IPASON-Gaming-Desktop-PC-Amd-Ryzen-5-5600G-6-Core-3-9GHz-AMD-Radeon-Graphics-Igpu-1TB-SSD-16GB-DDR4-Ram-Windows-11-Home/375037946?athbdg=L1700"
    ]
  }
}

Теперь, когда у нас есть данные JSON со страницы бестселлеров Walmart, давайте сосредоточимся на извлечении ключевых данных, таких как названия продуктов, цены, рейтинги и т. д. Этот шаг позволит нам лучше понять производительность продукта и мнения клиентов. Давайте продолжим и посмотрим, какую полезную информацию мы сможем собрать!

Соберите сведения о самых продаваемых товарах Walmart

В этом примере мы покажем вам, как извлечь сведения о самых продаваемых продуктах из HTML-контента страницы бестселлера Walmart, которую вы изначально скопировали. Это включает в себя использование двух библиотек JavaScript: cheerio, обычно используемой для веб-скрапинга, и fs, которая часто применяется для операций с файловой системой.

Ниже приведен код JavaScript, который использует библиотеку Cheerio для извлечения информации о продукте со страницы бестселлера Walmart. Он считывает HTML из файла «walmart-scraper.js», загружает его в Cheerio и извлекает информацию, такую ​​как название продукта, цена, рейтинг, отзывы и URL-адрес изображения. Скрипт проходит по каждому контейнеру продукта, сохраняет данные в массиве JSON.

// Импортируем необходимые библиотеки
Const фс = требовать('фс');
Const Привет = требовать('привет');

// Загрузить HTML-контент из файла
Const htmlContent = fs.readFileSync('walmart-scraper.html', 'Utf8');

// Загружаем HTML-контент в Cheerio
Const $ = привет.загрузка(htmlContent);

// Выбрать все контейнеры продуктов (предполагая, что они имеют одинаковый класс)
Const productContainers = $('.sans-serif.mid-gray.relative.flex.flex-column.w-100.hide-child-opacity');

// Массив для хранения информации обо всех продуктах
Const продукты = [];

// Проходим по каждому контейнеру продукта
продуктКонтейнеры.каждый((индекс, элемент) => {
  // Извлечь информацию о продукте для каждого продукта
  Const продукт = {};

  // Извлечь название продукта
  Const productNameElement = $(element).найдите('[data-automation-id="product-title"]');
  продукта.имя = элементИмяПродукта? ProductNameElement.текст().отделка(): '';

  // Извлечь цену продукта и символ валюты
  Const productPriceContainer = $(элемент).найдите('[data-automation-id="цена-продукта"]');

  // Извлечь всю строку цены
  Const priceString = productPriceContainer.найдите('.w_iUH7').текст().отделка();

  // Используйте регулярное выражение для разделения символа валюты и числовой части
  Const ценаСоответствие = ценаСтрока.совпадение(/([^\d]+)([\d,\.]+)/);

  if (ценаMatch) {
    // Объединить символ валюты и числовую часть в один ключ: цена
    // Удалить конкретный текст «[Сейчас]» из значения цены
    продукта.цена = `${priceMatch[1].подрезать()}${priceMatch[2]}`;
  } еще {
    // Значение по умолчанию, если совпадений нет
    продукта.цена = '';
  }

  // Извлечь рейтинг продукта и отзывы
  Const рейтингКонтейнер = $(элемент).найдите('.flex.items-center.mt2');
  Const рейтингТекст = рейтингКонтейнер.найдите('.w_iUH7').текст().отделка();

  // Извлечь только рейтинг без количества отзывов и текста отзывов
  Const рейтингБезОтзывов = ТекстРейтинга.заменить(/\d+\s*отзывы/i, '').отделка();
  продукта.рейтинг = рейтингБезОтзывов !== '' ? рейтингБезОбзоров : «Рейтинг недоступен»;

  // Извлечь только числовую часть отзывов
  Const reviewsMatch = рейтингТекст.совпадение(/(\d+)\s*отзывы/i);
  продукта.с отзывами = отзывыСовпадение ? parseInt(отзывыMatch[1], 10): 0;

  // Извлечь URL-адрес изображения продукта
  Const imageUrlElement = $(элемент).найдите('img[data-testid="productTileImage"]');
  продукта.изображение = imageUrlElement ? изображениеUrlElement.Attr('источник'): '';

  // Добавляем информацию о продукте в массив
  продукции.протолкнуть.(товар);
});

// Создать объект JSON с извлеченной информацией для всех продуктов
Const productsJson = JSON.стягивать(продукты, нуль, 2);

// Вывод объекта JSON на консоль
консоль.журнал(productsJson);

Ответ JSON:

[
  {
    "название": «Apple AirPods с зарядным футляром (2-го поколения)»,
    "цена": "текущая цена сейчас $69.00",
    "рейтинг": «4.6 из 5 звезд».,
    "обзоры": 23387,
    "изображение": "https://i5.walmartimages.com/asr/ac793ff4-d3da-4cbe-beba-f956e7494490_1.5bae15688eb0aafd22a99d01a072f9db.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    "название": «Устройство потоковой передачи Roku Ultra LT 4K/HDR/Dolby Vision/двухдиапазонный Wi-Fi с пультом Roku Voice Remote и кабелем HDMI»,
    "цена": "текущая цена сейчас $34.00",
    "рейтинг": «4.6 из 5 звезд».,
    "обзоры": 507,
    "изображение": "https://i5.walmartimages.com/asr/09219b67-9e5f-4658-994a-05ab956e6ffb.f61269f971887a13c79d2931e1c62694.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    "название": «Ноутбук SGIN 15.6 дюймов, 4 ГБ DDR4, 128 ГБ SSD, Windows 11 с 4-ядерным процессором Intel Celeron, Full HD 1920x1080»,
    "цена": "текущая цена сейчас $259.99",
    "рейтинг": «4.5 из 5 звезд».,
    "обзоры": 2697,
    "изображение": "https://i5.walmartimages.com/asr/5ef57c1c-eb19-4975-a8f5-468530ca131a.2237d30635f2d0b3ab76518bf69ccb2d.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    "название": «TOPVISION 4шт система проводной видеокамеры безопасности, 8-канальная 3-мегапиксельная домашняя система безопасности NVR, 1080P IP-камеры видеонаблюдения с цветным ночным видением, водонепроницаемость IP66, для использования в помещении и на улице, без жесткого диска (беспроводной Wi-Fi)»,
    "цена": "текущая цена сейчас $89.99",
    "рейтинг": «4.6 из 5 звезд».,
    "обзоры": 2357,
    "изображение": "https://i5.walmartimages.com/asr/448940ca-3434-493d-ba05-8405f337392a.f58aea8fbf600a69f7aa8f2969cde029.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    "название": «ROCONIA 5G WiFi Bluetooth Native 1080P проектор, 13000LM Full HD кинопроектор, ЖК-технология 300\" дисплей поддерживает 4K домашний кинотеатр (экран проектора входит в комплект)»,
    "цена": "текущая цена сейчас $105.99",
    "рейтинг": «4.6 из 5 звезд».,
    "обзоры": 2377,
    "изображение": "https://i5.walmartimages.com/asr/7611030d-ded9-419e-b9df-bbd6e591f187.65129e104b761b44dd15365ec0edb600.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    "название": "USX MOUNT полноповоротное настенное крепление для телевизоров с диагональю 47–90 дюймов. Повороты, наклоны, удлинители, выравнивание. Максимальная нагрузка до 132 фунтов. Крепление VESA 600x400 мм, 16-дюймовая деревянная стойка",
    "цена": "текущая цена сейчас $35.99",
    "рейтинг": «4.7 из 5 звезд».,
    "обзоры": 789,
    "изображение": "https://i5.walmartimages.com/asr/e10076ea-53dc-478f-a266-d9a4125e8863.1635e558678d57ae7cb2693fd86a6b5c.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    "название": «CRUA 24\" 165 Гц/180 Гц изогнутый игровой монитор - FHD 1080P безрамочный компьютерный монитор, AMD FreeSync, низкая размытость изображения, порты DP и HDMI, черный»,
    "цена": "текущая цена сейчас $99.99",
    "рейтинг": «4.7 из 5 звезд».,
    "обзоры": 936,
    "изображение": "https://i5.walmartimages.com/asr/1de1931f-f57b-4ab8-9a3a-88fa4da336a7.d2b8d7b8169070a8d8e42cbe69dd9c67.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    "название": «Беспроводная камера видеонаблюдения TOPVISION, 2K WiFi-камера с функцией ночного видения для улицы, водонепроницаемая камера IP66 для домашней системы безопасности, камера видеонаблюдения с датчиком движения PIR, 2-сторонней аудиосвязью»,
    "цена": "текущая цена сейчас $29.99",
    "рейтинг": «4.5 из 5 звезд».,
    "обзоры": 3276,
    "изображение": "https://i5.walmartimages.com/seo/TOPVISION-Wireless-Security-Camera-2K-WiFi-Camera-Outdoor-Night-Vision-IP66-Waterproof-Home-System-Surveillance-PIR-Motion-Sensor-2-Way-Audio_910950fd-5ccf-4aab-b9e6-8a526a1ea8b2.40b1cb2164575b011f635749e2902a5b.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    "название": «Proscan Elite 10.1\" Планшет/Портативный DVD-плеер, 32 ГБ памяти, Android 11, разрешение 1280x800, черный»,
    "цена": "текущая цена сейчас $59.00",
    "рейтинг": «4 из 5 звезд».,
    "обзоры": 161,
    "изображение": "https://i5.walmartimages.com/asr/85c66610-6cef-421b-b920-e88ed58648d5.848cf4839bf5839369e741c4d2624a0b.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  },
  {
    "название": «Саундбар ULTIMEA 2.2ch для телевизора, встроенный двойной сабвуфер, разделяемая звуковая панель Bluetooth 2 1 в 5.3, регулируемая звуковая панель Bassmax для телевизора, динамики для домашнего кинотеатра HDMI-ARC/Optical/Aux, настенное крепление»,
    "цена": "текущая цена сейчас $55.99",
    "рейтинг": «4.5 из 5 звезд».,
    "обзоры": 434,
    "изображение": "https://i5.walmartimages.com/asr/69f73701-876b-40dd-9ee5-45baa22436bf.af06bef0cf1b60cc4b9db55d27175e2c.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF"
  }
]

Советы по извлечению данных: стратегии эффективного извлечения бестселлеров Walmart

При сборе данных Walmart Best Sellers важно использовать эффективные стратегии и следовать передовым практикам, чтобы обеспечить плавный процесс сбора данных без возникновения проблем. Вот несколько ключевых советов:

1. Используйте Crawlbase Crawling API:

Использовать Crawlbase Crawling API для структурированного извлечения данных. Это упрощает процесс скрапинга и обеспечивает надежный доступ к данным бестселлеров Walmart.

2. Внедрить ограничение скорости:

Вводите временные задержки между вашими запросами API и сайтом Walmart. Это предотвращает перегрузку их серверов и снижает риск блокировки.

3. Поворот пользовательских агентов:

Изменяйте заголовки User-Agent в своих запросах, чтобы имитировать различные веб-браузеры. Это сделает вашу деятельность по скрапингу более похожей на просмотр человеком.

4. Изящная обработка CAPTCHA:

Будьте готовы иметь дело с CAPTCHA, которые Walmart может использовать для проверки, являетесь ли вы ботом. Рассмотрите возможность использования сервисов решения CAPTCHA или методов автоматизации для решения этих проблем.

5. Обновляйте свой код:

Регулярно проверяйте и обновляйте свой код скрапинга, чтобы учесть любые изменения в структуре веб-сайта Walmart. Это гарантирует постоянную точность извлечения данных.

6. Уважайте Robots.txt:

Соблюдайте файл robots.txt Walmart, в котором изложены правила веб-сканирования. Соблюдение этих правил поможет вам избежать юридических и этических проблем.

7. Используйте прокси:

Используйте прокси-серверы для изменения вашего IP-адреса, снижая риск блокировки IP-адресов и распределяя ваши запросы по нескольким IP-адресам.

8. Проверка качества данных:

Постоянно проверяйте качество, точность и актуальность данных, которые вы собираете. Обеспечение надежности собранной вами информации имеет решающее значение.

9. Этическая обработка данных:

Обращайтесь с собранными данными этично, уважая конфиденциальность пользователей и соблюдая законы об авторских правах и условия обслуживания.

10. Тест на малых образцах:

Прежде чем масштабировать операции по извлечению данных, протестируйте свой код на небольшом образце, чтобы выявить и устранить потенциальные проблемы в контролируемой среде.

Выводы

Это руководство снабдило вас знаниями, которые позволят вам эффективно извлекать данные из бестселлеров Walmart с помощью JavaScript и Crawlbase Crawling API. Наши дополнительные руководства доступны для тех, кто заинтересован в расширении своих навыков извлечения данных на другие крупные розничные платформы, такие как Amazon, eBay и AliExpress.

Мы осознаем сложности, связанные с веб-скрапингом, и стремимся облегчить ваш опыт. Если вам потребуется дополнительная помощь или вы столкнетесь с какими-либо препятствиями, Crawlbase команда поддержки находится в режиме ожидания, чтобы оказать экспертную помощь. Мы с нетерпением ждем возможности помочь вам в ваших начинаниях по веб-скрейпингу.

Часто задаваемые вопросы (FAQ)

Какие товары являются бестселлерами Walmart?

Бестселлеры Walmart — самые популярные товары, пользующиеся спросом у покупателей. Это товары, которые многие покупают в магазинах Walmart или онлайн. Бестселлеры могут включать в себя различные товары: от электроники до одежды, игрушек и предметов первой необходимости для дома. Следя за бестселлерами Walmart, вы можете получить представление о том, что сейчас в тренде, и увидеть, что нравится другим покупателям. Эта информация может помочь вам сделать осознанный выбор, когда вы совершаете покупки в Walmart или ищу идеи для подарков.

Как извлечь данные из Walmart?

Для извлечения данных из Walmart вы можете использовать JavaScript вместе с Crawlbase Crawling API. Эта мощная комбинация позволяет автоматизировать процесс сбора информации с веб-сайта Walmart. Вы можете извлечь сведения о продукте, цены, рейтинги и многое другое. Начните с написания скрипта на JavaScript, который взаимодействует с веб-сайтом Walmart, а затем используйте Crawlbase Crawling API для доступа к данным и их сбора. Это простой способ извлечения информации, необходимой для сравнения цен, анализа тенденций или любой другой цели, что делает ваши задачи по извлечению данных проще и эффективнее.

Могу ли я извлечь данные из Walmart?

Да, вы можете извлекать данные с веб-сайта Walmart. Вы можете собирать информацию, например, сведения о продуктах, цены и многое другое, используя инструменты и методы извлечения данных из веб-сайтов. Однако важно ознакомиться с условиями обслуживания Walmart и файлом robots.txt, чтобы убедиться, что вы извлекаете данные в соответствии с их рекомендациями и политикой.

Какова стратегия Walmart в отношении данных?

Стратегия Walmart в области данных заключается в использовании информации для принятия лучших решений. Они собирают данные о покупках в магазине и онлайн, анализируют их, чтобы понять предпочтения клиентов и улучшить свою деятельность. Используя данные, Walmart стремится предложить клиентам то, что они хотят, и оптимизировать свои бизнес-процессы для повышения эффективности.

Какие инструменты мне понадобятся для парсинга бестселлеров Walmart?

Вам понадобится среда программирования, веб-браузер, Crawlbase Crawling APIи базовые знания JavaScript.