Реклама, спонсируемая Walmart, является важнейшим компонентом рекламной платформы Walmart, позволяя продавцам продвигать свои продукты для более широкой аудитории. Благодаря стратегическим размещениям на веб-сайте Walmart эти платные объявления позволяют продавцам привлекать внимание потенциальных клиентов, которые активно ищут или просматривают продукты.
В этой записи блога мы рассмотрим важность извлечения данных из рекламы, спонсируемой Walmart, для предприятий и маркетологов с использованием JavaScript и Crawlbase Crawling API. Durch,en Очистка Walmart и получение таких подробностей, как информация о продукте, цены, показатели эффективности рекламы и Бестселлеры Walmart, вы можете получить ценную информацию о тенденциях рынка и поведении потребителей. Извлеченные данные позволяют продавцам принимать обоснованные решения, совершенствовать свои рекламные кампании и оставаться конкурентоспособными в динамичном ландшафте электронной коммерции.
Реклама Walmart включает в себя сбор различных ключевых элементов, которые обеспечивают комплексное понимание рекламируемых продуктов и их производительности. Вот основные элементы данных для извлечения:
Извлечь сведения о продукте Walmart:
Извлечение подробное Данные о продуктах Walmart информация о спонсируемом по области применения, включая названия продуктов, описания и спецификации. Понимание нюансов каждого продукта улучшает общий набор данных.
Извлечь информацию о ценах Walmart:
Соберите данные о ценах Walmart связанные со спонсируемыми продуктами. Это включает в себя обычные цены, любые цены со скидками и подробности специальных предложений или акций. Точная информация о ценах имеет решающее значение для анализа рынка и конкурентного позиционирования.
Извлечь рекламный текст Walmart:
Получить любой рекламный текст, связанный со спонсируемыми продуктами. Это может включать слоганы, специальные предложения или уникальные торговые предложения, которые продавцы используют для привлечения клиентов.
Извлечь изображения продуктов Walmart:
Соберите изображения, связанные со спонсируемыми продуктами. Изображения играют важную роль в принятии решений клиентами, и доступ к визуальным материалам может повысить качество вашего набора данных.
Извлекайте метрики, связанные с эффективностью спонсируемых объявлений. Сюда входят такие данные, как показатели кликабельности, показы и показатели конверсии. Анализ этих метрик дает ценную информацию об эффективности рекламной кампании.
Настройка среды
Зарегистрироваться на Crawlbase:
Перейдите на Crawlbase и зарегистрируйтесь для получения бесплатной учетной записи. Вы можете получить свой личный токен в разделе документации учетной записи.
Установите Crawlbase Библиотека Node.js:
Убедитесь, что у вас есть Node.js установлен на вашем компьютере. Если нет, скачайте и установите его с официального сайта Node.js. После установки откройте терминал и введите следующую команду:
npm install crawlbase
Эта команда загрузит и установит Crawlbase Библиотека Node.js на вашем компьютере.
Создайте файл для Walmart Scraper:
Используйте текстовый редактор или IDE для создания файла с именем «walmart-scraper.js». Если вы используете командную строку, выполните:
touch walmart-scraper.js
Эта команда создает пустой файл. Откройте его в предпочитаемом вами текстовом редакторе, чтобы добавить код JavaScript для извлечения данных Walmart Sponsored Ads.
Теперь, когда у вас есть учетные данные API, установите Crawlbase Библиотека Node.js и создал файл «walmart-scraper.js», давайте выберем, какую страницу Walmart скрейпить. Мы будем смотреть на страницу результатов поиска Walmart для «наушники“ в этом примере. Просто убедитесь, что выбрали страницу поиска с большим количеством спонсируемых объявлений. Это покажет, насколько гибким и полезным может быть процесс парсинга.
Чтобы начать использовать Crawlbase Crawling API, убедитесь, что вы настроили необходимые детали, такие как параметры и конечные точки. Во-первых, дважды проверьте, что вы создали файл «walmart-scraper.js», следуя шагам, упомянутым ранее. Как только ваш файл будет готов, скопируйте и вставьте в него скрипт, указанный ниже.
После добавления скрипта запустите его в терминале. Просто введите node walmart-scraper.js и нажмите Enter. Эта команда запустит скрипт и начнет считывать HTML страницы результатов поиска Walmart.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
// Импортируем Crawling API Const { CrawlingAPI знак равно требовать('crawlbase');
// Установите свой Crawlbase знак Const API = новыйCrawlingAPI({ знак: 'ВАШ_ТОКЕН_БАЗЫ_КРАНА' });
// URL-адрес страницы Walmart для копирования Const walmartPageURL = 'https://www.walmart.com/search?q=наушники';
// Получить запрос на сканирование URL API .получить(URL-адрес страницы Walmart) .тогда((ответ) => { if (ответ.код состояния === 200) { консоль.журнал(ответ.тело); } }) .поймать((ошибка) =>консоль.ошибка);
Скрипт выше поможет вам использовать CrawlbaseАвтора Crawling API для получения информации со страницы результатов поиска наушников Walmart. Он включает в себя такие шаги, как получение API-токена, указание веб-ссылки, с которой вы хотите получить информацию, и запуск процесса с помощью запроса GET. При запуске этого кода результат, который вы увидите в консоли, представляет собой базовый HTML-контент выбранной страницы результатов поиска Walmart.
HTML-ответ:
Извлечение значимой информации из HTML
В предыдущем примере мы исследовали, как получить базовую структуру страницы результатов поиска наушников Walmart, которая по сути является HTML-кодом веб-страницы. Однако бывают случаи, когда нам не нужны эти необработанные данные; вместо этого мы просто хотим получить важную информацию со страницы. К счастью, Crawlbase Crawling API имеет специальные параметры для извлечения этого важного контента со страниц Walmart.
Чтобы это произошло, вам нужно добавить параметр «автоанализ» при использовании Crawling API. Этот параметр специально разработан, чтобы помочь вам извлечь основные элементы страницы в формате JSON. Для этого вы можете внести изменения в тот же файл, «walmart-scraper.js». Давайте рассмотрим пример ниже для более ясного представления.
// Импортируем Crawling API Const { CrawlingAPI знак равно требовать('crawlbase');
// Установите свой Crawlbase знак Const API = новыйCrawlingAPI({ знак: 'ВАШ_ТОКЕН_БАЗЫ_КРАНА' });
// URL-адрес страницы Walmart для копирования Const walmartPageURL = 'https://www.walmart.com/search?q=наушники';
// варианты для Crawling API Const варианты = { автоанализ: 'правда', };
// Получить запрос на сканирование URL API .получить(walmartPageURL, параметры) .тогда((ответ) => { if (ответ.код состояния === 200) { // Анализируем ответ JSON и печатаем его консоль.журнал(JSON.разбор(ответ.тело)); } }) .поймать((ошибка) => { консоль.ошибка(«Ошибка запроса API:», ошибка); });
{ "оригинал*статус":200, "статус_ПК":200, "URL":"https://www.walmart.com/search?q=наушники", «Тело»:{ "тревога":«Был выбран универсальный веб-скрейпер. Обратитесь в службу поддержки, если вам требуется более подробный скрейпер для вашего URL-адреса»., "заглавие":"наушники - Walmart.com", "фавикон":"", "мета":{ "описание":"наушники - Walmart.com", "ключевые слова":"" }, "содержание":"22354.6 из 5 звезд. 2235 отзывов 20624.2 из 5 звезд. 2062 отзыва Цена в магазине Бренд Скорость 39984.3 из 5 звезд. 3998 отзывов Экономьте с 22354.6 из 5 звезд. 2235 отзывов Экономьте с бесплатной доставкой, прибудет в течение 3+ дней Варианты от $31.99 до $35.99 Проводные накладные наушники OneOdio с микрофоном | Шумоподавляющие наушники и студийные диджейские наушники с двумя портами для компьютера - черный 19504.8 из 5 звезд. 1950 отзывов Экономьте с доставкой, прибудет в течение 2 дней Было $39.99 Проводные накладные наушники OneOdio с микрофоном Двойные разъемы и глубокий басовый звук для ПК, ноутбуков, телефонов - красный 5634.8 из 5 звезд. 563 отзыва Экономьте с бесплатной доставкой, прибудет через 2 дня Варианты от $11.99 до $16.99 Mpow Детские наушники с микрофоном, складные 85/94 дБ ограничение громкости 3D стерео регулируемое оголовье мягкие амбушюры для детей, функция Share Проводные детские наушники для школьного планшета 2584.7 из 5 звезд. 258 отзывов Экономьте с JLab Audio JBuddies Studio Детские складные наушники с микрофоном, регулировкой громкости, серые и синие HJKSTUDIORGRYBLU6 13144.4 из 5 звезд. 1314 отзывов Экономьте с возможностью самовывоза 13424.3 из 5 звезд. 1342 отзыва Экономьте с возможностью самовывоза Доставка, прибудет через 3+ дня Варианты от $15.99 до $16.99 Беспроводные наушники, наушники Bluetooth 5.0 IPX8 Водонепроницаемость, Высококачественный стереозвук внутриканальной гарнитуры, встроенный микрофон, светодиодный зарядный чехол и 21 час воспроизведения для смартфонов, ноутбуков, бега, спортзала 22734.2 из 5 звезд. 2273 отзыва Сохранить с 39984.3 из 5 звезд. 3998 отзывов Сохранить с Похожие поиски", "канонический":"", "изображения":[ "//i5.walmartimages.com/dfw/63fd9f59-b3e1/7a569e53-f29a-4c3d-bfaf-6f7a158bfadd/v1/walmartLogo.svg", "//i5.walmartimages.com/dfw/63fd9f59-ac39/29c6759d-7f14-49fa-bd3a-b870eb4fb8fb/v1/wplus-icon-blue.svg", "https://i5.walmartimages.com/dfwrs/76316474-3850/k2-_c6d4aec7-b4a7-4ea4-9223-07c8daef4fcf.v1.png", "https://i5.walmartimages.com/dfw/9fa19e5c-b5/k2-_a1023be2-d16f-44fa-8f0f-c6c9c7ac10e6.v1.png?odnHeight=90&odnWidth=150&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/Bose-QuietComfort-45-Headphones-Noise-Cancelling-Over-Ear-Wireless-Bluetooth-Earphones-Black_48e15895-cb0c-4a8a-b852-4c52dca7692a.5f403bdd71947a437bd6c8bafbb6b8d4.jpeg?odnHeight=150&odnWidth=150&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/Bose-Noise-Cancelling-Headphones-700-over-ear-Wireless-Bluetooth-Earphones-Black_136c356e-a18d-4aa7-bbec-515b2802082a.2f7333d860a9e8bf4c403ce55e49414c.jpeg?odnHeight=150&odnWidth=150&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/VILINICE-Noise-Cancelling-Headphones-Wireless-Bluetooth-Over-Ear-Headphones-with-Microphone-Black-Q8_0cd6ae5a-8ea9-4e46-8b5e-fffb7da5e6f5.d4808578fda9397ec198b2d5dec46404.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/Bose-QuietComfort-45-Headphones-Noise-Cancelling-Over-Ear-Wireless-Bluetooth-Earphones-Black_48e15895-cb0c-4a8a-b852-4c52dca7692a.5f403bdd71947a437bd6c8bafbb6b8d4.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/OneOdio-Wired-Over-Ear-Headphones-with-Mic-Noise-Cancelling-Earcups-Studio-DJ-Headphones-with-Dual-Ports-for-Computer-Black_c13f91b6-ba42-4546-8b06-0830d3344826.3edeff9f7ccba89981515bb979dea386.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/OneOdio-Wired-over-Ear-Headphones-with-Mic-Dual-Plugs-Deep-Bass-Sound-for-PC-Laptop-Phones-Red_115b65f9-b03e-4593-a0c5-202151b7dc9b.1f3fa720cc8320abf4871411fe6916e6.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/Mpow-Kids-Headphones-Microphone-Foldable-85-94dB-Volume-Limit-3D-Stereo-Adjustable-Headband-Soft-Earcups-Ear-Kids-Share-Function-Wired-School-Tablet_4272d222-af66-48b2-9c91-f6df41d7e657.653881036ddc688395cbf4ca0f474d5e.gif?odnHeight=784&odnWidth=580&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/3381e5c8-b55b-42cc-b78f-323c64ce3047.9cd7fd2516bd6ca3c6d0a3da5834d986.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30", "https://i5.walmartimages.com/asr/7cbd2c20-c09a-449b-a323-8a154e5181e9.52dfbc37c15847a1f2b4579ed0ab9b79.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30", "https://i5.walmartimages.com/asr/98cd319b-0a96-41cb-89b7-7336031a3aad.08d842585156cf11fe7f697bd533402f.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30", "https://i5.walmartimages.com/asr/a6048703-eadb-4f5b-81f9-554979ca8a0a.69851709527ec9a0c40d26b00a2d86dd.jpeg?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/JLab-Audio-JBuddies-Studio-On-ear-Kids-Folding-Headphones-with-Microphone-Volume-Safe-Gray-Blue-HJKSTUDIORGRYBLU6_ebb97b7a-3512-4dfa-8ca4-df7e3b97de13_1.1254787dc2ca28b7ddb470b5f06667a5.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/e6b637bf-5b7d-4ed3-8f03-f8b9a359eae9.29b93e7be9bb463e51c9a66fca039304.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/8c92c76e-a960-4efc-ad51-fcb9c89b44e0.102c174d9416e33088381411ae684629.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/a088fd41-4f78-437f-ae18-bcf60fac4769.834d0a2a501f90b721ab373a0cbe3bd3.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/onn-Wired-on-Ear-Headphones-Black-New_098585ca-4559-42cb-a21e-0e19ea73ea1a.534b8976456996f2d587afb956762b38.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/dbc9f833-9009-4e70-b9ae-a642796ad6bf.d7249fca19de34133a04ebc4f0e3ebd2.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/d8dfe380-dfbf-474d-a38b-1153dace5d21.70721549e4e32d92786c3bcf0a1b4582.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/754b2e4d-6f4a-437e-afb8-0c82eead22a9.14d10d8c6d6148284f7e56709ffe8077.jpeg?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/Wireless-Earbuds-Bluetooth-5-0-Headphones-IPX8-Waterproof-Hight-Fidelity-Stereo-Sound-Quality-Ear-Headset-Built-in-Mic-LED-Charging-Case-21-Hours-Pla_017730d9-daca-40cf-96e0-21b61e33c0c5.55e1476d137a8795b33560016427e499.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/017730d9-daca-40cf-96e0-21b61e33c0c5.55e1476d137a8795b33560016427e499.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30", "https://i5.walmartimages.com/asr/b4f59ae7-77ba-4b53-b23f-37f7e82975bd.1331b6c1773468e70657f0ee55a65ba8.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30", "https://i5.walmartimages.com/asr/4dcbe91c-b3e5-436a-8ac9-8f6c8df1e129.0db7b16a45b0e37dcb762ea92d03ebd1.jpeg?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/c51a9ac3-b08d-4699-85b8-c007b032377e.36b30f8eb2ff68115ae27f63732725a8.jpeg?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/dfw/4ff9c6c9-492b/k2-_d364fa80-6c6b-4a89-88ea-beaaf53a606e.v1.png?odnHeight=16&odnWidth=16&odnBg=FFFFFF", "//i5.walmartimages.com/dfwrs/76316474-f70e/k2-_67001355-c576-4ca2-989d-260a2673c41a.v1.png", "https://www.walmart.com/akam/13/pixel_5bda523a?a=dD1jYmJiODcxZDVkMTM1ZGMwOThhMGUzMWRmN2U0NzJiZGM2YzBmYjExJmpzPW9mZg==" ], "видео":[], "сгруппированные_изображения":{ "дб":["//i5.walmartimages.com/dfw/63fd9f59-b3e1/7a569e53-f29a-4c3d-bfaf-6f7a158bfadd/v1/walmartLogo.svg"], "мр2 ф5":[ "//i5.walmartimages.com/dfw/63fd9f59-ac39/29c6759d-7f14-49fa-bd3a-b870eb4fb8fb/v1/wplus-icon-blue.svg" ], "mr2 br-100 v-btm":[ "https://i5.walmartimages.com/dfwrs/76316474-3850/k2-_c6d4aec7-b4a7-4ea4-9223-07c8daef4fcf.v1.png" ], "mw-none mb2":[ "https://i5.walmartimages.com/dfw/9fa19e5c-b5/k2-_a1023be2-d16f-44fa-8f0f-c6c9c7ac10e6.v1.png?odnHeight=90&odnWidth=150&odnBg=FFFFFF" ], "mw-нет":[ "https://i5.walmartimages.com/seo/Bose-QuietComfort-45-Headphones-Noise-Cancelling-Over-Ear-Wireless-Bluetooth-Earphones-Black_48e15895-cb0c-4a8a-b852-4c52dca7692a.5f403bdd71947a437bd6c8bafbb6b8d4.jpeg?odnHeight=150&odnWidth=150&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/Bose-Noise-Cancelling-Headphones-700-over-ear-Wireless-Bluetooth-Earphones-Black_136c356e-a18d-4aa7-bbec-515b2802082a.2f7333d860a9e8bf4c403ce55e49414c.jpeg?odnHeight=150&odnWidth=150&odnBg=FFFFFF", "https://i5.walmartimages.com/dfw/4ff9c6c9-492b/k2-_d364fa80-6c6b-4a89-88ea-beaaf53a606e.v1.png?odnHeight=16&odnWidth=16&odnBg=FFFFFF" ], "абсолютный верх-0 слева-0":[ "https://i5.walmartimages.com/seo/VILINICE-Noise-Cancelling-Headphones-Wireless-Bluetooth-Over-Ear-Headphones-with-Microphone-Black-Q8_0cd6ae5a-8ea9-4e46-8b5e-fffb7da5e6f5.d4808578fda9397ec198b2d5dec46404.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/Bose-QuietComfort-45-Headphones-Noise-Cancelling-Over-Ear-Wireless-Bluetooth-Earphones-Black_48e15895-cb0c-4a8a-b852-4c52dca7692a.5f403bdd71947a437bd6c8bafbb6b8d4.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/OneOdio-Wired-Over-Ear-Headphones-with-Mic-Noise-Cancelling-Earcups-Studio-DJ-Headphones-with-Dual-Ports-for-Computer-Black_c13f91b6-ba42-4546-8b06-0830d3344826.3edeff9f7ccba89981515bb979dea386.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/OneOdio-Wired-over-Ear-Headphones-with-Mic-Dual-Plugs-Deep-Bass-Sound-for-PC-Laptop-Phones-Red_115b65f9-b03e-4593-a0c5-202151b7dc9b.1f3fa720cc8320abf4871411fe6916e6.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/Mpow-Kids-Headphones-Microphone-Foldable-85-94dB-Volume-Limit-3D-Stereo-Adjustable-Headband-Soft-Earcups-Ear-Kids-Share-Function-Wired-School-Tablet_4272d222-af66-48b2-9c91-f6df41d7e657.653881036ddc688395cbf4ca0f474d5e.gif?odnHeight=784&odnWidth=580&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/JLab-Audio-JBuddies-Studio-On-ear-Kids-Folding-Headphones-with-Microphone-Volume-Safe-Gray-Blue-HJKSTUDIORGRYBLU6_ebb97b7a-3512-4dfa-8ca4-df7e3b97de13_1.1254787dc2ca28b7ddb470b5f06667a5.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/onn-Wired-on-Ear-Headphones-Black-New_098585ca-4559-42cb-a21e-0e19ea73ea1a.534b8976456996f2d587afb956762b38.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF", "https://i5.walmartimages.com/seo/Wireless-Earbuds-Bluetooth-5-0-Headphones-IPX8-Waterproof-Hight-Fidelity-Stereo-Sound-Quality-Ear-Headset-Built-in-Mic-LED-Charging-Case-21-Hours-Pla_017730d9-daca-40cf-96e0-21b61e33c0c5.55e1476d137a8795b33560016427e499.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF" ], "сгибать":["//i5.walmartimages.com/dfw/63fd9f59-ac39/29c6759d-7f14-49fa-bd3a-b870eb4fb8fb/v1/wplus-icon-blue.svg"], "br-100 v-btm ba b--прозрачный":[ "https://i5.walmartimages.com/asr/3381e5c8-b55b-42cc-b78f-323c64ce3047.9cd7fd2516bd6ca3c6d0a3da5834d986.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30", "https://i5.walmartimages.com/asr/7cbd2c20-c09a-449b-a323-8a154e5181e9.52dfbc37c15847a1f2b4579ed0ab9b79.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30", "https://i5.walmartimages.com/asr/98cd319b-0a96-41cb-89b7-7336031a3aad.08d842585156cf11fe7f697bd533402f.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30", "https://i5.walmartimages.com/asr/a6048703-eadb-4f5b-81f9-554979ca8a0a.69851709527ec9a0c40d26b00a2d86dd.jpeg?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/e6b637bf-5b7d-4ed3-8f03-f8b9a359eae9.29b93e7be9bb463e51c9a66fca039304.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/8c92c76e-a960-4efc-ad51-fcb9c89b44e0.102c174d9416e33088381411ae684629.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/a088fd41-4f78-437f-ae18-bcf60fac4769.834d0a2a501f90b721ab373a0cbe3bd3.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/dbc9f833-9009-4e70-b9ae-a642796ad6bf.d7249fca19de34133a04ebc4f0e3ebd2.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/d8dfe380-dfbf-474d-a38b-1153dace5d21.70721549e4e32d92786c3bcf0a1b4582.png?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/754b2e4d-6f4a-437e-afb8-0c82eead22a9.14d10d8c6d6148284f7e56709ffe8077.jpeg?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/017730d9-daca-40cf-96e0-21b61e33c0c5.55e1476d137a8795b33560016427e499.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30", "https://i5.walmartimages.com/asr/b4f59ae7-77ba-4b53-b23f-37f7e82975bd.1331b6c1773468e70657f0ee55a65ba8.jpeg?odnBg=FFFFFF&odnHeight=30&odnWidth=30", "https://i5.walmartimages.com/asr/4dcbe91c-b3e5-436a-8ac9-8f6c8df1e129.0db7b16a45b0e37dcb762ea92d03ebd1.jpeg?odnHeight=30&odnWidth=30&odnBg=FFFFFF", "https://i5.walmartimages.com/asr/c51a9ac3-b08d-4699-85b8-c007b032377e.36b30f8eb2ff68115ae27f63732725a8.jpeg?odnHeight=30&odnWidth=30&odnBg=FFFFFF" ], "мр1":["//i5.walmartimages.com/dfwrs/76316474-f70e/k2-_67001355-c576-4ca2-989d-260a2673c41a.v1.png"], "класс_не_найден":[ "https://www.walmart.com/akam/13/pixel_5bda523a?a=dD1jYmJiODcxZDVkMTM1ZGMwOThhMGUzMWRmN2U0NzJiZGM2YzBmYjExJmpzPW9mZg==" ] }, "og_images":[ "https://i5.walmartimages.com/seo/VILINICE-Noise-Cancelling-Headphones-Wireless-Bluetooth-Over-Ear-Headphones-with-Microphone-Black-Q8_0cd6ae5a-8ea9-4e46-8b5e-fffb7da5e6f5.d4808578fda9397ec198b2d5dec46404.jpeg?odnHeight=180&odnWidth=180&odnBg=FFFFFF" ], "ссылки":[ "https://www.walmart.com/search?q=headphones#maincontent", "https://www.walmart.com/all-departments", "https://www.walmart.com/", "https://www.walmart.com/my-items", "https://www.walmart.com/lists", "https://www.walmart.com/my-registries", "https://www.walmart.com/account/login?vid=oaoh", "https://www.walmart.com/orders", "https://www.walmart.com/plus", "https://wrd.walmart.com/track?bt=1&eventST=click&plmt=sb-search-top~desktop~&pos=1&tax=3944_133251_1095191_1230614_1230477&rdf=1&rd=https%3A%2F%2Fwww.walmart.com%2Fsearch%3Fq%3Dbose%26adsRedirect%3Dtrue&adUid=5df289f5-f006-403b-939e-25c482ed9e60&mloc=sb-search-top&pltfm=desktop&pgId=headphones&pt=search&spQs=B-0ORuQ6BMVYu5ErviP0wtXxvyXSkHVTZOp1e2rDjcoRq_MNG-D8nZwYzIobP0m5_yiNE5aJP_PLXBduk_CYa4p9PTneu01dzjWaRJ7SPKfKhvpYsvImGaJ2Zu5Cf4w4IuDlkyGfd0FDgUQ5GgOzYh_f6YuQzvl7abAVDMeVUmAwpChqoG563UdmA1A2NHTJcuxVjbLySLz2LWXuLEMcqg&storeId=1508&bkt=2482&addlInfo=~sbaItems%7C376188834%7C932544113~", "https://wrd.walmart.com/track?bt=1&eventST=click&plmt=sb-search-top~desktop~&pos=2&tax=3944_133251_1095191_1230614_1230477&rdf=1&rd=https%3A%2F%2Fwww.walmart.com%2Fip%2FBose-QuietComfort-45-Headphones-Noise-Cancelling-Over-Ear-Wireless-Bluetooth-Earphones-Black%2F376188834%3FadsRedirect%3Dtrue&adUid=5df289f5-f006-403b-939e-25c482ed9e60&mloc=sb-search-top&pltfm=desktop&pgId=headphones&pt=search&spQs=m_0JyukHj9idXYjE3UJg90uFCO0g0V1jfID0Et9RKbOsSZ1bT7OkNFOcOuNYfwRZqOxiu2Ywg-IikpJTjRvHUmwt-UiDSwR25WxqpFDqMSDf1DSAFiDe8y_nm-vkLA-rBMY1NTIwA1AGa8DZwQPTNdo66B12BugtA8gyWCMGWeU-55AY9P5XbDlvIhJg5HqxwVqAOAAyRKmxBI_U3Ov-ew&storeId=1508&couponState=na&bkt=2482&/ip/Bose-QuietComfort-45-Headphones-Noise-Cancelling-Over-Ear-Wireless-Bluetooth-Earphones-Black/376188834", "https://wrd.walmart.com/track?bt=1&eventST=click&plmt=sb-search-top~desktop~&pos=3&tax=3944_133251_1095191_1230614_1230477&rdf=1&rd=https%3A%2F%2Fwww.walmart.com%2Fip%2FBose-Noise-Cancelling-Headphones-700-over-ear-Wireless-Bluetooth-Earphones-Black%2F932544113%3FadsRedirect%3Dtrue&adUid=5df289f5-f006-403b-939e-25c482ed9e60&mloc=sb-search-top&pltfm=desktop&pgId=headphones&pt=search&spQs=*-AvGiXn44R9Lv4lomZqtEuFCO0g0V1jfID0Et9RKbOsSZ1bT7OkNFOcOuNYfwRZqOxiu2Ywg-IikpJTjRvHUmwt-UiDSwR25WxqpFDqMSDf1DSAFiDe8y_nm-vkLA-rBMY1NTIwA1AGa8DZwQPTNdo66B12BugtA8gyWCMGWeU-55AY9P5XbDlvIhJg5HqxwVqAOAAyRKmxBI_U3Ov-ew&storeId=1508&couponState=na&bkt=2482&/ip/Bose-Noise-Cancelling-Headphones-700-over-ear-Wireless-Bluetooth-Earphones-Black/932544113", "https://www.walmart.com/shop/deals/electronics/headphones-speakers-and-video", "https://www.walmart.com/browse/electronics/shop-all-headphones-by-type/3944_133251_1095191_1230614_4480?max_price=25&povid=ETS_Holiday_TAVC_nav_headphones_U25", "https://www.walmart.com/browse/electronics/shop-all-headphones-by-type/3944_133251_1095191_1230614_4480", "https://www.walmart.com/browse/electronics/apple-airpods/3944_133251_1095191_1231498_2452446", "https://www.walmart.com/browse/electronics/wireless-bluetooth-headphones/3944_133251_1095191_1230614_1230478", "https://www.walmart.com/browse/electronics/earbuds-in-ear-headphones/3944_133251_1095191_1230614_1230476", "https://www.walmart.com/browse/electronics/over-ear-on-ear-headphones/3944_133251_1095191_1230614_1230477", "https://www.walmart.com/browse/electronics/pc-gaming-headsets/3944_1089430_7052607_9433123_6790712", "https://www.walmart.com/browse/electronics/noise-cancelling-headphones/3944_133251_1095191_1230614_6051360", "https://www.walmart.com/browse/electronics/kids-headphones/3944_133251_1095191_1230614_1230480", "https://www.walmart.com/browse/electronics/sports-headphones/3944_133251_1095191_1230614_1231506", "https://www.walmart.com/browse/electronics/bone-conduction-headphones/3944_133251_1095191_1230614_4061824", "https://www.walmart.com/browse/electronics/true-wireless-headphones/3944_133251_1095191_1230614_8443225", "https://www.walmart.com/browse/electronics/waterproof-headphones/3944_133251_1095191_1230614_8436721", "https://wrd.walmart.com/track?bt=1&eventST=click&plmt=sp-search-middle~desktop~&pos=1&tax=3944_133251_1095191_1230614_1230477&rdf=1&rd=https%3A%2F%2Fwww.walmart.com%2Fip%2FVILINICE-Noise-Cancelling-Headphones-Wireless-Bluetooth-Over-Ear-Headphones-with-Microphone-Black-Q8%2F249420079%3Fathbdg%3DL1700%26adsRedirect%3Dtrue&adUid=5ca17ddb-5baf-436d-aba9-981903ec56fd&mloc=sp-search-middle&pltfm=desktop&pgId=headphones&pt=search&spQs=Q4PuPJiKTU0VgiILg4CCfmjYTVN_lI6VtLWozH0Iop2XJhVMOXyG7gISmZLPbmpGpEdtlfvKiY1G7WNHmRvvh6wJ9Tnw_77bUsdhYxKt1ka9rvxERUOLmosiXInaBp2QMQDiWKZOIqSNp8HSy1Y9EO2CLCh2-iDL0oHGt6jNTuHUbNQcqqoGglTuMh92vLyXZOVKVN7iZqSiPWzY2i5thOqeUkuzemiGjAkJEVPvpWU&storeId=1508&couponState=na&bkt=ace_3121%7Ccoldstart_off%7Csearch_default_tail_l1_disable_pop_boost&athbdg=L1700", "https://wrd.walmart.com/track?bt=1&eventST=click&plmt=sp-search-middle~desktop~&pos=2&tax=3944_133251_1095191_1230614_1230477&rdf=1&rd=https%3A%2F%2Fwww.walmart.com%2Fip%2FBose-QuietComfort-45-Headphones-Noise-Cancelling-Over-Ear-Wireless-Bluetooth-Earphones-Black%2F376188834%3FadsRedirect%3Dtrue&adUid=5ca17ddb-5baf-436d-aba9-981903ec56fd&mloc=sp-search-middle&pltfm=desktop&pgId=headphones&pt=search&spQs=m_0JyukHj9idXYjE3UJg9zo21dErVbhfiNbjoM57ZCirOGaUNYFsDwTBc61YjFkkaHFRuLWpvz-0TRcaCX3xSTcwDnT_L0XfvyDTidG7UWCUNOTqcrUO0ceIpsonLt8NKmePQqCNgWHfEEnrtrs3Li5j1SjjNfuy7G1adbYCkzNbTJC01EpGw-nmu3i7Ep6wkWp_6oFq82PTlPU2rak16G7PsNtvbRQ5MfQ0hp5k7Gs&storeId=1508&couponState=na&bkt=ace_3121%7Ccoldstart_off%7Csearch_default_tail_l1_disable_pop_boost&/ip/Bose-QuietComfort-45-Headphones-Noise-Cancelling-Over-Ear-Wireless-Bluetooth-Earphones-Black/376188834", "https://wrd.walmart.com/track?bt=1&eventST=click&plmt=sp-search-middle~desktop~&pos=3&tax=3944_133251_1095191_1230614_1230477&rdf=1&rd=https%3A%2F%2Fwww.walmart.com%2Fip%2FOneOdio-Wired-Over-Ear-Headphones-with-Mic-Noise-Cancelling-Earcups-Studio-DJ-Headphones-with-Dual-Ports-for-Computer-Black%2F950096760%3FadsRedirect%3Dtrue&adUid=5ca17ddb-5baf-436d-aba9-981903ec56fd&mloc=sp-search-middle&pltfm=desktop&pgId=headphones&pt=search&spQs=DfNEa7riVHRvPYwE7fB4yzDE4sFRdGlQfdI4D96J5iG0QVqxYCgvTBW0p_hlRv4BALEjQEAkdxu0YbLayUdGOoK-e4DxZzkTGV92xzubg1EQSyBbgfAkkffimBm_fkdcYAQlTOfkoAQQQEdDx2SEmxwhYGhpSLysRW6KsahKewHMxvq8Zau7QFlNxlBK-eeDOeIrvN5JbwLUzni13-4ZjuiMM8dvAuZe_c3nKyfG8eSfPmenhYOoknNnkqL5C5xjF3kwdWoY2rMgNk8hprU3Wg&storeId=1508&couponState=na&bkt=ace_3121%7Ccoldstart_off%7Csearch_default_tail_l1_disable_pop_boost&/ip/OneOdio-Wired-Over-Ear-Headphones-with-Mic-Noise-Cancelling-Earcups-Studio-DJ-Headphones-with-Dual-Ports-for-Computer-Black/950096760", "https://wrd.walmart.com/track?bt=1&eventST=click&plmt=sp-search-middle~desktop~&pos=4&tax=3944_133251_1095191_1230614_1230477&rdf=1&rd=https%3A%2F%2Fwww.walmart.com%2Fip%2FOneOdio-Wired-over-Ear-Headphones-with-Mic-Dual-Plugs-Deep-Bass-Sound-for-PC-Laptop-Phones-Red%2F970124388%3FadsRedirect%3Dtrue&adUid=5ca17ddb-5baf-436d-aba9-981903ec56fd&mloc=sp-search-middle&pltfm=desktop&pgId=headphones&pt=search&spQs=i_1k1IU1TnzEFRm0OorvmfVvGl2FlnToXCnQyCesMhXKkuwxjim5P77Fr_2x3eaG3qtHU_UhjGOq6fPayBPrpWiNIz0v09b2KXJMleLMy7GmZqcFLyAgYnJCS8E9xZlimoLki0mMRWzJ8hbAnskFWJkRCx3045ljZXr-_R3IN1bENFCZe4YjcfM9I3H8R0HkVou3_w1O7zcNkYR_bljlY5J3mITg_xivqsJYeFpsNJI&storeId=1508&couponState=na&bkt=ace_3121%7Ccoldstart_off%7Csearch_default_tail_l1_disable_pop_boost&/ip/OneOdio-Wired-over-Ear-Headphones-with-Mic-Dual-Plugs-Deep-Bass-Sound-for-PC-Laptop-Phones-Red/970124388", "https://www.walmart.com/ip/Mpow-Kids-Headphones-Microphone-Foldable-85-94dB-Volume-Limit-3D-Stereo-Adjustable-Headband-Soft-Earcups-Ear-Kids-Share-Function-Wired-School-Tablet/729302622?athbdg=L1600&from=/search", "https://www.walmart.com/ip/Mpow-Kids-Headphones-Microphone-Foldable-85-94dB-Volume-Limit-3D-Stereo-Adjustable-Headband-Soft-Earcups-Ear-Kids-Share-Function-Wired-School-Tablet/729302622?athbdg=L1600", "https://www.walmart.com/ip/MPOW-Kids-Headphones-Microphone-Stereo-Wired-85-94dB-Volume-Limit-Adjustable-Foldable-Children-Headphone-Share-Port-Ear-Headsets-School-Tablet-Airpla/573000754?variantFieldId=actual_color", "https://www.walmart.com/ip/Mpow-Kids-Headphones-School-Boys-Girls-Microphone-Safe-Volume-85-94dB-Foldable-Adjustable-Ear-Toddler-Earphones-Computer-Chromebook-Tablets-Sharing-J/723940737?variantFieldId=actual_color", "https://www.walmart.com/ip/MPOW-Kids-Headphones-Microphone-85-94dB-Volume-Limit-Hi-Fi-Stereo-Wired-Ear-Kids-Adjustable-Headband-Soft-Earcups-Audio-Share-Tangle-Free-Airplane/877864066?variantFieldId=actual_color", "https://www.walmart.com/ip/Mpow-Kids-Headphones-Microphone-Foldable-85-94dB-Volume-Limit-3D-Stereo-Adjustable-Headband-Soft-Earcups-Ear-Kids-Share-Function-Wired-School-Tablet/729302622?variantFieldId=actual_color", "https://www.walmart.com/ip/JLab-Audio-JBuddies-Studio-On-ear-Kids-Folding-Headphones-with-Microphone-Volume-Safe-Gray-Blue-HJKSTUDIORGRYBLU6/577015197?athbdg=L1600&from=/search", "https://www.walmart.com/ip/JLab-Audio-JBuddies-Studio-On-ear-Kids-Folding-Headphones-with-Microphone-Volume-Safe-Gray-Blue-HJKSTUDIORGRYBLU6/577015197?athbdg=L1600", "https://www.walmart.com/ip/JLab-Audio-JBuddies-Studio-Children-s-On-Ear-Headphones-Over-Ear-Headphones-Foldable-Graphite-Purple-JKSTUDIO-GRYPRPL-BOX/724645445?variantFieldId=actual_color", "https://www.walmart.com/ip/JLab-Audio-JBuddies-Studio-On-ear-Kids-Folding-Headphones-with-Microphone-Volume-Safe-Gray-Blue-HJKSTUDIORGRYBLU6/577015197?variantFieldId=actual_color", "https://www.walmart.com/ip/JLab-Audio-JBuddies-Studio-On-ear-Kids-Headphones-with-Microphone-Pink/1947609799?variantFieldId=actual_color", "https://www.walmart.com/ip/onn-Wired-on-Ear-Headphones-Black-New/948821441?from=/search", "https://www.walmart.com/ip/onn-Wired-on-Ear-Headphones-Black-New/948821441", "https://www.walmart.com/ip/onn-Wired-on-Ear-Headphones-Black-New/948821441?variantFieldId=actual_color", "https://www.walmart.com/ip/onn-Wired-On-ear-Headphones-Blue-New/803189432?variantFieldId=actual_color", "https://www.walmart.com/ip/onn-On-ear-Wired-Headphones-Pink-New/624074651?variantFieldId=actual_color", "https://www.walmart.com/ip/Wireless-Earbuds-Bluetooth-5-0-Headphones-IPX8-Waterproof-Hight-Fidelity-Stereo-Sound-Quality-Ear-Headset-Built-in-Mic-LED-Charging-Case-21-Hours-Pla/806859415?athbdg=L1800&from=/search", "https://www.walmart.com/ip/Wireless-Earbuds-Bluetooth-5-0-Headphones-IPX8-Waterproof-Hight-Fidelity-Stereo-Sound-Quality-Ear-Headset-Built-in-Mic-LED-Charging-Case-21-Hours-Pla/806859415?athbdg=L1800", "https://www.walmart.com/ip/Wireless-Earbuds-Bluetooth-5-0-Headphones-IPX8-Waterproof-Hight-Fidelity-Stereo-Sound-Quality-Ear-Headset-Built-in-Mic-LED-Charging-Case-21-Hours-Pla/806859415?variantFieldId=actual_color", "https://www.walmart.com/ip/Wireless-Earbuds-Bluetooth-Headphones-5-3-HiFi-Stereo-Earphones-4H-Playtime-Earbud-Earbud-Touch-Control-IPX4-Waterproof-Earphones-Sport-Headset-Andro/5039164278?variantFieldId=actual_color", "https://www.walmart.com/ip/VILINICE-Noise-Cancelling-Headphones-Wireless-Bluetooth-Over-Ear-Headphones-with-Microphone-Black-Q8/249420079?athbdg=L1700&from=/search", "https://www.walmart.com/ip/VILINICE-Noise-Cancelling-Headphones-Wireless-Bluetooth-Over-Ear-Headphones-with-Microphone-Black-Q8/249420079?athbdg=L1700", "https://www.walmart.com/ip/VILINICE-Noise-Cancelling-Headphones-Wireless-Bluetooth-Over-Ear-Headphones-with-Microphone-Black-Q8/249420079?variantFieldId=actual_color", "https://www.walmart.com/ip/VILINICE-Wireless-Bluetooth-Over-The-Ear-Headphones-with-Microphone-Active-Noise-Cancelling-Headphones-for-Travel-Sport/3737184614?variantFieldId=actual_color", "https://www.walmart.com/store/directory", "https://careers.walmart.com/", "https://corporate.walmart.com/", "https://marketplace.walmart.com/?utm_source=Walmart.com&utm_medium=link&utm_campaign=footer", "https://www.walmart.com/help", "https://www.walmart.com/cp/flu-shots-immunizations/1228302", "https://corporate.walmart.com/recalls", "https://www.walmart.com/help/article/responsible-disclosure-and-accessibility-policies/0f173dab8bd942da84b1cd7ab5ffc3cb", "https://www.walmart.com/taxexempt/", "https://walmart.onelink.me/UIev?pid=walmart.com&af_web_dp=https%3A%2F%2Fwww.walmart.com%2Fcp%2Fwalmart-mobile-app%2F1087865&c=Walmart.com%20Site%20Footer&af_dp=walmart%3A%2F%2F", "http://msds.walmartstores.com/", "https://www.walmart.com/help/article/walmart-com-terms-of-use/3b75080af40340d6bbd596f116fae5a0", «https://corporate.walmart.com/privacy-security», "https://corporate.walmart.com/california-transparency", "https://www.walmart.com/account/api/ccpa-intake?native=false&app=gm&type=sod", "https://corporate.walmart.com/privacy-security/california-privacy-rights#какие-категории-личной-информации-собираются", "https://www.walmart.com/account/api/ccpa-intake?native=false&app=gm&type=access", "https://www.walmart.com/brand/branddirectory", "https://www.walmart.com/cp/walmart-in-the-know/7781927" ] } }
Извлечение данных о спонсируемых объявлениях Walmart
В этом примере мы покажем вам, как получить данные о рекламе Walmart ppc из HTML-контента страницы результатов поиска наушников Walmart, которую вы скопировали ранее. Это включает в себя использование двух библиотек JavaScript: cheerio, которая обычно используется для веб-скрапинга, и fs, которая часто используется для работы с файловой системой.
Нижеприведенный код JavaScript демонстрирует, как использовать библиотеку Cheerio для сбора сведений о продуктах со страницы бестселлера Walmart. Он считывает HTML-контент из файла «walmart-scraper.js», загружает его в Cheerio и извлекает такую информацию, как название продукта, цена, рейтинг, отзывы и URL-адрес изображения. Скрипт проходит по каждому контейнеру продукта, сохраняет данные в массиве JSON.
// Загрузить HTML-контент из файла Const htmlContent = fs.readFileSync('walmart-scraper.html', 'Utf8');
// Загружаем HTML-контент в Cheerio Const $ = привет.загрузка(htmlContent);
// Выбрать все контейнеры продуктов (предполагая, что они имеют одинаковый класс) Const productContainers = $('.sans-serif.mid-gray.relative.flex.flex-column.w-100.hide-child-opacity');
// Массив для хранения информации обо всех продуктах Const продукты = [];
// Проходим по каждому контейнеру продукта продуктКонтейнеры.каждый((индекс, элемент) => { // Извлечь информацию о продукте для каждого продукта Const продукт = {};
// Извлечь цену продукта и символ валюты Const productPriceContainer = $(элемент).найдите('[data-automation-id="цена-продукта"]');
// Извлечь всю строку цены Const priceString = productPriceContainer.найдите('.w_iUH7').текст().отделка();
// Используйте регулярное выражение для разделения символа валюты и числовой части Const ценаСоответствие = ценаСтрока.совпадение(/([^\d]+)([\d,\.]+)/);
if (ценаMatch) { // Объединить символ валюты и числовую часть в один ключ: цена // Удалить конкретный текст «[Сейчас]» из значения цены продукта.цена = `${priceMatch[1].подрезать()}${priceMatch[2]}`; } еще { // Значение по умолчанию, если совпадений нет продукта.цена = ''; }
// Извлечь только рейтинг без количества отзывов и текста отзывов Const рейтингБезОтзывов = ТекстРейтинга.заменить(/\d+\s*отзывы/i, '').отделка(); продукта.рейтинг = рейтингБезОтзывов !== '' ? рейтингБезОбзоров : «Рейтинг недоступен»;
// Извлечь только числовую часть отзывов Const reviewsMatch = рейтингТекст.совпадение(/(\d+)\s*отзывы/i); продукта.с отзывами = отзывыСовпадение ? parseInt(отзывыMatch[1], 10): 0;
[ { "ТипПродукта":"Спонсируемый", "название":"Наушники Bose QuietComfort 45 с шумоподавлением, беспроводные Bluetooth-наушники, черные", "цена":"текущая цена $329.00", "рейтинг":«4.6 из 5 звезд»., "обзоры":2238, "изображение":"https://i5.walmartimages.com/seo/Bose-QuietComfort-45-Headphones-Noise-Cancelling-Over-Ear-Wireless-Bluetooth-Earphones-Black_48e15895-cb0c-4a8a-b852-4c52dca7692a.5f403bdd71947a437bd6c8bafbb6b8d4.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF" }, { "ТипПродукта":"Спонсируемый", "название":"COWIN E7 Активные шумоподавляющие наушники Bluetooth наушники с микрофоном Deep Bass Беспроводные наушники-вкладыши (черные)", "цена":"текущая цена $35.00", "рейтинг":«4.5 из 5 звезд»., "обзоры":1150, "изображение":"https://i5.walmartimages.com/seo/COWIN-E7-Active-Noise-Cancelling-Headphones-Bluetooth-Headphones-with-Mic-Deep-Bass-Wireless-Headphones-Over-Ear-Black_fc54e2c8-1164-4582-b0dc-1ed7dfe25a3b_1.ce7aa4a80aca56b2d1e59adfbc3ba438.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF" }, { "ТипПродукта":"Спонсируемый", "название":«OneOdio Проводные полноразмерные наушники с микрофоном | Шумоподавляющие амбушюры и студийные наушники для диджеев с двумя портами для компьютера - черные», "цена":"текущая цена $31.99", "рейтинг":«4.8 из 5 звезд»., "обзоры":1952, "изображение":"https://i5.walmartimages.com/seo/OneOdio-Wired-Over-Ear-Headphones-with-Mic-Noise-Cancelling-Earcups-Studio-DJ-Headphones-with-Dual-Ports-for-Computer-Black_c13f91b6-ba42-4546-8b06-0830d3344826.3edeff9f7ccba89981515bb979dea386.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF" }, { "ТипПродукта":"Спонсируемый", "название":«Philips H4205 Беспроводные наушники-вкладыши с 32-мм динамиками и функцией усиления басов по запросу, черные», "цена":"текущая цена $19.88", "рейтинг":«4.3 из 5 звезд»., "обзоры":23, "изображение":"https://i5.walmartimages.com/seo/Philips-H4205-on-Ear-Wireless-Headphones-with-32mm-Drivers-and-BASS-Boost-on-Demand-Black_b6de6dc8-4e04-48bb-97e0-a98444c39cc0.d274ce7ea7d072b4f4cf1cbb3c610a01.jpeg?odnHeight=784&odnWidth=580&odnBg=FFFFFF" } ]
Обеспечение точности данных
Очень важно убедиться, что информация, которую вы получаете от Walmart-Sponsored Ads, верна. Здесь мы поговорим о лучших способах убедиться, что данные точны, и о некоторых приемах для повторной проверки.
Лучшие практики для надежного извлечения
Регулярная проверка данных: Реализуйте регулярные проверки, чтобы убедиться, что извлеченные данные соответствуют ожидаемым шаблонам. Это включает проверку сведений о продукте, цен и другой соответствующей информации по заранее определенным критериям.
Надежная обработка ошибок: Разработать надежные механизмы обработки ошибок для решения проблем, которые могут возникнуть в процессе извлечения. Это включает в себя обработку сетевых ошибок, тайм-аутов и изменений в структуре веб-сайта, чтобы избежать неточностей данных.
Соблюдение Условий обслуживания: Соблюдайте условия обслуживания и рекомендации Walmart. извлечение данных. Убедитесь, что ваши методы извлечения соответствуют политике платформы, чтобы избежать юридических осложнений и сбоев в процессах извлечения данных.
Ротация пользовательского агента: Поворачивайте пользовательских агентов во время веб-скрапинга, чтобы имитировать поведение браузера, похожее на человеческое. Это помогает избежать обнаружения и потенциальных блокировок со стороны механизмов безопасности Walmart, способствуя более надежному извлечению данных.
Запросы на регулирование: Реализуйте регулирование запросов для контроля скорости извлечения данных. Чрезмерные запросы в течение короткого периода времени могут привести к срабатыванию мер безопасности на платформе Walmart, что приведет к временным или постоянным ограничениям.
Методы обеспечения качества
Сравнительный анализ: Проведите сравнительный анализ между извлеченными данными и надежным источником справочной информации, таким как ручные проверки или официальные списки продуктов. Любые несоответствия, выявленные в ходе этого процесса, должны быть исследованы и устранены.
Автоматизированное тестирование: Разработать автоматизированные сценарии тестирования для проверки точности извлеченных данных. Эти сценарии могут быть разработаны для проверки согласованности данных, соответствия формату и других критических параметров.
Перекрестная проверка: Перекрестная проверка точек данных с несколькими методами извлечения или источниками для повышения надежности. Согласованная информация в различных подходах к извлечению обеспечивает более высокий уровень уверенности в точности данных.
Периодические проверки: Проводите периодические проверки процесса извлечения для выявления и устранения любых возникающих проблем. Регулярные проверки помогают поддерживать точность данных с течением времени, особенно в контексте развивающихся структур веб-сайтов или форматов данных.
Фильтрация и организация данных
Важно правильно обрабатывать и организовывать информацию, которую мы получаем из рекламы, спонсируемой Walmart, чтобы мы могли лучше ее понимать и принимать правильные решения. В этой части мы рассмотрим полезные советы по хорошей организации данных и поговорим о простых способах фильтрации данных для упрощения анализа.
Советы по эффективной организации данных
Структурированное хранилище баз данных:
Хранить очищенные данные вы собираете в структурированной базе данных, например, в базах данных SQL. Это помогает организовать все и позволяет быстро находить то, что вам нужно. Поместите данные в таблицы с правильными категориями, чтобы упростить их последующий анализ.
Временная метка:
Добавьте временную метку к каждой записи данных, чтобы вы могли отслеживать, когда была записана информация. Это помогает анализировать тенденции и изменения с течением времени, что особенно полезно при работе с историческими данными.
Категоризация и тегирование:
Организуйте продукты по их общим характеристикам и назначайте теги для легкого распознавания. Это упрощает группировку и анализ продуктов, помогая выявлять тенденции и более четко понимать категории продуктов.
Использование уникальных идентификаторов:
Используйте специальные коды, например идентификаторы продуктов, для соединения различных наборов данных. Это помогает убедиться, что при объединении или группировке данных из разных мест вы делаете это правильно и не путаетесь.
Методы фильтрации для анализа
Фильтры ценового диапазона:
Сортируйте продукты по разным ценовым диапазонам, чтобы увидеть, насколько хорошо они себя чувствуют. Это помогает нам понять тенденции ценообразования и то, как мы соотносимся с конкурентами.
Фильтры показателей производительности:
Фильтрация данных на основе показателей эффективности рекламы, таких как CTR или коэффициенты конверсии. Это позволяет выявлять высокоэффективные продукты и области для улучшения рекламных стратегий.
Фильтры на основе ключевых слов:
Создавайте фильтры, которые используют ключевые слова для поиска и показа продуктов, связанных с определенными словами или поисковыми запросами. Это помогает нам понять, что нравится клиентам, и облегчает просмотр продуктов.
Фильтры рекламного текста:
Используйте фильтры для категоризации продуктов на основе рекламного текста или специальных предложений. Это помогает оценить влияние акций на видимость и продажи продукта.
Соскребите спонсируемую рекламу Walmart с помощью Crawlbase
Это руководство предоставляет вам информацию и инструменты для легкого получения данных о спонсируемых объявлениях Walmart с помощью JavaScript и Crawlbase Crawling API. Независимо от того, новичок ли вы в веб-скрапинге или уже немного разбираетесь, идеи здесь дадут вам хороший старт. Если вы хотите попробовать скрапинг на других сайтах онлайн-покупок, таких как Amazon, eBay или AliExpress, Airbnb у нас есть еще руководства, с которыми вам стоит ознакомиться.
Если у вас возникли проблемы или вам нужна дополнительная помощь, Crawlbase команда поддержки здесь для вас. Мы хотим, чтобы вы преуспели в веб-скрапинге, и мы рады помочь вам на этом пути.
Часто задаваемые вопросы (FAQ)
Как часто следует извлекать обновленные данные о рекламе Walmart?
Чтобы получить последнюю информацию о рекламе Walmart, проверьте много, если цены на продукты или доступность сильно изменились. Следите за специальными предложениями и проверяйте больше, если другие компании меняют свои цены. Также посмотрите, когда Walmart обновляет информацию, и проверьте в это время, чтобы убедиться, что ваша информация верна. Важно найти хороший баланс, чтобы у вас всегда была самая новая информация при принятии решений.
Что такое спонсируемые товары в Walmart?
Спонсируемые товары на Walmart — это товары, продвигаемые рекламодателями для повышения видимости в результатах поиска или на страницах категорий. Эти товары стратегически размещаются, чтобы привлечь внимание покупателей и увеличить количество кликов. Рекламодатели платят за это премиальное размещение, и спонсируемые товары часто имеют метку «Спонсируемый». Эти акции являются частью рекламной платформы Walmart, позволяя продавцам повышать видимость своих товаров и охватывать более широкую аудиторию.
Спонсируемые товары в Walmart могут быть разными типами вещей, например, электроникой или вещами для дома. Рекламодатели используют их, чтобы больше похвастаться своими товарами перед людьми, осматривающими Walmart. Это облегчает рекламодателям конкуренцию и позволяет сосредоточиться на привлечении внимания нужных клиентов. Спонсируемые товары выделяются, и рекламодатели платят за эту специальную акцию.
Как я могу получить данные о рекламе, спонсируемой Walmart?
Чтобы получить данные о рекламе, спонсируемой Walmart, вы можете попробовать следующие методы:
API Walmart: Проверьте, есть ли у Walmart официальный способ (например, уникальный инструмент) для получения данных о спонсируемых объявлениях. Обычно это самый безопасный и одобренный способ.
Сторонние сервисы: рассмотрите другие компании или инструменты, которые занимаются сбором и распространением данных о рекламе, спонсируемой Walmart.
Веб-скрапинг: используйте веб-скрапинг, чтобы напрямую извлечь информацию с веб-сайта Walmart. Просто убедитесь, что вы следуете их правилам и закону.
Извлечение вручную: вы также можете собрать данные, самостоятельно посетив веб-сайт Walmart и записав важную информацию.
Могу ли я извлечь исторические данные о рекламе Walmart?
Если вы ищете прошлые объявления Walmart, вы можете столкнуться с трудностями при использовании их официального API или других инструментов из-за конфиденциальности и деловых соображений. Но вот несколько более простых способов исследования:
Архивированные веб-страницы: Проверьте веб-сайты, которые сохраняют старые версии страниц. На них могут быть старые объявления Walmart.
Регулярное выскабливание: Если Walmart это разрешит, вы можете использовать инструмент для регулярного сбора данных с их сайта, создавая историческую запись.
Возможности API: Если у Walmart есть API, посмотрите, позволяет ли он вам получить старые данные о рекламе. Некоторые API имеют функции для этого.
Сторонние поставщики данных: Ищите компании, которые фокусируются на исторических данных электронной коммерции. У них может быть то, что вам нужно, включая рекламу Walmart.
Какие правовые нормы применяются для извлечения данных о рекламе Walmart?
При получении данных рекламы Walmart крайне важно следовать правилам. Вот что следует иметь в виду:
Условия предоставления услуг: Прочитайте и поймите условия использования Walmart. Они говорят вам, что вы можете делать, а что нет.
Роботы.txt: Walmart использует файл robots.txt. Соблюдайте правила, указанные там, чтобы избежать юридических проблем.
Авторское право: Помните о законах об авторских правах, особенно при работе с изображениями, текстом или любым креативным контентом, связанным с рекламой Walmart. Уважайте права интеллектуальной собственности Walmart и других создателей контента.
Коммерческое использование: Если вы используете данные в коммерческих целях, проверьте, есть ли у Walmart какие-либо особые правила или лицензии, которые вам необходимы.
Политики очистки: Некоторые веб-сайты не разрешают веб-скрапинг в своих условиях обслуживания. Соблюдайте эти политики, чтобы избежать юридических последствий.
Законы о защите данных: Если вы имеете дело с личной информацией, подумайте о законах о защите данных, таких как GDPR (Общий регламент по защите данных). Убедитесь, что вы следуете правилам.
Законы страны: Соблюдайте законы страны, в которой вы находитесь. В разных местах действуют разные правила в отношении веб-скрапинга и использования данных.
