Как извлечь данные о продуктах Best Buy

Best Buy, основанная в 1966 году Ричардом М. Шульце и Гэри Смоляком, стала доминирующим игроком в секторе розничной торговли электроникой. То, что начиналось как небольшой магазин в Сент-Поле, штат Миннесота, теперь выросло в розничного гиганта с более чем 1,000 магазинов по всей АмерикеBest Buy предлагает широкий ассортимент бытовой электроники, бытовой техники и развлекательных товаров, что делает его универсальным магазином как для любителей техники, так и для обычных потребителей.

По состоянию на декабрь 2023 года веб-сайт зарегистрировал 131.9 миллиона посещений из разных уголков мира, что подчеркивает его значимость как цифрового рынка. Богатый выбор продуктов Best Buy и динамичный характер его веб-сайта делают его привлекательной ареной для извлечения данных.

Зачем собирать данные из Best Buy? Ответ заключается в богатстве информации, которая ждет своего открытия. Благодаря множеству пользователей, перемещающихся по его цифровым проходам, Best Buy становится богатым источником тенденций, динамики ценообразования и предпочтений потребителей. Независимо от того, являетесь ли вы исследователем рынка, ценовым стратегом или энтузиастом технологий, возможность собирать данные из Best Buy открывает двери к богатству информации, расширяя возможности принятия обоснованных решений и стратегического планирования.

Оглавление

1. Понимание веб-сайта Best Buy

• Макет SERP BestBuy.com
• Ключевые элементы для Scrape
• Примеры использования Best Buy Data

2. Настройка вашей среды

• Установка Python и необходимых библиотек
• Выбор среды разработки IDE

3. Подход «сделай сам» с Python

• Извлечь HTML с помощью библиотеки запросов
• Проверка веб-сайта Best Buy на предмет селекторов CSS
• Использование BeautifulSoup для парсинга HTML
• Недостатки подхода «сделай сам»

4. . Crawlbase Crawling API для лучшей покупки

• Crawlbase Регистрация и API-токен
• Доступ к Crawling API Crawlbase Библиотека
• Легкое извлечение данных о продуктах Best Buy
• Обработка нумерации страниц

5. Заключение
6. FAQ

Понимание веб-сайта Best Buy

Сайт Best Buy, BestBuy.com, представляет собой структурированную и динамичную среду, содержащую ценную информацию для тех, кто решил заняться веб-скрапингом.

Макет SERP BestBuy.com

Представьте себе BestBuy.com как хорошо организованный цифровой каталог. Как и газета с заголовками, основными статьями и побочными разделами, структура страницы результатов поиска Best Buy следует тщательно разработанному формату.

• Витрина товаров: Это как главные статьи в газете, показывающие вам лучшие и самые популярные продукты, соответствующие вашему поиску.
• Search Bar: Это как большой заголовок в газете. Вы используете его, чтобы ввести то, что вы хотите найти на BestBuy.com.
• Фильтры поиска: Это как организованные разделы сбоку. Они помогают сузить поиск, позволяя выбирать такие вещи, как бренд, ценовой диапазон и рейтинги клиентов. Это облегчает вам поиск именно того, что вы хотите.
• Люди также/часто просматриваемые: Эта часть находится рядом с основной витриной продуктов. Она показывает вам другие продукты, которые такие же люди, как вы, смотрели или покупали. Это как получать предложения от других покупателей, чтобы помочь вам открыть для себя что-то новое.
• нижний колонтитул: Это внизу, как нижняя часть газеты. Там есть ссылки на разные разделы веб-сайта Best Buy и информация о политике и условиях. Это как заключение вашего похода по магазинам, со всем, что вам может понадобиться.

Понимание этой компоновки позволяет нашему скреперу Best Buy эффективно перемещаться по виртуальным проходам.

Ключевые элементы для соскребания

Теперь, вооружившись пониманием макета SERP Best Buy, давайте выделим основные точки данных для извлечения:

1. Объявления о продукции: Основной целью нашей миссии Scrape Best Buy является получение списка продуктов, соответствующих поиску.
2. Названия продуктов: Так же, как заголовки газет дают быстрое представление о главных событиях, названия продуктов служат заголовками каждого перечисленного товара.
3. Описания продуктов: Под каждым названием продукта пользователи обычно находят краткое описание или фрагмент, дающий представление о функциях продукта, не нажимая на него.
4. Часто просматриваемые продукты: В этом разделе показаны продукты, которые часто просматривали другие покупатели. Это как рекомендация от интернет-сообщества, предоставляющая пользователям дополнительные возможности на основе популярных выборов.
5. Рекламный контент: Иногда первоначальные результаты могут включать рекламный контент. Распознавание их как рекламных и отделение их от органических листингов имеет решающее значение.

Понимание точек данных SERP Best Buy направляет наши усилия по сбору данных, позволяя нам эффективно собирать соответствующую информацию с цифровых полок Best Buy.

Сценарии использования Best Buy Data

Информация, которую мы получаем с сайта Best Buy, действительно полезна и может быть использована многими способами. Давайте рассмотрим несколько интересных примеров:

1. Исследования рынка: Понимание тенденций ценообразования, предпочтений потребителей и популярности бренда для принятия обоснованных рыночных решений.
2. Конкурентоспособные цены: Оставайтесь конкурентоспособными, изучая ценовые стратегии конкурентов и динамику ценообразования на рынке.
3. Техническое обновление: будьте в курсе последних гаджетов, инноваций и выпусков продукции для любителей технологий.
4. Анализ поведения потребителей: Формируйте маркетинговые стратегии, анализируя, как потребители взаимодействуют с продуктами и реагируют на рекламные акции.
5. Оптимизация запасов: Эффективное управление запасами с помощью актуальной информации о наличии продукции, уровнях запасов и тенденциях спроса.

Понимание этих вариантов использования подчеркивает практичность и значимость веб-скрапинга для извлечения полезной информации из цифровой торговой площадки Best Buy.

Настройка вашей среды

Чтобы начать свой путь в веб-скрапинге, давайте настроим среду, которая оптимизирует процесс. Вот шаги, с которых можно начать:

Установка Python и необходимых библиотек

Начните с установки Python, мощного инструмента для задач веб-скрапинга. Посетите официальный сайт Python, загрузите последнюю версию и следуйте инструкциям по установке. После того, как Python запущен и работает, пришло время оснастить его необходимыми библиотеками для веб-скрапинга:

• Библиотека запросов: Эта универсальная библиотека упрощает HTTP-запросы, позволяя вам без усилий получать веб-страницы. Установите ее с помощью следующей команды:

запросы на установку pip

• Красивый суп: Мощный HTML-парсер, Beautiful Soup помогает извлекать данные из HTML и XML-файлов. Установите его с помощью следующей команды:

Пип установить BeautifulSoup4

• Crawlbase Библиотека: Чтобы использовать расширенные возможности Crawlbase Crawling API, Установите Crawlbase Библиотека. Установите ее с помощью следующей команды:

pip установить crawlbase

Выбор среды разработки IDE

Выбор правильной интегрированной среды разработки (IDE) может сделать ваш опыт кодирования более приятным. Вот несколько вариантов для рассмотрения:

• Visual Studio Code (VSCode): удобный и многофункциональный редактор кода. Получите его из официальный сайт VSCode.
• PyCharm: Надежная IDE Python с расширенными функциями. Вы можете загрузить Community Edition здесь.
• Google Colab: Онлайн-платформа, которая позволяет вам писать и запускать код Python совместно в облаке. Доступ к ней через Google Colab.

После установки Python и настройки необходимых библиотек, а также выбранного вами инструмента кодирования, вы готовы к плавному путешествию по парсингу Best Buy. Давайте теперь перейдем к кодированию и получим ценные данные с BestBuy.com.

Подход «сделай сам» с Python

В нашем примере давайте сосредоточимся на извлечении данных, связанных с «i phone» с сайта Best Buy. Давайте разобьем процесс на удобоваримые части:

Извлечь HTML с помощью библиотеки запросов

Начните свой путь, воспользовавшись возможностями библиотеки Requests. Этот удобный модуль Python действует как ваш виртуальный мессенджер, позволяя вам общаться с серверами Best Buy. С помощью нескольких строк кода вы можете извлечь HTML-контент с веб-сайта, заложив основу для извлечения данных.

Импортировать Запросы
от urllib.parse Импортировать цену

URL = f'https://www.bestbuy.com/site/searchpage.jsp?st=${цитировать("я звоню по телефону")}'
заголовки = {«Пользовательский агент»: «Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/122.0»}

ответ = запросы.получить(url, заголовки=заголовки)

if ответ.status_code == 200:
    html_content = ответ.текст
    Распечатать(html_контент)
еще:
    Распечатать(f'Не удалось получить HTML-контент. Код статуса: {response.status_code}')

Запустите ваш любимый текстовый редактор или IDE, скопируйте предоставленный код и сохраните его в файле Python. В качестве иллюстрации назовите его bestbuy_scraper.py.

Выполнить скрипт:

Откройте терминал или командную строку и перейдите в папку, в которой вы сохранили bestbuy_scraper.py. Запустите скрипт с помощью следующей команды:

питон bestbuy_scraper.py

После нажатия Enter вы увидите, как ваш скрипт приступит к действию, отправив запрос на сайт Best Buy, загрузив HTML-контент и отобразив его на экране вашего терминала.

Проверка веб-сайта Best Buy на предмет селекторов CSS

1. Открытые инструменты разработчика: Щелкните правой кнопкой мыши на веб-странице в браузере и выберите «Проверить» (или «Проверить элемент»). Это действие открывает инструменты разработчика, предоставляя доступ к изучению структуры HTML.
2. Перемещение HTML-элементов: В области инструментов разработчика перемещайтесь по элементам HTML, чтобы определить конкретные данные, предназначенные для скрапинга. Ищите отличительные идентификаторы, классы или теги, связанные с искомой информацией.
3. Точные селекторы CSS: Запишите селекторы CSS, соответствующие интересующим вас элементам. Эти селекторы станут важными указателями для вашего скрипта Python, направляя его к обнаружению и сбору желаемых данных.

Использование BeautifulSoup для анализа HTML

Как только у вас в руках будет HTML-контент и селекторы CSS, пора подключать BeautifulSoup. Эта библиотека Python — ваш помощник в навигации и понимании структуры HTML. С ее помощью вы можете точно определить и извлечь соответствующую информацию без проблем.

Для примера мы извлечем важные детали, такие как название продукта, рейтинг, количество отзывов, цена и URL-ссылка (URL-адрес страницы продукта) для каждого продукта, перечисленного на указанной странице поиска Best Buy. Давайте расширим наш предыдущий скрипт и извлечем эту информацию из HTML.

Импортировать Запросы
от urllib.parse Импортировать цену
от bs4 Импортировать КрасивыйСуп
Импортировать JSON

защиту scrape_bestbuy_listing(URL):
    заголовки = {«Пользовательский агент»: «Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/122.0»}

    ответ = запросы.получить(url, заголовки=заголовки)

    результаты_поиска = []

    if ответ.status_code == 200:
        html_content = ответ.текст
        суп = КрасивыйСуп(html_content, 'html.парсер')

        продукты = суп.выбрать('ol.sku-item-list li.sku-item')

        для ПРОДУКТЫ in продукты:
            title_element = product.select_one('div.column-middle h4.sku-title > a')
            элемент_рейтинга = продукт.выберите_один('div.column-middle div.variation-info > div.ratings-reviews div.c-ratings-reviews > p')
            review_count_element = product.select_one('.column-middle div.variation-info > div.ratings-reviews div.c-ratings-reviews > span.c-reviews')
            price_element = product.select_one('div.column-right > div.sku-list-item-price div[data-testid="customer-price"] > span')
            product_url_element = product.select_one('.column-middle h4.sku-title > a')

            данные_продукта = {
                'Заголовок': title_element.text.strip() if title_element еще Ничто,
                'Рейтинг': рейтинг_элемент.текст.полоска() if рейтинг_элемент еще Ничто,
                «Количество отзывов»: review_count_element.text.strip() if review_count_element еще Ничто,
                'Цена': price_element.text.strip() if price_element еще Ничто,
                «URL-адрес продукта»: 'https://www.bestbuy.com' + элемент_url_продукта['href'] if элемент_url_продукта еще Ничто
            }

            результаты_поиска.добавить(данные_продукта)

    еще:
        Распечатать(f'Ошибка: {response.status_code}')

    возвращают результаты поиска

защиту main():
    поисковый_термин = "я звоню по телефону"
    URL = f'https://www.bestbuy.com/site/searchpage.jsp?st=${цитата(поисковый_термин)}'
    результаты = scrape_bestbuy_listing(url)

    Распечатать(json.dumps(результаты, отступ=2))

if __имя__ == "__основной__":
    Основной ()

Этот скрипт использует BeautifulSoup библиотека для анализа HTML-контента ответа. Она извлекает нужные нам данные из HTML-элементов, соответствующих каждому продукту в результатах поиска. Извлеченные данные организованы в список словарей, где каждый словарь представляет информацию об одном продукте. Затем скрипт выводит результаты в красиво отформатированном формате JSON.

Но будет ли HTML, который мы получим, содержать полезную информацию? Давайте посмотрим на вывод вышеприведенного скрипта:

[]

Вы увидите вывод как пустой список потому что Best Buy использует JavaScript для динамического формирования результатов поиска на своей странице SERP. Когда вы отправляете HTTP-запрос на URL Best Buy, в HTML-ответе отсутствуют значимые данные, что приводит к отсутствию ценной информации.

Недостатки подхода «сделай сам»

Хотя подход «сделай сам» с использованием Python для парсинга Best Buy обеспечивает практический опыт, ему присущи недостатки, которые могут повлиять на эффективность и масштабируемость:

Ограниченная масштабируемость:

• Неэффективность при работе с большими наборами данных: Самостоятельные скрипты могут оказаться неэффективными при обработке обширных задач по извлечению данных, что приведет к проблемам с производительностью.
• Интенсивность ресурсов: Крупномасштабное парсинг может привести к перегрузке системных ресурсов, что повлияет на общую производительность скрипта парсинга.
• Ограничение скорости и блокировка IP-адресов: Серверы Best Buy могут устанавливать ограничения скорости, замедляя или блокируя запросы, если они превышают определенный порог. Подходы DIY могут испытывать трудности с обработкой ограничений скорости, что приводит к сбоям в извлечении данных.

Обработка динамического контента:

• Проблемы с элементами, управляемыми JavaScript: Подходы «сделай сам» могут оказаться неэффективными при взаимодействии с динамически загружаемым контентом, который в значительной степени зависит от JavaScript.
• Неполный поиск данных: В сценариях, где преобладает динамический контент, метод «сделай сам» может не охватить всю информацию.

Хотя подход DIY обеспечивает ценные идеи и более глубокое понимание основ веб-скрейпинга, эти недостатки подчеркивают необходимость более эффективного и масштабируемого решения. В следующих разделах мы рассмотрим Crawlbase Crawling API— мощное решение, призванное преодолеть эти ограничения и оптимизировать процесс парсинга Best Buy.

. Crawlbase Crawling API для лучшей покупки

Раскрытие полного потенциала веб-скрапинга для Best Buy становится проще благодаря интеграции Crawlbase Crawling API, Crawlbase Crawling API делает веб-скрапинг простым и эффективным для разработчиков. параметры позволяют нам без труда справляться с различными задачами по очистке данных.

Ниже приведено пошаговое руководство по использованию возможностей этого специализированного API:

Crawlbase Регистрация и API-токен

Извлечение данных Best Buy с использованием Crawling API начинается с создания учетной записи на Crawlbase платформа. Давайте проведем вас через процесс настройки учетной записи для Crawlbase:

1. Перейдите в Crawlbase: Откройте веб-браузер и перейдите на страницу Crawlbase веб-сайта Подписаться страницу, с которой можно начать процесс регистрации.
2. Предоставьте свои учетные данные: Введите свой адрес электронной почты и придумайте пароль для вашего Crawlbase аккаунт. Убедитесь, что вы правильно заполнили необходимые данные.
3. Процесс проверки: После отправки данных в ваш почтовый ящик может прийти письмо с подтверждением. Найдите его и выполните шаги проверки, указанные в письме.
4. Вход: После проверки вашей учетной записи вернитесь на страницу Crawlbase веб-сайт и войдите в систему, используя только что созданные вами учетные данные.
5. Защитите свой API-токен: Доступ к Crawlbase Crawling API требуется токен API, и вы можете найти свой токен в вашем документация по счету.

Быстрая заметка: Crawlbase предоставляет два типа токенов — один, предназначенный для статических веб-сайтов, и другой, разработанный для динамических или JavaScript-ориентированных веб-сайтов. Поскольку мы сосредоточены на скрапинге Best Buy, мы будем использовать JS-токен.

Бонус: Crawlbase предлагает первоначальное пособие 1,000 бесплатных запросов для Crawling API, что делает его идеальным выбором для нашей экспедиции по веб-скрапингу.

Доступ к Crawling API Crawlbase Библиотека

Интегрировать Crawlbase библиотеку в вашу среду Python, используя предоставленный API-токен. Crawlbase Библиотека действует как мост, соединяющий ваши скрипты Python с надежными функциями Crawling API. Приведенный фрагмент кода демонстрирует, как инициализировать и использовать Crawling API через Crawlbase Библиотека Python.

от база сканирования Импортировать CrawlingAPI
от urllib.parse Импортировать цену

API_ТОКЕН = 'ВАШ_ТОКЕН_JS_CRAWL'
crawling_api = CrawlingAPI({токен: API_ТОКЕН})

URL = f'https://www.bestbuy.com/site/searchpage.jsp?st=${цитировать("я звоню по телефону")}'

ответ = crawling_api.get(url)

if ответ["заголовки"]['статус_ПК'] == '200':
    html_content = ответ['тело'].decode('utf-8')
    Распечатать(html_контент)
еще:
    Распечатать(f"Не удалось загрузить страницу. Crawlbase код статуса: {ответ["заголовки"]['статус_ПК']}")

Подробная документация Crawling API доступно на Crawlbase платформа. Вы можете прочитать это здесь. Если вы хотите узнать больше о Crawlbase Библиотеку Python и дополнительные примеры ее использования вы можете найти в документации здесь.

Извлечение данных о целевом продукте без усилий

Достаточно воспользоваться ИИ-ассистентом презентера Crawlbase Crawling API, сбор информации о продуктах Best Buy становится простым. Используя токен JS и настраивая параметры API, такие как ajax_wait и page_wait, мы можем обрабатывать рендеринг JavaScript. Давайте улучшим наш скрипт DIY, добавив Crawling API.

от база сканирования Импортировать CrawlingAPI
от urllib.parse Импортировать цену
от bs4 Импортировать КрасивыйСуп
Импортировать JSON

защиту scrape_bestbuy_listing(API, URL-адрес):
    варианты = {
        'user_agent': «Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/122.0»,
        'ajax_wait': 'правда',
        'page_wait': 5000
    }

    ответ = api.get(url, параметры)

    результаты_поиска = []

    if ответ["заголовки"]['статус_ПК'] == '200':
        html_content = ответ['тело'].decode('utf-8')
        суп = КрасивыйСуп(html_content, 'html.парсер')

        продукты = суп.выбрать('ol.sku-item-list li.sku-item')

        для ПРОДУКТЫ in продукты:
            title_element = product.select_one('div.column-middle h4.sku-title > a')
            элемент_рейтинга = продукт.выберите_один('div.column-middle div.variation-info > div.ratings-reviews div.c-ratings-reviews > p')
            review_count_element = product.select_one('.column-middle div.variation-info > div.ratings-reviews div.c-ratings-reviews > span.c-reviews')
            price_element = product.select_one('div.column-right > div.sku-list-item-price div[data-testid="customer-price"] > span')
            product_url_element = product.select_one('.column-middle h4.sku-title > a')

            данные_продукта = {
                'Заголовок': title_element.text.strip() if title_element еще Ничто,
                'Рейтинг': рейтинг_элемент.текст.полоска() if рейтинг_элемент еще Ничто,
                «Количество отзывов»: review_count_element.text.strip() if review_count_element еще Ничто,
                'Цена': price_element.text.strip() if price_element еще Ничто,
                «URL-адрес продукта»: 'https://www.bestbuy.com' + элемент_url_продукта['href'] if элемент_url_продукта еще Ничто
            }

            результаты_поиска.добавить(данные_продукта)

    еще:
        Распечатать(f'Ошибка: {ответ["заголовки"]["статус_ПК"]}')

    возвращают результаты поиска

защиту main():
    API_ТОКЕН = 'ВАШ_ТОКЕН_JS_CRAWL'
    crawling_api = CrawlingAPI({токен: API_ТОКЕН})

    поисковый_термин = "я звоню по телефону"
    URL = f'https://www.bestbuy.com/site/searchpage.jsp?st=${цитата(поисковый_термин)}'
    результаты = scrape_bestbuy_listing(crawling_api, url)

    Распечатать(json.dumps(результаты, ensure_ascii=Ложь, отступ=2))

if __имя__ == "__основной__":
    Основной ()

Пример вывода:

[
  {
    "Заголовок": «Apple - iPhone 14 128 ГБ (разблокирован) - Полночь»,
    "Рейтинг": «Рейтинг 4.9 из 5 звезд по 155 отзывам»,
    «Количество отзывов»: "(155)",
    "Цена": "729.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-iphone-14-128gb-unlocked-midnight/6507555.p?skuId=6507555"
  },
  {
    "Заголовок": «Apple — iPhone 14 Plus 128 ГБ (разблокирован) — полночь»,
    "Рейтинг": «Рейтинг 4.9 из 5 звезд по 82 отзывам»,
    «Количество отзывов»: "(82)",
    "Цена": "829.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-iphone-14-plus-128gb-unlocked-midnight/6507549.p?skuId=6507549"
  },
  {
    "Заголовок": «Apple — iPhone SE (3-го поколения) 64 ГБ (разблокирован)»,
    "Рейтинг": «Рейтинг 4.5 из 5 звезд по 111 отзывам»,
    «Количество отзывов»: "(111)",
    "Цена": "429.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-iphone-se-3rd-generation-64gb-unlocked/6507470.p?skuId=6507470"
  },
  {
    "Заголовок": «Apple - iPhone 13 5G 128 ГБ (разблокирован) - Полночь»,
    "Рейтинг": «Рейтинг 4.8 из 5 звезд по 878 отзывам»,
    «Количество отзывов»: "(878)",
    "Цена": "629.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-iphone-13-5g-128gb-unlocked-midnight/6417788.p?skuId=6417788"
  },
  {
    "Заголовок": "Apple - Б/у iPhone SE (2020) 64 ГБ (разблокирован) - красный",
    "Рейтинг": «Рейтинг 4.2 из 5 звезд по 471 отзывам»,
    «Количество отзывов»: "(471)",
    "Цена": "189.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-pre-owned-iphone-se-2020-64gb-unlocked-red/6561418.p?skuId=6561418"
  },
  {
    "Заголовок": "Apple - Б/у iPhone 11 128 ГБ (разблокирован) - черный",
    "Рейтинг": «Рейтинг 4.2 из 5 звезд по 156 отзывам»,
    «Количество отзывов»: "(156)",
    "Цена": "359.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-pre-owned-iphone-11-128gb-unlocked-black/6505707.p?skuId=6505707"
  },
  {
    "Заголовок": "Apple - Б/у iPhone 13 Pro Max 5G 128 ГБ (разблокирован) - графитовый",
    "Рейтинг": «Рейтинг 4.7 из 5 звезд по 27 отзывам»,
    «Количество отзывов»: "(27)",
    "Цена": "799.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-pre-owned-iphone-13-pro-max-5g-128gb-unlocked-graphite/6563055.p?skuId=6563055"
  },
  {
    "Заголовок": "Apple - Б/у iPhone XR 128 ГБ (разблокирован) - черный",
    "Рейтинг": «Рейтинг 4.3 из 5 звезд по 1350 отзывам»,
    «Количество отзывов»: "(1,350)",
    "Цена": "259.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-pre-owned-iphone-xr-128gb-unlocked-black/6398614.p?skuId=6398614"
  },
  {
    "Заголовок": "Apple - Б/у iPhone X 256 ГБ (разблокирован) - серебристый",
    "Рейтинг": «Рейтинг 3.8 из 5 звезд по 1026 отзывам»,
    «Количество отзывов»: "(1,026)",
    "Цена": "259.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-pre-owned-iphone-x-256gb-unlocked-silver/6394666.p?skuId=6394666"
  },
  {
    "Заголовок": «Apple — iPhone 11 Pro 256 ГБ (разблокирован) — золотой»,
    "Рейтинг": «Рейтинг 4 из 5 звезд по 79 отзывам»,
    «Количество отзывов»: "(79)",
    "Цена": "379.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-pre-owned-iphone-11-pro-256gb-unlocked-gold/6502951.p?skuId=6502951"
  },
  {
    "Заголовок": "Apple - Б/у iPhone 11 64 ГБ (разблокирован) - Белый",
    "Рейтинг": «Рейтинг 4.4 из 5 звезд по 547 отзывам»,
    «Количество отзывов»: "(547)",
    "Цена": "329.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-pre-owned-iphone-11-64gb-unlocked-white/6505705.p?skuId=6505705"
  },
  {
    "Заголовок": "Apple - Б/у iPhone SE (2020) 128 ГБ (разблокирован) - красный",
    "Рейтинг": «Рейтинг 4.2 из 5 звезд по 131 отзывам»,
    «Количество отзывов»: "(131)",
    "Цена": "219.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-pre-owned-iphone-se-2020-128gb-unlocked-red/6495540.p?skuId=6495540"
  },
  {
    "Заголовок": «Apple — iPhone XR б/у, 64 ГБ (разблокирован) — синий»,
    "Рейтинг": «Рейтинг 4.3 из 5 звезд по 1351 отзывам»,
    «Количество отзывов»: "(1,351)",
    "Цена": "249.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-pre-owned-iphone-xr-64gb-unlocked-blue/6398597.p?skuId=6398597"
  },
  {
    "Заголовок": «Apple — Б/у iPhone 14 5G 128 ГБ (разблокирован) — синий»,
    "Рейтинг": «Рейтинг 4.9 из 5 звезд по 8 отзывам»,
    «Количество отзывов»: "(8)",
    "Цена": "629.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-pre-owned-iphone-14-5g-128gb-unlocked-blue/6558737.p?skuId=6558737"
  },
  {
    "Заголовок": «Apple — Б/у iPhone 13 5G 128 ГБ (разблокирован) — Полночь»,
    "Рейтинг": «Рейтинг 5 из 5 звезд по 2 отзывам»,
    «Количество отзывов»: "(2)",
    "Цена": "529.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-pre-owned-iphone-13-5g-128gb-unlocked-midnight/6562355.p?skuId=6562355"
  },
  {
    "Заголовок": «Сертифицированный Apple Geek Squad восстановленный мобильный телефон iPhone 11 с памятью 64 ГБ (разблокирован) — черный»,
    "Рейтинг": «Рейтинг 2.3 из 5 звезд по 3 отзывам»,
    «Количество отзывов»: "(3)",
    "Цена": "299.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-geek-squad-certified-refurbished-iphone-11-with-64gb-memory-cell-phone-unlocked-black/6563229.p?skuId=6563229"
  },
  {
    "Заголовок": «Apple — Б/у iPhone 12 5G 64 ГБ (разблокирован) — синий»,
    "Рейтинг": «Рейтинг 4.3 из 5 звезд по 267 отзывам»,
    «Количество отзывов»: "(267)",
    "Цена": "379.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-pre-owned-iphone-12-5g-64gb-unlocked-blue/6510035.p?skuId=6510035"
  },
  {
    "Заголовок": «Apple — iPhone XS Max 64 ГБ (разблокирован) — золотой»,
    "Рейтинг": «Рейтинг 4.1 из 5 звезд по 38 отзывам»,
    «Количество отзывов»: "(38)",
    "Цена": "309.99 $",
    "URL-адрес продукта": "https://www.bestbuy.com/site/apple-pre-owned-iphone-xs-max-64gb-unlocked-gold/6463650.p?skuId=6463650"
  }
]

Обработка нумерации страниц

Сбор данных из результатов поиска Best Buy означает просмотр нескольких страниц, на каждой из которых отображается пакет списков продуктов. Чтобы убедиться, что мы получаем всю необходимую информацию, нам нужно заняться пагинацией. Это подразумевает перемещение по страницам результатов и запрос дополнительных данных при необходимости.

На сайте Best Buy они используют &cp параметр в URL для обработки пагинации. Он сообщает нам номер текущей страницы. Например, &cp=1 означает первую страницу, и &cp=2 указывает на вторую страницу. Этот параметр помогает нам методично собирать данные с разных страниц и создавать полный набор данных для анализа.

Давайте обновим наш текущий скрипт, чтобы обеспечить плавное управление пагинацией.

от база сканирования Импортировать CrawlingAPI
от urllib.parse Импортировать цену
от bs4 Импортировать КрасивыйСуп

защиту scrape_bestbuy_listing(API, URL-адрес):
    результаты_поиска = []
    варианты = {
        'user_agent': «Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/122.0»,
        'ajax_wait': 'правда',
        'page_wait': 5000
    }

    # Перебирать страницы
    # Предположим, вы хотите извлечь первые 5 страниц.
    для номер страницы in ассортимент(1, 6):
        # Добавление номера текущей страницы к URL
        URL_страницы = f'{URL}&cp={номер_страницы}'

        ответ = api.get(page_url, параметры)

        if ответ["заголовки"]['статус_ПК'] == '200':
            html_content = ответ['тело'].decode('utf-8')
            суп = КрасивыйСуп(html_content, 'html.парсер')

            # если номер страницы недействителен и больше нет результатов
            if суп.выберите_один('div.shop-ноль-результатов-поиска > div.нет-результатов')
              перерыв

            продукты = суп.выбрать('ol.sku-item-list li.sku-item')

            для ПРОДУКТЫ in продукты:
                title_element = product.select_one('div.column-middle h4.sku-title > a')
                элемент_рейтинга = продукт.выберите_один('div.column-middle div.variation-info > div.ratings-reviews div.c-ratings-reviews > p')
                review_count_element = product.select_one('.column-middle div.variation-info > div.ratings-reviews div.c-ratings-reviews > span.c-reviews')
                price_element = product.select_one('div.column-right > div.sku-list-item-price div[data-testid="customer-price"] > span')
                product_url_element = product.select_one('.column-middle h4.sku-title > a')

                данные_продукта = {
                    'Заголовок': title_element.text.strip() if title_element еще Ничто,
                    'Рейтинг': рейтинг_элемент.текст.полоска() if рейтинг_элемент еще Ничто,
                    «Количество отзывов»: review_count_element.text.strip() if review_count_element еще Ничто,
                    'Цена': price_element.text.strip() if price_element еще Ничто,
                    «URL-адрес продукта»: 'https://www.bestbuy.com' + элемент_url_продукта['href'] if элемент_url_продукта еще Ничто
                }

                результаты_поиска.добавить(данные_продукта)

        еще:
            Распечатать(f'Ошибка: {ответ["заголовки"]["статус_ПК"]}')
            перерыв  # Выход из цикла при ошибке

    возвращают результаты поиска

защиту main():
    API_ТОКЕН = 'ВАШ_ТОКЕН_JS_CRAWL'
    crawling_api = CrawlingAPI({токен: API_ТОКЕН})

    поисковый_термин = "я звоню по телефону"
    URL = f'https://www.bestbuy.com/site/searchpage.jsp?st=${цитата(поисковый_термин)}'
    результаты = scrape_bestbuy_listing(crawling_api, url)

    # дальнейшая обработка полученных результатов

if __имя__ == "__основной__":
    Основной ()

Tип: Crawlbase предлагает множество готовых к использованию скребков, совместимых с нашими Crawling API. Более подробную информацию можно найти в нашем документации. Кроме того, мы создаем индивидуальные решения, соответствующие вашим конкретным требованиям. Наша опытная команда может разработать решение исключительно для вас. Это означает, что вам не придется постоянно следить за деталями веб-сайта и селекторами CSS. Позвольте Crawlbase позаботиться об этом за вас, позволяя вам сосредоточиться на достижении ваших целей. Свяжитесь с нами здесь.

Заключение

При скрапинге данных о продуктах Best Buy простота и эффективность очень важны. В то время как подход DIY подразумевает кривую обучения, Crawlbase Crawling API возникает как проницательный выбор. Попрощайтесь с опасениями по поводу надежности и масштабируемости; примите Crawlbase Crawling API для простого, надежного и масштабируемого решения для легкого парсинга Best Buy.

Если вы хотите изучить процесс сбора данных с различных платформ электронной коммерции, ознакомьтесь с этими подробными руководствами:

📜 Как скрейпить Amazon

📜 Как очистить цель

📜 Как взломать Walmart

📜 Как скрейпить AliExpress

📜 Как скрейпить Flipkart

Веб-скрапинг может представлять трудности, и ваш успех имеет первостепенное значение. Если вам требуются дополнительные указания или вы сталкиваетесь с препятствиями, не стесняйтесь обращаться к нам. Наш преданная команда здесь, чтобы поддержать вас в вашем путешествии в мир веб-скрейпинга. Счастливого скрапинга!

FAQ

В. Законен ли веб-скрапинг для Best Buy?

Веб-скрапинг для Best Buy, как правило, является законным, если он выполняется ответственно и в соответствии с условиями обслуживания веб-сайта. Убедитесь, что вы ознакомились с политикой Best Buy и придерживаетесь ее, чтобы поддерживать этичную практику скрапинга. Правовые последствия могут возникнуть, если скрапинг приводит к несанкционированному доступу, чрезмерным запросам или нарушает какие-либо применимые законы. Крайне важно подходить к веб-скрапингу с уважением к рекомендациям веб-сайта и применимым правовым нормам.

В. Как управлять динамическим контентом при парсинге Best Buy с помощью Crawlbase Crawling API?

Управление динамическим контентом является критически важным аспектом парсинга Best Buy с помощью Crawlbase Crawling API. API разработан для обработки динамических элементов, загруженных через JavaScript, что обеспечивает комплексное извлечение данных. Используйте такие параметры, как page_wait и ajax_wait, для навигации и захвата динамически сгенерированного контента, гарантируя, что ваши усилия по скрапингу охватывают все аспекты веб-страниц Best Buy. Эта функция повышает эффективность вашего скрипта скрапинга, позволяя вам получить полный набор данных, включая контент, который может загружаться после начальной загрузки страницы.

В. Зачем кому-то извлекать данные о товарах из результатов поиска Best Buy?

Сбор данных о продуктах из Best Buy SERP (страница результатов поиска) служит различным целям. Компании и исследователи могут собирать эти данные для отслеживания колебаний цен, анализа рыночных тенденций или сбора конкурентной информации. Это дает ценную информацию о доступности продуктов, отзывах клиентов и общей динамике рынка, помогая процессам принятия решений. Crawlbase Crawling API упрощает этот процесс, гарантируя надежное и эффективное извлечение данных для различных целей.

В. Какие меры принимает CrawlbaseАвтора Crawling API Что делать, чтобы избежать блокировки IP?

CrawlbaseАвтора Crawling API включает в себя несколько стратегических мер для минимизации риска блокировки IP-адресов и обеспечения бесперебойного процесса парсинга:

• Интеллектуальная ротация IP-адресов: API динамически ротирует IP-адреса, предотвращая чрезмерное использование одного IP-адреса и снижая вероятность блокировки.
• Обработка мер по борьбе с ботами: Crawlbase оснащен средствами противодействия ботам, что повышает анонимность и снижает вероятность обнаружения.
• Интеллектуальное ограничение скорости: API разумно управляет частотой запросов, предотвращая сбои из-за ограничения частоты и обеспечивая постоянный поток извлечения данных. Эти функции в совокупности способствуют более плавному и бесперебойному процессу парсинга, одновременно снижая риск обнаружения веб-сайта и блокировки IP.