Google Shopping выделяется как одна из самых богатых данными платформ электронной коммерции. Ее обширная коллекция продуктов, цен и розничных продавцов делает ее золотой жилой для компаний и энтузиастов данных.

Google Shopping играет важную роль для онлайн-покупателей и продавцов. К 2024 году он будет предлагать миллионы товаров от многочисленных розничных продавцов по всему миру, предоставляя покупателям широкий выбор и выгодные предложения. Когда вы извлекаете данные из Google Shopping, вы получаете информацию о стоимости продуктов, уровнях запасов и предложениях конкурентов, что помогает вам делать выбор на основе фактов.

В этом посте мы покажем вам, как извлекать данные из Google Shopping с помощью Python. Мы будем использовать Crawlbase Crawling API чтобы обойти ограничения и собрать информацию.

Вот подробное руководство по извлечению результатов из Google Покупок:

Содержание

  1. Зачем копировать данные из Google Покупок?
  • Преимущества парсинга Google Shopping
  • Ключевые данные Google Покупок
  1. Обход ограничения с помощью Crawlbase Crawling API
  2. Предпосылки
  • Настройка среды Python
  • Установка необходимых библиотек
  1. Структура SERP Google Покупок
  • Ключевые элементы SERP Google Покупок
  1. Парсинг результатов поиска Google Shopping
  • Проверка структуры HTML
  • Написание парсера поисковой выдачи Google Shopping
  • Обработка нумерации страниц
  • Сохранение данных в файл JSON
  • Полный код
  1. Структура страницы продукта в Google Покупках
  • Ключевые элементы страницы продукта Google Shopping
  1. Парсинг страницы продукта в Google Покупках
  • Проверка структуры HTML
  • Написание скрейпера страницы продукта Google Shopping
  • Сохранение данных в файл JSON
  • Полный код
  1. Заключение
  2. FAQ

Зачем копировать данные из Google Покупок?

Скрапинг Google Shopping позволяет вам получать полезные сведения. Эти сведения помогают сформировать ваш бизнес-план, улучшить ваши продукты и установить правильные цены. В этой части мы рассмотрим преимущества получения данных из Google Shopping и ключевые фрагменты информации, которые вы можете извлечь.

Преимущества парсинга Google Shopping

Преимущества копирования Google Shipping

Анализ конкурентных цен

Ценообразование является одним из ключевых факторов для принятия решения клиентами. Скрапинг Google Shopping позволяет вам видеть цены конкурентов в режиме реального времени и соответствующим образом корректировать свои цены. Это гарантирует, что ваши цены будут конкурентоспособными и привлекут больше клиентов и продаж.

Мониторинг доступности продукции

Наличие товара — ключ к управлению запасами и удовлетворению спроса клиентов. Скрапинг Google Shopping позволяет вам увидеть, какие товары есть в наличии, отсутствуют или продаются по сниженной цене. Это поможет вам оптимизировать ваш инвентарь, чтобы у вас были нужные товары в нужное время.

Анализ тенденций и рыночная информация

Быть в курсе тенденций жизненно важно для любого бизнеса электронной коммерции. Скрапинг Google Shopping позволяет вам увидеть новые тенденции, популярные продукты и меняющееся поведение клиентов. Это поможет вам в разработке продуктов, маркетинговых стратегиях и бизнес-решениях.

Улучшение списков продуктов

Подробные и красивые листинги продуктов являются ключом к превращению посетителей в покупателей. Просматривая успешные листинги в Google Shopping, вы можете получить идеи для описаний, изображений и ключевых слов ваших продуктов. Это поможет вашим рейтингам и видимости.

Какую информацию можно извлечь из Google Покупок?

При парсинге Google Shopping вы можете извлечь следующие точки данных:

  • Названия и описания продуктов: Посмотрите, как конкуренты представляют свои продукты, и усовершенствуйте свои товарные предложения, чтобы привлечь больше клиентов.
  • Цены и скидки: Извлекайте полезную информацию о ценах, включая скидки и специальные предложения, чтобы отслеживать ценовые стратегии конкурентов. Вы можете использовать эти данные для корректировки своих цен, чтобы оставаться конкурентоспособными и продавать больше.
  • Рейтинги и обзоры продуктов: Оценки и отзывы клиентов дают представление об удовлетворенности клиентов и качестве продукции. Вы можете проанализировать их отзывы, чтобы увидеть сильные и слабые стороны ваших продуктов.
  • Информация о ритейлере: извлеките информацию о розничных продавцах, продающих схожие товары, чтобы узнать, кто является ключевыми игроками на вашем рынке и потенциальными партнерами.
  • Категории продуктов и теги: Посмотрите, как классифицируются и маркируются продукты, чтобы улучшить организацию ваших продуктов и поисковую оптимизацию (SEO), чтобы клиенты могли легко найти ваши продукты.
  • Изображения и визуальный контент: Изображения имеют решающее значение для привлечения интереса клиентов. Изучая визуальный контент из самых эффективных листингов, вы можете улучшить качество изображений ваших продуктов, чтобы улучшить взаимодействие.

Сбор и анализ этих точек данных позволяет вам принимать обоснованные решения, которые продвигают ваш бизнес вперед. В следующем разделе мы обсудим, как преодолеть трудности в веб-скрапинге с помощью Crawlbase Crawling API.

Обойти ограничения с помощью Crawlbase Crawling API

Веб-скрапинг — мощный инструмент для сбора данных, но он сопряжен с такими проблемами, как блокировка IP-адресов, ограничения скорости, динамический контент и региональные различия. Crawlbase Crawling API помогает преодолеть эти проблемы, делая процесс очистки более плавным и эффективным.

Обойти ограничения с помощью Crawlbase Crawling API

Блокировка IP и ограничение скорости

Веб-сайты могут блокировать IP-адреса, которые быстро отправляют слишком много запросов. Эта проблема известна как ограничение скорости. Crawlbase Crawling API помогает за счет ротации IP-адресов и управления скоростью запросов, позволяя вам извлекать данные без перерывов.

Динамический контент и JavaScript

Многие веб-сайты используют JavaScript для загрузки контента после того, как страница изначально загружена. Традиционные методы скрапинга могут упустить эти динамические данные. Crawlbase Crawling API может обрабатывать JavaScript, гарантируя, что вы получите весь контент на странице, даже элементы, которые появятся позже.

CAPTCHA и меры по борьбе с ботами

Для предотвращения автоматического парсинга веб-сайты часто используют капчи и другие меры по борьбе с ботами. Crawlbase Crawling API можно преодолеть эти барьеры, что позволит вам продолжать собирать данные, не сталкиваясь с этими препятствиями.

Геолокация и данные по конкретной стране

Иногда веб-сайты отображают разный контент в зависимости от местоположения пользователя. Crawlbase Crawling API позволяет вам выбирать страну для ваших запросов, чтобы вы могли получать данные, относящиеся к определенному региону, что полезно для локализованной информации о продуктах и ​​ценах.

Crawlbase Crawling API эффективно справляется с этими общими проблемами веб-скрейпинга и собирает ценные данные из Google Shopping без проблем. В следующем разделе мы обсудим, что вам нужно для настройки среды Python для скрапинга.

Предпосылки

Прежде чем начать парсинг данных Google Shopping, вам нужно настроить среду Python и установить необходимые библиотеки. В этом разделе вы пройдете основные шаги, чтобы подготовить все для вашего проекта по парсингу веб-страниц.

Настройка среды Python

Установить Python

Убедитесь, что Python установлен на вашем компьютере. Python — популярный язык программирования, используемый для веб-скрапинга и анализа данных. Если у вас не установлен Python, загрузите его с официальный сайт Python. Следуйте инструкциям по установке для вашей операционной системы.

Создать виртуальную среду

Создание виртуальной среды — это хорошая практика для организации зависимостей вашего проекта и избежания конфликтов с другими проектами. Чтобы создать виртуальную среду, откройте командную строку или терминал и выполните:

1
python -m венв myenv

Замените myenv на имя вашей среды. Чтобы активировать виртуальную среду, используйте следующую команду:

  • В Windows:

    1
    myenv\Скрипты\активировать

  • В macOS и Linux:

    1
    источник myenv/bin/активировать

Установка необходимых библиотек

После настройки виртуальной среды вам необходимо установить следующие библиотеки для веб-скрапинга и обработки данных:

КрасиваяСуп4

The BeautifulSoup4 Библиотека помогает с разбором HTML и извлечением данных. Она хорошо работает с Crawlbase Библиотека для эффективного извлечения данных. Установите ее, запустив:

1
Пип установить BeautifulSoup4

Crawlbase

The Crawlbase библиотека позволяет вам взаимодействовать с Crawlbase продукты. Он помогает решать такие проблемы, как блокировка IP и динамический контент. Установите его, запустив:

1
pip установить crawlbase

Внимание: Чтобы получить доступ Crawlbase Crawling API, вам нужен токен. Вы можете получить его, создав учетную запись на Crawlbase. Crawlbase предоставляет два типа токенов: обычный токен для статических веб-сайтов и токен JavaScript (JS) для обработки динамических или браузерных запросов. В случае Google Shopping вам нужен обычный токен. Первые 1,000 запросов бесплатны для начала работы, кредитная карта не требуется.

Установив эти библиотеки, вы готовы начать собирать данные Google Shopping. В следующем разделе мы рассмотрим структуру страницы результатов поиска Google Shopping и то, как определить данные, которые необходимо извлечь.

Структура SERP Google Покупок

Знание структуры страницы результатов поиска Google Shopping (SERP) является ключом к веб-скрапингу. Это поможет вам найти и извлечь нужные вам данные.

Ключевые элементы SERP Google Покупок

Google Покупки SERP

1. Списки продуктов

Каждый товарный листинг содержит:

  • Название продукта: Название продукта.
  • Изображение продукта: Изображение продукта.
  • Цена: Цена продукта.
  • Имя продавца: Магазин или розничный торговец, продающий товар.
  • Рейтинги и обзоры: Отзывы клиентов, если таковые имеются.

2. Пагинация

Результаты Google Shopping часто разбросаны по нескольким страницам. Ссылки на страницы позволяют вам получить доступ к большему количеству списков продуктов, поэтому вам нужно собрать данные со всех страниц для получения полных результатов.

3. Фильтры и параметры сортировки

Пользователи могут уточнить результаты поиска, применяя фильтры, такие как ценовой диапазон, бренд или категория. Они изменят отображаемый контент и важны для целевого сбора данных.

4. Рекламные листинги

Некоторые продукты помечены как спонсируемые или рекламные и отображаются на видном месте на странице. Если вам нужны только неспонсируемые продукты, вам нужно уметь различать спонсируемые и органические листинги.

Далее мы покажем вам, как написать парсер для SERP Google Shopping и сохранить данные в формате JSON.

Парсинг результатов поиска Google Shopping

В этом разделе мы рассмотрим, как скрапинговать страницу результатов поиска Google Shopping (SERP) для данных о продуктах. Мы рассмотрим проверку HTML, написание скрапера, пагинацию и сохранение данных в файл JSON.

Проверка структуры HTML

Прежде чем писать свой парсер, воспользуйтесь инструментами разработчика вашего браузера, чтобы проверить SERP Google Shopping.

Проверка результатов поиска Google Shopping
  • Щелкните правой кнопкой мыши по списку продуктов и выберите «Проверить», чтобы открыть инструменты разработчика.
  • Наведите указатель мыши на элементы на вкладке «Элементы», чтобы увидеть, какой части страницы они соответствуют.
  • Определите селекторы CSS для таких элементов, как название продукта, цена и название продавца.

Написание парсера поисковой выдачи Google Shopping

Чтобы начать скрейпинг, мы будем использовать Crawlbase Crawling API для извлечения HTML-контента. Ниже приведен пример настройки скрапера для поискового запроса «louis vuitton bags»:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
от база сканирования Импортировать CrawlingAPI
от bs4 Импортировать КрасивыйСуп
Импортировать JSON

# Инициализируйте CrawlingAPI с вашим токеном доступа
crawling_api = CrawlingAPI({токен: 'CRAWLBASE_TOKEN'})

# Установить параметры для запроса
варианты = {
    'страна': 'НАС',  # При необходимости измените код страны.
    'user_agent': «Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, например Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0»,
    'page_wait': 5000
}

# Функция для сбора данных из результатов поиска Google Shopping
защиту scrape_google_shopping(URL):
    ответ = crawling_api.get(url, параметры)
    if ответ["заголовки"]['статус_ПК'] == '200':
        html_content = ответ['тело'].decode('utf-8')
        суп = КрасивыйСуп(html_content, 'html.парсер')

        продукты = []
        для пункт in суп.выбрать('.sh-dgr__grid-результат'):
            заголовок = элемент.выберите_один('h3.tAxDx').текст.полоска() if элемент.выберите_один('h3.tAxDx') еще Ничто
            цена = item.select_one('span.a8Pemb.OFFNJ').текст.полоска() if элемент.выберите_один('span.a8Pemb.OFFNJ') еще Ничто
            изображение = элемент.выберите_один('div.FM6uVc > div.ArOc1c > img')['источник'] if элемент.выберите_один('div.FM6uVc > div.ArOc1c > img') еще Ничто
            розничный торговец = item.select_one('.aULzUe.IuHnof').текст.полоска() if элемент.выберите_один('.aULzUe.IuHnof') еще Ничто
            URL-адрес_продукта = «https://www.google.com» + элемент.выберите_один('a.Lq5OHe')['href'] if элемент.выберите_один('a.Lq5OHe') еще Ничто

            продукты.добавить({
                'заглавие': заголовок,
                'цена': цена,
                'образ': изображение,
                «розничный торговец»: розничный торговец,
                'url_продукта': URL-адрес_продукта
            })
        возвращают продукты
    еще:
        Распечатать(f"Не удалось загрузить страницу. Код статуса: {ответ["заголовки"]['статус_ПК']}")
        возвращают []

# Пример URL для скрапинга
URL = 'https://www.google.com/search?q=louis+vuitton+bags&tbm=shop&start=0&num=20'

Обработка нумерации страниц

Чтобы скопировать несколько страниц, вам необходимо изменить start параметр в URL. Этот параметр управляет начальным индексом для результатов. Например, чтобы очистить вторую страницу, установите start=20, третья страница start=40, И так далее.

1
2
3
4
5
6
7
8
9
10
11
защиту scrape_multiple_pages(базовый_url, страницы=3):
    все_продукты = []
    для страница in ассортимент(страницы):
        начальный_индекс = страница * 20
        paginated_url = f"{базовый_url}&старт={start_index}"
        продукты = scrape_google_shopping(paginated_url)
        все_продукты.расширить(продукты)
    возвращают все_продукты

# Очистить несколько страниц
все_продукты = scrape_multiple_pages(url, pages=3)

Сохранение данных в файл JSON

После извлечения данных вы можете сохранить их в файл JSON для дальнейшего анализа или обработки:

1
2
3
4
5
6
7
защиту сохранить_в_json(данные, имя файла=«продукты.json»):
      открытый(имя файла, 'w', кодировка='utf-8') as f:
        json.dump(данные, f, ensure_ascii=Ложь, отступ=4)

# Сохранение продуктов в JSON
if все_продукты:
  сохранить_в_json(все_продукты)

Полный код

Вот полный код для сбора данных из SERP Google Shopping, обработки пагинации и сохранения данных в файл JSON:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
от база сканирования Импортировать CrawlingAPI
от bs4 Импортировать КрасивыйСуп
Импортировать JSON

# Инициализируйте CrawlingAPI с вашим токеном доступа
crawling_api = CrawlingAPI({токен: 'CRAWLBASE_TOKEN'})

варианты = {
    'страна': 'НАС',  # При необходимости измените код страны.
    'user_agent': «Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, например Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0»,
    'page_wait': 5000
}

защиту scrape_google_shopping(URL):
    ответ = crawling_api.get(url, параметры)
    if ответ["заголовки"]['статус_ПК'] == '200':
        html_content = ответ['тело'].decode('utf-8')
        суп = КрасивыйСуп(html_content, 'html.парсер')

        продукты = []
        для пункт in суп.выбрать('.sh-dgr__grid-результат'):
            заголовок = элемент.выберите_один('h3.tAxDx').текст.полоска() if элемент.выберите_один('h3.tAxDx') еще Ничто
            цена = item.select_one('span.a8Pemb.OFFNJ').текст.полоска() if элемент.выберите_один('span.a8Pemb.OFFNJ') еще Ничто
            изображение = элемент.выберите_один('div.FM6uVc > div.ArOc1c > img')['источник'] if элемент.выберите_один('div.FM6uVc > div.ArOc1c > img') еще Ничто
            розничный торговец = item.select_one('.aULzUe.IuHnof').текст.полоска() if элемент.выберите_один('.aULzUe.IuHnof') еще Ничто
            URL-адрес_продукта = «https://www.google.com» + элемент.выберите_один('a.Lq5OHe')['href'] if элемент.выберите_один('a.Lq5OHe') еще Ничто

            продукты.добавить({
                'заглавие': заголовок,
                'цена': цена,
                'образ': изображение,
                «розничный торговец»: розничный торговец,
                'url_продукта': URL-адрес_продукта
            })
        возвращают продукты
    еще:
        Распечатать(f"Не удалось загрузить страницу. Код статуса: {ответ["заголовки"]['статус_ПК']}")
        возвращают []

защиту scrape_multiple_pages(базовый_url, страницы=3):
    все_продукты = []
    для страница in ассортимент(страницы):
        начальный_индекс = страница * 20
        paginated_url = f"{базовый_url}&старт={start_index}"
        продукты = scrape_google_shopping(paginated_url)
        все_продукты.расширить(продукты)
    возвращают все_продукты

защиту сохранить_в_json(данные, имя файла=«продукты.json»):
      открытый(имя файла, 'w', кодировка='utf-8') as f:
        json.dump(данные, f, ensure_ascii=Ложь, отступ=4)

URL = 'https://www.google.com/search?q=louis+vuitton+bags&tbm=shop&num=20'
все_продукты = scrape_multiple_pages(url, pages=3)

if все_продукты:
  сохранить_в_json(все_продукты)

Пример вывода:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
[
    {
        "заглавие": "Louis Vuitton Mini Pochette Accessoires Monogram",
        "цена": "760.00 $",
        "изображение": "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcSobTmaRiPTU7ZgclxBAEGJXEqNJmaDrRPTf0yEAm4vAq4z5X5cnK_NeAWP28Hpr7OEfA7_HwkXDUV_JgjgJtJLcqctrK1xBnnp8C9HhTyAK1ByCfQOD9XTuSgq&usqp=CAE",
        "розничный торговец": "louisvuitton.com",
        "url_продукта": "https://www.google.com/shopping/product/11460745201866483383?q=louis+vuitton+bags&num=20&udm=28&prds=eto:624870836277486981_0,pid:15363890291064430132&sa=X&ved=0ahUKEwjOzJ7ex9uHAxUvL0QIHcJdOsEQ8wIIlgc"
    },
    {
        "заглавие": «Louis Vuitton Изящная монограмма с пионом мм»,
        "цена": "1,890.00 $",
        "изображение": "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcRB4Js18nK-0mJ1b1e_wxQJL_odHuiA9gxpiBTOPumm0kjw1CKqKtKcIkPWRy3XrPwuRVhFlCEfcXHl4wdXMOz-ibqUICzx0mGgNR-3eKSVg0WXepQxqxWt1dvX&usqp=CAE",
        "розничный торговец": "louisvuitton.com",
        "url_продукта": "https://www.google.com/shopping/product/14578373001752515304?q=louis+vuitton+bags&num=20&udm=28&prds=eto:9994313334712804353_0,pid:1835053385849536242,rsk:PC_14933825504187696392&sa=X&ved=0ahUKEwjOzJ7ex9uHAxUvL0QIHcJdOsEQ8wIIowc"
    },
    {
        "заглавие": "Louis Vuitton Onthego Empreinte PM Black",
        "цена": "3,568.00 $",
        "изображение": "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcTTFAXAgTlbBErj8kGSJaZlvTWabOLIhvd-YJDCNrJ8Ls05VdXaz2sClNaCQVaDJk0lzcO-RTspO0t1gFJqDayo6Y45dhKpxkTvXDlqqFjIkUJe_cweXqLgeBs&usqp=CAE",
        "розничный торговец": "СтокX",
        "url_продукта": "https://www.google.com/shopping/product/7199001631589324220?q=louis+vuitton+bags&num=20&udm=28&prds=eto:16054018195505784914_0,pid:14263685043257081273&sa=X&ved=0ahUKEwjOzJ7ex9uHAxUvL0QIHcJdOsEQ8wIIsAc"
    },
    {
        "заглавие": «Louis Vuitton Graceful PM бежевый монограмма»,
        "цена": "1,760.00 $",
        "изображение": "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcQCsPQIhiu7bBqMzKkmiFK1-VUHjK-RgE9gFSK57X9msI9NGef3Z5mIRn6Sc3I22QxgqZOWVDGd6RyrXzVMOuTG8WcVoUi2zGpRz0sOoOHPRfwK0QDlU3RbIA&usqp=CAE",
        "розничный торговец": "louisvuitton.com",
        "url_продукта": "https://www.google.com/shopping/product/14078996663385130630?q=louis+vuitton+bags&num=20&udm=28&prds=eto:4593674092438761338_0,pid:18331182635014054384&sa=X&ved=0ahUKEwjOzJ7ex9uHAxUvL0QIHcJdOsEQ8wIIvgc"
    },
    {
        "заглавие": "Louis Vuitton Neverfull Monogram mm Cerise Подкладка",
        "цена": "2,041.00 $",
        "изображение": "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcR6-Imgjm6jD4hCOYHj6PrLzTAvenPZjAQl57txXE-RAetMXqDxZ8_sqb5OunjnjosKhHZiOZ61FJPh029Cs9v6pwo-_u03F6bt1sLOPKcSX6mLRW9UdNkg&usqp=CAE",
        "розничный торговец": "ModeSens",
        "url_продукта": "https://www.google.com/shopping/product/3486536794175265554?q=louis+vuitton+bags&num=20&udm=28&prds=eto:3199910965274339290_0,pid:10652230344608010943,rsk:PC_17291330636138764321&sa=X&ved=0ahUKEwjOzJ7ex9uHAxUvL0QIHcJdOsEQ8wIIygc"
    },
    .... более
]

В следующих разделах мы рассмотрим, как извлекать данные из отдельных страниц продуктов Google Покупок для получения более подробной информации.

Структура страницы продукта в Google Покупках

После того, как вы нашли продукты в Google Shopping SERP, вы можете перейти к отдельным страницам продуктов, чтобы получить больше информации. Понимание структуры этих страниц является ключом к получению максимальной ценности.

Ключевые элементы страницы продукта в Google Покупках

Страница продукта в Google Покупках
  1. Название и описание продукта

Название и описание продукта содержат информацию об основных характеристиках и преимуществах продукта.

  1. Цена и доступность

Подробная информация о ценах, включая любые скидки и статус наличия, показывает, есть ли товар на складе или нет.

  1. Изображения и видео

Изображения и видео показывают продукт с разных ракурсов, чтобы вы могли увидеть, как он выглядит.

  1. Отзывы и рейтинги клиентов

Отзывы и рейтинги дают вам представление об удовлетворенности клиентов и эксплуатационных характеристиках продукта, что позволяет вам оценить его качество.

  1. Технические характеристики и особенности

Такие характеристики, как размер, цвет и материал, помогут вам принять обоснованное решение.

  1. Информация о ритейлере

Информация о продавце, включая название магазина и контактную информацию, чтобы вы могли видеть, кто продает товар, а также правила доставки и возврата.

В следующем разделе мы напишем парсер для страниц продуктов Google Покупок и сохраним собранные данные в файл JSON.

Парсинг страницы продукта в Google Покупках

В этом разделе мы проведем вас через скрапинг отдельных страниц продуктов Google Shopping. Это включает в себя проверку HTML, написание скрапера и сохранение извлеченных данных в файл JSON.

Проверка структуры HTML

Прежде чем писать свой скрапер, воспользуйтесь инструментами разработчика браузера, чтобы проверить HTML-структуру страницы продукта в Google Покупках.

Проверка страницы продукта Google Shopping
  • Щелкните правой кнопкой мыши по списку продуктов и выберите «Проверить», чтобы открыть инструменты разработчика.
  • Наведите указатель мыши на элементы на вкладке «Элементы», чтобы увидеть, какой части страницы они соответствуют.
  • Определите теги и классы, содержащие данные, которые вы хотите извлечь, например названия продуктов, цены и отзывы.

Написание скрейпера страницы продукта Google Shopping

Чтобы скопировать страницу продукта в Google Покупках, мы будем использовать Crawlbase Crawling API для извлечения HTML-контента. Вот как можно настроить скрапер:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
от база сканирования Импортировать CrawlingAPI
от bs4 Импортировать КрасивыйСуп
Импортировать JSON

# Инициализируйте CrawlingAPI с вашим токеном доступа
crawling_api = CrawlingAPI({токен: 'CRAWLBASE_TOKEN'})

# Установить параметры для запроса
варианты = {
    'страна': 'НАС',  # При необходимости измените код страны.
    'user_agent': «Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, например Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0»,
    'page_wait': 5000
}

# Функция для извлечения страницы продукта из Google Shopping
защиту очистить_страницу_продукта(URL):
    # Получить страницу, используя Crawlbase API
    ответ = crawling_api.get(url, параметры)
    if ответ["заголовки"]['статус_ПК'] == '200':
        html_content = ответ['тело'].decode('utf-8')
        суп = КрасивыйСуп(html_content, 'html.парсер')

        # Извлечь сведения о продукте
        заголовок = суп.выберите_один('.sh-np__product-title').get_text(полоска=Правда) if суп.выберите_один('.sh-np__product-title') еще Ничто
        цена = суп.выберите_один('.T14wmb').get_text(полоска=Правда) if суп.выберите_один('.T14wmb') еще Ничто
        описание = суп.выберите_один('.sh-np__description').get_text(полоска=Правда) if суп.выберите_один('.sh-np__description') еще Ничто
        изображения = [img['источник'] для IMG in суп.выбрать('.sh-div__image img')]

        детали_продукта = {
            'заглавие': заголовок,
            'цена': цена,
            'описание': описание,
            «изображения»: изображения
        }
        возвращают подробности_о_продукте
    еще:
        Распечатать(f"Не удалось загрузить страницу. Код статуса: {ответ["заголовки"]['статус_ПК']}")
        возвращают Ничто

# Пример URL для страницы продукта
URL-адрес_продукта = 'https://www.google.com/shopping/product/10571198764600207275'
product_details = scrape_product_page(product_url)

Сохранение данных в файл JSON

После извлечения данных о продукте вы можете сохранить их в файл JSON для анализа или дальнейшей обработки:

1
2
3
4
5
6
7
защиту сохранить_в_json(данные, имя файла='product_details.json'):
      открытый(имя файла, 'w', кодировка='utf-8') as f:
        json.dump(данные, f, ensure_ascii=Ложь, отступ=4)

# Сохранение сведений о продукте в формате JSON
if подробности_о_продукте:
    сохранить_в_json(подробности_о_продукте)

Полный код

Ниже представлен полный код для извлечения данных со страницы товара в Google Покупках и сохранения их в файл JSON:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
от база сканирования Импортировать CrawlingAPI
от bs4 Импортировать КрасивыйСуп
Импортировать JSON

# Инициализируйте CrawlingAPI с вашим токеном доступа
crawling_api = CrawlingAPI({токен: 'CRAWLBASE_TOKEN'})

варианты = {
    'страна': 'ФР',
    "user_agent": «Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, например Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0»
}

защиту очистить_страницу_продукта(URL):
    ответ = crawling_api.get(url, параметры)
    if ответ["заголовки"]['статус_ПК'] == '200':
        html_content = ответ['тело'].decode('utf-8')
        суп = КрасивыйСуп(html_content, 'html.парсер')

        заголовок = суп.выберите_один('span.sh-t__title-pdp.sh-t__title').текст.полоска() if суп.выберите_один('span.sh-t__title-pdp.sh-t__title') еще Ничто
        цена = суп.выберите_один('span.g9WBQb').текст.полоска() if суп.выберите_один('span.g9WBQb') еще Ничто
        описание = суп.выберите_один('p.sh-ds__desc').текст.полоска() if суп.выберите_один('p.sh-ds__desc') еще Ничто
        изображения = [img['источник'] для IMG in суп.выбрать('div.main-image > img')]8.

        детали_продукта = {
            'заглавие': заголовок,
            'цена': цена,
            'описание': описание,
            «изображения»: изображения
        }
        возвращают подробности_о_продукте
    еще:
        Распечатать(f"Не удалось загрузить страницу. Код статуса: {ответ["заголовки"]['статус_ПК']}")
        возвращают Ничто

защиту сохранить_в_json(данные, имя файла='product_details.json'):
      открытый(имя файла, 'w', кодировка='utf-8') as f:
        json.dump(данные, f, ensure_ascii=Ложь, отступ=4)

URL-адрес_продукта = 'https://www.google.com/shopping/product/10571198764600207275'
product_details = scrape_product_page(product_url)

if подробности_о_продукте:
    сохранить_в_json(подробности_о_продукте)

Пример вывода:

1
2
3
4
5
6
7
8
9
{
  "заглавие": "Louis Vuitton Speedy Bandouliere 25 Black",
  "цена": "4,059.00 $",
  "описание": «Обратите внимание: этот товар поставляется с мешком для пыли, коробка не требуется».,
  "изображения": [
    "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcQAipo2LXesayTJ_iC-3a6Z8JfDW4gvn11c26qcNRRBBTzdIpCmjW98JMysQ6W3iEsubeMIqem0ta5wT6-Q4LgXxSG9OG86BgaHrO4FoiD9WUlFv3ks3JjKzw&usqp=CAY",
    "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcTWWrHYy89sfQwWynpx8_4qBe4hMMyEBOVsy8F_szfqkXJaB5DLzqNwJ2NaPfyalXnGQfc2DgOR3nOYoAIH-K_fKlKJNhGC&usqp=CAY"
  ]
}

В следующем разделе мы завершим обсуждение заключительными мыслями о парсинге Google Покупок.

Соскребайте Google Покупки с помощью Crawlbase

Сбор данных из Google Shopping поможет вам понять тенденции в области продуктов, цены и то, что думают клиенты. Использование Crawlbase Crawling API может помочь вам избежать таких проблем, как блокировка IP и часто меняющийся контент, что упрощает сбор данных. Используя Crawlbase для получения данных, BeautifulSoup для чтения HTML и JSON для хранения данных, вы можете эффективно собирать подробную и ценную информацию.

Применяя эти методы, не забывайте соблюдать этические принципы и правовые стандарты, чтобы гарантировать, что ваши методы сбора данных являются ответственными и уважительными.

Если вы заинтересованы в изучении сбора данных с других платформ электронной коммерции, ознакомьтесь со следующими подробными руководствами.

📜 Как скрейпить Amazon
📜 Как взломать Walmart
📜 Как скрейпить AliExpress
📜 Как скрейпить Flipkart
📜 Как скрейпить Etsy

Если у вас есть какие-либо вопросы или пожелания, наш команда поддержки всегда готов помочь вам в вашем путешествии по веб-скрейпингу. Спасибо за то, что вы следовали этому руководству. Счастливого скрапинга!

FAQ

Сбор данных Google Shopping может быть законным, но важно соблюдать условия обслуживания веб-сайта, и многие пользователи считают, что при уважении и осторожности это можно делать. Если вы не уверены, обратитесь за профессиональной юридической консультацией. Использование официальных API, если они доступны, также является отличным способом получить данные без юридических проблем. Всегда выполняйте сбор ответственно и в соответствии с рекомендациями.

В. Какие данные я могу извлечь со страниц продуктов Google Shopping?

При парсинге страниц товаров Google Покупок вы можете извлечь следующие данные. Название продукта для идентификации продукта, ценовом диапазоне показать текущую цену и скидку, и описание для показа характеристик продукта. Вы также можете получить изображений для визуального представления, рейтинги и обзоры для отзывов клиентов и спецификации как размер и цвет для технических деталей. Эти данные полезны для анализа рынка, сравнения цен и мнений клиентов.

В. Как мне бороться с веб-сайтами, которые блокируют или ограничивают попытки парсинга?

Веб-сайты блокируют скрапинг с помощью блокировки IP, ограничения скорости и CAPTCHA. Для решения этих проблем используйте Ротация IP услуги, такие как Crawlbase Crawling API чтобы избежать IP-блоков. Повернуть пользовательские агенты для имитации различных браузеров и снижения риска обнаружения. Реализовать запросить регулирование чтобы распределить ваши запросы и избежать ограничений по скорости. Для Обход CAPTCHA, некоторые API, включая Crawlbase может помочь вам преодолеть эти препятствия и обеспечить непрерывное извлечение данных.

В. Что делать, если структура страницы продукта изменится?

Если структура страницы продукта Google Shopping изменится, вам нужно будет обновить код скрапинга, чтобы адаптировать его к новому макету. Вот как это сделать

  • Регулярный мониторинг: Регулярно проверяйте страницу продукта, чтобы отслеживать любые обновления или изменения в структуре HTML.
  • Селекторы обновлений: Обновите код скрапинга, чтобы отразить новые теги, классы или идентификаторы, используемые на странице.
  • Тестовые скребки: Протестируйте обновленный код, чтобы убедиться, что он извлекает необходимые данные с помощью новой структуры.
  • Обработка исключений: Внедрите обработку ошибок в свой код для обработки сценариев, где ожидаемые элементы отсутствуют или изменены. Будьте проактивны и адаптируйтесь к изменениям, чтобы получить точное извлечение данных.

В. Есть ли у Google Shopping API?

Да, Google Shopping предлагает API, которые разработчики могут использовать для интеграции функций Google Shopping в свои приложения. API Google Shopping помогают компаниям оптимизировать операции электронной коммерции, автоматизируя задачи, связанные с управлением листингом продуктов, рекламными кампаниями и мониторингом производительности.