Как парсить данные о товарах Costcoцены, артикулы и наличие

Costco управляет более чем 800 складами-магазинами по всему миру, и тот же каталог размещён на costco.com в виде публичных страниц товаров и результатов поиска. Цены, артикулы, рейтинги и статус наличия находятся прямо на странице, доступные любому без учётной записи. Эти публичные данные служат чистым сигналом для отслеживания цен, конкурентного анализа и мониторинга запасов, поэтому ритейлеры, аналитики и разработчики собирают их по расписанию.

Это руководство показывает, как парсить данные о товарах Costco на Python. Вы создадите небольшой готовый к запуску парсер, который получает страницы поиска и товаров Costco через Crawling API, разбирает аккуратную запись для каждого товара, обрабатывает пагинацию по результатам поиска и экспортирует данные в JSON и CSV. Всё руководство ограничено публичными данными о товарах: названиями, ценами, артикулами, рейтингами и наличием, которые любой видит в листинге без входа в систему.

Что вы создадите

Скрипт на Python, который принимает URL поиска Costco или URL товара, получает отрисованную страницу через Crawling API и извлекает структурированную запись по каждому товару. В качестве сквозного примера мы используем поиск по диванам, ту же категорию, что и в прежнем руководстве, и собираем следующие поля:

• Название имя товара, показанное в листинге или на странице товара.
• Цена указанная цена, когда товар её отображает.
• Артикул уникальный идентификатор товара Costco, полезный для отслеживания запасов между запусками.
• Рейтинг средняя оценка в звёздах, считанная с карточки или страницы товара.
• Наличие сигнал «в наличии» или «нет в наличии» на странице товара.
• URL товара ссылка на собственную страницу с деталями товара.
• URL изображения источник изображения товара.

Почему обычный запрос не работает с Costco

Если направить простой HTTP-клиент на URL поиска или товара Costco, вы редко получите те данные, за которыми пришли. Против вас работают две вещи. Во-первых, страницы Costco отрисовывают значительную часть содержимого на стороне клиента: сайт отдаёт лёгкую оболочку и заполняет сетку товаров и блоки цен по мере выполнения JavaScript страницы, поэтому исходный HTML часто лишён нужных вам полей. Во-вторых, Costco быстро помечает автоматический трафик. Диапазоны IP центров обработки данных и шаблоны запросов, которые не похожи на настоящий браузер, встречают проверку, промежуточную страницу или прямую блокировку ещё до того, как вы доберётесь до листингов.

Поэтому рабочему парсеру Costco нужны две вещи в одном запросе: браузер, который отрисовывает страницу, и IP, который сайт воспринимает как настоящего покупателя. Вы можете собрать это сами с помощью headless-браузера и пула ротируемых резидентных прокси, но поддержание этого стека в рабочем состоянии и составляет основную часть работы. Crawling API объединяет оба в один вызов: вы отправляете ему URL, он отрисовывает страницу за доверенным резидентным IP, выполняет ротацию и решение CAPTCHA и возвращает готовый HTML для разбора.

Предварительные требования

Прежде чем писать код, нужно подготовить несколько вещей. Ни одна из них не займёт много времени.

Базовый Python. Вы должны уверенно писать и запускать скрипт на Python и устанавливать пакеты через pip. Если язык для вас новый, официальная документация Python или любой курс для начинающих покрывает тот уровень, который предполагает это руководство.

Python 3.8 или выше. Проверьте версию командой python --version (или python3 --version). Если её нет, установите с python.org и убедитесь, что Python находится в системной переменной PATH.

Учётная запись и токен Crawlbase. Зарегистрируйте бесплатную учётную запись, откройте панель управления и скопируйте токен. Страницы Costco насыщены JavaScript, поэтому для этих запросов вам нужен токен JavaScript. Бесплатный тариф включает до 20 000 запросов без карты, чего достаточно для создания и тестирования этого парсера. Относитесь к токену как к паролю и держите его вне системы контроля версий.

Настройка проекта

Создайте виртуальное окружение, чтобы зависимости проекта оставались изолированными, затем установите две библиотеки, нужные парсеру. crawlbase это официальный клиент для Crawling API, а beautifulsoup4 разбирает возвращённый HTML, чтобы вы могли извлечь каждое поле со страницы по CSS-селектору.

python --version

python -m venv costco_env
source costco_env/bin/activate

pip install crawlbase beautifulsoup4

В Windows активируйте окружение командой costco_env\Scripts\activate вместо строки source. Установив обе библиотеки, создайте файл скрипта, который выстраивает остальная часть руководства:

touch costco_scraper.py

Разбираемся со страницами Costco

Существует два типа страниц, достойных парсинга, и они несут разную разметку. Страница результатов поиска вроде https://www.costco.com/s?dept=All&keyword=sofas раскладывает сетку карточек товаров. Страница товара вроде https://www.costco.com/coddle-aria-fabric-sleeper-sofa.product.4000223041.html показывает полное представление с деталями одного товара, включая описание, характеристики и наличие.

Перед написанием селекторов откройте каждую страницу в браузере, щёлкните правой кнопкой по товару и выберите «Просмотреть код». На странице поиска Costco оборачивает листинг в div[id="productList"] и группирует товары в div[data-testid="Grid"]. Каждая карточка отдаёт название в div, чей data-testid начинается с Text_ProductTile_, цену в начинающемся с Text_Price_, рейтинг под Rating_ProductTile_, ссылку в якоре a[data-testid="Link"], а изображение в теге img. На странице товара название это h1[automation-id="productName"], цена span[automation-id="productPriceOutput"], а рейтинг div[itemprop="ratingValue"]. Это и есть элементы, на которые вы нацеливаетесь.

Шаг 1: получение отрисованной страницы Costco

Начните с получения готовой страницы. Импортируйте класс CrawlingAPI, инициализируйте его своим токеном, задайте URL поиска и запросите его. Costco загружает свою сетку асинхронно, поэтому передайте параметры ajax_wait и page_wait, чтобы дать странице время завершиться до момента захвата. Проверка кода состояния перед разбором делает сбои громкими, а не тихими.

from crawlbase import CrawlingAPI

api = CrawlingAPI({"token": "YOUR_CRAWLBASE_TOKEN"})

def crawl(page_url):
    options = {"ajax_wait": "true", "page_wait": 5000}
    response = api.get(page_url, options)
    if response["status_code"] == 200:
        return response["body"].decode("utf-8")
    print(f"Request failed: {response['status_code']}")
    return None

if __name__ == "__main__":
    search_url = "https://www.costco.com/s?dept=All&keyword=sofas"
    html = crawl(search_url)
    print(html[:500] if html else "No HTML returned")

Два параметра ожидания имеют значение для сетки, заполняемой по мере загрузки страницы. ajax_wait сообщает API, что нужно дождаться завершения асинхронного содержимого, а page_wait удерживает фиксированное число миллисекунд после загрузки, чтобы поздно отрисовываемые карточки появились до захвата страницы. Запустите скрипт, и вы должны увидеть реальную разметку товаров, а не загрузочную оболочку. Это подтверждает, что отрисовка работает, ещё до того, как вы напишете хоть один селектор.

Шаг 2: разбор листингов поиска с BeautifulSoup

Имея на руках отрисованный HTML, загрузите его в BeautifulSoup, найдите каждую карточку товара и извлеките каждое поле по его селектору. Costco группирует товары в div[id="productList"] > div[data-testid="Grid"], и каждая карточка отдаёт название, цену, рейтинг, ссылку и изображение. Оберните цикл так, чтобы отсутствующее поле возвращало аккуратное значение по умолчанию, а не обрушивало запуск.

from bs4 import BeautifulSoup
import re

def item_number_from_url(url):
    match = re.search(r"\.product\.(\d+)\.html", url or "")
    return match.group(1) if match else "N/A"

def scrape_search_listings(html):
    soup = BeautifulSoup(html, "html.parser")
    products = []
    items = soup.select('div[id="productList"] > div[data-testid="Grid"]')
    for item in items:
        title_el = item.select_one('div[data-testid^="Text_ProductTile_"]')
        price_el = item.select_one('div[data-testid^="Text_Price_"]')
        rating_el = item.select_one('div[data-testid^="Rating_ProductTile_"] > div')
        link_el = item.select_one('a[data-testid="Link"]')
        image_el = item.find("img")

        product_url = link_el["href"] if link_el else "N/A"
        products.append({
            "title": title_el.get_text(strip=True) if title_el else "N/A",
            "price": price_el.get_text(strip=True) if price_el else "N/A",
            "item_number": item_number_from_url(product_url),
            "rating": rating_el["aria-label"] if rating_el and rating_el.has_attr("aria-label") else "N/A",
            "product_url": product_url,
            "image_url": image_el["src"] if image_el and image_el.has_attr("src") else "N/A",
        })
    return products

Каждая карточка отображается в аккуратный словарь. Название берётся из div[data-testid^="Text_ProductTile_"], а цена из div[data-testid^="Text_Price_"], оба с использованием совпадения по началу ^=, потому что Costco добавляет к этим test ID суффикс для каждого товара. Рейтинг считывается из aria-label на вложенном div рейтинга, который содержит читаемый текст «Average rating is 4.65 out of 5 stars». Артикул разбирается из URL товара, поскольку Costco кодирует его в сегменте .product.NNNN.html, так что вы получаете устойчивый идентификатор без отдельного селектора. Каждое поле откатывается к "N/A" при отсутствии, что сохраняет извлечение устойчивым, ведь не каждая карточка несёт цену или рейтинг.

Шаг 3: обработка пагинации по страницам поиска

Результаты поиска Costco охватывают несколько страниц, и сайт загружает каждую из них с параметром &currentPage= в URL. Чтобы собрать целую категорию, добавьте этот параметр и пройдите по страницам по порядку, регулируя темп запросов, чтобы не молотить сайт в плотном цикле.

import time

def scrape_all_pages(base_url, total_pages):
    all_products = []
    for page_num in range(1, total_pages + 1):
        paginated_url = f"{base_url}&currentPage={page_num}"
        print(f"Scraping page {page_num}")
        html = crawl(paginated_url)
        if not html:
            break
        found = scrape_search_listings(html)
        if not found:
            break
        all_products.extend(found)
        time.sleep(2)
    return all_products

Прерывание при пустых результатах останавливает обход раньше, когда у категории заканчиваются страницы, а time.sleep(2) между запросами регулирует темп запуска, чтобы вас не пометили за стремительный трафик. Установите total_pages в столько страниц результатов, сколько охватывает поиск по вашему ключевому слову.

Шаг 4: парсинг отдельной страницы товара

Карточки поиска дают вам основные поля, но страница товара содержит остальное: полное описание, структурированные характеристики и сигнал наличия. Страница отрисовывается так же, как сетка поиска, поэтому переиспользуйте вспомогательную функцию crawl и разберите селекторы деталей.

def scrape_product_page(html, url):
    soup = BeautifulSoup(html, "html.parser")

    title_el = soup.select_one('h1[automation-id="productName"]')
    price_el = soup.select_one('span[automation-id="productPriceOutput"]')
    rating_el = soup.select_one('div[itemprop="ratingValue"]')
    desc_el = soup.select_one('div[id="product-tab1-espotdetails"]')
    image_el = soup.find("img", class_="thumbnail-image")
    stock_el = soup.select_one('div[automation-id="productInventoryStatus"]')

    specifications = {}
    for row in soup.select("div.product-info-description .row"):
        name = row.select_one(".spec-name")
        value = row.select_one("div:not(.spec-name)")
        if name and value:
            specifications[name.get_text(strip=True)] = value.get_text(strip=True)

    return {
        "title": title_el.get_text(strip=True) if title_el else "N/A",
        "price": price_el.get_text(strip=True) if price_el else "N/A",
        "item_number": item_number_from_url(url),
        "rating": rating_el.get_text(strip=True) if rating_el else "N/A",
        "availability": stock_el.get_text(strip=True) if stock_el else "N/A",
        "description": desc_el.get_text(strip=True) if desc_el else "N/A",
        "image_url": image_el["src"] if image_el and image_el.has_attr("src") else "N/A",
        "specifications": specifications,
    }

Селекторы страницы товара взяты прямо из разметки деталей Costco. Название это h1[automation-id="productName"], цена span[automation-id="productPriceOutput"], рейтинг div[itemprop="ratingValue"], а блок описания живёт под div[id="product-tab1-espotdetails"]. Цикл характеристик проходит каждую .row в таблице описания, считывает метку из .spec-name и связывает её с соседней ячейкой значения, так что у вас получается аккуратный словарь атрибутов вроде материала каркаса и размеров. Наличие считывается из блока статуса запасов; переиспользуйте ту же вспомогательную функцию item_number_from_url, чтобы идентификатор оставался согласованным с записями поиска.

Шаг 5: сборка скрипта и экспорт JSON и CSV

Теперь свяжите получение, пагинацию и парсеры в один готовый к запуску скрипт, затем запишите записи и в JSON, и в CSV, чтобы вы могли загрузить их в блокнот или таблицу. Общий список полей держит столбцы CSV в согласии с ключами словаря.

import csv
import json
import re
import time
from crawlbase import CrawlingAPI
from bs4 import BeautifulSoup

api = CrawlingAPI({"token": "YOUR_CRAWLBASE_TOKEN"})
FIELDS = ["title", "price", "item_number", "rating", "product_url", "image_url"]

def crawl(page_url):
    options = {"ajax_wait": "true", "page_wait": 5000}
    response = api.get(page_url, options)
    if response["status_code"] == 200:
        return response["body"].decode("utf-8")
    print(f"Request failed: {response['status_code']}")
    return None

def item_number_from_url(url):
    match = re.search(r"\.product\.(\d+)\.html", url or "")
    return match.group(1) if match else "N/A"

def scrape_search_listings(html):
    soup = BeautifulSoup(html, "html.parser")
    products = []
    items = soup.select('div[id="productList"] > div[data-testid="Grid"]')
    for item in items:
        title_el = item.select_one('div[data-testid^="Text_ProductTile_"]')
        price_el = item.select_one('div[data-testid^="Text_Price_"]')
        rating_el = item.select_one('div[data-testid^="Rating_ProductTile_"] > div')
        link_el = item.select_one('a[data-testid="Link"]')
        image_el = item.find("img")
        product_url = link_el["href"] if link_el else "N/A"
        products.append({
            "title": title_el.get_text(strip=True) if title_el else "N/A",
            "price": price_el.get_text(strip=True) if price_el else "N/A",
            "item_number": item_number_from_url(product_url),
            "rating": rating_el["aria-label"] if rating_el and rating_el.has_attr("aria-label") else "N/A",
            "product_url": product_url,
            "image_url": image_el["src"] if image_el and image_el.has_attr("src") else "N/A",
        })
    return products

def scrape_all_pages(base_url, total_pages):
    all_products = []
    for page_num in range(1, total_pages + 1):
        paginated_url = f"{base_url}&currentPage={page_num}"
        print(f"Scraping page {page_num}")
        html = crawl(paginated_url)
        if not html:
            break
        found = scrape_search_listings(html)
        if not found:
            break
        all_products.extend(found)
        time.sleep(2)
    return all_products

def export(rows, name="costco_products"):
    with open(f"{name}.json", "w", encoding="utf-8") as f:
        json.dump(rows, f, indent=2, ensure_ascii=False)
    with open(f"{name}.csv", "w", newline="", encoding="utf-8") as f:
        writer = csv.DictWriter(f, fieldnames=FIELDS)
        writer.writeheader()
        writer.writerows(rows)
    print(f"Saved {len(rows)} products to {name}.json and {name}.csv")

def main():
    base_url = "https://www.costco.com/s?dept=All&keyword=sofas"
    products = scrape_all_pages(base_url, total_pages=5)
    export(products)

if __name__ == "__main__":
    main()

Запустите полный скрипт командой python costco_scraper.py. Он проходит страницы поиска, разбирает по одной строке на товар и записывает и costco_products.json, и costco_products.csv. Общий список FIELDS держит порядок столбцов CSV в согласии с ключами словаря, так что два экспорта никогда не расходятся. Чтобы обогатить данные описаниями, характеристиками и наличием, передайте каждый product_url в crawl и scrape_product_page из Шага 4.

Как выглядит результат

Вы получаете аккуратный список записей о товарах, готовый к записи в JSON, CSV или базу данных.

[
  {
    "title": "Coddle Aria Fabric Sleeper Sofa with Reversible Chaise Gray",
    "price": "$1,299.99",
    "item_number": "4000223041",
    "rating": "Average rating is 4.65 out of 5 stars. Based on 1668 reviews.",
    "product_url": "https://www.costco.com/coddle-aria-fabric-sleeper-sofa-with-reversible-chaise-gray.product.4000223041.html",
    "image_url": "https://cdn.bfldr.com/U447IH35/at/nx2pbmjk76t8c5k4h3qpsg6/4000223041-847_gray_1.jpg"
  },
  {
    "title": "Larissa Fabric Chaise Sofa",
    "price": "$1,899.99",
    "item_number": "4000052035",
    "rating": "Average rating is 4.03 out of 5 stars. Based on 87 reviews.",
    "product_url": "https://www.costco.com/larissa-fabric-chaise-sofa.product.4000052035.html",
    "image_url": "https://cdn.bfldr.com/U447IH35/as/ck2h3n29gz2j6m7c9f7x4rhm/4000052035-847_gray_1"
  }
]

Запуск по странице товара возвращает более богатую запись, с описанием, сигналом наличия и словарём характеристик из атрибутов вроде стиля спинки, материала каркаса и общих размеров, взятых прямо из таблицы деталей.

Как оставаться незаблокированным

Даже когда отрисовка решена, Costco следит за трафиком, похожим на парсер. Несколько привычек поддерживают запуск здоровым, и они применимы к любой сложной коммерческой цели.

• Регулируйте темп запросов. Разносите запросы с задержкой между страницами, а не обходите всё на полной скорости. Планируйте более тяжёлые задания на часы низкой нагрузки, чтобы облегчить нагрузку на серверы Costco.
• Опирайтесь на ротацию. Пул резидентных IP распределяет запросы по множеству адресов реальных пользователей, так что ни один из них не срабатывает ограничение частоты. Crawling API делает это за вас; если вы строите собственный стек, именно эту часть нужно сделать правильно.
• Храните только то, что нужно. Сохраняйте те поля товара, которые использует ваш проект, и отбрасывайте остальное. Периодически перепроверяйте селекторы, чтобы парсер шёл в ногу с изменениями разметки.

Более широкий план по избеганию блокировок смотрите в материале как парсить сайты, не попадая в блокировки, а подробнее о том, почему здесь важна отрисовка, в материале как обходить сайты на JavaScript. Собранные вами данные напрямую питают работу по ценовой аналитике, а более широкие паттерны переносятся на другие магазины, рассмотренные в этом руководстве по парсингу электронной коммерции.

Законно ли парсить Costco?

Разрешён ли парсинг Costco зависит от Условий использования Costco, вашей юрисдикции и того, что вы делаете с данными. Условия Costco ограничивают автоматический доступ, поэтому парсинг может противоречить этим условиям независимо от того, насколько аккуратен ваш инструментарий. Ничего из кода здесь это не меняет; он лишь заставляет работать техническую часть. Прочитайте Условия использования Costco и его robots.txt и относитесь к обоим как к границе того, что вы собираете. Для коммерческого или конкурентного использования юридическая картина становится сложнее, и консультация с юридическим экспертом по вашему конкретному случаю это разумный шаг.

Несколько правил, которых стоит держаться. Собирайте только публичные данные: названия, цены, артикулы, рейтинги, наличие и ссылки на листинги, которые любой видит на странице Costco без учётной записи. Держите объём запросов достаточно низким, чтобы не нагружать серверы Costco, и избегайте персональных данных, включая всё, что привязано к идентифицируемым участникам, авторам отзывов или продавцам, сверх того, что указано публично. Если вы планируете переиспользовать данные в коммерческих целях, получите разрешение или официальное соглашение, а не считайте, что молчание означает согласие.

Это руководство намеренно ограничено публичными страницами товаров и поиска, потому что это та черта, которая делает работу защитимой. Оно не охватывает ничего за входом в систему, данные участников или заказов, цены, показываемые только вошедшим участникам, или любую попытку обойти аутентификацию или CAPTCHA, проходить которую вы не вправе. Если вашему проекту нужно больше, чем публичные данные о товарах, официальное соглашение о данных или партнёрская программа это верный путь, а не более хитрый парсер.

Часто задаваемые вопросы

Почему обычный запрос не возвращает товары из Costco?

Costco отрисовывает значительную часть своей сетки товаров и блоков цен на стороне клиента по мере загрузки страницы, поэтому сырой запрос часто получает оболочку без нужных вам полей. Вдобавок Costco проверяет или блокирует трафик, который не похож на настоящий браузер. Отрисовка страницы через Crawling API за доверенным IP, с установленными параметрами ajax_wait и page_wait, решает обе проблемы, поэтому парсер здесь направляет свой запрос через него.

Какие данные я могу извлечь из Costco с этим парсером?

Из листингов поиска вы получаете название, цену, артикул, рейтинг, URL товара и URL изображения для каждой карточки. Со страницы отдельного товара вы также получаете описание, полную таблицу характеристик и сигнал наличия. Всё это публичные данные о товарах, которые вы можете хранить в JSON или CSV для анализа.

Как мне парсить несколько страниц результатов поиска Costco?

Costco загружает каждую страницу поиска с параметром &currentPage= в URL. Добавьте этот параметр и пройдите по номерам страниц, разбирая каждую страницу по очереди и прерываясь раньше, когда страница не возвращает товаров. Добавьте короткую задержку между запросами, чтобы регулировать темп запуска, а не молотить сайт.

Как мне получить артикул Costco?

Costco кодирует артикул в URL товара, в сегменте .product.NNNN.html. Парсер разбирает его с помощью небольшого вспомогательного regex, так что вы получаете устойчивый идентификатор и с карточек поиска, и со страниц товаров, не полагаясь на отдельный селектор на странице, который может измениться.

Нужен ли мне токен JavaScript для парсинга Costco?

Да. Страницы Costco зависят от JavaScript для отрисовки сетки товаров, цен и наличия, поэтому вам нужен токен JavaScript и параметры ожидания, когда вы вызываете Crawling API. Бесплатный тариф включает до 20 000 запросов для создания и тестирования, а текущие тарифы вы можете проверить на странице цен.

Как мне избежать блокировки при парсинге Costco?

Держите частоту запросов на один IP низкой, добавьте задержку между страницами и направляйте трафик через ротируемые резидентные IP, чтобы ни один адрес не срабатывал ограничение частоты. Crawling API управляет ротацией, доверенным пулом IP и обработкой CAPTCHA за вас; если вы строите собственный стек, именно в эту часть стоит вложиться. Следите за кодами состояния и сбавляйте темп, когда начинаете видеть проверки.

HR

Hassan Rehan

Инженер-программист · Crawlbase

Инженер-программист в Crawlbase, пишет практические руководства по ротирующимся прокси, скрейпингу и тонкостям подключения прокси к реальному коду.