Скрапинг AliExpress с помощью Python — полное руководство

В обширном мире извлечения данных электронной коммерции, Скрапинг AliExpress с Python выделяется как жизненно важное руководство для опытных и начинающих энтузиастов данных. Это руководство аккуратно проведет вас через пошаговое руководство по скрапингу AliExpress с использованием Crawlbase Crawling API.

Открыть чтобы сразу перейти к первому шагу, если вы хотите пропустить введение.

Содержание

1. Первые шаги

• Краткий обзор веб-скрапинга
• Важность парсинга AliExpress
• Введение в Crawlbase Crawling API

2. Настройка вашей среды

• Установка Python и необходимых библиотек
• Создание виртуальной среды
• Получение Crawlbase Токен API

3. Понимание структуры сайта AliExpress

• Макет страниц поиска AliExpress
• Макет страниц товаров AliExpress
• Проверка HTML для определения ключевых точек данных

4. Использование Crawlbase Библиотека Python

• Импорт и инициализация класса CrawlingAPI
• Выполнение HTTP-запросов к AliExpress
• Управление параметрами и настройка ответов

5. Скрапинг страниц поиска и товаров AliExpress

• Скрапинг страниц результатов поиска AliExpress
• Обработка пагинации на страницах результатов поиска
• Скрапинг страниц товаров AliExpress

6. Хранение данных

• Хранение извлеченных данных в CSV-файле
• Хранение извлеченных данных в базе данных SQLite

7. Выводы
8. FAQ

Первые шаги

Теперь, когда вы здесь, давайте засучим рукава и приступим к изучению тонкостей веб-скрапинга AliExpress с помощью Crawlbase Crawling API с Python. Но сначала давайте разберем основные элементы, которые вам нужно понять, прежде чем мы погрузимся в технические детали.

Краткий обзор веб-скрапинга

В мире, где правит информация, соскоб это искусство и наука извлечения данных с веб-сайтов. Это цифровой детективный навык, который позволяет вам получать доступ, собирать и организовывать данные из огромного и постоянно меняющегося ландшафта Интернета.

Думайте о веб-скрапинге как о мосте между вами и сокровищницей информации в Интернете. Независимо от того, являетесь ли вы бизнес-стратегом, аналитиком данных, исследователем рынка или просто человеком, жаждущим информации, основанной на данных, веб-скрапинг — это ваш ключ к раскрытию богатства данных, которые находятся в Интернете. От цен на продукты и обзоров до рыночных тенденций и стратегий конкурентов, веб-скрапинг дает вам возможность получить доступ к бесценным данным, скрытым в лабиринте веб-страниц.

Важность скрапинга AliExpress

Скрапинг AliExpress с помощью Python стал ключевой стратегией для энтузиастов данных и аналитиков электронной коммерции по всему миру. AliExpress, онлайн-платформа розничной торговли в составе Alibaba Group, — это не просто торговый центр, а сокровищница данных, ожидающая своего изучения. С миллионами товаров, многочисленными продавцами и глобальной клиентской базой AliExpress предоставляет обширный набор данных для тех, кто ищет конкурентное преимущество в электронной коммерции.

Скрапинг AliExpress с помощью Python позволяет вам эффективно просматривать платформу в поисках информации о продуктах, ценовых тенденциях, поведении продавцов и отзывах клиентов, тем самым открывая бесценные сведения о постоянно меняющемся ландшафте онлайн-ритейла. Представьте себе стратегические преимущества доступа к данным в реальном времени о ценах на продукты, тенденциях и отзывах клиентов. Представьте себе, как вы опережаете своих конкурентов, постоянно отслеживая динамику рынка, отслеживая последние выпуски продуктов и оптимизируя свою ценовую стратегию на основе надежных решений, подкрепленных данными.

Когда вы используете методы веб-скрапинга, особенно с такими мощными инструментами, как Crawlbase Crawling API, вы расширяете свои возможности по сбору данных, превращая его в грозное оружие в вашем арсенале данных электронной коммерции.

Введение в Crawlbase Crawling API

Наш главный союзник в этом деле веб-скрейпинга — это Crawlbase Crawling API. Этот надежный инструмент — ваш билет в сложный мир веб-скрейпинга, особенно при работе с такими колоссальными платформами, как AliExpress. Одной из его выдающихся особенностей является ротация IP-адресов, которая сродни изменению вашей личности в цифровом мире. Представьте себе, что вы надеваете различные маски, перемещаясь по многолюдной улице; это гарантирует, что AliExpress видит в вас обычного пользователя, что значительно снижает риск быть помеченным как скрейпер. Это гарантирует плавный и бесперебойный процесс извлечения данных.

Встроенные в этот API скраперы, адаптированные под AliExpress, делают его еще более замечательным. Вместе с скрапером AliExpress, Crawling API также предоставляют встроенные скраперы для других важных веб-сайтов. Вы можете прочитать о них здесь. Эти предварительно разработанные инструменты упрощают процесс, эффективно извлекая данные из поисковых и товарных страниц AliExpress. Для легкого начала, Crawlbase дает 1000 бесплатных запросов на сканирование. Независимо от того, новичок ли вы в веб-скрапинге или опытный профессионал, Crawlbase Crawling APIс его ротацией IP-адресов и специализированными скраперами — это ваше секретное оружие для эффективного и этичного извлечения данных из AliExpress.

В следующих разделах мы снабдим вас всеми знаниями и инструментами, необходимыми для эффективного и этичного парсинга AliExpress. Вы настроите свою среду, поймете структуру веб-сайта AliExpress и познакомитесь с Python — языком программирования, который станет вашим союзником в этом начинании.

Настройка вашей среды

Прежде чем мы отправимся в путешествие по веб-скрейпингу AliExpress, крайне важно подготовить правильную среду. Этот раздел проведет вас через основные шаги по настройке вашей среды, гарантируя, что у вас будут все необходимые инструменты для успешного скрапинга AliExpress с помощью Crawlbase Crawling API.

Установка Python и необходимых библиотек

Python — это язык программирования, который мы выбрали для нашего приключения по веб-скрейпингу. Если Python еще не установлен в вашей системе, выполните следующие действия:

1. Скачать Python: Посетить Официальный сайт Python и загрузите последнюю версию Python для вашей операционной системы.
2. Установка:: Запустите загруженный установщик Python и следуйте инструкциям по установке.
3. Проверка: Откройте командную строку или терминал и введите python --version для проверки того, что Python был успешно установлен. Вы должны увидеть установленную версию Python.

Теперь, когда у вас есть Python и он запущен, пришло время установить некоторые необходимые библиотеки, которые помогут нам в нашем путешествии по скрапингу. Мы рекомендуем использовать pip, менеджер пакетов Python, для этой цели. Откройте командную строку или терминал и введите следующие команды:

пип установить панды
pip установить crawlbase

Панды: Это мощная библиотека для обработки и анализа данных, которая будет иметь важное значение для организации и обработки данных, которые мы собираем с AliExpress.

Crawlbase: Эта библиотека позволит нам делать запросы к Crawlbase API, упрощающие процесс извлечения данных из AliExpress.

Создание виртуальной среды (необязательно)

Хотя это и не обязательно, считается хорошей практикой создать виртуальную среду для вашего проекта. Этот шаг гарантирует, что зависимости вашего проекта будут изолированы, что снижает риск конфликтов с другими проектами Python.

Чтобы создать виртуальную среду, выполните следующие действия:

1. Установить Virtualenv: Если у вас не установлен Virtualenv, вы можете установить его с помощью pip:

пип установить виртуалэнв

2. Создать виртуальную среду: Перейдите в каталог вашего проекта в командной строке или терминале и выполните следующую команду, чтобы создать виртуальную среду с именем «env» (вы можете заменить «env» на предпочитаемое вами имя):

virtualenv окр

3. Активируйте виртуальную среду: В зависимости от вашей операционной системы используйте одну из следующих команд для активации виртуальной среды:

• Для Windows:

.\окр\Скрипты\активировать

• Для macOS и Linux:

источник окр/bin/активировать

Вы поймете, что виртуальная среда активна, когда увидите имя среды в командной строке или терминале.

Получение Crawlbase API Токен

Мы будем использовать Crawlbase Crawling API для эффективного сбора данных с различных веб-сайтов. Этот API упрощает весь процесс отправки HTTP-запросы на веб-сайты, легко обрабатывает ротацию IP-адресов и эффективно решает распространенные веб-проблемы, такие как CAPTCHA. Вот пошаговое руководство по получению вашего Crawlbase Токен API:

1. Направляйтесь к Crawlbase Вебсайт: Начните с открытия веб-браузера и перехода на официальный сайт Crawlbase

2. Зарегистрируйтесь или войдите под своим ником: В зависимости от вашего статуса вам нужно будет либо создать новый Crawlbase учетную запись или войдите в существующую.

3. Получите свой API-токен: После входа в систему найдите раздел документации на веб-сайте, чтобы получить доступ к своему токену API. Crawlbase предоставляет два типа токенов: токен Normal (TCP) и токен JavaScript (JS). Токен Normal подходит для веб-сайтов с минимальными изменениями, например, статических сайтов. Однако, если веб-сайт использует JavaScript для функциональности или если важные данные генерируются с помощью JavaScript на стороне пользователя, токен JavaScript необходим. Например, при извлечении данных с динамических веб-сайтов, таких как AliExpress, токен Normal — ваш выбор. Вы можете получить свой токен API здесь.

4. Защитите свой API-токен: Ваш API-токен — это ценный актив, поэтому крайне важно хранить его в безопасности. Избегайте его публичного распространения и воздержитесь от передачи его в системы контроля версий, такие как Git. Этот API-токен станет неотъемлемой частью вашего кода Python, позволяя вам получать доступ к Crawlbase Crawling API эффективно.

С пандами и Crawlbase библиотека установлена, Crawlbase Имея в руках API-токен и, при желании, в виртуальной среде, вы теперь оснащены необходимыми инструментами для начала сбора данных с AliExpress с помощью Python. В следующих разделах мы более подробно рассмотрим процесс и проведем вас через каждый шаг.

Понимание структуры сайта AliExpress

Чтобы стать опытным в использовании Crawlbase Crawling API для AliExpress важно иметь базовое понимание структуры веб-сайта. AliExpress использует определенный макет для своих страниц поиска и продуктов. В этом разделе мы углубимся в макет страниц поиска и продуктов AliExpress, подготавливая почву для использования Crawlbase Встроенные возможности API по извлечению данных.

Макет страниц поиска AliExpress

Страницы поиска AliExpress служат шлюзом для поиска товаров на основе ваших поисковых критериев. Эти страницы состоят из нескольких важных компонентов:

• Search Bar: В строке поиска пользователи вводят ключевые слова, названия продуктов или категории, чтобы начать поиск.
• Параметры фильтра: AliExpress предлагает различные фильтры для точного уточнения результатов поиска. Эти фильтры включают диапазоны цен, варианты доставки, рейтинги продуктов и многое другое.
• Объявления о продукции: Отображаемые в формате сетки, списки продуктов содержат изображения, названия, цены и данные продавца. Каждый список инкапсулирован в HTML-контейнер, часто обозначаемый определенными классами или идентификаторами.
• Нумерация страниц: Благодаря обширному каталогу продукции результаты поиска распределяются по нескольким страницам. Элементы управления пагинацией, включая кнопки «Далее» и «Назад», позволяют пользователям перемещаться по страницам результатов.

Понимание структурной структуры страниц поиска AliExpress имеет решающее значение для эффективного использования Crawlbase API для извлечения нужных данных. В следующих разделах мы рассмотрим, как программно взаимодействовать с этими элементами страницы, используя CrawlbaseВозможности скрапинга.

Макет страниц товаров AliExpress

При нажатии на листинг продукта пользователи перенаправляются на специальную страницу продукта. Здесь представлена ​​подробная информация о конкретном продукте. Ключевые элементы, которые можно найти на страницах продуктов AliExpress, включают:

• Название и описание продукта: Эти разделы содержат исчерпывающие текстовые данные о продукте, включая его характеристики, спецификации и рекомендуемое использование. Извлечение этой информации является неотъемлемой частью каталогизации и анализа продуктов.
• Фото и видео: AliExpress часто включает в себя мультимедийную галерею с изображениями и, иногда, видео. Эти визуальные средства предоставляют потенциальным покупателям целостное представление о продукте.
• Информация о цене и продавце: Этот сегмент предоставляет важные данные о цене продукта, условиях доставки, рейтингах продавцов и контактных данных. Эта информация помогает пользователям принимать обоснованные решения о покупке.
• Отзывы клиентов : Отзывы и оценки, предоставленные предыдущими покупателями, дают ценную информацию о качестве продукта, функциональности и надежности продавца. Сбор и анализ этих отзывов может быть полезным для оценки продуктов.
• Варианты покупки: AliExpress предлагает пользователям возможность добавить товар в корзину для последующей покупки или начать немедленную транзакцию. Извлечение этой информации позволяет отслеживать наличие товара и изменения цен.

Имея четкое представление о структуре сайта AliExpress, мы хорошо подготовлены к использованию его возможностей. Crawlbase Crawling API для оптимизации процесса извлечения данных. В следующих разделах будут рассмотрены практические аспекты использования API для извлечения данных AliExpress.

Использование Crawlbase Библиотека Python

Теперь, когда мы заложили основу для понимания структуры сайта AliExpress, давайте углубимся в практическое применение Crawlbase Библиотека Python для упрощения процесса веб-скрейпинга. Этот раздел проведет вас через шаги, необходимые для использования мощи Crawlbase Crawling API эффективно.

Импорт и инициализация класса CrawlingAPI

Для начала вам нужно импортировать Crawlbase Библиотека Python и инициализируйте CrawlingAPI класс. Этот класс действует как ваш шлюз для выполнения HTTP-запросов к AliExpress и получения структурированных данных. Вот простой пример того, как начать:

от база сканирования Импортировать CrawlingAPI

# Инициализируем Crawlbase API с вашим API-токеном
api = CrawlingAPI({ токен: 'ВАШ_ТОКЕН_БАЗЫ_КРАНА' })

Обязательно замените «YOUR_CRAWLBASE_TOKEN» на ваш реальный Crawlbase API-токен, который вы получили в процессе настройки.

Выполнение HTTP-запросов к AliExpress

Достаточно воспользоваться ИИ-ассистентом презентера CrawlingAPI После создания экземпляра класса вы теперь можете отправлять HTTP-запросы к AliExpress. Crawlbase значительно упрощает этот процесс. Чтобы извлечь данные с определенной страницы поиска AliExpress, вам нужно указать URL этой страницы. Например:

# Определите URL-адрес страницы поиска AliExpress, которую вы хотите скопировать.
aliexpress_search_url = 'https://www.aliexpress.com/wholesale?SearchText=ваш-поисковый-запрос-здесь'

# Сделайте HTTP GET-запрос на указанный URL
ответ = api.get(aliexpress_search_url)

Crawlbase обработает HTTP-запрос за вас, а объект ответа будет содержать HTML-содержимое страницы.

Управление параметрами и настройка ответов

При использовании Crawlbase Библиотека Python, у вас есть возможность гибко настраивать свои запросы, включая различные параметры, чтобы адаптировать поведение API к вашим потребностям. Вы можете прочитать о них здесь. Некоторые из них, которые нам нужны, приведены ниже.

Параметр скребка

The scraper параметр позволяет указать тип данных, которые вы хотите извлечь из AliExpress. Crawlbase предлагает предопределенные скраперы для распространенных типов страниц AliExpress. Вы можете выбрать из следующих вариантов:

• aliexpress-product: Используйте этот скрапер для страниц товаров AliExpress. Он извлекает подробную информацию о конкретном товаре. Вот пример того, как его использовать:

ответ = api.get(aliexpress_search_url, {«скребок»: 'aliexpress-продукт'})

• aliexpress-serp: Этот скрапер предназначен для страниц результатов поиска AliExpress. Он возвращает массив продуктов из результатов поиска. Вот как его использовать:

ответ = api.get(aliexpress_search_url, {«скребок»: 'aliexpress-serp'})

Обратите внимание, что scraper Параметр необязателен. Если вы его не используете, вы получите полный HTML страницы, что дает вам свободу выполнять пользовательский скрапинг. С scraper параметр, ответ будет возвращен в формате JSON.

Параметр формата

The format параметр позволяет вам определить формат ответа, который вы получаете от Crawlbase API. Вы можете выбрать один из двух форматов: json or html. Формат по умолчанию: html. Вот как указать формат:

ответ = api.get(aliexpress_search_url, {'формат': 'json'})

• HTML-ответ: Если вы выберете формат ответа html (который является форматом по умолчанию), вы получите HTML-содержимое страницы в качестве ответа. Параметры ответа будут добавлены в заголовки ответа.

Заголовки:
  URL: протокол HTTPS://www.aliexpress.com/wholesale?SearchText=ноутбук+аксессуары
  оригинальный_статус: 200
  pc_status: 200

Тело:
  HTML страницы

• Ответ JSON: Если вы выберете формат ответа json, вы получите объект JSON, который вы можете легко проанализировать. Этот объект JSON содержит всю необходимую вам информацию, включая параметры ответа.

{
  "исходный_статус": "200",
  "статус_ПК": 200,
  "URL": "https%3A%2F%2Faliexpress.com%2F/wholesale%3FSearchText%3Dlaptop+accessories",
  «Тело»: "HTML страницы"
}

Эти параметры обеспечивают вам гибкость для извлечения данных в формате, который наилучшим образом соответствует вашим требованиям к веб-скрапингу и обработке данных. В зависимости от вашего варианта использования вы можете выбрать либо ответ JSON для структурированных данных, либо ответ HTML для более настраиваемого скрапинга.

Скрапинг страниц поиска и товаров AliExpress

В этом разделе мы рассмотрим практический аспект парсинга AliExpress с помощью Crawlbase Crawling API. Мы рассмотрим три ключевых аспекта: парсинг страниц результатов поиска AliExpress, обработку пагинации на этих страницах результатов и парсинг страниц продуктов AliExpress. Мы будем использовать поисковый запрос бутылка воды и парсинг результатов, связанных с этим поисковым запросом. Ниже приведены примеры кода Python для каждой из этих задач вместе с пояснениями.

Скрапинг страниц результатов поиска AliExpress

Для парсинга страниц результатов поиска AliExpress мы используем парсер 'aliexpress-serp', встроенный парсер, специально разработанный для извлечения информации о продукте из результатов поиска. Код инициализирует Crawlbase Crawling API, отправляет HTTP-запрос GET на URL-адрес поиска AliExpress, указывая скрапер «aliexpress-serp», и извлекает данные о товаре из ответа JSON.

от база сканирования Импортировать CrawlingAPI
Импортировать JSON

# Инициализируем Crawlbase API с вашим API-токеном
api = CrawlingAPI({ токен: 'ВАШ_ТОКЕН_БАЗЫ_КРАНА' })

# Определите URL-адрес страницы поиска AliExpress, которую вы хотите скопировать.
aliexpress_search_url = 'https://www.aliexpress.com/wholesale?SearchText=вода+бутылка'

# Сделайте HTTP GET-запрос на указанный URL-адрес, используя скребок 'aliexpress-serp'
ответ = api.get(aliexpress_search_url, {«скребок»: 'aliexpress-serp'})

if ответ['status_code'] == 200:
    # Загрузка JSON из тела ответа после декодирования байтовых данных
    response_json = json.loads(ответ['тело'].decode('латинский1'))

    # Получение результатов скрапера
    scraper_result = response_json['тело']

    # Распечатать извлеченные данные
    Распечатать(json.dumps(scraper_result, отступ=2))

Пример вывода:

{
  "продукты": [
    {
      "заглавие": «Флакон для воды пластиковый дорожный герметичный для девочек портативный антипадающий фруктовый без BPA креативный»,
      "цена": {
        "текущий": "4.99 долл. США"
      },
      "URL": "https://www.aliexpress.com/item/4000576944298.html?algo_pvid=8d89f35c-7b12-4d10-a1c5-7fddeece5237&algo_expid=8d89f35c-7b12-4d10-a1c5-7fddeece5237-0&btsid=0ab6d70515838441863703561e47cf&ws_ab_test=searchweb0_0,searchweb201602_,searchweb201603_",
      "изображение": "https://ae01.alicdn.com/kf/Hd0fdfd6d7e5f4a63b9383223500f704be/480ml-Creative-Fruit-Plastic-Water-Bottle-BPA-Free-Portable-Leak-Proof-Travel-Drinking-Bottle-for-Kids.jpg_220x220xz.jpg_.webp",
      "shippingMessage": "Бесплатная доставка",
      "soldCount": 177,
      "рейтингЗначение": 5,
      "рейтингСсылка": "https://www.aliexpress.com/item/4000576944298.html?algo_pvid=8d89f35c-7b12-4d10-a1c5-7fddeece5237&algo_expid=8d89f35c-7b12-4d10-a1c5-7fddeece5237-0&btsid=0ab6d70515838441863703561e47cf&ws_ab_test=searchweb0_0,searchweb201602_,searchweb201603_#feedback",
      "sellerInformation": {
        "storeName": "Магазин Boxihome",
        "storeLink": "https://www.aliexpress.com/store/5001468"
      }
    },
    {
      "заглавие": "Бутылочка для питья лимонного сока, ситечко для напитков, прозрачная, фруктовая, большая емкость, спортивная, 800 мл/600 мл",
      "цена": {
        "текущий": "3.17–4.49 долл. США"
      },
      "URL": "https://www.aliexpress.com/item/4000162032645.html?algo_pvid=8d89f35c-7b12-4d10-a1c5-7fddeece5237&algo_expid=8d89f35c-7b12-4d10-a1c5-7fddeece5237-1&btsid=0ab6d70515838441863703561e47cf&ws_ab_test=searchweb0_0,searchweb201602_,searchweb201603_",
      "изображение": "https://ae01.alicdn.com/kf/H688cb15d9cd94fa58692294fa6780b59f/800ml-600ml-Large-Capacity-Sports-Fruit-Lemon-Juice-Drinking-Bottle-Infuser-Clear-Portable-Plastic-Water-Bottle.jpg_220x220xz.jpg_.webp",
      "shippingMessage": "Бесплатная доставка",
      "soldCount": 1058,
      "рейтингЗначение": 4.6,
      "рейтингСсылка": "https://www.aliexpress.com/item/4000162032645.html?algo_pvid=8d89f35c-7b12-4d10-a1c5-7fddeece5237&algo_expid=8d89f35c-7b12-4d10-a1c5-7fddeece5237-1&btsid=0ab6d70515838441863703561e47cf&ws_ab_test=searchweb0_0,searchweb201602_,searchweb201603_#feedback",
      "sellerInformation": {
        "storeName": "Магазин5112149",
        "storeLink": "https://www.aliexpress.com/store/5112149"
      }
    },
    ...
  ],
  "связанныеПоиски": [
    {
      "заглавие": «Вода+Бутылки»,
      "связь": "https://www.aliexpress.com/w/wholesale-Water%252BBottles.html"
    },
    {
      "заглавие": «Бутылки с водой»,
      "связь": "https://www.aliexpress.com/w/wholesale-Water-Bottles.html"
    },
    ...
  ],
  "связанныеКатегории": [
    {
      "заглавие": «Дом и сад»,
      "связь": "https://www.aliexpress.com/w/wholesale-water-bottle.html?CatId=15"
    },
    {
      "заглавие": «Бутылки с водой»,
      "связь": "https://www.aliexpress.com/w/wholesale-water-bottle.html?CatId=100004985"
    },
    ...
  ]
}

Обработка пагинации на страницах результатов поиска

Для навигации по нескольким страницам результатов поиска вы можете увеличить номер страницы в URL поиска. Этот пример демонстрирует базовую концепцию пагинации, позволяющую извлекать данные с последующих страниц.

от база сканирования Импортировать CrawlingAPI
Импортировать JSON

# Инициализируем Crawlbase API с вашим API-токеном
api = CrawlingAPI({ токен: 'ВАШ_ТОКЕН_БАЗЫ_КРАНА' })

# Определите базовый URL страницы поиска AliExpress, которую вы хотите скопировать.
базовый_url = 'https://www.aliexpress.com/wholesale?SearchText=water+bottle&page={}'

# Инициализируем список для хранения всех полученных результатов поиска
все_удаленные_продукты = []

# Определите количество страниц, которые вы хотите очистить
число_страниц_для_очистки = 5

для page_num in ассортимент(1, количество_страниц_для_очистки + 1):
    # Создать URL для текущей страницы
    aliexpress_search_url = базовый_url.формат(номер_страницы)

    # Сделайте HTTP GET-запрос на указанный URL-адрес, используя скребок 'aliexpress-serp'
    ответ = api.get(aliexpress_search_url, {«скребок»: 'aliexpress-serp'})

    if ответ['status_code'] == 200:
        # Загрузка JSON из тела ответа после декодирования байтовых данных
        response_json = json.loads(ответ['тело'].decode('латинский1'))
        # Получение результатов скрапера
        scraper_result = response_json['тело']
        # Добавить скопированные продукты с текущей страницы в список
        все_соскобленные_продукты.расширить(scraper_result['продукты'])

В этом коде мы создаем URL-адреса страниц результатов поиска для каждой страницы, увеличивая номер страницы в URL-адресе. Затем мы проходим по указанному количеству страниц, делаем запросы к каждой странице, извлекаем продукты из каждого результата поиска с помощью скребка 'aliexpress-serp' и добавляем их в список (all_scraped_products). Это позволяет эффективно извлекать и объединять результаты поиска с нескольких страниц.

Скрапинг страниц товаров AliExpress

При парсинге страниц товаров AliExpress мы используем парсер 'aliexpress-product', предназначенный для извлечения подробной информации о товаре. Код инициализирует Crawlbase API отправляет HTTP-запрос GET на URL-адрес страницы товара AliExpress, указывая парсер «aliexpress-product», и извлекает данные о товаре из ответа JSON.

от база сканирования Импортировать CrawlingAPI
Импортировать JSON

# Инициализируем Crawlbase API с вашим API-токеном
api = CrawlingAPI({ токен: 'ВАШ_ТОКЕН_БАЗЫ_КРАНА' })

# Определите URL-адрес страницы товара AliExpress, которую вы хотите скопировать.
aliexpress_product_url = 'https://www.aliexpress.com/item/4000275547643.html'

# Сделайте HTTP GET-запрос на указанный URL-адрес, используя скрапер 'aliexpress-product'
ответ = api.get(aliexpress_product_url, {«скребок»: 'aliexpress-продукт'})

if ответ['status_code'] == 200:
    # Загрузка JSON из тела ответа после декодирования байтовых данных
    response_json = json.loads(ответ['тело'].decode('латинский1'))

    # Получение результатов скрапера
    scraper_result = response_json['тело']

    # Распечатать извлеченные данные
    Распечатать(json.dumps(scraper_result, отступ=2))

Пример вывода:

{
  "заглавие": «Роскошный прозрачный матовый чехол для iPhone 11 Pro XS MAX XR X Гибридный противоударный силиконовый чехол для iPhone 6 6s 7 8 Plus Чехол»,
  "цена": {
    "текущий": "3.45 долл. США",
    "оригинал": "4.31 долл. США",
    "скидка": "-20%"
  },
  "параметры": [
    {
      "название": «Материал»,
      "ценности": [
        "для айфона 6 6S",
        "для 6Plus 6SPlus",
        ...
      ]
    },
    {
      "название": "Цвет",
      "ценности": [
        «Черный»,
        «Синий»,
        ...
    }
  ],
  "URL": "https://www.aliexpress.com/item/4000275547643.html",
  "mainImage": "https://ae01.alicdn.com/kf/H0913e18b6ff9415e86db047607c6fb9dB/Luxury-Transparent-Matte-Case-For-iphone-11-Pro-XS-MAX-XR-X-Hybrid-Shockproof-Silicone-Phone.jpg",
  "изображения": [
    "https://ae01.alicdn.com/kf/H0913e18b6ff9415e86db047607c6fb9dB/Luxury-Transparent-Matte-Case-For-iphone-11-Pro-XS-MAX-XR-X-Hybrid-Shockproof-Silicone-Phone.jpg",
    "https://ae01.alicdn.com/kf/H1507016f0a504f35bbf2ec0d5763d14c4/Luxury-Transparent-Matte-Case-For-iphone-11-Pro-XS-MAX-XR-X-Hybrid-Shockproof-Silicone-Phone.jpg",
    ...
  ],
  "customerReview": {
    "средний": 4.8,
    "reviewsCount": 146
  },
  "soldCount": 1184,
  "доступноПредложение": «Дополнительная скидка 3% (2 единицы и более)»,
  "доступноеКоличество": 37693,
  "wishlistCount": 983,
  "sellerInformation": {
    "storeName": «Цифровой магазин YiPai»,
    "storeLink": "https://www.aliexpress.com/store/2056153",
    "обратная связь": «92.9% положительных отзывов»,
    "followersCount": 462
  },
  "shippingSummary": {
    "цена доставки": «Доставка: 0.41 долл. США»,
    "место назначения": "в Австрию через China Post Ordinary Small Packet Plus",
    "предполагаемаяДоставка": «Предполагаемый срок доставки: 25-46 дней»
  },
  "Защита покупателя": [
    «60-дневная защита покупателя»,
    «Гарантия возврата денег»
  ],
  "рекомендации": [
    {
      "связь": "https://www.aliexpress.com/item/33053895974.html?gps-id=pcDetailBottomMoreThisSeller&scm=1007.13339.146401.0&scm_id=1007.13339.146401.0&scm-url=1007.13339.146401.0&pvid=ae985f4e-3eca-4c9e-a788-1f37bd5ff3e0",
      "цена": "1.55 долл. США",
      "изображение": "https://ae01.alicdn.com/kf/H604ad80f527c4b119e3bdb1be20b74cal.jpg_220x220q90.jpg_.webp"
    },
    ...
  ],
  "описание": {
    "подробныеИзображения": [
      "https://ae01.alicdn.com/kf/Hccaa2c9bf726484f94792998d93cc802Y.jpg",
      "https://ae01.alicdn.com/kf/Hffe2339701634534a2fc4d5e183ff0aee.jpg",
      ...
    ],
    "связанныеПродукты": [
      {
        "заглавие": «Сверхтонкий силиконовый чехол для iPhone 7 6 6s 8 X, чехол-кокс, мягкие матовые чехлы из ТПУ в ярких тонах для iPhone 7 8 plus XS MAX XR»,
        "цена": "1.29-1.50 долл. США",
        "связь": "https://www.aliexpress.com/item/Ultra-Slim-Silicone-Case-for-iphone-7-6-6s-8-X-Cover-Coque-Candy-Colors-Soft/32772422277.html",
        "изображение": "https://ae01.alicdn.com/kf/H5d0d6ac957ee4f57942ec172a7ed3529v.jpg_120x120.jpg"
      },
      ...
    ]
  },
  "storeCategores": [
    {
      "родительскийУзел": "Для iPhone чехол",
      "родительскаяСсылкаУзла": "https://www.aliexpress.com/store/group/For-iPhone-case/2056153_507217422.html",
      "детскиеУзлы": [
        {
          "дочернийУзел": "Для iPhone 5 5S SE",
          "childNodeLink": "https://www.aliexpress.com/store/group/For-iPhone-5-5S-SE/2056153_507296208.html"
        },
        ...
      ]
    },
    ...
  ]
}

Эти примеры кода предоставляют пошаговое руководство по использованию Crawlbase Crawling API для парсинга страниц результатов поиска AliExpress и страниц продуктов. Встроенные парсеры упрощают процесс, гарантируя получение структурированных данных в формате JSON, что упрощает обработку извлеченной информации. Такой подход ценен для различных приложений, таких как отслеживание цен, анализ рынка и конкурентные исследования на платформе AliExpress.

Хранение данных

После успешного скрапинга данных со страниц AliExpress следующим важным шагом является сохранение этой ценной информации для будущего анализа и использования в качестве справочной информации. В этом разделе мы рассмотрим два распространенных метода хранения данных: сохранение скрапинга в файле CSV и сохранение его в базе данных SQLite. Эти методы позволяют вам эффективно организовывать и управлять скрапингом данных.

Хранение извлеченных данных в CSV-файле

CSV (значения, разделенные запятыми) — широко используемый формат для хранения табличных данных, особенно полезный при скрапинге AliExpress с помощью Python. Это простой и понятный человеку способ хранения структурированных данных, что делает его отличным выбором для сохранения ваших скрапинговых данных о товарах AliExpress.

Мы расширим наш предыдущий скрипт скрапинга страницы поиска, включив в него шаг сохранения важной информации из скрапинга в CSV-файл с использованием популярной библиотеки Python, pandas. Вот обновленная версия скрипта:

Импортировать панд as pd
от база сканирования Импортировать CrawlingAPI
Импортировать JSON

# Инициализируем Crawlbase API с вашим API-токеном
api = CrawlingAPI({ токен: 'ВАШ_ТОКЕН_БАЗЫ_КРАНА' })

# Определите базовый URL страницы поиска AliExpress, которую вы хотите скопировать.
базовый_url = 'https://www.aliexpress.com/wholesale?SearchText=water+bottle&page={}'

# Инициализируем список для хранения всех собранных данных о продуктах
скопированные_данные_о_продуктах = []

# Определите количество страниц, которые вы хотите очистить
число_страниц_для_очистки = 5

для page_num in ассортимент(1, количество_страниц_для_очистки + 1):
    # Создать URL для текущей страницы
    aliexpress_search_url = базовый_url.формат(номер_страницы)

    # Сделайте HTTP GET-запрос на указанный URL-адрес, используя скребок 'aliexpress-serp'
    ответ = api.get(aliexpress_search_url, {«скребок»: 'aliexpress-serp'})

    if ответ['status_code'] == 200:
        # Загрузка JSON из тела ответа после декодирования байтовых данных
        response_json = json.loads(ответ['тело'].decode('латинский1'))
        # Получение результатов скрапера
        scraper_result = response_json['тело']

        # Добавить извлеченные данные о продуктах с текущей страницы в список
        для ПРОДУКТЫ in scraper_result['продукты']:
            данные = {
                "заглавие": продукт['заглавие'],
                "цена": продукт['цена']['текущий'],
                "рейтинг": продукт['оценкаЗначение']
            }
            скопированные_данные_о_продуктах.push(данные)

    # Сохраните полученные данные в виде CSV-файла
    df = pd.DataFrame(собранные_данные_о_продуктах)
    df.to_csv('aliexpress_products_data.csv', индекс=Ложь)

В этом обновленном скрипте мы представили pandas — мощную библиотеку обработки и анализа данных. После сбора и накопления данных о продукте в scraped_products_data list, мы создаем pandas DataFrame из этих данных. Затем мы используем to_csv метод сохранения DataFrame в CSV-файл с именем «aliexpress_products_data.csv» в текущем каталоге. Настройка index=False гарантирует, что мы не сохраним индекс DataFrame как отдельный столбец в CSV-файле.

Вы можете легко работать с вашими скопированными данными и анализировать их, используя pandas. Этот CSV-файл можно открыть в различных программах для работы с электронными таблицами или импортировать в другие инструменты анализа данных для дальнейшего изучения и визуализации.

Хранение извлеченных данных в базе данных SQLite

Если вы предпочитаете более структурированный и удобный для запросов подход к хранению данных, SQLite — это легкий, бессерверный движок базы данных, который может быть отличным выбором. Вы можете создать таблицу базы данных для хранения ваших извлеченных данных, что позволит эффективно извлекать и обрабатывать данные. Вот как можно изменить скрипт страницы поиска для хранения данных в базе данных SQLite:

Импортировать JSON
Импортировать sqlite3
от bs4 Импортировать КрасивыйСуп
от база сканирования Импортировать CrawlingAPI

# Инициализируйте класс CrawlingAPI с вашим Crawlbase Токен API
api = CrawlingAPI({токен: 'ВАШ_ТОКЕН_БАЗЫ_КРАНА'})

# Инициализируем список для хранения всех собранных данных о продуктах
скопированные_данные_о_продуктах = []

# Определите количество страниц, которые вы хотите очистить
число_страниц_для_очистки = 5

защиту create_database():
    conn = sqlite3.подключить('aliexpress_products.db')
    курсор = conn.cursor ()
    курсор.выполнить('''СОЗДАТЬ ТАБЛИЦУ, ЕСЛИ НЕ СУЩЕСТВУЕТ продукты (
                      id INTEGER ПЕРВИЧНЫЙ КЛЮЧ АВТОИНКРЕТ,
                      заголовок ТЕКСТ,
                      цена ТЕКСТ,
                      рейтинг ТЕКСТ
                    )''')
    конн.коммит()
    conn.close ()

защиту сохранить_в_базу_данных(данным):
    conn = sqlite3.подключить('aliexpress_products.db')
    курсор = conn.cursor ()

    # Создать список кортежей из данных
    кортежи_данных = [(продукт['заглавие'], продукт['цена'], продукт['рейтинг']) для ПРОДУКТЫ in данные]

    # Вставьте данные в таблицу продуктов
    курсор.executemany('' 'Окно выдачи
        ВСТАВИТЬ В продукты (название, цена, рейтинг)
        ЦЕННОСТИ (?, ?, ?)
    '' 'Окно выдачи, кортежи_данных)

    конн.коммит()
    conn.close ()

для page_num in ассортимент(1, количество_страниц_для_очистки + 1):
    # Создать URL для текущей страницы
    aliexpress_search_url = базовый_url.формат(номер_страницы)

    # Сделайте HTTP GET-запрос на указанный URL-адрес, используя скребок 'aliexpress-serp'
    ответ = api.get(aliexpress_search_url, {«скребок»: 'aliexpress-serp'})

    if ответ['status_code'] == 200:
        # Загрузка JSON из тела ответа после декодирования байтовых данных
        response_json = json.loads(ответ['тело'].decode('латинский1'))
        # Получение результатов скрапера
        scraper_result = response_json['тело']

        # Добавить извлеченные данные о продуктах с текущей страницы в список
        для ПРОДУКТЫ in scraper_result['продукты']:
            данные = {
                "заглавие": продукт['заглавие'],
                "цена": продукт['цена']['текущий'],
                "рейтинг": продукт['оценкаЗначение']
            }
            скопированные_данные_о_продуктах.push(данные)

# Создать базу данных и таблицу продуктов
создать_базу_данных()

# Вставить извлеченные данные в базу данных SQLite
сохранить_в_базе_данных(вычищенные_данные_о_продуктах)

В этом обновленном коде мы добавили функции для создания базы данных и таблицы SQLite ( create_database ) и сохранения извлеченных данных в базе данных ( save_to_database ). Функция create_database проверяет, существуют ли база данных и таблица, и создает их, если их нет. Функция save_to_database вставляет извлеченные данные в таблицу «products».

Запустив этот код, вы сохраните ваши данные о продуктах AliExpress в базе данных SQLite с именем 'aliexpress_products.db'. Позже вы сможете извлекать и обрабатывать эти данные с помощью SQL-запросов или получать к ним программный доступ в ваших проектах Python.

Выводы

Пока мы говорим о веб-скрапинге, если вам интересно копнуть еще глубже и расширить свои познания, изучив извлечение данных из других гигантов электронной коммерции, таких как Walmart и Amazon, я бы рекомендовал вам ознакомиться с Crawlbase блог страница.

Наши всеобъемлющие руководства не заканчиваются на этом; мы предлагаем обширные знания по парсингу различных популярных платформ электронной коммерции, гарантируя, что вы будете хорошо подготовлены к решению проблем, связанных с уникальной архитектурой каждого веб-сайта. Ознакомьтесь как скрейпить страницы поиска Amazon и Руководство по скрапингу Walmart.

FAQ

В: Каковы преимущества использования Crawlbase Crawling API для веб-скрапинга и чем он отличается от других методов скрапинга?

The Crawlbase Crawling API предлагает несколько преимуществ для веб-скрапинга по сравнению с традиционными методами. Во-первых, он обеспечивает ротацию IP-адресов и ротацию пользовательских агентов, что снижает вероятность обнаружения и блокировки действий по скрапингу такими сайтами, как AliExpress. Во-вторых, он предлагает встроенные скраперы, адаптированные для определенных сайтов, что упрощает процесс извлечения данных. Наконец, он обеспечивает гибкость для получения данных в форматах HTML и JSON, позволяя пользователям выбирать формат, который лучше всего соответствует их потребностям в обработке данных. Этот API упрощает и улучшает процесс веб-скрапинга, что делает его предпочтительным выбором для скрапинга данных с AliExpress и других сайтов.

В: Могу ли я использовать это руководство для извлечения данных с любого сайта или оно применимо только к AliExpress?

Хотя руководство в основном фокусируется на извлечении данных с AliExpress с помощью Crawlbase Crawling API, основные концепции и методы, обсуждаемые здесь, применимы к веб-скрапингу в целом. Вы можете применять эти принципы для скрапинга данных с других веб-сайтов, но имейте в виду, что каждый веб-сайт может иметь разные структуры, условия обслуживания и проблемы с скраппингом. Всегда проверяйте, есть ли у вас необходимые права и разрешения для скрапинга данных с определенного веб-сайта.

В: Как избежать блокировки или пометки как парсер при веб-скрапинге на AliExpress?

Чтобы свести к минимуму риск блокировки, используйте такие методы, как Ротация IP и ротация пользовательских агентов, которые поддерживаются Crawlbase Crawling API. Эти методы помогают вам имитировать поведение человека при просмотре, что снижает вероятность того, что AliExpress определит вас как парсера. Кроме того, избегайте слишком большого количества запросов за короткий период и уважайте условия обслуживания веб-сайта. Ответственный парсинг с меньшей вероятностью приведет к блокировкам или сбоям.

В: Могу ли я собирать цены на товары AliExpress и использовать эти данные для ценообразования своих собственных товаров?

Хотя сбор цен на продукты для анализа рынка является распространенным и законным вариантом использования, важно убедиться, что вы соблюдаете условия обслуживания AliExpress и любые правовые нормы, касающиеся использования данных. Установление цен на ваши собственные продукты на основе собранных данных может быть конкурентной стратегией, но вы должны проверять точность данных и быть готовыми к тому, что они со временем изменятся. Кроме того, при использовании собранных данных для принятия деловых решений учитывайте этические и правовые аспекты.