Этот блог посвящен парсингу страницы поиска AliExpress с помощью JavaScript. AliExpress — это огромная торговая площадка с полезной информацией о продуктах, которая имеет решающее значение для онлайн-бизнеса. Она служит настоящей золотой жилой для тех, кто ищет данные для таких целей, как анализ продуктов и маркетинговые исследования. Однако у AliExpress есть несколько сильных защит. Если вы попытаетесь извлечь данные без осторожности, вы, скорее всего, столкнетесь с блокировками, обнаружением ботов и, возможно, CAPTCHA — теми головоломками, которые останавливают автоматизированный сбор данных на полпути.

Но не волнуйтесь! Мы проведем вас через каждый шаг, покажем, как эффективно собирать данные и обходить препятствия, не тратя слишком много времени и денег. Это как иметь рядом с собой дружелюбного наставника, который объясняет каждую часть процесса.

К концу этого блога вы лучше поймете, как использовать инструменты для сканирования чтобы получать необходимые данные от AliExpress, помогая вашему бизнесу принимать разумные решения в мире онлайн-покупок.

На случай, если вам нравятся видеоуроки, мы создали видеоурок в этом блоге.

О, и счастливого вам Хэллоуина!

Изображение на Хэллоуин

Содержание

I. Как искать по ключевым словам на AliExpress

II. Масштаб и структура проекта

III. Настройка вашей среды

IV. Скрапинг страницы поиска AliExpress

V. Прием ключевых слов через Postman

VI. Сохранение данных в JSON

VII. Заключение

VIII. Часто задаваемые вопросы

I. Как искать по ключевым словам на AliExpress

Поиск на странице результатов поисковой системы AliExpress (SERP) с ключевыми словами — это простой процесс. Вот шаги для поиска товаров на AliExpress с использованием ключевых слов:

  1. Посетите AliExpress: Откройте веб-браузер и перейдите на сайт AliExpress (aliexpress.com).
  2. Введите ключевые слова: На главной странице AliExpress вы найдете строку поиска вверху. Введите нужные ключевые слова в эту строку поиска. Эти ключевые слова должны описывать продукт, который вы ищете. Например, если вы ищете «красные кроссовки», просто введите «красные кроссовки» в поле поиска.
  3. Нажмите «Поиск»: После ввода ключевых слов нажмите кнопку «Поиск» или нажмите «Enter» на клавиатуре. AliExpress обработает ваш поисковый запрос.
  4. Просмотреть результаты поиска: AliExpress SERP отобразит список продуктов, соответствующих вашим ключевым словам. Вы можете прокручивать результаты поиска, чтобы изучить различные продукты. Результаты будут включать изображения, названия продуктов, цены, рейтинги продавцов и другую соответствующую информацию.
Товары для Хэллоуина на Aliexpress

Просмотр отдельных товаров на AliExpress — это прогулка в парке. Однако, когда вы сталкиваетесь с пугающей задачей просеивания тысяч ключевых слов и извлечения данных из результатов поиска, все может превратиться в утомительную задачу. Как справиться с этой задачей? Как сделать так, чтобы извлечь информацию о товарах с AliExpress в кратчайшие сроки? Решение находится всего в одной прокрутке, поэтому продолжайте читать, чтобы раскрыть секреты.

II. Масштаб и структура проекта

Наша цель — облегчить и масштабировать ваш процесс поиска товаров на AliExpress, извлечь результаты и сохранить их для использования. Требуются ли вам данные для аналитических целей, маркетинговых исследований или стратегий ценообразования. Проект позволит вам вводить ключевые слова, которые затем преобразуются в действительные URL-адреса страниц результатов поиска AliExpress (SERP). Затем эти URL-адреса перенаправляются на Crawlbase API для эффективного веб-скрапинга.

Для этого мы будем использовать Postman для приема пользовательского ввода, JavaScript в сочетании с Bun (JavaScript Runtime), пакет Express и, наконец, Crawlbase Crawling API для сканирования и парсинга AliExpress. Такой подход обеспечивает бесперебойное извлечение данных, сводя к минимуму риск блокировки во время процесса парсинга.

Ниже вы найдете упрощенное представление структуры проекта.

скрапинг страниц поиска aliexpress с ключевыми словами инфографика

III. Настройка вашей среды

Итак, вы подготовили ключевые слова и готовы окунуться с головой в мир данных AliExpress. Но прежде чем мы продолжим наше приключение по веб-скрапингу, нужно немного поработать — настроить нашу среду. Это важная подготовительная работа, которая обеспечит гладкое путешествие вперед.

1. Приобретение вашего Crawlbase Значок JavaScript

Для начала нам нужно создать бесплатный Crawlbase аккаунт и приобрети JavaScript-токен. Этот токен необходим для обеспечения эффективного извлечения данных со страниц AliExpress с помощью инфраструктура браузера без головы и специализированный Crawling API Скрапер данных, разработанный специально для поисковой выдачи AliExpress.

найти js запрос токен crawlbase

2. Создание среды JavaScript

Теперь, когда вы надежно завладели этим маркером JavaScript, пришло время подготовить почву для нашего путешествия по кодированию. Начните с создания нового каталога проекта для вашего приложения для скрапинга. В этом примере мы создаем папку с именем 'Crawlbase"

1
mkrdir Crawlbase

3. Использование силы булочки

В этом проекте мы будем использовать возможности Право, поэтому крайне важно убедиться, что Bun установлен правильно. Bun — это универсальный, комплексный набор инструментов, предназначенный для приложений JavaScript и TypeScript.

В основе Bun лежит среда выполнения Bun, высокопроизводительная среда выполнения JavaScript, тщательно спроектированная для замены Node.js. Отличительной чертой Bun является ее реализация на языке программирования Zig и использование JavaScriptCore под капотом. Эти факторы работают в гармонии, значительно сокращая время запуска и потребление памяти, что делает ее революционным инструментом для ваших потребностей в разработке и веб-скрапинге.

Выполните строку ниже:

1
cd Crawlbase && инициализация булочки

Эта команда используется для инициализации нового проекта с Bun. Когда вы запускаете bun init в вашей командной строке или терминале он устанавливает базовую структуру и конфигурацию для вашего проекта веб-скрейпинга. Это может включать создание каталогов и файлов, необходимых для корректной работы вашего проекта.

4. Crawlbase Библиотека JavaScrip и Express

Мы собираемся представить две важные библиотеки: Crawlbase и Экспресс. Crawlbase Библиотека JavaScript является настоящей находкой в ​​этом контексте, позволяя нам легко интегрировать Crawling API в наш проект JavaScript, а Express — это популярный фреймворк веб-приложений, который мы будем использовать для создания нашего сервера скрапинга.

Чтобы добавить эти необходимые библиотеки в свой проект, просто выполните следующую команду в терминале:

1
булочка добавить crawlbase экспресс
библиотека CrawlBase JS

Достаточно воспользоваться ИИ-ассистентом презентера Crawlbase библиотека и Express теперь в миксе, вы на пути к раскрытию полного потенциала Crawling API и создание надежного приложения для скрапинга. Мы добиваемся успехов, поэтому оставайтесь с нами, пока мы продвигаемся дальше в этом захватывающем проекте.

IV. Результаты парсинга страницы поиска AliExpress

Теперь, когда среда разработки полностью настроена, давайте погрузимся в основную функцию нашего кода. Вы можете скопировать и вставить следующий блок кода и понять его, прочитав объяснение ниже.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
Const экспресс = требовать('выражать'); // Импортируем модуль «express»
Const { CrawlingAPI знак равно требовать('crawlbase'); // Импортируем модуль 'crwalbase' для Crawling API
Const фс = требовать('фс'); // Импортируем модуль 'fs'

// Инициализация Crawlbase Crawling API для сканирования HTML
Const API = новый CrawlingAPI({ знак: 'Crawlbase_JS_Токен' }); // Замени его собой Crawlbase JS-токен

// основное приложение
Const приложение = экспресс();
Const PORT = процесс.окр.PORT || 3000;

приложениеполучить('/scrape-products', асинхронной (треб, рез) => {
  стараться {
    Const ответ = Ждите пчелы.получить(
      `https://aliexpress.com/w/wholesale-${req.query.keywords.split('').присоединиться('-')}.html`,
      {
        скребок: 'aliexpress-serp',
      },
    );

    if (ответ.код состояния === 200) {
      Const scrapeProducts = ответ.JSON.тело;
      консоль.журнал(«Продукты для очистки»:, scrapeProducts);

      // Ответ с помощью скопированного JSON
      Рез.статус(200).Отправить(scrapeProducts);
    } еще {
      бросать новый Ошибка(`Запрос API не выполнен со статусом: ${response.statusCode}`);
    }
  } поймать (ошибка) {
    консоль.ошибка(`Вызов API не удался: ${error.message}`);
    возвращают Рез.статус(500).Отправить({ статус: 'Неуспешный', MSG: «Данные не сохранены» });
  }
});

приложениеСлушать(PORT, () => консоль.журнал(`Сервер работает на порту ${ПОРТ}`));
  1. Начнем с импорта необходимых модулей: express, CrawlingAPI от Crawlbase и fs для операций с файловой системой.
  2. Мы инициализируем Crawlbase Crawling API с вашей Crawlbase JavaScript токен. Этот токен предоставляет доступ к Crawlbase сервисов.
  3. Создается приложение Express, и мы указываем номер порта для сервера. По умолчанию используется порт 3000, если он не определен в переменных среды.
  4. Мы определяем маршрут «/scrape-products», используя app.get. Этот маршрут прослушивает запросы GET и отвечает за процесс веб-скрейпинга.
  5. В рамках этого маршрута мы используем api.get для запроса HTML-контента из URL AliExpress, который динамически генерируется на основе ключевых слов поиска пользователя. Мы заменяем пробелы в ключевых словах дефисами, чтобы создать соответствующую структуру URL.
  6. Мы указываем парсер «aliexpress-serp» для указания Crawlbase использовать скрапер AliExpress SERP для этого конкретного URL.
  7. Если ответ от API имеет код статуса 200 (указывающий на успех), мы извлекаем скопированные данные о продукте и регистрируем их в консоли. Затем скопированные данные отправляются обратно клиенту в виде ответа JSON.
  8. Если ответ API имеет другой код состояния, выдается ошибка с сообщением, указывающим на статус сбоя.
  9. В случае возникновения ошибок или исключений мы обрабатываем их, регистрируя сообщение об ошибке и отправляя ответ 500 Internal Server Error с сообщением о том, что данные не были сохранены.
  10. Наконец, мы запускаем приложение Express, и оно начинает прослушивать указанный порт. В консоли отображается сообщение, подтверждающее, что сервер запущен и работает.

Чтобы запустить приложение, просто выполните команду ниже:

1
булочка index.js

Сервер запущен и работает:

сервер базы данных

Этот код устанавливает функциональный веб-сервер, который может извлекать данные о товарах из результатов поиска AliExpress на основе ключевых слов, определенных пользователем. Он использует Crawlbase библиотека и Express предоставляют простую конечную точку API для веб-скрапинга, делая ваш проект еще более динамичным и интерактивным.

Теперь, как именно пользователь будет вводить ключевые слова? Давайте узнаем в следующем разделе блога.

V. Прием ключевых слов через Postman

После того, как мы настроили наш сервер веб-скрапинга для извлечения данных из результатов поиска AliExpress, пришло время протестировать его с помощью Почтальон, популярный и интуитивно понятный инструмент тестирования API.

В этом разделе мы покажем вам, как использовать Postman для отправки ключевых запросов на наш /scrape-products маршрут и получение скрапированных данных. Помните, что вы можете использовать любые ключевые слова для этого теста. В нашем примере мы будем искать «костюмы на Хэллоуин» на AliExpress.

  1. Открытый почтальон: Если вы еще этого не сделали, скачать и установить Postmanи зажгите его.
  2. Выберите тип запроса: В Postman выберите тип HTTP-запроса, который вы хотите сделать. В нашем случае мы выберем «GET», поскольку мы извлекаем данные.
  3. Введите URL-адрес: В поле URL введите конечную точку для вашего маршрута скрапинга. Если предположить, что ваш сервер работает локально на порту 3000, это будет что-то вроде http://localhost:3000/scrape-products. Обязательно измените URL-адрес в соответствии с вашими настройками.
поиск по скрапу товары с aliexpress
  1. Добавьте ключевые слова в качестве параметра запроса: Чтобы предоставить ключевые слова для вашего поиска, вы включите их в качестве параметров запроса. В Postman вы можете добавить эти параметры в URL запроса. Для нашего примера мы добавим keywords как параметр со значением «Костюмы на Хэллоуин». В URL это будет выглядеть примерно так: http://localhost:3000/scrape-products?keywords=Halloween%20costumes.
ключевые слова как параметр запроса
  1. Отправить запрос: Нажмите кнопку «Отправить» в Postman, чтобы отправить запрос. Ваш сервер ответит отправкой обратно извлеченных данных.
отправить запрос на скрапинг
  1. Посмотреть ответ: Postman отобразит ответ на нижней панели. Вы должны увидеть данные, извлеченные из AliExpress, которые могут быть в формате JSON или другом формате в зависимости от того, как настроен ваш сервер.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
{
  "продукты": [
    {
      "заглавие": «Детский жуткий красный глаз, появляющийся и исчезающий, фантомный, мрачный, светящийся в темноте, костюм, костюм для косплея, детский карнавал на Хэллоуин»,
      "цена": {
        "текущий": "€12.96"
      },
      "URL": "https://www.aliexpress.com/item/1005005690275912.html?algo_pvid=75293079-e13c-4c40-9e48-9607bc2bf4c5&algo_exp_id=75293079-e13c-4c40-9e48-9607bc2bf4c5-0&pdp_npi=4%40dis%21EUR%2139.57%2112.96%21%21%21298.19%21%21%402101eab016975503265842239eecf4%2112000034022392308%21sea%21EE%210%21AB&curPageLogUid=6KgfHocT5Ou1",
      "изображение": "https://ae04.alicdn.com/kf/H550b1b56986e4cb3a986071c5b7d3cb6x/Child-Creepy-Red-Eyes-Fade-In-And-Out-Phantom-Grim-Reaper-Glow-In-The-Dark-Costume.jpeg_220x220xz.jpeg_.webp",
      "shippingMessage": «Бесплатная доставка свыше €10»,
      "soldCount": 600,
      "рейтингЗначение": 4.9,
      "рейтингСсылка": "",
      "sellerInformation": {
        "storeName": «Магазин костюмов Memune»,
        "storeLink": "https://www.aliexpress.com/store/1102649882"
      }
    },
    {
      "заглавие": "Уэнсдей Аддамс Косплей Костюм для девочек Длинные рукава Фэнтези Весна Осень Платья для вечеринок Карнавал Пасха Хэллоуин Костюмы 4-12 лет",
      "цена": {
        "текущий": "€0.48"
      },
      "URL": "https:",
      "изображение": "https://ae04.alicdn.com/kf/H550b1b56986e4cb3a986071c5b7d3cb6x/Child-Creepy-Red-Eyes-Fade-In-And-Out-Phantom-Grim-Reaper-Glow-In-The-Dark-Costume.jpeg_220x220xz.jpeg_.webp",
      "shippingMessage": «Бесплатная доставка свыше €10»,
      "soldCount": 1000,
      "рейтингЗначение": 4.5,
      "рейтингСсылка": "",
      "sellerInformation": {
        "storeName": "Магазин1103029270",
        "storeLink": "https://www.aliexpress.com/store/1103029270"
      }
    },
    {
      "заглавие": «Страшные костюмы на Хэллоуин с маской, перчатками, черепом, скелетом, монстром, дьяволом, привидением, одеждами для взрослых и детей»,
      "цена": {
        "текущий": "€0.48"
      },
      "URL": "https:",
      "изображение": "https://ae04.alicdn.com/kf/Sca2e93c8cc404dad8f96188d46ca7be71/Wednesday-Addams-Cosplay-Girl-Costume-Long-Sleeve-Fantasy-Spring-Autumn-Party-Dresses-Carnival-Easter-Halloween-Costumes.jpg_220x220xz.jpg_.webp",
      "shippingMessage": «Бесплатная доставка свыше €10»,
      "soldCount": 700,
      "рейтингЗначение": 4,
      "рейтингСсылка": "",
      "sellerInformation": {
        "storeName": "Магазин1102854162",
        "storeLink": "https://www.aliexpress.com/store/1102854162"
      }
    },
    {
      "заглавие": «Детские костюмы для косплея по мотивам фильмов Marvel Muscle, костюмы для мальчиков и девочек в стиле Человека-паука, супергеройские костюмы для карнавала и вечеринки на Хэллоуин»,
      "цена": {
        "текущий": "€4.31"
      },
      "URL": "https:",
      "изображение": "https://ae04.alicdn.com/kf/Sb650edf7a99e4d4dacc1bba333f7a0a3T/Halloween-Scary-Costumes-With-Mask-Gloves-Skull-Skeleton-Monster-Devil-Ghost-Clothes-Robe-For-Adult-Kids.jpg_220x220xz.jpg_.webp",
      "shippingMessage": «Бесплатная доставка свыше €10»,
      "soldCount": 1000,
      "рейтингЗначение": 4.8,
      "рейтингСсылка": "",
      "sellerInformation": {
        "storeName": «Магазин Аниме Планета»,
        "storeLink": "https://www.aliexpress.com/store/1102884865"
      }
    },
    {
      "заглавие": «Надувной костюм ET-Aliens, страшный монстр, косплей для взрослых и детей, рождественская вечеринка на День благодарения, сценический фестиваль, детская одежда»,
      "цена": {
        "текущий": "€17.94"
      },
      "URL": "https:",
      "изображение": "https://ae04.alicdn.com/kf/S0a706403723046bd951347d36955efe0v/Kids-Cosplay-Movie-Muscle-Marvel-Costumes-Boys-Girl-Spiderman-Superhero-Body-Suits-for-Carnival-Halloween-Costumes.jpg_220x220xz.jpg_.webp",
      "shippingMessage": «Бесплатная доставка свыше €10»,
      "soldCount": 2000,
      "рейтингЗначение": 4.8,
      "рейтингСсылка": "",
      "sellerInformation": {
        "storeName": "Магазин лучших костюмов",
        "storeLink": "https://www.aliexpress.com/store/1102661276"
      }
    },
    {
      "заглавие": «Уэнсдей Аддамс Косплей Костюм Для Девочек 2023 Новые Платья Для Детей Карнавал Пасха Хэллоуин Вечеринка Костюмы для 3-12 Лет Популярно»,
      "цена": {
        "текущий": "€21.94"
      },
      "URL": "https:",
      "изображение": "https://ae04.alicdn.com/kf/S4cbfda36b907494d8ecde33b5d278552J/ET-Aliens-Inflatable-Costume-Scary-Monster-Cosplay-For-Adult-Kids-Thanksgiving-Christmas-Party-Festival-Stage-Children.jpg_220x220xz.jpg_.webp",
      "shippingMessage": «Бесплатная доставка свыше €10»,
      "soldCount": 5000,
      "рейтингЗначение": 4.6,
      "рейтингСсылка": "",
      "sellerInformation": {
        "storeName": "Магазин YOFEEL",
        "storeLink": "https://www.aliexpress.com/store/1102520815"
      }
    },
    {
      "заглавие": «Детский светящийся в темноте призрак смерти, страшный детский карнавальный костюм для вечеринки на тему Хэллоуина»,
      "цена": {
        "текущий": "€12.16"
      },
      "URL": "https:",
      "изображение": "https://ae04.alicdn.com/kf/S664d37c24b96431c888bd0f5b6f0eb686/Wednesday-Addams-Cosplay-For-Girl-Costume-2023-New-Vestidos-For-Kids-Carnival-Easter-Halloween-Party-Costumes.jpg_220x220xz.jpg_.webp",
      "shippingMessage": «Бесплатная доставка свыше €10»,
      "soldCount": 279,
      "рейтингЗначение": 4.9,
      "рейтингСсылка": "",
      "sellerInformation": {
        "storeName": «Магазин костюмов Memune»,
        "storeLink": "https://www.aliexpress.com/store/1102649882"
      }
    },
    {
      "заглавие": «Костюм призрака на Хэллоуин, костюм мрачного жнеца, страшные колготки скелета, костюм демона тени для детской вечеринки»,
      "цена": {
        "текущий": "€5.1"
      },
      "URL": "https:",
      "изображение": "https://ae04.alicdn.com/kf/S75de442a4e194c34b8c0048fe0fddafao/Child-Glow-In-The-Dark-Grim-Reaper-Phantom-Scary-Kids-Fancy-Dress-Costume-Halloween-Theme-Party.jpg_220x220xz.jpg_.webp",
      "shippingMessage": «Бесплатная доставка свыше €10»,
      "soldCount": 500,
      "рейтингЗначение": 4.7,
      "рейтингСсылка": "",
      "sellerInformation": {
        "storeName": «Магазин Аниме Планета»,
        "storeLink": "https://www.aliexpress.com/store/1102884865"
      }
    },
    {
      "заглавие": «Платье на среду для девочки 2-12 лет, костюм принцессы на Хэллоуин с длинными рукавами, повседневная детская одежда на весну и осень»,
      "цена": {
        "текущий": "€6.46"
      },
      "URL": "https:",
      "изображение": "https://ae04.alicdn.com/kf/S315f46af94e44b70af60867c608881baQ/Halloween-Ghost-Skin-Costume-Grim-Reaper-Costume-Scary-Skeleton-Tights-Shadow-Demon-Bodysuit-Costume-for-Kids.jpg_220x220xz.jpg_.webp",
      "shippingMessage": "",
      "soldCount": 900,
      "рейтингЗначение": 4.4,
      "рейтингСсылка": "",
      "sellerInformation": {
        "storeName": "CYD Mart Store",
        "storeLink": "https://www.aliexpress.com/store/1102771911"
      }
    },
    {
      "заглавие": «Костюм на Хэллоуин для новорожденного, комбинезон с тыквой + шапочка + носки, комплект детской одежды, костюм на Хэллоуин для девочки и мальчика, милый комбинезон с тыквой»,
      "цена": {
        "текущий": "€6.9"
      },
      "URL": "https:",
      "изображение": "https://ae04.alicdn.com/kf/S00754ee80f6947ada0531000241dc0a7q/Wednesday-Dress-For-Girl-2-12-Yrs-Halloween-Long-Sleeve-Princess-Costume-Spring-Autumn-Kids-Daily.jpg_220x220xz.jpg_.webp",
      "shippingMessage": «Бесплатная доставка свыше €10»,
      "soldCount": 178,
      "рейтингЗначение": 4.9,
      "рейтингСсылка": "",
      "sellerInformation": {
        "storeName": «Магазин GeForest»,
        "storeLink": "https://www.aliexpress.com/store/5380138"
      }
    }
  ],
  "связанныеПоиски": [],
  "связанныеКатегории": [
    {
      "заглавие": «Новинка и специальное использование»,
      "связь": "https:"
    },
    {
      "заглавие": «Мать и дети»,
      "связь": "https:"
    },
    {
      "заглавие": «Дом и сад»,
      "связь": "https:"
    },
    {
      "заглавие": "Игрушки и хобби",
      "связь": "https:"
    }
  ]
}

Вот и все! Вы успешно использовали Postman для отправки ключевых слов на ваш сервер веб-скрейпинга и получили в ответ собранные данные. Помните, вы можете заменить «костюмы на Хэллоуин» любыми ключевыми словами, которые вы хотите искать на AliExpress. Этот процесс демонстрирует динамическую природу вашего приложения веб-скрейпинга, делая его адаптируемым к различным поисковым запросам.

VI. Сохранение данных в JSON

В нашем путешествии по извлечению результатов поиска AliExpress мы успешно настроили наш сервер веб-скрапинга и протестировали его с различными ключевыми словами с помощью Postman. Теперь пришло время еще больше улучшить наш проект, добавив функцию сохранения извлеченных данных в файл JSON. Этот шаг невероятно ценен, поскольку он позволяет вам сохранять и позже анализировать извлеченные вами данные.

Мы ввели важное дополнение к /scrape-products route в нашем коде. Это дополнение гарантирует, что данные, которые мы собираем, не просто отправляются в ответ, но и сохраняются в структурированном файле JSON. Давайте оценим код.

1
2
// Сохранение извлеченных продуктов в файле JSON
фс.writeFileSync(«AliExpressProducts.json», JSON.стягивать({scrapeProducts}, нуль, 2));
  • Мы используем модуль fs, который мы импортировали ранее, для записи данных в файл. В этом случае мы создаем новый файл с именем «AliExpressProducts.json» в текущем рабочем каталоге.
  • JSON.stringify({ scrapeProducts }, null, 2) преобразует наши извлеченные данные (в scrapeProducts переменная) в строку в формате JSON. Аргументы null, 2 предназначены для красивого вывода, что добавляет отступы для удобства чтения.
  • The fs.writeFileSync Затем метод записывает эту строку JSON в указанный файл.

Ниже представлен полный код нашего проекта:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
Const экспресс = требовать('выражать'); // Импортируем модуль «express»
Const { CrawlingAPI знак равно требовать('crawlbase'); // Импортируем модуль 'crwalbase' для Crawling API
Const фс = требовать('фс'); // Импортируем модуль 'fs'
// Инициализация Crawlbase Crawling API для сканирования HTML
Const API = новый CrawlingAPI({ знак: 'Crawlbase_JS_Токен' }); // Замени его собой Crawlbase JS-токен
// основное приложение
Const приложение = экспресс();
Const PORT = процесс.окр.PORT || 3000;
приложениеполучить('/scrape-products', асинхронной (треб, рез) => {
  стараться {
    Const ответ = Ждите пчелы.получить(
      `https://aliexpress.com/w/wholesale-${req.query.keywords.split('').присоединиться('-')}.html`,
      {
        скребок: 'aliexpress-serp',
      },
    );
    if (ответ.код состояния === 200) {
      Const scrapeProducts = ответ.JSON.тело;
      консоль.журнал(«Продукты для очистки»:, scrapeProducts);
      // Сохранение извлеченных производителей в файле JSON
      фс.writeFileSync(«AliExpressProducts.json», JSON.стягивать({scrapeProducts}, нуль, 2));
      // Ответ с помощью скопированного JSON
      Рез.статус(200).Отправить(scrapeProducts);
    } еще {
      бросать новый Ошибка(`Запрос API не выполнен со статусом: ${response.statusCode}`);
    }
  } поймать (ошибка) {
    консоль.ошибка(`Вызов API не удался: ${error.message}`);
    возвращают Рез.статус(500).Отправить({ статус: 'Неуспешный', MSG: «Данные не сохранены» });
  }
});
приложениеСлушать(PORT, () => консоль.журнал(`Сервер работает на порту ${ПОРТ}`));

Благодаря этому дополнению собранные данные будут не только доступны в ответах в режиме реального времени, но и сохранены в структурированном файле JSON для будущего использования. Это важный шаг, чтобы вы могли эффективно анализировать, обрабатывать и визуализировать данные, которые вы собираете с AliExpress.

VII. Заключение

Одной из замечательных особенностей кода, который мы рассмотрели, является то, что он не только для демонстрационных целей — он разработан для того, чтобы вы могли копировать, вставлять и адаптировать его для своих собственных проектов по веб-скрейпингу. Независимо от того, парсите ли вы AliExpress или изучаете другие начинания по веб-скрейпингу, этот код может послужить прочной основой.

Вот несколько ключевых моментов, которые следует учитывать:

Доступность: Код легко доступен, и вы можете копировать его без каких-либо ограничений.

Адаптивность: Не стесняйтесь изменять код в соответствии с вашим конкретным вариантом использования. Хотите извлечь данные с другого веб-сайта? Вы можете изменить URL и соответствующим образом настроить логику извлечения.

Гибкость ключевых слов: Хотя мы использовали «костюмы на Хэллоуин» в качестве примера, вы можете заменить его любыми ключевыми словами поиска, которые соответствуют вашим потребностям. Эта гибкость позволяет вам нацеливаться на любой продукт или контент, который вас интересует.

Хранилище данных: Код включает в себя функциональные возможности для хранить извлеченные данные в файл JSON. Вы можете настроить имя файла, формат или место хранения в соответствии со своими предпочтениями.

Интеграция: Этот код можно интегрировать в ваши существующие проекты или использовать как отдельное приложение для веб-скрейпинга. Он универсален и адаптируется к вашим требованиям.

Обучение и исследование: Даже если вы новичок в веб-скрапинге, этот код служит образовательным инструментом. Изучая и экспериментируя с ним, вы можете получить ценные знания о методах веб-скрапинга.

Если вы хотите научиться парсить AliExpress с помощью Python, вот подробное руководство для вас:

📜 Скрапинг AliExpress с помощью Python
И прежде чем вы уйдете, я оставлю вам несколько ссылок, чтобы вы могли ознакомиться с ними и усовершенствовать свои навыки извлечения данных.

📜 Как скопировать страницы поиска Amazon
📜 Как скопировать страницы поиска Walmart

Кроме того, для получения других руководств по извлечению данных из электронной коммерции ознакомьтесь с нашими обучающими материалами по извлечению данных о товарах из Walmart, eBay и Amazon.

Итак, вперед, копируйте код, экспериментируйте с ним и формируйте его в соответствии со своими уникальными потребностями. Это ваш шлюз в мир веб-скрейпинга, и возможности ограничены только вашим воображением. Независимо от того, занимаетесь ли вы данными электронной коммерции, исследованиями или любым другим проектом, связанным с данными, этот код может стать вашей надежной отправной точкой.

Наслаждайтесь скрэпом в этот Хэллоуин!

VIII. Часто задаваемые вопросы

В. Почему в качестве источника данных для веб-скрапинга выбран AliExpress?

AliExpress — главный кандидат на веб-скрапинг, поскольку это одна из крупнейших в мире платформ электронной коммерции, предлагающая широкий и разнообразный ассортимент товаров от многочисленных продавцов. Есть несколько веских причин выбрать AliExpress, вот некоторые из них:

1. Широкий ассортимент продукции: AliExpress предлагает ошеломляющий ассортимент товаров: от электроники до моды, товаров для дома и многого другого. Такое разнообразие делает его идеальным источником для маркетинговых исследований и анализа продуктов.

2. Конкурентные идеи: Используя парсинг AliExpress, компании могут получить ценную информацию о тенденциях рынка, популярных продуктах, стратегиях ценообразования и конкуренции, что позволит им принимать обоснованные решения.

3. Данные о ценах: AliExpress часто предлагает конкурентоспособные цены, и сбор этих данных может помочь компаниям в разработке ценовых стратегий и сохранении конкурентоспособности на рынке.

4. Информация о поставщике: Предприятия могут использовать полученные данные для выявления потенциальных поставщиков и оценки их надежности, качества продукции и цен.

5. Отзывы и рейтинги пользователей: AliExpress содержит множество отзывов и оценок, созданных пользователями. Сбор этой информации дает представление о качестве продукции и удовлетворенности клиентов.

6. Изображения продукта: Извлечение изображений продуктов может быть полезным для предприятий электронной коммерции при создании каталогов продукции и маркетинговых материалов.

Подводя итог, можно сказать, что AliExpress предлагает огромное количество данных, которые могут оказаться бесценными для предприятий электронной коммерции, что делает его лучшим выбором для веб-скрапинга, позволяющего получить конкурентное преимущество и принимать обоснованные бизнес-решения.

В. Как я могу обеспечить конфиденциальность и безопасность данных при веб-скрапинге AliExpress с помощью Crawlbase API?

Crawlbaseмногофункциональная структура заботится о конфиденциальность данных и безопасность при веб-скрапинге AliExpress. Он обеспечивает вашу анонимность с помощью ротационных прокси, настройки user-agent и управления сеансами. Расширенные алгоритмы обрабатывать CAPTCHA, оптимизируя скорость очистки для предотвращения перегрузки сервера и адаптируясь к меняющимся мерам безопасности, поддерживая высокий уровень конфиденциальности и безопасности. С Crawlbaseваш парсинг на AliExpress является одновременно безопасным и конфиденциальным, что позволяет вам сосредоточиться на своих целях, сохраняя при этом анонимность и соблюдая этические нормы парсинга.

В. Каковы реальные возможности веб-скрапинга на AliExpress?

Веб-скрапинг с AliExpress имеет широкий спектр практических применений в реальном мире. Вот несколько примеров того, как компании могут использовать данные, полученные с AliExpress:

  1. Исследования рынка: Веб-скрапинг позволяет компаниям собирать информацию о трендовых продуктах, ценовых стратегиях и предпочтениях клиентов. Эти данные жизненно важны для проведения маркетинговых исследований и принятия обоснованных решений о товарных предложениях и ценах.

  2. Анализ конкурентов: Сбор данных с AliExpress позволяет компаниям отслеживать цены конкурентов, списки продуктов и отзывы клиентов. Эта конкурентная разведка помогает компаниям корректировать свои стратегии, чтобы получить преимущество на рынке.

  3. Сравнение цен: Компании могут использовать собранные данные для сравнения цен на товары на AliExpress со своими собственными предложениями. Это помогает корректировать ценовые стратегии, чтобы оставаться конкурентоспособными.

  4. SEO и ключевые слова: Извлечение ключевых слов и популярных поисковых запросов из AliExpress может помощь в оптимизации SEO-стратегий, гарантируя, что продукты будут легко обнаруживаться в поисковых системах.

  5. Идентификация тренда: Веб-скрапинг можно использовать для выявления новых тенденций и популярных категорий продуктов, что позволяет компаниям согласовывать свои предложения с рыночным спросом.

  6. Маркетинговые кампании: Данные AliExpress могут помочь в разработке маркетинговых кампаний, нацеленных на товары, пользующиеся в настоящее время спросом, и приведении акций в соответствие с сезонными тенденциями.

  7. Разработка продукта: Анализ отзывов и предпочтений клиентов может помочь в разработке новых продуктов или улучшении существующих.

Это всего лишь несколько реальных применений веб-скрапинга на AliExpress, и компании из различных отраслей могут использовать эти данные для улучшения процесса принятия решений, повышения своей конкурентоспособности и оптимизации операций.

В. Где я могу найти дополнительные ресурсы или поддержку по веб-скрапингу и использованию Crawlbase API?

Crawlbase предлагает множество дополнительных ресурсов для поддержки ваших усилий по веб-скрапингу и максимально эффективного использования Crawlbase API. Для получения дополнительных примеров, вариантов использования и подробной информации рекомендуем просмотреть CrawlbaseАвтора Центр знаний страница. Там вы найдете ценную подборку контента и руководств, которые помогут вам улучшить свои навыки веб-скрейпинга и максимально раскрыть потенциал Crawlbase API. Это ценный ресурс для расширения ваших знаний и обеспечения хорошей подготовки к успешным проектам по веб-скрапингу.