В современном Интернете многие сайты используют AJAX (асинхронный JavaScript и XML) для улучшения пользовательского опыта за счет динамической загрузки контента. Вместо обновления всей страницы, AJAX загружает части страницы в ответ на действия пользователя, такие как прокрутка или нажатие, без перезагрузки всей страницы. Это обеспечивает более плавный и быстрый опыт, но создает проблемы при извлечении данных с этих сайтов.

При попытке скрапа сайта AJAX вы можете обнаружить, что нужные вам данные отсутствуют в статическом HTML. Вместо этого они загружаются динамически с помощью JavaScript, поэтому содержимое недоступно при просмотре исходного кода страницы. Чтобы извлечь эти данные, вам необходимо использовать специальные методы скрапа, которые могут взаимодействовать с запросами AJAX.

В этом блоге мы проведем вас через весь процесс извлечения данных с веб-сайтов, работающих на основе AJAX, от понимания AJAX до использования мощных инструментов, таких как Python и Crawlbase Умный прокси-сервер ИИ для оптимизации вашего парсера и избежания распространенных проблем, таких как блокировка.

Давайте начнем!

Оглавление

Проблемы парсинга AJAX-сайтов

Для новичков сбор данных с веб-сайтов, работающих на основе AJAX, может занять некоторое время. Это связано с тем, что AJAX загружает контент динамически, поэтому нужные вам данные отсутствуют в исходном HTML-коде при первом открытии страницы. Сбор данных с веб-сайтов, работающих на основе AJAX, требует инструментов и методов для работы с динамически загружаемым контентом. Однако, как и MacBook может не войти спящий режим Из-за неразрешенных процессов контент AJAX требует дополнительных шагов для воспроизведения динамической природы взаимодействия с пользователем.

Проблемы парсинга AJAX-сайтов

AJAX работает, отправляя запросы на сервер в фоновом режиме и обновляя только определенные части страницы. Например, когда вы прокручиваете страницу продукта вниз, загружаются дополнительные элементы или когда вы нажимаете кнопку, появляется новый контент. Это отлично для пользовательского опыта, но для традиционных веб-скрейперов сложно извлекать контент, поскольку данные загружаются в режиме реального времени и часто после завершения рендеринга страницы.

При попытке скрапа такого сайта статический HTML, который вы получите, будет иметь только базовую разметку и элементы, но не данные, загруженные через вызовы AJAX. Поэтому простой скрапинг не сработает. Вам нужно имитировать те же запросы AJAX, которые делает страница, чтобы получить динамические данные.

Методы парсинга AJAX-сайтов

Скрапинг AJAX-сайтов требует специальных методов, поскольку контент загружается после начальной загрузки страницы. Вот два способа сделать это.

Репликация вызовов AJAX

Репликация вызовов AJAX — самый простой способ получить динамический контент непосредственно с сервера.

  • Как заказать?: Используйте Developer Tools вашего браузера, чтобы найти URL-адреса и параметры запроса AJAX. Эти запросы загружаются в фоновом режиме, и вы можете реплицировать их в своем скрапере, чтобы получить данные напрямую.
  • Почему это помогает: Этот метод быстрее, поскольку вам не нужно отображать всю страницу, вы получаете контент быстрее.

Рендеринг JavaScript с помощью Headless-браузеров

Браузеры Headless, такие как Selenium, могут отображать JavaScript, включая контент AJAX.

  • Как заказать?: Headless-браузер имитирует реальные действия пользователя, такие как прокрутка или нажатие клавиш, для запуска AJAX-запросов и загрузки контента.
  • Почему это помогает: Это полезно, когда веб-сайт требует взаимодействия с пользователем или сложного JavaScript для загрузки данных.

Эти методы помогут вам обойти проблемы парсинга AJAX-сайтов. В следующем разделе мы рассмотрим инструменты, которые вы можете использовать для этого.

Инструменты для извлечения данных AJAX

Чтобы извлечь данные с веб-сайтов AJAX, вам нужны правильные инструменты. Вот список некоторых самых популярных инструментов для извлечения данных AJAX.

Python: запросы и BeautifulSoup

Python — популярный язык для веб-скрапинга, потому что он прост и имеет отличные библиотеки. Для скрапинга страниц AJAX с помощью Python наиболее популярны две библиотеки:

  • Запросы: Это позволяет вам делать HTTP-запросы к веб-сайтам и получать контент. Это просто в использовании и хорошо подходит для репликации вызовов AJAX, если вы знаете URL-адреса запросов.
  • КрасивыйСуп: После извлечения HTML-контента BeautifulSoup помогает вам анализировать и извлекать необходимые данные. Он отлично подходит для навигации по HTML-структуре и извлечения определенных элементов, таких как названия продуктов, цены или другой динамический контент.

Использование запросов с BeautifulSoup — отличный выбор для базового AJAX-скрапинга, особенно когда вы можете напрямую реплицировать AJAX-запросы.

Selenium для автоматизации браузера

При работе со сложными веб-сайтами, которые в значительной степени полагаются на JavaScript, Selenium является более мощным инструментом. В отличие от Requests, который получает только сырой HTML, Selenium позволяет вам взаимодействовать с веб-сайтом так, как это делал бы человек.

  • Как заказать?: Selenium автоматизирует действия браузера, такие как нажатие кнопок или прокрутка страниц, что может инициировать запросы AJAX для загрузки дополнительных данных.
  • Почему это помогает: Подходит для парсинга веб-сайтов, контент которых загружается динамически в результате взаимодействия с пользователем, например, бесконечной прокрутки или интерактивных карт.

Selenium позволяет обрабатывать страницы, отрисованные с помощью JavaScript, что делает его идеальным для более сложных задач по извлечению данных.

Извлечение данных со страниц AJAX: пошаговое руководство

Скрапинг сайтов, работающих на AJAX, может показаться сложным, но при правильном подходе и инструментах это выполнимо. В этом разделе мы шаг за шагом проведем вас через процесс скрапинга AJAX. Мы воспользуемся реальным примером, чтобы показать вам, как извлечь данные миллиардеров из Forbes в режиме реального времени с помощью конечной точки AJAX.

1. Настройка вашего скрепера

Прежде чем начать скрапинг, вам нужно установить несколько необходимых библиотек, особенно если вы используете Python. Для скрапинга контента AJAX наиболее часто используемые библиотеки:

  • Запросы: Для загрузки веб-страниц и выполнения вызовов AJAX.
  • КрасивыйСуп: Для анализа и извлечения данных со страницы.

Установите эти библиотеки с помощью pip:

1
Pip запрашивает установку beautifulsoup4

После установки импортируйте их в свой скрипт и настройте начальную структуру, чтобы начать процесс парсинга.

2. Определение AJAX-запросов

Первая задача — определить запросы AJAX, которые загружают динамический контент. Вот как это сделать:

  1. Откройте сайт в Google Chrome. Для примера мы используем URL-адрес списка миллиардеров Forbes в реальном времени.
  2. Щелкните правой кнопкой мыши на странице и выберите «Проверить» или нажмите Ctrl+Shift+I, чтобы открыть «Инструменты разработчика».
  3. Перейдите на вкладку «Сеть» и отфильтруйте по запросу XHR (XMLHttpRequest), который отображает запросы AJAX.
  4. Обновите страницу. Следите за появлением новых запросов в разделе XHR.
Проверка изображений с помощью AJAX-запросов

Данные доступны через конечную точку AJAX API. Вот URL API:

1
https://www.forbes.com/forbesapi/person/rtb/0/-estWorthPrev/true.json?fields=rank,uri,personName,lastName,gender,source,industries,countryOfCitizenship,birthDate,finalWorth,est

Эта конечная точка возвращает данные о миллиардерах, такие как их имя, звание, богатство и другие детали. Чтобы получить данные, нам просто нужно сделать HTTP-запрос на этот URL.

3. Репликация AJAX-запроса в Scraper

Теперь, когда мы знаем конечную точку AJAX, мы можем повторить этот запрос в нашем скрапере. Если вы используете Requests, следующий код поможет вам получить данные:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
Импортировать Запросы

# URL для запроса AJAX
URL = "https://www.forbes.com/forbesapi/person/rtb/0/-estWorthPrev/true.json?fields=rank,uri,personName,lastName,gender,source,industries,countryOfCitizenship,birthDate,finalWorth,est"

# Отправьте GET-запрос на URL-адрес
ответ = запросы.get(url)

# Проверьте, был ли запрос успешным
if ответ.status_code == 200:
    данные = ответ.json()
    Распечатать(Данные)
еще:
    Распечатать(«Не удалось получить данные»)

4. Анализ ответа

Получив ответ, нам нужно проанализировать данные JSON, чтобы извлечь полезную информацию. Ответ будет включать список миллиардеров с такими подробностями, как их имя, звание, богатство и т. д. Вот как получить доступ к соответствующей информации:

1
2
3
4
5
6
7
8
9
10
11
# Анализ ответа JSON
лица = данные['personList']['personsLists']

# Пройтись по списку и извлечь детали
для человека in человек:
    имя = человек['имя_персоны']
    ранг = человек['классифицировать']
    богатство = человек['finalWorth']
    страна = человек['Страна гражданства']

    Распечатать(f"{классифицировать}. {название} - {богатство} - {страна}")

Этот код выведет имя, звание, богатство и страну для каждого миллиардера в наборе данных.

1
2
3
4
5
6
7
8
9
10
1. Илон Маск - 303733.071 - США
2. Ларри Эллисон - 224761.9 - США
3. Джефф Безос - 219362.138 - США
4. Марк Цукерберг - 191735.874 - США
5. Бернар Арно и семья - 158184.432 - Франция
6. Уоррен Баффет - 147991.306 - США
7. Ларри Пейдж - 143070.973 - Соединенные Штаты
8. Сергей Брин - 136850.184 - Соединенные Штаты
9. Дженсен Хуан - 123866.414 - Соединенные Штаты
.... более

5. Хранение данных в файлах JSON

После извлечения необходимой информации вы можете захотеть сохранить ее для дальнейшего использования. Чтобы сохранить данные в файле JSON, используйте следующий код:

1
2
3
4
5
Импортировать JSON

# Сохраните данные в файл JSON
  открытый("миллиардеры_данные.json", "ш") as f:
    json.dump(персоны, f, отступ=4)

Это создаст billionaires_data.json файл, в котором хранятся все извлеченные данные в удобном для чтения формате.

В следующем разделе мы обсудим, как оптимизировать ваш скрапер с помощью Crawlbase Умный прокси-сервер ИИ для избежания блокировок во время сбора данных.

Оптимизация вашего скрапера с помощью Crawlbase Умный прокси-сервер ИИ

При парсинге AJAX-сайтов такие проблемы, как блокировка IP-адресов и ограничение скорости, могут помешать вашим усилиям. Crawlbase Умный прокси-сервер ИИ помогает решить эти проблемы, управляя ротацией IP и сохраняя анонимность вашего скрапера. Вот как он может оптимизировать ваш скрапинг:

1. Избегайте блокировок IP-адресов и ограничений скорости

Crawlbase вращает IP-адреса, заставляя запросы появляться от разных пользователей. Это предотвращает блокировку вашего скрапера за отправку слишком большого количества запросов.

2. Геотаргетинг для точных данных

Вы можете выбрать конкретные местоположения для своих запросов, гарантируя, что собираемый вами контент будет релевантным и соответствующим региону.

3. Обход CAPTCHA и мер борьбы с ботами

CrawlbaseИнтеграция с инструментами решения CAPTCHA помогает вашему парсеру обходить распространенные средства защиты от ботов без ручного вмешательства.

4. Простая установка и интеграция

Использовать Crawlbase Smart AI Proxy, просто замените URL-адрес вашего прокси-сервера на ваш уникальный Crawlbase токен и настройте свои запросы следующим образом:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
Импортировать Запросы

URL = "https://www.forbes.com/forbesapi/person/rtb/0/-estWorthPrev/true.json?fields=rank,uri,personName,lastName,gender,source,industries,countryOfCitizenship,birthDate,finalWorth,est"

# Заменять _USER_TOKEN_ с вашей Crawlbase Токены
proxy_url = 'http://_USER_TOKEN_:@smartproxy.crawlbase.com:8012'
заголовки = {
    «Пользователь-агент»: "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:131.0) Gecko/20100101 Firefox/131.0"
}

прокси = {"http": proxy_url, "https": proxy_url}
ответ = запросы.получить(url=url, headers=заголовки, proxy=прокси, verify=Ложь)

if ответ.status_code == 200:
    Распечатать(ответ.json())
еще:
    Распечатать(«Запрос не удался»)

Внимание: Вы можете получить свой токен создание учетной записи on Crawlbase. Вы получите 5000 бесплатных кредитов для легкого старта. Для бесплатной пробной версии кредитная карта не требуется.

Эта простая настройка позволяет вам легко менять IP-адреса и избегать препятствий при парсинге.

Заключение

Скрапинг сайтов AJAX — сложная задача, но с правильными методами и инструментами это осуществимо. Зная, как работает AJAX, и используя такие инструменты, как запросы, Selenium и headless-браузеры, вы можете получить необходимые данные.

Более того, оптимизируйте свой скрепер с помощью Crawlbase Умный прокси-сервер ИИ гарантирует, что вы можете надежно извлекать данные, не сталкиваясь с такими проблемами, как блокировка IP или CAPTCHA. Это не только повышает эффективность вашего парсера, но и экономит время, избегая ненужных перерывов.

Не забывайте всегда соблюдать условия обслуживания веб-сайтов, которые вы парсите, и обеспечивать этичную практику парсинга. При правильном подходе парсинг веб-сайтов AJAX может стать мощным инструментом для сбора ценных данных для ваших проектов.

FAQ

В. Что такое AJAX и почему сложно извлекать данные с веб-сайтов AJAX?

AJAX (асинхронный JavaScript и XML) — это метод, используемый веб-сайтами для обновления частей страницы без перезагрузки всей страницы. Эта динамическая загрузка контента затрудняет парсинг, поскольку данные не загружаются как статическая страница. Они загружаются в фоновом режиме с помощью запросов. Для парсинга веб-сайтов AJAX вам нужно найти эти запросы и реплицировать их, чтобы получить данные, что сложнее, чем парсинг статических страниц.

В. Как можно извлечь AJAX-контент без использования браузера?

Вы можете скрейпить контент AJAX без браузера, проанализировав сетевой трафик веб-сайта и найдя конечные точки API, которые он использует для загрузки данных. Вы можете использовать такие инструменты, как библиотека запросов Python, чтобы делать те же вызовы API и получать данные. Вам просто нужно правильно реплицировать заголовки и параметры запроса. Но некоторые веб-сайты требуют рендеринга JavaScript, в этом случае вам нужны Selenium или headless-браузеры, такие как Puppeteer, чтобы загрузить и скрейпить контент полностью.

В. Как Crawlbase Помощь Smart AI Proxy в сборе данных AJAX?

Crawlbase Умный прокси-сервер ИИ помогает вам более эффективно выполнять парсинг, управляя вашими IP-адресами и обходя CAPTCHA и ограничения скорости. Он предоставляет ротационные прокси-серверы, поэтому ваши запросы выглядят так, как будто они поступают с разных IP-адресов, поэтому вы не будете заблокированы или ограничены во время парсинга данных AJAX. Это делает ваш процесс парсинга более надежным, и вы можете получать данные без перерывов.