Большинство веб-сайтов используют JavaScript для загрузки своего контента, поэтому сложнее извлекать данные. Если вы попытаетесь использовать традиционные инструменты, такие как requests и BeautifulSoup вы упустите информацию, которая появляется только после полной загрузки страницы.

В этой статье рассматривается, как парсить страницы, отрисованные с помощью JavaScript. Мы рассмотрим статический и динамический контент, проблемы парсинга и доступные инструменты. Мы сосредоточимся на Pyppeteer, мощном инструменте, который позволяет работать с контентом JavaScript в Python.

Мы покажем вам практический пример использования Pyppeteer для извлечения данных о продукте из динамической веб-страницы. Вы также получите советы по решению распространенных проблем и повышению эффективности парсинга с помощью Crawlbase Умный прокси-сервер ИИ.

Оглавление

  1. Статические и отображаемые с помощью JavaScript страницы
  2. Проблемы сбора динамического контента
  3. Популярные инструменты для парсинга страниц, обработанных JavaScript, в Python
  • Селен
  • Драматург
  • Пиппетер
  1. Практический пример: использование Pyppeteer для извлечения динамического контента
  • Предпосылки
  • Настройка среды Python
  • Проверка страницы, отрисованной с помощью JavaScript, на наличие селекторов
  • Создание скребка Использование Pyppeteer для извлечения сведений о продукте
    • Создайте скрипт скребка
    • Определить функцию скребка
    • Запустите скребок
    • Пример полного сценария
  1. Распространенные ошибки и советы по устранению неполадок
  • Обработка задержек и тайм-аутов
  • Устранение ошибок, связанных с загрузкой и отображением страниц
  1. Оптимизация с Crawlbase Умный прокси-сервер ИИ
  2. Заключение
  3. FAQ

Статические и отображаемые с помощью JavaScript страницы

Когда дело доходит до веб-скрапинга, ключевым моментом является понимание разницы между статическими страницами и страницами, отрисованными с помощью JavaScript.

Изображение, демонстрирующее разницу между статическими страницами и страницами, отрисованными с помощью JS

Статические страницы просты. Они загружают весь свой контент, когда вы посещаете сайт. Вы можете использовать простые инструменты, такие как requests or BeautifulSoup для извлечения данных с этих страниц, поскольку данные уже находятся в HTML.

С другой стороны, Страницы, отображаемые с помощью JavaScript загружают свой контент динамически с помощью JavaScript. Это означает, что HTML, который вы видите изначально, может не содержать нужных вам данных. JavaScript запускается после загрузки страницы и извлекает больше данных с сервера. Это затрудняет скрапинг, поскольку данные могут отсутствовать в HTML при первом посещении страницы.

Например, если вы пытаетесь извлечь данные о продукте с сайта электронной коммерции, вы можете обнаружить, что списки продуктов появляются только после завершения загрузки страницы. В таких случаях традиционные методы извлечения не сработают, и вам понадобится более продвинутый инструмент, который может обрабатывать выполнение JavaScript.

Проблемы сбора динамического контента

Скрапинг страниц, отрендеренных с помощью JavaScript, имеет свой собственный набор проблем. Вот основные из них:

Время загрузки контента

JavaScript загружает контент асинхронно, поэтому элементы могут быть недоступны немедленно. Слишком ранний скрапинг может привести к потере данных.

Изменение селекторов элементов

Веб-сайты часто меняют свой дизайн, что может изменить структуру HTML и селекторы. Если ваш скрапер полагается на них, он сломается, когда произойдут изменения.

Капчи и меры по борьбе с взломом

На многих сайтах есть CAPTCHA и блокировка IP-адресов для предотвращения парсинга. Навигация по ним и соблюдение условий обслуживания может быть сложной задачей.

Обработка нумерации страниц

Динамические страницы часто разбивают данные на страницы, поэтому ваш парсер не может перемещаться по нескольким страницам, чтобы собрать все данные.

Ресурсоемкий

Рендеринг JavaScript может быть ресурсоемким, поэтому сбор данных занимает больше времени, а нагрузка на сервер увеличивается.

При скрапинге страниц, отрендеренных JavaScript, важен выбранный вами инструмент. Вот три популярных варианта: Selenium, Playwright и Pyppeteer.

Селен

Селен популярный инструмент для веб-скрапинга. Он может управлять веб-браузерами и имитировать взаимодействие с пользователем. Идеально подходит для скрапинга динамического контента. Selenium поддерживает несколько языков, включая Python.

Плюсы:

  • Гибкость: Работает со многими браузерами (Chrome, Firefox, Safari).
  • прочность: Хорошо подходит для тестирования веб-приложений.
  • Широкая поддержка сообщества: Доступно множество учебных пособий и ресурсов.

Случаи использования: Selenium хорош для проектов, требующих автоматизации браузера, например, входа на веб-сайты или заполнения форм.

Драматург

Драматург — новый инструмент, который набирает популярность для скрапинга динамического контента. Он поддерживает несколько языков, включая Python, и работает быстро.

Плюсы:

  • Кроссбраузерное тестирование: Работает с Chromium, Firefox, WebKit.
  • Автоматическое ожидание: Уменьшает задержки, связанные с ручным выполнением скриптов.
  • Простая настройка: Простой и удобный в использовании

Случаи использования: Playwright хорош для проектов, которым нужна скорость и надежность, особенно при тестировании веб-приложений.

Пиппетер

Пиппетер это порт Python Puppeteer, популярной библиотеки Node.js. Позволяет управлять браузерами Chrome без интерфейса.

Плюсы:

  • Безголовый режим: Быстрее, так как пользовательский интерфейс не отображается.
  • Простая навигация: Упрощает такие задачи, как создание снимков экрана и создание PDF-файлов.
  • Выполнение JavaScript: эффективно взаимодействует со страницами, насыщенными JavaScript.

Случаи использования: Pyppeteer хорошо подходит для извлечения данных с современных веб-сайтов с интенсивным использованием JavaScript, таких как платформы электронной коммерции.

Подводя итог, можно сказать, что каждый инструмент имеет свои сильные стороны и наилучшие сценарии использования. В зависимости от требований вашего проекта вы можете выбрать тот, который лучше всего соответствует вашим потребностям.

Практический пример: использование Pyppeteer для извлечения динамического контента

В этом разделе мы рассмотрим практический пример использования Pyppeteer для извлечения динамического контента из веб-страницы, отрендеренной с помощью JavaScript. Мы рассмотрим все, от настройки вашей среды до извлечения сведений о продукте.

Предпосылки

  • Python 3.6+ установлен в вашей системе
  • Базовое понимание Python и HTML

Настройка среды Python

Прежде чем приступить к скрейпингу, давайте подготовим нашу среду Python.

Создайте новый каталог проекта:

1
2
MkDir pyppeteer_scraper
cd pyppeteer_scraper

Настройте виртуальную среду:

1
2
python -m венв венв
источник venv/bin/активировать  # Для Windows используйте venv\Scripts\activate

Установите необходимые пакеты:

1
pip установить pyppeteer

Внимание: Если у вас возникли проблемы, убедитесь, что вы используете правильную версию Python, и проверьте наличие ошибок установки.

Проверка страницы, созданной с помощью JavaScript, на наличие селекторов

После настройки среды вам нужно будет найти селекторы для элементов, которые вы хотите скрейпить. Вот как это сделать:

  1. Откройте браузер и перейдите на целевую страницу. Для этого примера мы будем использовать URL-адрес Walmart ниже, поскольку Walmart также использует рендеринг JavaScript.
1
https://www.walmart.com/search?q=smartwatch
  1. Щелкните правой кнопкой мыши по названию продукта и выберите «Проверить», чтобы открыть инструменты разработчика.
Скриншот проверки страницы, созданной с помощью JavaScript, для селекторов
  1. Наведите указатель мыши на элементы в структуре HTML, чтобы увидеть соответствующие селекторы. Например, найдите имена классов или уникальные атрибуты, которые стабильны при загрузке страницы, такие как data-* атрибутов.

Создание скрапера с использованием Pyppeteer для извлечения сведений о продукте

Создайте скрипт скребка

Создайте новый файл Python с именем scraper.py и начните с добавления следующих импортов:

1
2
Импортировать асинцио
от пипетёр Импортировать запуск

Определить функцию скребка

Далее мы определим функцию, которая будет управлять процессом скрапинга. Эта функция запустит браузер, перейдет на нужный URL с пользовательским агентом и заголовками и извлечет сведения о продукте.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
асинхронной защиту scrape_product_details(URL):
    браузер = Ждите запуск()
    страница = Ждите browser.newPage ()

    # Установить пользовательский User-Agent и заголовки
    Ждите страница.setUserAgent(«Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, например Gecko) Chrome/58.0.3029.110 Safari/537.3»)
    Ждите страница.setExtraHTTPHeaders({
        «Принять язык»: 'en-US,en;q=0.9',
        «Принять-Кодирование»: 'gzip, deflate, br',
    })

    Ждите страница.перейти(url)

    Ждите асинхронный.сон(10)  # Подождите 10 секунды

    заголовки = Ждите страница.оценить('''() => {
        return Array.from(document.querySelectorAll('span[data-automation-id="product-title"]')).map(x => x.innerText);
    }''')

    цены = Ждите страница.оценить('''() => {
        вернуть Array.from(document.querySelectorAll('div[data-automation-id="product-price"] span.w_iUH7'))
            .map(x => x.innerText.replace('текущая цена ', ''));
    }''')

    для название, цена in застежка-молния(названия, цены):
        Распечатать(f'Заголовок: Политика, Цена: {цена}')

    Ждите browser.close ()

Запустите скребок

Добавьте это в конец вашего scraper.py файл, чтобы он запускался при запуске скрипта.

1
2
3
if __имя__ == "__основной__":
    URL = 'https://www.walmart.com/search?q=smartwatch'  # Замените на ваш целевой URL
    asyncio.get_event_loop().run_until_complete(scrape_product_details(url))

Пример полного сценария

Вот что в полном объеме scraper.py файл должен выглядеть так:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
Импортировать асинцио
от пипетёр Импортировать запуск

асинхронной защиту scrape_product_details(URL):
    браузер = Ждите запуск()
    страница = Ждите browser.newPage ()

    # Установить пользовательский User-Agent и заголовки
    Ждите страница.setUserAgent(«Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, например Gecko) Chrome/58.0.3029.110 Safari/537.3»)
    Ждите страница.setExtraHTTPHeaders({
        «Принять язык»: 'en-US,en;q=0.9',
        «Принять-Кодирование»: 'gzip, deflate, br',
    })

    Ждите страница.перейти(url)

    Ждите асинхронный.сон(10)  # Подождите 10 секунды

    заголовки = Ждите страница.оценить('''() => {
        return Array.from(document.querySelectorAll('span[data-automation-id="product-title"]')).map(x => x.innerText);
    }''')

    цены = Ждите страница.оценить('''() => {
        вернуть Array.from(document.querySelectorAll('div[data-automation-id="product-price"] span.w_iUH7'))
            .map(x => x.innerText.replace('текущая цена ', ''));
    }''')

    для название, цена in застежка-молния(названия, цены):
        Распечатать(f'Заголовок: Политика, Цена: {цена}')

    Ждите browser.close ()

if __имя__ == "__основной__":
    URL = 'https://www.walmart.com/search?q=smartwatch'
    asyncio.get_event_loop().run_until_complete(scrape_product_details(url))

При запуске скрипта откроется headless-браузер, будет выполнен переход по указанному URL-адресу и выведены на консоль названия и цены продуктов.

Распространенные ошибки и советы по устранению неполадок

При парсинге веб-сайтов, использующих JavaScript для загрузки контента, вы можете столкнуться с некоторыми распространенными проблемами. Вот несколько советов, которые помогут вам устранить неполадки.

Обработка задержек и тайм-аутов

Веб-скрапинг может быть сложным, поскольку загрузка страниц занимает время. Если ваш скрапер попытается получить доступ к элементам до того, как они будут загружены, он выдаст ошибку. Вот несколько способов справиться с задержками:

  1. Используйте фиксированное время ожидания: Вы можете добавить фиксированное ожидание, прежде чем ваш скрапер начнет искать элементы. Это даст странице время для загрузки. Например, вы можете использовать функцию сна:
1
Ждите асинхронный.сон(5)  # Подождите 5 секунды
  1. Динамическое ожидание: Вместо того, чтобы полагаться исключительно на фиксированные ожидания, рассмотрите возможность использования динамических ожиданий, таких как waitForSelector. Это приостановит выполнение скрипта до тех пор, пока указанный элемент не появится на странице.

Устранение ошибок, связанных с загрузкой и отображением страниц

Вы можете столкнуться с ошибками из-за проблем с загрузкой или отображением страницы. Вот некоторые распространенные проблемы и способы их устранения:

  1. Проверить URL: Убедитесь, что вы переходите по правильному URL. Опечатка приведет к ошибке «страница не найдена».
  2. Проверить элементы страницы: Используйте инструменты разработчика вашего браузера для проверки извлекаемых элементов. Если структура HTML изменилась, обновите селекторы.
  3. Проблемы с сетью: Если ваш интернет медленный или нестабильный, это повлияет на загрузку страницы. Попробуйте протестировать свой скрапер на более быстром соединении.
  4. Обработка ошибок JavaScript: Некоторые веб-сайты блокируют скраперы или имеют ошибки JavaScript, которые мешают отображению страницы. Если ваш скрапер не работает, проверьте консоль на наличие ошибок JavaScript и скорректируйте стратегию скрапера.
  5. Использовать обработку ошибок: Используйте блоки try-except в коде для перехвата и обработки ошибок. Таким образом, ваш скрапер продолжит работу, даже если столкнется с незначительной проблемой.

Оптимизация с помощью Crawlbase Умный прокси-сервер ИИ

Crawlbase Умный прокси-сервер ИИ помогает вам быстрее выполнять скрапинг, направляя запросы через несколько IP-адресов, чтобы веб-сайты не могли вас заблокировать. Эта служба предотвращает блокировки IP-адресов, ускоряет сбор данных за счет одновременных запросов и позволяет получить доступ к контенту, специфичному для региона.

Использовать Crawlbase Умный прокси-сервер ИИ, Регистрация для учетной записи и получите учетные данные прокси. Затем настройте свой скрапер, прокладывая маршрут через Crawlbase. Вот краткий пример на Python:

1
2
3
4
5
6
7
proxy_url = 'http://_USER_TOKEN_:@smartproxy.crawlbase.com:8012'

асинхронной   pyppeteer.запуск({
    'аргументы'[f'--прокси-сервер={proxy_url}']
}) as браузер:
    страница = Ждите browser.newPage ()
    Ждите страница.перейти('https://example.com')

Замените _USER_TOKEN_ с вашей Crawlbase токен. Интегрируя Crawlbase Используя Smart AI Proxy в своем рабочем процессе, вы сможете повысить эффективность и сократить вероятность прерываний из-за IP-блоков, что позволит более успешно извлекать данные.

Заключение

Скрапинг страниц, отрендеренных с помощью JavaScript, может быть сложным, но увлекательным занятием. С правильными инструментами, такими как Pyppeteer, Selenium или Playwright, вы можете это сделать. В этом блоге мы рассмотрели различия между статическими и отрендеренными с помощью JavaScript страницами, общие проблемы и практический пример (Pyppeteer), который поможет вам начать работу.

Используйте такие методы оптимизации, как Crawlbase Умный прокси-сервер ИИ для более быстрого парсинга и избежания IP-банов. Когда вы начнете парсинг веб-сайтов, не забудьте соблюдать условия обслуживания целевых веб-сайтов. Следуйте передовым практикам, и вы получите необходимые данные, сохраняя при этом хорошие отношения с веб-сервисами. Удачного парсинга!

FAQ

В. Что такое страница, визуализированная с помощью JavaScript?

Страница, отрендеренная JavaScript, — это веб-страница, которая динамически загружает контент с помощью JavaScript. В отличие от статических страниц, которые показывают весь контент немедленно, страницы, отрендеренные JavaScript, загружают данные после первоначальной загрузки страницы. Это затрудняет их очистку, поскольку контент не виден в исходном коде страницы сразу.

В. Зачем мне нужен специальный инструмент для парсинга страниц, обработанных с помощью JavaScript?

Для парсинга страниц, отображаемых JavaScript, необходимы специальные инструменты, такие как Selenium, Pyppeteer или Playwright, поскольку они могут имитировать браузер реального пользователя. Эти инструменты позволяют вам ждать полной загрузки страницы и отображать содержимое перед извлечением данных. Без них вы можете упустить важную информацию или получить неполные результаты.

В. Как избежать блокировки во время парсинга?

Чтобы избежать блокировки, вы можете использовать такие методы, как ротация пользовательских агентов, добавление задержек между запросами и использование прокси-серверов. Такие инструменты, как Crawlbase Умный прокси-сервер ИИ может помочь вам управлять вашими IP-адресами, чтобы веб-сайты не обнаружили и не заблокировали вашу деятельность по парсингу. Всегда помните о необходимости следовать условиям обслуживания веб-сайта, чтобы парсинг был этичным.