DeviantArt выделяется как крупнейшая социальная платформа для цифровых художников и любителей искусства. С более чем 60 миллионами участников, которые ежедневно делятся десятками тысяч произведений искусства, это лучшее место для изучения и загрузки разнообразных творений, от цифровых картин до обоев, пиксельной графики, аниме и кадров из фильмов.

Однако ручной сбор тысяч точек данных с веб-сайтов может занять очень много времени. Вместо того, чтобы вручную копировать информацию, мы автоматизируем процесс с помощью языков программирования, таких как Python.

Разнообразие цифрового искусства DeviantArt

Скрапинг DeviantArt дает нам возможность взглянуть на различные стили искусства, увидеть, что в тренде, и собрать свою коллекцию любимых картинок. Речь идет не только о наслаждении искусством; мы также можем узнать о нем больше.

В этом руководстве мы будем использовать Python, дружественный язык программирования. А чтобы помочь нам с скрейпингом, у нас есть Crawlbase Crawling API – удобный инструмент, который значительно упрощает получение данных из Интернета. Вместе Python и Crawlbase API упрощает изучение и коллекционирование цифрового искусства.

Оглавление

  1. Понимание веб-сайта DeviantArt
  • Структура страницы поиска DeviantArt
  • Зачем копировать изображения с DeviantArt?
  1. Настройка вашей среды
  • Установка Python и библиотек
  • получение Crawlbase API ключ
  • Выбор среды разработки IDE
  1. Исследование Crawlbase Crawling API
  • Технические преимущества Crawlbase Crawling API
  • Отправка запроса с Crawling API
  • Время и формат ответа API
  • Crawling API Параметры
  • Бесплатная пробная версия, стратегия тарификации и ограничение скорости
  • Crawlbase Библиотека Python
  1. Crawling Страница поиска DeviantArt
  • Импорт необходимых библиотек
  • Создание URL для поиска DeviantArt
  • Выполнение запросов API с помощью Crawlbase Crawling API для извлечения HTML
  • Запуск вашего скрипта
  1. Обработка нумерации страниц
  • Понимание пагинации в DeviantArt
  • Изменение запросов API для нескольких страниц
  • Обеспечение эффективной обработки страниц
  1. Анализ и извлечение URL-адресов изображений
  • Проверка страницы поиска DeviantArt на наличие селекторов CSS
  • Использование селекторов CSS для извлечения URL-адресов изображений
  • Хранение извлеченных данных в базе данных CSV и SQLite
  1. Загрузка изображений с URL-адресов скопированных изображений
  • Использование Python для загрузки изображений
  • Организация загруженных изображений
  1. Выводы
  2. FAQ

Понимание веб-сайта DeviantArt

DeviantArt — это яркое и обширное онлайн-сообщество, которое служит убежищем для художников, как опытных, так и начинающих. Запущенный в 2000 году, DeviantArt превратился в одно из крупнейших онлайн-сообществ по искусству, насчитывающее миллионы пользователей и обширную коллекцию разнообразных произведений искусства.

По своей сути DeviantArt — это цифровая галерея, где художники могут выставлять широкий спектр своих творений, включая цифровые картины, иллюстрации, фотографии, литературу и многое другое. Платформа поощряет взаимодействие посредством комментариев, критики и создания совместных проектов, способствуя созданию динамичной и благоприятной среды для творческих умов.

Структура страницы поиска DeviantArt

Страница поиска — это шлюз к множеству произведений искусства, предоставляющий фильтры и параметры для уточнения поиска по определенным темам, стилям или художникам.

Разнообразие цифрового искусства DeviantArt

Ключевые компоненты структуры страницы поиска DeviantArt включают в себя:

  • Search Bar: Точка входа для пользователей, позволяющая вводить ключевые слова, теги или имена исполнителей.
  • Фильтры: Возможности сужения поиска на основе категорий, типов и популярности.
  • Сетка результатов: Отображение сетки миниатюрных изображений произведений искусства, соответствующих критериям поиска.
  • Нумерация страниц: Навигация для перемещения по нескольким страницам результатов поиска.

Зачем копировать изображения с DeviantArt?

Люди, в том числе исследователи, копируют изображения по разным причинам. Во-первых, это позволяет энтузиастам открывать для себя разнообразные художественные стили и таланты на DeviantArt, что делает его захватывающим путешествием художественного исследования. Для исследователей и аналитиков копирование предоставляет ценные данные для изучения тенденций и эволюции цифрового искусства с течением времени. Художники и любители искусства также используют копированные изображения в качестве источника вдохновения и создают тщательно подобранные коллекции, демонстрируя колоссальную креативность сообщества DeviantArt. Кроме того, копирование помогает понять динамику сообщества, включая популярные темы, тенденции сотрудничества и влияние различных стилей искусства. По сути, копирование с DeviantArt — это способ оценить, узнать и внести свой вклад в богатую палитру художественного выражения на платформе.

Настройка вашей среды

Для скрапинга изображений с Deviantart давайте убедимся, что ваша среда подготовлена ​​и готова. Этот раздел проведет вас через установку основных инструментов, включая Python, и настройку необходимых библиотек — Crawlbase, BeautifulSoup и Pandas.

Установка Python и библиотек

Установка Python:

Начните с установки Python, языка программирования, который будет управлять нашим приключением по скрапингу. Посетите официальный сайт Python и загрузите последнюю версию, подходящую для вашей операционной системы. Следуйте инструкциям по установке, чтобы настроить Python на вашем компьютере.

Создайте виртуальную среду:

Чтобы поддерживать чистую и организованную среду разработки, рассмотрите возможность создания виртуальной среды для вашего проекта. Используйте следующие команды в вашем терминале:

1
2
3
4
5
6
# Создайте виртуальную среду
python -m венв myenv

# Активировать виртуальную среду
источник myenv/bin/активировать  # На macOS/Linux
.\myenv\Scripts\активировать   # В Windows

Установка библиотеки:

После установки Python откройте терминал или командную строку и установите необходимые библиотеки с помощью следующих команд:

1
2
3
4
pip установить crawlbase
Пип установить BeautifulSoup4
пип установить панды
запросы на установку pip

Crawlbase: crawlbase библиотека представляет собой оболочку Python для Crawlbase API, который позволит нам эффективно выполнять веб-запросы.

Красивый суп: Beautiful Soup — библиотека для разбора HTML и XML-документов. Она особенно полезна для извлечения данных из веб-страниц.

Панды: Pandas — это мощная библиотека для обработки данных, которая поможет вам эффективно организовать и проанализировать собранные данные.

Запросы: requests Библиотека — это модуль Python для простой отправки HTTP-запросов и управления ответами. Она упрощает общие операции HTTP, что делает ее широко используемым инструментом для веб-задач, таких как веб-скрапинг и взаимодействие с API.

получение Crawlbase API ключ

Подписаться на Crawlbase:

Перейдите в Crawlbase сайт и Регистрация для учетной записи, если вы еще этого не сделали. После регистрации войдите в свою учетную запись.

Получите свой ключ API:

После входа в систему перейдите в свой документация по счету on Crawlbase. Найдите свой ключ API, который имеет решающее значение для взаимодействия с Crawlbase Crawling API. Храните этот ключ в надежном месте, поскольку он станет вашим шлюзом для доступа к нужным вам веб-данным.

Выбор среды разработки IDE

Интегрированная среда разработки (IDE) — это как особое пространство для написания кода. Она помогает, выделяя код, предлагая слова по мере ввода и предоставляя инструменты для исправления ошибок. Несмотря на то, что вы можете писать код Python в простом текстовом редакторе, использование IDE значительно упрощает и улучшает процесс разработки.

Вот несколько популярных IDE для Python, которые стоит рассмотреть:

  1. PyCharm: PyCharm — это надежная IDE с бесплатной версией Community Edition. Она предлагает такие функции, как анализ кода, визуальный отладчик и поддержку веб-разработки.

  2. Код Visual Studio (код VS): VS Code — бесплатный редактор кода с открытым исходным кодом, разработанный Microsoft. Его обширная библиотека расширений делает его универсальным для различных задач программирования, включая веб-скрапинг.

  3. Jupyter Notebook: Jupyter Notebook отлично подходит для интерактивного кодирования и исследования данных. Он широко используется в проектах по науке о данных.

  4. Spyder: Spyder — это IDE, разработанная для научных и связанных с данными задач. Она предоставляет такие функции, как проводник переменных и интерактивная консоль.

С этими шагами ваша среда теперь оснащена необходимыми инструментами для нашего DeviantArt scraper-начинания. В следующих разделах мы воспользуемся этими инструментами для создания нашего DeviantArt Scraper и раскроем мир цифрового искусства.

Исследование Crawlbase Crawling API

Приступая к использованию веб-скрапинга для DeviantArt, важно понимать Crawlbase Crawling API. В этой части будут подробно описаны технические детали CrawlbaseAPI, предоставляющий вам знания о том, как без проблем использовать его в вашем проекте по сбору данных о заданиях Python.

Технические преимущества Crawlbase Crawling API

The Crawlbase Crawling API предлагает несколько важных преимуществ, помогая разработчикам собирать веб-данные и легко управлять различными частями процесса сканирования. Вот некоторые заметные преимущества:

Технические преимущества Crawlbase Crawling API
  1. Адаптируемые настройки: Crawlbase Crawling API дает множество настроек, позволяя разработчикам тонко настраивать свои запросы API. Это включает такие параметры, как «format», «user_agent», «page_wait» и другие, позволяя настраивать на основе конкретных потребностей.
  2. Выбор формата данных: Разработчики могут выбирать между форматами ответов JSON и HTML в зависимости от своих предпочтений и потребностей в обработке данных. Такая гибкость упрощает извлечение и обработку данных.
  3. Обработка файлов cookie и заголовков: Используя такие параметры, как «get_cookies" а также "получить_заголовки», разработчики могут получить важную информацию, такую ​​как файлы cookie и заголовки с исходного веб-сайта, которая имеет решающее значение для определенных задач веб-скрапинга.
  4. Работа с динамическим контентом: Этот API хорош для обработки динамического контента, полезен для сканирования страниц с JavaScript. Такие параметры, как «страница_ожидание" а также "ajax_wait«Помогите разработчикам убедиться, что API захватывает весь контент, даже если его загрузка занимает некоторое время.
  5. Изменение IP-адреса: Этот API позволяет вам сменить IP-адреса, сохраняя вашу анонимность и снижая вероятность блокировки веб-сайтами. Эта функция делает веб-сканирование более успешным.
  6. Выбор места: Разработчики могут указать страну для запросов с помощью «страна«параметр, который удобен в ситуациях, когда вам нужны данные из определенных мест.
  7. Поддержка сети Tor: Включение «tor_network«параметр позволяет сканировать onion-сайты через сеть Tor, делая ее более конфиденциальной и предоставляя доступ к контенту в даркнете.
  8. Использование скраперов для данных: Этот API позволяет вам использовать предопределенные скребки данных с использованием "скребок«параметр, позволяющий без особых хлопот получать конкретную информацию с веб-страниц.
  9. Асинхронное сканирование: Если вам необходимо асинхронное сканирование, API поддерживает «асинхронной“ параметр. Разработчики получают идентификатор запроса (RID) для легкого извлечения просканированных данных из облачного хранения.
  10. Автопарсинг: «автоанализ«Параметр упрощает извлечение данных, предоставляя проанализированную информацию в формате JSON, что снижает необходимость в большом количестве дополнительной работы после получения HTML-контента.

Подводя итог, CrawlbaseАвтора Crawling API мощный инструмент для веб-скрейпинга и извлечения данных. Он предлагает множество настроек и функций для удовлетворения различных потребностей, делая веб-сканирование эффективным и действенным, независимо от того, имеете ли вы дело с динамическим контентом, управляете файлами cookie и заголовками, изменение IP-адресовили получение конкретных данных.

Отправка запроса с Crawling API

CrawlbaseАвтора Crawling API разработан для простоты и удобства интеграции в ваши проекты веб-скрейпинга. Все URL-адреса API начинаются с базовой части: https://api.crawlbase.com. Сделать первый вызов API так же просто, как выполнить команду в терминале:

1
виться 'https://api.crawlbase.com/?token=YOUR_CRAWLBASE_TOKEN&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories'

Здесь вы увидите параметр токена, который служит вашим ключом аутентификации для доступа CrawlbaseВозможности веб-скрапинга. Crawlbase предлагает два типа токенов: обычный (TCP) токен и токен JavaScript (JS). Выбирайте обычный токен для веб-сайтов, которые не сильно меняются, например, статических веб-сайтов. Но если вы хотите получить информацию с сайта, который работает только тогда, когда люди используют веб-браузеры с JavaScript, или если JavaScript делает важные вещи, которые вы хотите, на стороне пользователя, то вам следует использовать токен JavaScript. Как и в случае с DeviantArt, обычный токен — хороший выбор.

Время и формат ответа API

При взаимодействии с Crawlbase Crawling API, важно понять динамику времени отклика и как интерпретировать успех или неудачу. Давайте подробнее рассмотрим эти компоненты:

Время ответа: Обычно API показывает время отклика в диапазоне от 4 до 10 секунд. Чтобы обеспечить плавную работу и компенсировать возможные задержки, рекомендуется установить тайм-аут для вызовов не менее 90 секунд. Это защищает ваше приложение, позволяя ему управлять колебаниями времени отклика без сбоев.

Форматы ответа: При отправке запросов Crawlbase, вы можете выбрать формат ответа HTML или JSON в зависимости от ваших предпочтений и потребностей в анализе. Добавляя параметр запроса «format» со значениями «HTML» или «JSON», вы можете указать желаемый формат.

В сценарии, где вы выбираете формат ответа HTML (настройка по умолчанию), API предоставит HTML-контент веб-страницы в качестве ответа. Параметры ответа будут удобно включены в заголовки ответа для удобства доступа. Вот наглядный пример ответа:

1
2
3
4
5
6
7
Заголовки:
  URL: протокол HTTPS://github.com/crawlbase?tab=репозитории
  оригинальный_статус: 200
  pc_status: 200

Тело:
  HTML страницы

Если вы выберете формат ответа JSON, вы получите структурированный объект JSON, который можно легко проанализировать в вашем приложении. Этот объект содержит всю необходимую информацию, включая параметры ответа. Вот пример ответа:

1
2
3
4
5
6
{
  "исходный_статус": "200",
  "статус_ПК": 200,
  "URL": "https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories",
  «Тело»: "HTML страницы"
}

Заголовки ответа: Ответы HTML и JSON включают в себя важные заголовки, которые предоставляют ценную информацию о запросе и его результате:

  • url: Исходный URL, который был отправлен в запросе, или URL любых перенаправлений, которые Crawlbase последовало.
  • original_status: Ответ о состоянии, полученный Crawlbase при сканировании URL, отправленного в запросе. Это может быть любой действительный код статуса HTTP.
  • pc_status: Crawlbase (pc) код статуса, который может быть любым кодом статуса и является кодом, который в итоге оказывается действительным. Например, если веб-сайт возвращает original_status 200 с вызовом CAPTCHA, pc_status может быть 503.
  • body: Этот параметр доступен в формате JSON и содержит содержимое веб-страницы, которая Crawlbase найдено в результате сканирования прокси-сервером URL-адреса, отправленного в запросе.

Эти параметры ответа позволяют вам оценить результаты ваших запросов и определить, была ли операция по веб-скрейпингу успешной.

Crawling API Параметры

Crawlbase предлагает полный набор параметров, которые позволяют разработчикам настраивать свои запросы на сканирование веб-страниц. Эти параметры позволяют точно настраивать процесс сканирования для удовлетворения конкретных требований. Например, вы можете указать форматы ответов, такие как JSON или HTML, используя параметр «format» или контролировать время ожидания страницы с помощью «page_wait» при работе с контентом, сгенерированным JavaScript.

Кроме того, вы можете извлекать файлы cookie и заголовки, устанавливать пользовательские агенты, делать снимки экрана и даже выбирать настройки геолокации с помощью таких параметров, как «get_cookies», «user_agent», «screenshot» и «country». Эти параметры обеспечивают гибкость и контроль над процессом сканирования веб-страниц. Например, чтобы получить файлы cookie, установленные исходным веб-сайтом, вы можете просто включить параметр запроса get_cookies=true в свой запрос API и Crawlbase вернет файлы cookie в заголовках ответа.

Вы можете больше узнать о Crawlbase Crawling API параметры здесь.

Бесплатная пробная версия, стратегия тарификации и ограничение скорости

Crawlbase продлевает пробный период, охватывающий первые 1,000 запросов, предлагая шанс изучить его возможности, прежде чем принимать на себя обязательства. Тем не менее, оптимизация этого пробного окна имеет решающее значение для извлечения из него максимальной выгоды.

Работая по модели «оплата по факту использования», Crawlbase взимает плату исключительно за успешные запросы, обеспечивая экономически эффективное и действенное решение для ваших усилий по веб-скрейпингу. Определение успешных запросов зависит от тщательного изучения original_status и pc_status в пределах параметров ответа.

API устанавливает ограничение скорости, ограничивая запросы максимум 20 в секунду на токен. Если вам необходим более высокий предел скорости, обращение в службу поддержки позволяет провести индивидуальное обсуждение, чтобы учесть ваши конкретные требования.

Crawlbase Библиотека Python

The Crawlbase Библиотека Python предлагает простой способ взаимодействия с Crawlbase Crawling API. Вы можете использовать этот легкий и не имеющий зависимостей класс Python в качестве оболочки для Crawlbase API. Для начала инициализируем Crawling API класс с вашим Crawlbase токен. Затем вы можете сделать запросы GET, указав URL, который вы хотите скопировать, и любые желаемые параметры, такие как пользовательские агенты или форматы ответов. Например, вы можете скопировать веб-страницу и получить доступ к ее содержимому следующим образом:

1
2
3
4
5
6
7
8
9
от база сканирования Импортировать CrawlingAPI

# Инициализируем класс CrawlingAPI
api = CrawlingAPI({ токен: 'ВАШ_ТОКЕН_БАЗЫ_КРАНА' })

# Сделайте запрос GET для очистки веб-страницы
ответ = api.get('https://www.example.com')
if ответ['status_code'] == 200:
    Распечатать(ответ['тело'])

Эта библиотека упрощает процесс извлечения веб-данных и особенно полезна для сценариев, где динамический контент, ротация IP-адресов и другие расширенные функции Crawlbase API обязательны.

Crawling Страница поиска DeviantArt

Теперь, когда мы вооружились пониманием DeviantArt и настроенной средой, давайте погрузимся в захватывающий процесс сканирования страницы поиска DeviantArt. Этот раздел проведет вас через импорт необходимых библиотек, построение URL для поиска и выполнение запросов API с использованием Crawlbase Crawling API для извлечения HTML-контента.

Импорт необходимых библиотек

Откройте ваш любимый редактор Python или создайте новый файл скрипта Python. Чтобы начать наше приключение по ползанию, нам нужно вооружиться правильными инструментами. Импортируйте необходимые библиотеки в ваш скрипт Python:

1
от база сканирования Импортировать CrawlingAPI

Здесь мы приводим CrawlingAPI класс от Crawlbase, гарантируя, что у нас есть возможности взаимодействовать с Crawling API.

Теперь давайте построим URL для нашего поиска DeviantArt. Предположим, мы хотим исследовать цифровое искусство с ключевым словом «fantasy». Конструкция URL может выглядеть так:

1
2
3
4
5
6
7
8
# Замените «YOUR_CRAWLBASE_TOKEN» на ваш реальный Crawlbase Токен API
api_token = 'ВАШ_ТОКЕН_БАЗЫ_КРАНА'
crawlbase_api = CrawlingAPI({ токен: api_token })

базовый_url = "https://www.deviantart.com"
ключевое слово = "фантастика"

поиск_url = f"{базовый_url}/поиск?q={слово}"

Выполнение запросов API с помощью Crawlbase Crawling API для извлечения HTML

Теперь, когда наш URL готов, давайте воспользуемся мощью Crawlbase Crawling API для извлечения HTML-содержимого страницы поиска DeviantArt:

1
2
3
4
5
6
7
8
9
10
# Выполнение API-запроса
ответ = crawlbase_api.get(search_url)

# Проверьте, был ли запрос успешным
if ответ['status_code'] == 200:
    # Извлеченный HTML-контент после декодирования байтовых данных
    html_content = ответ['тело'].decode('латинский1')
    Распечатать(html_контент)
еще:
    Распечатать(f"Запрос не выполнен с кодом статуса {ответ['status_code']}: {ответ['тело']}")

В этом фрагменте мы использовали метод get класса CrawlingAPI для выполнения запроса к сконструированному поисковому URL. Затем ответ проверяется на успешность, и в случае успеха извлекается HTML-контент для дальнейшего изучения.

Запуск вашего скрипта

Теперь, когда ваш скрипт готов, сохраните его с расширением .py, например, deviantart_scraper.py. Откройте терминал или командную строку, перейдите в каталог скрипта и выполните:

1
питон deviantart_scraper.py

Замените deviantart_scraper.py на фактическое имя вашего скрипта. Нажмите Enter, и ваш скрипт будет выполнен, инициируя процесс сканирования страницы поиска DeviantArt.

Пример вывода:

Код HTML-вывода

С помощью этих шагов мы инициировали процесс сканирования страницы поиска DeviantArt. В следующих разделах мы углубимся в анализ и извлечение URL-адресов изображений, приближая нас к завершению нашего DeviantArt Scraper.

Обработка нумерации страниц

Навигация по нескольким страницам — это обычная проблема при парсинге веб-сайтов с обширным контентом, и DeviantArt не является исключением. В этом разделе мы углубимся в тонкости обработки пагинации, гарантируя, что наш парсер DeviantArt эффективно захватит широкий спектр результатов поиска.

Понимание пагинации в DeviantArt

DeviantArt структурирует результаты поиска по нескольким страницам для систематического управления и представления контента. Каждая страница обычно содержит подмножество результатов, и пользователи продвигаются по этим страницам, чтобы исследовать дополнительный контент. Понимание этой системы пагинации необходимо для того, чтобы наш скрапер мог собрать полный набор данных.

Изменение запросов API для нескольких страниц

Чтобы адаптировать наш скрапер для пагинации, нам нужно будет динамически изменять наши запросы API по мере перемещения по разным страницам. Рассмотрим следующий пример:

1
2
3
4
5
# Предположим, что 'page_number' — это переменная, представляющая номер страницы.
номер_страницы = 10  # Измените это на желаемый номер страницы

# Измените URL поиска, включив в него номер страницы.
поиск_url = f"{базовый_url}/поиск?q={слово}& page ={номер_страницы}"

В этом фрагменте мы добавили &page={page_number} к URL поиска, чтобы указать нужную страницу. По мере того, как наш скрапер продвигается по страницам, мы можем обновить page_number соответственно.

Обеспечение эффективной обработки страниц

Эффективность имеет первостепенное значение при работе с пагинацией, чтобы предотвратить ненужную нагрузку на ресурсы. Рассмотрите возможность внедрения цикла для систематического перебора нескольких страниц. Давайте обновим скрипт из предыдущего раздела, чтобы включить пагинацию:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
от база сканирования Импортировать CrawlingAPI

защиту scrape_page(API, базовый_url, ключевое_слово, номер_страницы):
    # Создать URL для текущей страницы
    текущий_url_страницы = f"{базовый_url}/поиск?q={слово}& page ={номер_страницы}"

    # Сделайте запрос API и извлеките HTML-контент
    ответ = api.get(current_page_url)

    if ответ['status_code'] == 200:
        # Извлеченный HTML-контент после декодирования байтовых данных
        html_content = ответ['тело'].decode('латинский1')

        # Реализуйте здесь логику синтаксического анализа и извлечения данных
        # Например, проанализируйте html_content и извлеките соответствующие данные

        # На данный момент, возвращаем список заполнителей
        возвращают [f"Данные со страницы {номер_страницы}"]
    еще:
        Распечатать(f"Запрос на {current_page_url} сбой с кодом статуса {ответ['status_code']}: {ответ['тело']}")
        возвращают Ничто

защиту main():
    # Замените «YOUR_CRAWLBASE_TOKEN» на ваш реальный Crawlbase Токен API
    api_token = 'ВАШ_ТОКЕН_БАЗЫ_КРАНА'
    crawlbase_api = CrawlingAPI({ токен: api_token })

    базовый_url = "https://www.deviantart.com"
    ключевое слово = "фантастика"
    всего_страниц = 10

    # Просматривайте страницы и извлекайте данные
    для номер страницы in ассортимент(1, всего_страниц + 1):
        # Очистить текущую страницу
        data_from_page = scrape_page(crawlbase_api, base_url, keyword, page_number)

        if данные_со_страницы:
            Распечатать(данные_со_страницы)  # Измените по мере необходимости в зависимости от вашей структуры данных.

if __имя__ == "__основной__":
    Основной ()

The scrape_page Функция инкапсулирует логику построения URL, создания запроса API и обработки извлечения HTML-контента. Она проверяет код статуса ответа и, в случае успеха (код статуса 200), обрабатывает HTML-контент для извлечения данных. main функция инициализирует Crawlbase API, устанавливает базовый URL, ключевое слово и общее количество страниц для скрапа. Затем он проходит по указанному количеству страниц, вызывая scrape_page функция для каждой страницы. Извлеченные данные, представленные здесь в виде списка заполнителей, печатаются для демонстрационных целей.

В следующих разделах мы подробно рассмотрим процесс анализа HTML-контента для извлечения URL-адресов изображений и реализацию механизмов для систематической загрузки этих изображений.

Анализ и извлечение URL-адресов изображений

Теперь, когда мы успешно прошли через несколько страниц, пришло время сосредоточиться на разборе и извлечении ценной информации из HTML-контента. В этом разделе мы рассмотрим, как проверить страницу поиска DeviantArt на предмет селекторов CSS, использовать эти селекторы для извлечения изображений, очистить извлеченные URL-адреса и, наконец, сохранить данные в форматах CSV и SQLite.

Проверка страницы поиска DeviantArt на наличие селекторов CSS

Прежде чем мы сможем извлечь URL-адреса изображений, нам нужно определить элементы HTML, содержащие соответствующую информацию. Щелкните правой кнопкой мыши на веб-странице, выберите «Проверить» (или «Проверить элемент») и пройдите по структуре HTML, чтобы найти элементы, содержащие URL-адреса изображений.

Например, DeviantArt структурирует URL-адреса своих изображений в тегах HTML следующим образом:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
<a
  данные-крючок="отклонение_ссылка"
  HREF="https://www.deviantart.com/siobhan-o-wisp/art/Owl-6-925596734"
  ария-лейбл=«Сова № 6, автор Siobhan-o-wisp, визуальное искусство»
>
  <DIV
    класс="_3_ЛЖИ"
    ария-скрытая="True"
    данные-testid="большой палец"
    тип="ImageObject"
    Vocab="https://schema.org/"
    стиль="ширина: 233px; высота: 279px"
  >
    <IMG
      альт="Сова №6"
      SRC="src_url_here"
      srcset="srcset_url_here"
      собственность="contentUrl"
      стиль="ширина: 233px; высота: 279px; размер объекта: обложка; положение объекта: 50% 100%"
    />
  </DIV>
</a>

В этом случае селектор CSS для URL-адреса изображения может быть следующим: a[data-hook="deviation_link"] img[property="contentUrl"].

Использование селекторов CSS для извлечения URL-адресов изображений

Давайте интегрируем логику разбора в наш существующий скрипт. Используя библиотеку BeautifulSoup, мы можем разобрать HTML-контент и извлечь URL-адреса изображений на основе идентифицированных CSS селекторы. Обновите функцию scrape_page, включив в нее логику анализа с использованием селекторов CSS.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
от база сканирования Импортировать CrawlingAPI
от bs4 Импортировать КрасивыйСуп
Импортировать JSON

защиту scrape_page(API, базовый_url, ключевое_слово, номер_страницы):
    # Создать URL для текущей страницы
    текущий_url_страницы = f"{базовый_url}/поиск?q={слово}& page ={номер_страницы}"

    # Сделайте запрос API и извлеките HTML-контент
    ответ = api.get(current_page_url)

    if ответ['status_code'] == 200:
        # Извлеченный HTML-контент после декодирования байтовых данных
        html_content = ответ['тело'].decode('латинский1')

        # Реализуйте здесь логику синтаксического анализа и извлечения данных
        анализируемые_данные = []
        суп = КрасивыйСуп(html_content, 'html.парсер')

        # Пример селектора CSS для URL-адресов изображений
        селектор_изображений = 'a[data-hook="deviation_link"] img[property="contentUrl"]'

        # Извлечение и очистка URL-адресов изображений с помощью селектора CSS
        image_elements = soup.select(селектор_изображения)
        для элемент_изображения in элементы_изображения:
            # Извлечение URL-адреса необработанного изображения
            URL_изображения = элемент_изображения['источник'].полоска()

            проанализированные_данные.append({'url_изображения': URL_изображения})

        возвращают проанализированные_данные
    еще:
        Распечатать(f"Запрос на {current_page_url} сбой с кодом статуса {ответ['status_code']}: {ответ['тело']}")
        возвращают Ничто

защиту main():
    # Замените «YOUR_CRAWLBASE_TOKEN» на ваш реальный Crawlbase Токен API
    api_token = 'ВАШ_ТОКЕН_БАЗЫ_КРАНА'
    crawlbase_api = CrawlingAPI({ токен: api_token })

    базовый_url = "https://www.deviantart.com"
    ключевое слово = "фантастика"
    всего_страниц = 2

    # Просматривайте страницы и извлекайте данные
    все_данные = []
    для номер страницы in ассортимент(1, всего_страниц + 1):
        # Очистить текущую страницу
        data_from_page = scrape_page(crawlbase_api, base_url, keyword, page_number)

        if данные_со_страницы:
            все_данные.расширить(данные_со_страницы)

    # Распечатать или сохранить все сведения о продукте
    Распечатать(json.dumps(все_данные, отступ=2))

if __имя__ == "__основной__":
    Основной ()

scrape_page(api, base_url, keyword, page_number): Эта функция принимает параметры для Crawlbase API-экземпляр api, базовый URL base_url, ключевое слово для поиска keyword, и номер страницы page_number. Он создает URL для текущей страницы, делает запрос к Crawlbase API для извлечения HTML-контента, а затем извлекает URL-адреса изображений из HTML с помощью BeautifulSoup. Селектор CSS, используемый для URL-адресов изображений, — это 'a[data-hook="deviation_link"] img[property="contentUrl"]'. Извлеченные URL-адреса изображений сохраняются в списке словарей. parsed_data.
main(): Эта функция является основной точкой входа скрипта. Она инициализирует Crawlbase API с предоставленным токеном устанавливает базовый URL-адрес на «https://www.deviantart.com, определяет ключевое слово поиска как «fantasy» и определяет общее количество страниц для скрапинга (в данном случае 2). Он выполняет итерацию по указанному количеству страниц, вызывая scrape_page функция для каждой страницы и добавление извлеченных данных в all_data список. Наконец, он выводит извлеченные данные в отформатированном представлении JSON, используя json.dumps.

Пример вывода:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
[
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/36b9a048-0833-460c-a2f0-3a4d1c029340/de9ysag-ad79d0fb-4de7-4bd9-9223-c7c38feecc5a.png/v1/fill/w_462,h_250,q_70,strp/jungle_tombs_by_rajanandepu_de9ysag-250t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9NjkzIiwicGF0aCI6IlwvZlwvMzZiOWEwNDgtMDgzMy00NjBjLWEyZjAtM2E0ZDFjMDI5MzQwXC9kZTl5c2FnLWFkNzlkMGZiLTRkZTctNGJkOS05MjIzLWM3YzM4ZmVlY2M1YS5wbmciLCJ3aWR0aCI6Ijw9MTI4MCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.G3TyS8DU1qgsA9V6gmXA2bhAABHAB-YlqYyusaKu2W8"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/31ca8292-e979-4e41-a025-8b13994f6690/d9iwdru-5a282fd0-bd6f-4904-9ec0-34a471c0e96f.jpg/v1/crop/w_163,h_250,x_0,y_0,scl_0.16717948717949,q_70,strp/fairy_bay_by_darekzabrocki_d9iwdru-250t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9MTUwMCIsInBhdGgiOiJcL2ZcLzMxY2E4MjkyLWU5NzktNGU0MS1hMDI1LThiMTM5OTRmNjY5MFwvZDlpd2RydS01YTI4MmZkMC1iZDZmLTQ5MDQtOWVjMC0zNGE0NzFjMGU5NmYuanBnIiwid2lkdGgiOiI8PTk3NSJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.T79tGh8ikSpiB0bgTgRiPj_jErhylF6FzhOh9V_26Hw"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/b0069016-7cd6-4fff-b1ae-242d4172d5b4/de8zc6a-b87e753d-3657-4cf2-af4d-d55043b88486.jpg/v1/fit/w_414,h_245,q_70,strp/fantasy_maps_art_coomiissions_for_steven_by_threeanglework_de8zc6a-414w.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9NjA1IiwicGF0aCI6IlwvZlwvYjAwNjkwMTYtN2NkNi00ZmZmLWIxYWUtMjQyZDQxNzJkNWI0XC9kZTh6YzZhLWI4N2U3NTNkLTM2NTctNGNmMi1hZjRkLWQ1NTA0M2I4ODQ4Ni5qcGciLCJ3aWR0aCI6Ijw9MTAyNCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.SWEVlwSLHEY7I0Agl2IVMKxylq0LTX3Xvee57lbnoJQ"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/7665f267-607e-41b3-93d4-d44b75b58e37/dexmkcy-8daa7a57-febe-4b40-bc06-ca2edf4355a4.jpg/v1/fill/w_670,h_350,q_70,strp/city_of_elves_by_panjoool_dexmkcy-350t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9NjcwIiwicGF0aCI6IlwvZlwvNzY2NWYyNjctNjA3ZS00MWIzLTkzZDQtZDQ0Yjc1YjU4ZTM3XC9kZXhta2N5LThkYWE3YTU3LWZlYmUtNGI0MC1iYzA2LWNhMmVkZjQzNTVhNC5qcGciLCJ3aWR0aCI6Ijw9MTI4MCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.F6h5UrGiIOe0ct6XH2EP5g6sB06TI0TQDZa7yq08shM"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/38961eb5-6954-4066-a5b4-74c4c17bba02/dessk9p-898c4573-2759-4e13-8c6e-c6af5893cb77.png/v1/fill/w_566,h_350/magic_forest_by_postapodcast_dessk9p-350t.png?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9NzkyIiwicGF0aCI6IlwvZlwvMzg5NjFlYjUtNjk1NC00MDY2LWE1YjQtNzRjNGMxN2JiYTAyXC9kZXNzazlwLTg5OGM0NTczLTI3NTktNGUxMy04YzZlLWM2YWY1ODkzY2I3Ny5wbmciLCJ3aWR0aCI6Ijw9MTI4MCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.aZ3GIu_6Jnj1k6w9ci7KRrzCdWTSTD__fJUZaKUBayw"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/8fd505b7-1d62-42fa-ae28-60294fb112fa/da4h819-5434889d-db48-41c0-a548-15ffb704ffc7.jpg/v1/fill/w_700,h_329,q_70,strp/the_grand_gate_by_merl1ncz_da4h819-350t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9NzA1IiwicGF0aCI6IlwvZlwvOGZkNTA1YjctMWQ2Mi00MmZhLWFlMjgtNjAyOTRmYjExMmZhXC9kYTRoODE5LTU0MzQ4ODlkLWRiNDgtNDFjMC1hNTQ4LTE1ZmZiNzA0ZmZjNy5qcGciLCJ3aWR0aCI6Ijw9MTUwMCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.wBoGmmno1N26VvCPVDR2pdkCNP_rYpxxo_dmQdYvSXc"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/6ff2ccfb-d302-4348-87bc-8b9568748e63/d8ox1uh-3baf219c-0bac-47fa-b227-c89a8134845c.jpg/v1/fill/w_657,h_350,q_70,strp/journey_home_ii_by_jjcanvas_d8ox1uh-350t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9NjgyIiwicGF0aCI6IlwvZlwvNmZmMmNjZmItZDMwMi00MzQ4LTg3YmMtOGI5NTY4NzQ4ZTYzXC9kOG94MXVoLTNiYWYyMTljLTBiYWMtNDdmYS1iMjI3LWM4OWE4MTM0ODQ1Yy5qcGciLCJ3aWR0aCI6Ijw9MTI4MCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.r83EO9Verq40yofAO0J5aaxk39zI_3Km8xy9IhcHTJU"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/0f32ddfc-07dd-4afe-bcfd-60218bd1c565/d9woys6-489490fe-e3f3-493d-b5dd-b74b36d72044.jpg/v1/fill/w_622,h_350,q_70,strp/wizard_overlord_by_88grzes_d9woys6-350t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9NTc2IiwicGF0aCI6IlwvZlwvMGYzMmRkZmMtMDdkZC00YWZlLWJjZmQtNjAyMThiZDFjNTY1XC9kOXdveXM2LTQ4OTQ5MGZlLWUzZjMtNDkzZC1iNWRkLWI3NGIzNmQ3MjA0NC5qcGciLCJ3aWR0aCI6Ijw9MTAyNCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.CWF2dVY5FD_pY6In-SM4iSHUtKZ4LcWz7w4jckLSotM"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/677a3275-419d-415d-a4ee-fe2097a24e46/ddfkq9w-cc46d438-9640-428e-a1e7-986fdede405d.jpg/v1/fill/w_700,h_339,q_70,strp/fantasy_landscape_by_blueavel_ddfkq9w-350t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9NDg0IiwicGF0aCI6IlwvZlwvNjc3YTMyNzUtNDE5ZC00MTVkLWE0ZWUtZmUyMDk3YTI0ZTQ2XC9kZGZrcTl3LWNjNDZkNDM4LTk2NDAtNDI4ZS1hMWU3LTk4NmZkZWRlNDA1ZC5qcGciLCJ3aWR0aCI6Ijw9MTAwMCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.qRJRzrqAUyn-IxUZovvdfIkqeQ4PyYFwO4PA5fZSVuw"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/cf4e3b17-25ab-486e-9863-1d2651123f7e/d45tdhb-2cceea9d-cf27-4325-92f0-9c8f8c406872.jpg/v1/fill/w_143,h_250,q_70,strp/fantasy_castle_by_peterconcept_d45tdhb-250t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9MTAwMCIsInBhdGgiOiJcL2ZcL2NmNGUzYjE3LTI1YWItNDg2ZS05ODYzLTFkMjY1MTEyM2Y3ZVwvZDQ1dGRoYi0yY2NlZWE5ZC1jZjI3LTQzMjUtOTJmMC05YzhmOGM0MDY4NzIuanBnIiwid2lkdGgiOiI8PTU3MSJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.5lnZruTFCmZkMar66M81rvQQloK8sCoZtIa6aqMOpVo"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/a0102abd-a974-49be-9415-5d6329de2615/d85kpn2-969091cf-bf6c-45e3-8431-e37425010343.jpg/v1/fill/w_500,h_250,q_70,strp/fantasy_city_by_britneypringle_d85kpn2-250t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9NTEyIiwicGF0aCI6IlwvZlwvYTAxMDJhYmQtYTk3NC00OWJlLTk0MTUtNWQ2MzI5ZGUyNjE1XC9kODVrcG4yLTk2OTA5MWNmLWJmNmMtNDVlMy04NDMxLWUzNzQyNTAxMDM0My5qcGciLCJ3aWR0aCI6Ijw9MTAyNCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.WGMQEQnTucVFLQ734ScVyRUCJVuaNvucC8hx10KnSak"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/2f9d63ea-05a6-44f9-a06d-3c3506ace1a6/dc7rp7q-8cde501b-30a5-4c5b-a7c0-e8da6577d000.jpg/v1/fit/w_414,h_240,q_70,strp/mushy_land_by_raphael_lacoste_dc7rp7q-414w.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9OTI4IiwicGF0aCI6IlwvZlwvMmY5ZDYzZWEtMDVhNi00NGY5LWEwNmQtM2MzNTA2YWNlMWE2XC9kYzdycDdxLThjZGU1MDFiLTMwYTUtNGM1Yi1hN2MwLWU4ZGE2NTc3ZDAwMC5qcGciLCJ3aWR0aCI6Ijw9MTYwMCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.eFslHR3hiGwNnIsEWI82ZRXAfbrdGHZOHn2nBfRa_Qg"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/5676e946-eac5-462d-8385-566c5e7b4794/dek1geb-693d25d3-c206-409f-abb0-0fce7bf52b45.jpg/v1/fill/w_700,h_336,q_70,strp/homecoming_by_flaviobolla_dek1geb-350t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9NzY5IiwicGF0aCI6IlwvZlwvNTY3NmU5NDYtZWFjNS00NjJkLTgzODUtNTY2YzVlN2I0Nzk0XC9kZWsxZ2ViLTY5M2QyNWQzLWMyMDYtNDA5Zi1hYmIwLTBmY2U3YmY1MmI0NS5qcGciLCJ3aWR0aCI6Ijw9MTYwMCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.VRn481jxhnjKhv47e9WMKclr0piK7T7ljM7IbMn42GU"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/35267649-f012-4cf7-9907-94a5d524e332/dcya6ht-644bdc7e-efbc-40a4-8fd3-727832ddd5ca.jpg/v1/fill/w_635,h_350,q_70,strp/fantasy_castle_012219_by_rich35211_dcya6ht-350t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9MTMwMSIsInBhdGgiOiJcL2ZcLzM1MjY3NjQ5LWYwMTItNGNmNy05OTA3LTk0YTVkNTI0ZTMzMlwvZGN5YTZodC02NDRiZGM3ZS1lZmJjLTQwYTQtOGZkMy03Mjc4MzJkZGQ1Y2EuanBnIiwid2lkdGgiOiI8PTIzNjAifV1dLCJhdWQiOlsidXJuOnNlcnZpY2U6aW1hZ2Uub3BlcmF0aW9ucyJdfQ.LYDYnkQTWyJWgjerl0PG8N8Qp64J98PAcMDt2_ngjGs"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/0c6e0590-011b-4912-bfe4-9353b6e5dc98/ddxqz6d-71e5fc4a-1d91-4cd4-b074-0cb826b70f84.jpg/v1/fill/w_199,h_250,q_70,strp/ramparts_by_eddie_mendoza_ddxqz6d-250t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9MTQ1MCIsInBhdGgiOiJcL2ZcLzBjNmUwNTkwLTAxMWItNDkxMi1iZmU0LTkzNTNiNmU1ZGM5OFwvZGR4cXo2ZC03MWU1ZmM0YS0xZDkxLTRjZDQtYjA3NC0wY2I4MjZiNzBmODQuanBnIiwid2lkdGgiOiI8PTExNTYifV1dLCJhdWQiOlsidXJuOnNlcnZpY2U6aW1hZ2Uub3BlcmF0aW9ucyJdfQ.0NFGpaE22d48MHr2PTfPQlDss07ec8iwKXGKtpRgq3c"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/aea046b5-589a-463d-9119-f40d956640f2/dewfvci-253919a9-25b6-43b0-87ba-4c99ddd766bd.jpg/v1/fill/w_200,h_250,q_70,strp/samurai_guardian___photoshop_art_by_phaserunner_dewfvci-250t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9MTMwMCIsInBhdGgiOiJcL2ZcL2FlYTA0NmI1LTU4OWEtNDYzZC05MTE5LWY0MGQ5NTY2NDBmMlwvZGV3ZnZjaS0yNTM5MTlhOS0yNWI2LTQzYjAtODdiYS00Yzk5ZGRkNzY2YmQuanBnIiwid2lkdGgiOiI8PTEwNDAifV1dLCJhdWQiOlsidXJuOnNlcnZpY2U6aW1hZ2Uub3BlcmF0aW9ucyJdfQ.pSPdQ7FqWJu_iqi1vJjmUuUBKOIOC_qtwathhKubLAc"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/6ff2ccfb-d302-4348-87bc-8b9568748e63/dagt780-aca17f21-148a-40f3-b27e-fb3795bdb274.jpg/v1/fill/w_444,h_250,q_70,strp/the_secret_entrance_by_jjcanvas_dagt780-250t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9NzIwIiwicGF0aCI6IlwvZlwvNmZmMmNjZmItZDMwMi00MzQ4LTg3YmMtOGI5NTY4NzQ4ZTYzXC9kYWd0NzgwLWFjYTE3ZjIxLTE0OGEtNDBmMy1iMjdlLWZiMzc5NWJkYjI3NC5qcGciLCJ3aWR0aCI6Ijw9MTI4MCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.i44QkrqohRXgceqNI3b0x2ARW0UIJK2NDDDjPoSVZ9I"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/f240a8b1-06c4-4ffa-9ba0-853a80e54e12/des3vvj-a1c9c5bf-5311-45c4-96e9-b3078b0012da.png/v1/fill/w_163,h_250,q_70,strp/forest_journey_by_aszith_des3vvj-250t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9MTIyNyIsInBhdGgiOiJcL2ZcL2YyNDBhOGIxLTA2YzQtNGZmYS05YmEwLTg1M2E4MGU1NGUxMlwvZGVzM3Z2ai1hMWM5YzViZi01MzExLTQ1YzQtOTZlOS1iMzA3OGIwMDEyZGEucG5nIiwid2lkdGgiOiI8PTgwMCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.CHWmKX7b7Kswbv4XHh-YQlNzmHzc2DQsP5thVGP_iD0"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/d9752802-856c-4511-837b-6eadbdb551b8/devdavw-d59b805d-64a1-4a2c-be45-154ecc6c5617.jpg/v1/fill/w_622,h_350,q_70,strp/kingdom_by_oliverbeck_devdavw-350t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9MTA4MCIsInBhdGgiOiJcL2ZcL2Q5NzUyODAyLTg1NmMtNDUxMS04MzdiLTZlYWRiZGI1NTFiOFwvZGV2ZGF2dy1kNTliODA1ZC02NGExLTRhMmMtYmU0NS0xNTRlY2M2YzU2MTcuanBnIiwid2lkdGgiOiI8PTE5MjAifV1dLCJhdWQiOlsidXJuOnNlcnZpY2U6aW1hZ2Uub3BlcmF0aW9ucyJdfQ.D8s098xZS2g6ggPrl0Iw7rQzYf5OcWS8QKySdjg0GL4"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/0c6e0590-011b-4912-bfe4-9353b6e5dc98/ddn4c9i-8560bfd6-2236-47a5-8bf5-a73b5dc67328.jpg/v1/fill/w_643,h_350,q_70,strp/canal_town_by_eddie_mendoza_ddn4c9i-350t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9OTI1IiwicGF0aCI6IlwvZlwvMGM2ZTA1OTAtMDExYi00OTEyLWJmZTQtOTM1M2I2ZTVkYzk4XC9kZG40YzlpLTg1NjBiZmQ2LTIyMzYtNDdhNS04YmY1LWE3M2I1ZGM2NzMyOC5qcGciLCJ3aWR0aCI6Ijw9MTcwMCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.xgGzUkprTYO2Tg4vvz7Ctq56tFR58q4mNxhpoMl_14Y"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/882eb67f-8d3f-470f-a043-0225b551ee06/da6chgs-f1f4e973-92eb-4b59-b60d-b31fea9a7611.jpg/v1/fill/w_700,h_324,q_70,strp/fantasy_landscape_5_by_daisanvisart_da6chgs-350t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9NDE3IiwicGF0aCI6IlwvZlwvODgyZWI2N2YtOGQzZi00NzBmLWEwNDMtMDIyNWI1NTFlZTA2XC9kYTZjaGdzLWYxZjRlOTczLTkyZWItNGI1OS1iNjBkLWIzMWZlYTlhNzYxMS5qcGciLCJ3aWR0aCI6Ijw9OTAwIn1dXSwiYXVkIjpbInVybjpzZXJ2aWNlOmltYWdlLm9wZXJhdGlvbnMiXX0.5d8EegjXzeJ8ePHg5ZhzmHfJl6kSLf--vFK2ghEuj08"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/7665f267-607e-41b3-93d4-d44b75b58e37/dem904a-235a588a-34b6-42e6-94ec-2496d7e61773.jpg/v1/fill/w_684,h_350,q_70,strp/the_kingdom_by_panjoool_dem904a-350t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9OTg0IiwicGF0aCI6IlwvZlwvNzY2NWYyNjctNjA3ZS00MWIzLTkzZDQtZDQ0Yjc1YjU4ZTM3XC9kZW05MDRhLTIzNWE1ODhhLTM0YjYtNDJlNi05NGVjLTI0OTZkN2U2MTc3My5qcGciLCJ3aWR0aCI6Ijw9MTkyMCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.g6vuGPKnGtajUm_h9iQRaufGZ2K4BkDtURK9AXXjmls"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/6ff2ccfb-d302-4348-87bc-8b9568748e63/dcozqaf-5514dcfe-1363-4eac-9929-a9605ef2b140.jpg/v1/fill/w_595,h_350,q_70,strp/forgotten_kingdoms_iv_by_jjcanvas_dcozqaf-350t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9ODIzIiwicGF0aCI6IlwvZlwvNmZmMmNjZmItZDMwMi00MzQ4LTg3YmMtOGI5NTY4NzQ4ZTYzXC9kY296cWFmLTU1MTRkY2ZlLTEzNjMtNGVhYy05OTI5LWE5NjA1ZWYyYjE0MC5qcGciLCJ3aWR0aCI6Ijw9MTQwMCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.fh4lMrrTAj8LKRVn0dzvmV_oRSpvJsppbK6ipuJBciY"
  },
  {
    "url_изображения": "https://images-wixmp-ed30a86b8c4ca887773594c2.wixmp.com/f/4b0bb084-0057-48cf-92b4-7319629b576c/damprvc-31559c47-6da4-461c-b218-0a15bd7ee31e.jpg/v1/fill/w_700,h_298,q_70,strp/a_new_friend_by_grivetart_damprvc-350t.jpg?token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ1cm46YXBwOjdlMGQxODg5ODIyNjQzNzNhNWYwZDQxNWVhMGQyNmUwIiwiaXNzIjoidXJuOmFwcDo3ZTBkMTg4OTgyMjY0MzczYTVmMGQ0MTVlYTBkMjZlMCIsIm9iaiI6W1t7ImhlaWdodCI6Ijw9ODUxIiwicGF0aCI6IlwvZlwvNGIwYmIwODQtMDA1Ny00OGNmLTkyYjQtNzMxOTYyOWI1NzZjXC9kYW1wcnZjLTMxNTU5YzQ3LTZkYTQtNDYxYy1iMjE4LTBhMTViZDdlZTMxZS5qcGciLCJ3aWR0aCI6Ijw9MjAwMCJ9XV0sImF1ZCI6WyJ1cm46c2VydmljZTppbWFnZS5vcGVyYXRpb25zIl19.BYESPqEjOAWFf4FVrBDlGfn4sXJbcUSJG_otWz7Qppg"
  }
]

Хранение извлеченных данных в базе данных CSV и SQLite

Теперь давайте обновим main функция обработки извлеченных данных и сохранения их в форматах CSV и SQLite.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
Импортировать sqlite3
от база сканирования Импортировать CrawlingAPI
от bs4 Импортировать КрасивыйСуп
Импортировать панд as pd

защиту инициализировать_базу_данных(имя_файла_базы_данных='deviantart_data.db'):
    conn = sqlite3.connect(имя_файла_базы_данных)
    курсор = conn.cursor ()

    курсор.выполнить('' 'Окно выдачи
        СОЗДАТЬ ТАБЛИЦУ, ЕСЛИ НЕ СУЩЕСТВУЕТ deviantart_data (
            идентификатор ЦЕЛОГО ПЕРВИЧНОГО КЛЮЧА,
            URL_изображения ТЕКСТ
        )
    '' 'Окно выдачи)

    # Зафиксировать изменения и закрыть соединение
    конн.коммит()
    conn.close ()

защиту вставить_данные_в_базу_данных(данные, db_filename='deviantart_data.db'):
    conn = sqlite3.connect(имя_файла_базы_данных)
    курсор = conn.cursor ()

    # Вставить данные в таблицу
    для строка in данные:
        курсор.выполнить(«ВСТАВИТЬ В deviantart_data (image_url) ЗНАЧЕНИЯ (?)», (ряд['url_изображения'],))

    # Зафиксировать изменения и закрыть соединение
    конн.коммит()
    conn.close ()

защиту scrape_page(API, базовый_url, ключевое_слово, номер_страницы):
    # Создать URL для текущей страницы
    текущий_url_страницы = f"{базовый_url}/поиск?q={слово}& page ={номер_страницы}"

    # Сделайте запрос API и извлеките HTML-контент
    ответ = api.get(current_page_url)

    if ответ['status_code'] == 200:
        # Извлеченный HTML-контент после декодирования байтовых данных
        html_content = ответ['тело'].decode('латинский1')

        # Реализуйте здесь логику синтаксического анализа и извлечения данных
        анализируемые_данные = []
        суп = КрасивыйСуп(html_content, 'html.парсер')

        # Пример селектора CSS для URL-адресов изображений
        селектор_изображений = 'a[data-hook="deviation_link"] img[property="contentUrl"]'

        # Извлечение и очистка URL-адресов изображений с помощью селектора CSS
        image_elements = soup.select(селектор_изображения)
        для элемент_изображения in элементы_изображения:
            # Извлечение URL-адреса необработанного изображения
            URL_изображения = элемент_изображения['источник'].полоска()

            проанализированные_данные.append({'url_изображения': URL_изображения})

        возвращают проанализированные_данные
    еще:
        Распечатать(f"Запрос на {current_page_url} сбой с кодом статуса {ответ['status_code']}: {ответ['тело']}")
        возвращают Ничто

защиту main():
    # Замените «YOUR_CRAWLBASE_TOKEN» на ваш реальный Crawlbase Токен API
    api_token = 'ВАШ_ТОКЕН_БАЗЫ_КРАНА'
    crawlbase_api = CrawlingAPI({ токен: api_token })

    базовый_url = "https://www.deviantart.com"
    ключевое слово = "фантастика"
    всего_страниц = 2

    # Просматривайте страницы и извлекайте данные
    все_данные = []
    для номер страницы in ассортимент(1, всего_страниц + 1):
        # Очистить текущую страницу
        data_from_page = scrape_page(crawlbase_api, base_url, keyword, page_number)

        if данные_со_страницы:
            все_данные.расширить(данные_со_страницы)

    # Сохраните все данные в CSV с помощью Pandas
    df = pd.DataFrame(все_данные)
    имя_файла_csv = 'deviantart_data.csv'
    df.to_csv(csv_filename, index=Ложь, кодировка='utf-8')

    # Вызов функции initialize_database
    инициализировать_базу_данных()
    # Вставить все данные в базу данных
    вставить_данные_в_базу_данных(все_данные)

if __имя__ == "__основной__":
    Основной ()
  • Для хранения CSV скрипт использует библиотеку Pandas для создания DataFrame df из извлеченных данных, а затем записывает DataFrame в CSV-файл. deviantart_data.csv с использованием метода to_csv.
  • Для хранилища базы данных SQLite скрипт инициализирует базу данных с помощью initialize_database функцию и вставляет извлеченные данные в deviantart_data таблица с использованием insert_data_into_database Функция. Файл базы данных deviantart_data.db создается и обновляется при каждом запуске скрипта и включает столбцы идентификатора и URL-адреса изображения для каждой записи.

deviantart_data.csv предварительный просмотр:

deviantart_data.csv Предварительный просмотр

deviantart_data.db предварительный просмотр:

deviantart_data.db Предварительный просмотр

Загрузка изображений с URL-адресов скопированных изображений

В этом разделе вы узнаете, как использовать Python для загрузки изображений с URL-адресов, полученных с DeviantArt, как обрабатывать потенциальные ошибки загрузки и эффективно организовывать загруженные изображения.

Использование Python для загрузки изображений

Python предлагает множество библиотек для обработки HTTP-запросов и загрузки файлов. Один из распространенных и удобных для пользователя вариантов — это requests Библиотека. Ниже приведен базовый пример того, как можно использовать ее для загрузки изображения:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
Импортировать Запросы

защиту скачать_изображение(URL-адрес, путь_сохранения):
    стараться:
        ответ = запросы.получить(url, поток=Правда)
        ответ.raise_for_status()

          открытый(сохранить_путь, 'вб') as файл:
            для кусок in response.iter_content(chunk_size=8192):
                файл.запись(кусок)

        Распечатать(f"Изображение успешно загружено: {save_path}")

    кроме запросы.исключения.RequestException as e:
        Распечатать(f"Ошибка загрузки изображения с {URL}: {е}")

# Пример использования
URL_изображения = "https://example.com/image.jpg"
путь_загрузки = "загруженные_изображения/изображение.jpg"
download_image(url_изображения, путь_загрузки)

Эта функция, download_image, берет URL изображения и локальный путь, где изображение должно быть сохранено. Затем он использует requests библиотека для загрузки изображения.

Организация загруженных изображений

Организация загруженных изображений в структурированном каталоге может значительно упростить дальнейшую обработку. Рассмотрите возможность создания структуры папок на основе категорий, ключевых слов или любых других соответствующих критериев. Вот простой пример того, как можно организовать загруженные изображения:

1
2
3
4
5
6
7
загруженные_изображения/
|-- фэнтези/
| |-- изображение1.jpg
| |-- изображение2.jpg
|-- научная фантастика/
| |-- изображение3.jpg
| |-- изображение4.jpg

Такая организация может быть достигнута путем корректировки download_path в download_image функция на основе категории или любой другой соответствующей информации, связанной с каждым изображением.

Выполнив эти шаги, вы сможете не только загружать изображения с DeviantArt, но и эффективно обрабатывать ошибки и организовывать загруженные изображения для легкого доступа и дальнейшего анализа.

Выводы

Надеюсь, теперь вы сможете легко загружать и извлекать изображения из DeviantArt с помощью Python и Crawlbase Crawling API. А также, используя Python и изучая страницы поиска DeviantArt, вы узнали, как эффективно извлекать и организовывать ссылки на изображения.

Независимо от того, создаете ли вы коллекцию цифрового искусства или пытаетесь понять, что находится на DeviantArt, важно подходить к скрапингу веба ответственно. Всегда следуйте правилам платформы и будьте этичны.

Теперь, когда у вас есть эти полезные навыки, вы можете начать скрейпинг в Интернете самостоятельно. Если у вас возникнут какие-либо проблемы, вы можете задать Crawlbase команда поддержки за помощью.

FAQ

Хотя сам по себе веб-скрейпинг в целом является законным, важно соблюдать границы, установленные условиями обслуживания DeviantArt. DeviantArt Scraper работает с уважением к этичным практикам скрапинга. Всегда читайте и соблюдайте руководящие принципы DeviantArt, чтобы обеспечить ответственное и законное использование.

В. Как мне справиться с пагинацией при скрейпинге DeviantArt?

Управление пагинацией в DeviantArt включает в себя построение URL-адресов для различных страниц в результатах поиска. В руководстве показано, как настроить запросы API для нескольких страниц, что обеспечивает плавный проход по страницам поиска DeviantArt. Это обеспечивает комплексное извлечение данных для тщательного исследования.

В. Могу ли я настроить данные, которые я извлекаю из DeviantArt?

Конечно. Руководство дает представление о проверке HTML-структуры страниц поиска DeviantArt и использовании селекторов CSS. Эта настройка позволяет вам настраивать извлечение данных, позволяя вам сосредоточиться на определенной информации, такой как URL-адреса изображений. Адаптируйте логику скрапинга в соответствии с вашими индивидуальными потребностями и предпочтениями.

В. Каковы преимущества хранения данных в форматах CSV и SQLite?

Хранение данных в форматах CSV и SQLite предлагает универсальный подход. CSV облегчает обмен данными и их анализ, делая их доступными для различных приложений. С другой стороны, SQLite предоставляет легкое решение для баз данных, гарантируя эффективный поиск и управление данными в ваших проектах Python. Этот двухформатный подход подходит для различных вариантов использования и предпочтений.