Когда дело касается сферы недвижимости, доступ к точным и актуальным данным может дать вам конкурентное преимущество. Одной из платформ, которая стала источником данных о недвижимости, является Zillow. Благодаря своей обширной базе данных списков недвижимости, рыночных тенденций и информации о районах, Zillow стала сокровищницей ценных данных для покупателей жилья, продавцов и специалистов по недвижимости.

Zillow, хвастающийся впечатляющей статистикой сайта, регистрирует миллионы посещений ежедневно и размещает ошеломляющее количество объявлений о недвижимости. Благодаря удобному интерфейсу и разнообразному набору функций, Zillow привлекает значительную аудиторию, ищущую информацию о тенденциях в сфере недвижимости и сведения о недвижимости.

Посетители Zillow

Профессионалы в сфере недвижимости в значительной степени полагаются на точные и исчерпывающие данные для принятия обоснованных решений. Будь то исследование рыночных тенденций, оценка цен на недвижимость или определение инвестиционных возможностей, доступ к надежным данным имеет решающее значение. Но ручное извлечение данных из Zillow может быть утомительной и трудоемкой задачей. Вот где в игру вступает сбор данных. Сбор данных из Zillow дает профессионалам в сфере недвижимости возможность быстро и эффективно собирать и анализировать большие объемы данных, экономя время и усилия.

Присоединяйтесь к нам, и мы исследуем мир сбора данных Zillow с помощью Питон. Мы начнем с общепринятого подхода, разберемся с его ограничениями, а затем углубимся в эффективность Crawlbase Crawling API. Присоединяйтесь к нам в этом приключении по тонкостям веб-скрапинга на Zillow!

Содержание

  1. Понимание настройки скрапинга Zillow
  • Пути поиска Zillow
  • Ключевые данные, доступные на Zillow
  1. Настройка среды Python
  • Установка Python
  • Установка необходимых библиотек
  • Выбор подходящей среды разработки IDE
  1. Создайте скребок Zillow
  • Использование библиотеки запросов Python
  • Проверьте страницу Zillow на наличие селекторов CSS
  • Разбор HTML с помощью BeautifulSoup
  • Недостатки и проблемы общего подхода
  1. Скрэп Зиллоу с Crawlbase
  • Crawlbase Регистрация и API-токен
  • Доступ к Crawling API Crawlbase Библиотека
  • Извлечение URL-адресов страниц свойств из SERP
  • Обработка пагинации для расширенного поиска данных
  • Извлечение данных из URL-адресов страниц недвижимости Zillow
  • Сохранение извлеченных данных Zillow в базе данных
  • Преимущества использования CrawlbaseАвтора Crawling API для Zillow Scraping
  1. Заключение
  2. Часто задаваемые вопросы (FAQ):

Понимание настройки скрапинга Zillow

Zillow предлагает удобный интерфейс и обширную базу данных объявлений о недвижимости. С Zillow вы можете легко искать недвижимость по желаемому местоположению, ценовому диапазону и другим конкретным критериям. Платформа предоставляет подробную информацию о недвижимости, включая количество спален и ванных комнат, площадь в квадратных футах и ​​даже виртуальные туры или 3D-просмотры в некоторых случаях.

Более того, Zillow выходит за рамки простого листинга недвижимости. Он также предоставляет ценную информацию о районах и тенденциях рынка. Вы можете изучить уровень преступности, рейтинги школ и удобства в определенном районе, чтобы определить, соответствует ли он вашим предпочтениям и образу жизни. Интерактивные картографические инструменты Zillow позволяют визуализировать близость недвижимости к близлежащим удобствам, таким как школы, парки и торговые центры.

Пути поиска Zillow

Zillow предлагает различные другие фильтры поиска, такие как диапазон цен, тип недвижимости, количество спален и многое другое. Эффективно используя эти фильтры, вы можете сузить свой поиск и извлечь конкретные данные, которые соответствуют вашим потребностям. URL-адреса разбиты на отдельные разделы на основе запросов и предпочтений пользователей. Вот примеры некоторых основных категорий в URL-адресах SERP:

  • Объявления о продаже: https://www.zillow.com/{location}/sale/?searchQueryState={...}
  • Проданная недвижимость: https://www.zillow.com/{location}/sold/?searchQueryState={...}
  • Предложения по аренде: https://www.zillow.com/{location}/rentals/?searchQueryState={....}

Эти URL-адреса представляют собой определенные разделы базы данных Zillow, позволяя пользователям просматривать объекты недвижимости, выставленные на продажу, недавно проданные объекты недвижимости или предложения по аренде в определенном месте.

Ключевые данные, которые можно получить на Zillow

При извлечении данных из Zillow крайне важно определить ключевые точки данных, которые соответствуют вашим целям. Zillow предоставляет широкий спектр информации, начиная от сведений о недвижимости и заканчивая тенденциями рынка. Вот некоторые из основных точек данных, которые вы можете извлечь из Zillow:

Скрэп Зиллоу
  • Детали:: Включает подробную информацию об объекте недвижимости, такую ​​как площадь в квадратных футах, количество спален и ванных комнат, а также тип недвижимости (например, односемейный дом, кондоминиум, квартира).
  • История изменения цен: Отслеживает историческую информацию о ценах на недвижимость, позволяя пользователям анализировать тенденции и колебания цен с течением времени.
  • Зиллоу Зестимат: Запатентованный инструмент оценки стоимости жилья Zillow, который предоставляет приблизительную рыночную стоимость недвижимости на основе различных факторов. Он дает представление о потенциальной стоимости недвижимости.
  • Информация о районе: предоставляет данные о районе, включая близлежащие школы, удобства, уровень преступности и другие важные сведения, которые способствуют всестороннему пониманию района.
  • Тенденции местного рынка: дает представление о местном рынке недвижимости, демонстрируя такие тенденции, как медианные цены на жилье, уровни запасов и среднее время нахождения объектов недвижимости на рынке.
  • Сопоставимые продажи домов: позволяет пользователям сравнивать характеристики и цены объекта недвижимости с аналогичными домами в этом районе, помогая анализировать рынок и принимать решения.
  • Информация об аренде: Для объектов недвижимости, сдаваемых в аренду, Zillow предоставляет такую ​​информацию, как ежемесячная арендная плата, условия аренды и удобства, помогая как арендаторам, так и арендодателям сделать обоснованный выбор.
  • Информация о налоге на недвижимость: предоставляет данные о налогах на имущество, помогая пользователям понять налоговые последствия, связанные с конкретной недвижимостью.
  • Домашние особенности и удобства: Перечисляет конкретные особенности и удобства, доступные в объекте недвижимости, предоставляя подробный обзор для потенциальных покупателей или арендаторов.
  • Интерактивные карты: Использует карты для отображения местоположений объектов недвижимости, границ районов и близлежащих достопримечательностей, улучшая пространственное понимание.

Понимание и использование этих ключевых данных на Zillow крайне важны для всех, кто занимается исследованиями в сфере недвижимости, будь то для личного использования, принятия инвестиционных решений или анализа рынка.

Как сканировать Zillow с помощью Python

Настройка благоприятной среды Python является основополагающим шагом для эффективного извлечения данных о недвижимости из Zillow. Вот краткое руководство по подготовке среды Python:

Установка Python

Начните с установки Python на свой компьютер. Посетите официальный сайт Python (https://www.python.org/) для загрузки последней версии, совместимой с вашей операционной системой.

Во время установки обязательно установите флажок «Добавить Python в PATH», чтобы сделать Python доступным из любого окна командной строки.

После установки Python откройте командную строку или окно терминала и проверьте установку с помощью следующей команды:

1
python --version

Установка необходимых библиотек

Для веб-скрапинга вам нужно будет установить необходимые библиотеки, такие как requests для создания HTTP-запросов и beautifulsoup4 для анализа HTML. Чтобы использовать Crawlbase Crawling API бесшовно, установите Crawlbase Также библиотека Python. Используйте следующие команды:

1
2
3
запросы на установку pip
Пип установить BeautifulSoup4
pip установить crawlbase

Выбор подходящей среды разработки:

Выбор правильной интегрированной среды разработки (IDE) может значительно улучшить ваш опыт кодирования. Существует несколько IDE на выбор; вот несколько популярных:

  • PyCharm: Мощная и многофункциональная IDE, специально разработанная для разработки на Python. Она предлагает интеллектуальную помощь с кодом, визуальный отладчик и встроенную поддержку веб-разработки.
  • VSCode (код Visual Studio): Легкий, но мощный редактор кода, поддерживающий разработку на Python. Он поставляется с различными расширениями, что позволяет настраивать его в соответствии с вашими предпочтениями.
  • Jupyter Notebook: Идеально подходит для задач анализа и визуализации данных. Jupyter предоставляет интерактивную среду и широко используется в проектах по науке о данных.
  • Spyder: MATLAB-подобная IDE, которая хорошо подходит для научных вычислений и анализа данных. Она поставляется в комплекте с дистрибутивом Anaconda.

Выберите IDE на основе ваших предпочтений и конкретных требований вашего проекта по сбору данных о недвижимости. Убедитесь, что выбранная IDE поддерживает Python и предоставляет функции, необходимые для эффективного кодирования и отладки.

Создайте скребок Zillow

В этом разделе мы рассмотрим общий подход к созданию скрапера Zillow с помощью Python. Этот метод подразумевает использование requests библиотека для загрузки веб-страниц и BeautifulSoup для анализа HTML с целью извлечения нужной информации.

В нашем примере давайте сосредоточимся на сборе информации о продаваемых объектах недвижимости в месте «Колумбия-Хайтс, Вашингтон, округ Колумбия». Давайте разобьем процесс на удобоваримые части:

Использование библиотеки Python Requests для веб-скрапинга Zillow

The requests Библиотека позволяет нам отправлять HTTP-запросы на серверы Zillow и извлекать HTML-контент веб-страниц. Вот фрагмент кода для отправки запроса на сайт Zillow:

1
2
3
4
5
6
7
8
9
10
Импортировать Запросы

URL = "https://www.zillow.com/columbia-heights-washington-dc/sale/"
ответ = запросы.get(url)

if ответ.status_code == 200:
    html_content = ответ.текст
    Распечатать(html_контент)
еще:
    Распечатать(f"Не удалось загрузить страницу. Код статуса: {response.status_code}")

Откройте ваш любимый текстовый редактор или IDE, скопируйте предоставленный код и сохраните его в файле Python. Например, назовите его zillow_scraper.py.

Запустите скрипт:

Откройте терминал или командную строку и перейдите в каталог, в котором вы сохранили zillow_scraper.py. Выполните скрипт с помощью следующей команды:

1
питон zillow_scraper.py

После нажатия Enter ваш скрипт оживет, отправит запрос на сайт Zillow, получит HTML-контент и отобразит его на вашем терминале.

Вывод HTML-снимка

Проверьте страницу Zillow на наличие селекторов CSS

Получив HTML-контент со страницы, следующим шагом будет ее анализ и определение местоположения необходимых нам точек данных.

Zillow SERP Инспектировать
  1. Открытые инструменты разработчика: Просто щелкните правой кнопкой мыши на веб-странице в вашем браузере и выберите «Проверить» (или «Проверить элемент»). Это откроет инструменты разработчика, позволяющие вам исследовать структуру HTML.
  2. Перемещение HTML-элементов: Попав в Developer Tools, изучите элементы HTML, чтобы найти конкретные данные, которые вы хотите извлечь. Найдите уникальные идентификаторы, классы или теги, связанные с нужной информацией.
  3. Точные селекторы CSS: Обратите внимание на селекторы CSS, соответствующие интересующим вас элементам. Эти селекторы служат важными маркерами для вашего скрипта Python, помогая ему идентифицировать и собирать нужные данные.

Разбор HTML с помощью BeautifulSoup

После того, как мы извлекли HTML-контент из Zillow с помощью библиотеки запросов и селекторов CSS в наших руках, следующим шагом будет парсинг этого контента и извлечение нужной нам информации. Здесь в игру вступает BeautifulSoup, помогая нам легко перемещаться и искать в HTML-структуре.

В нашем примере мы получим веб-ссылку на каждое свойство, указанное на выбранной странице поиска Zillow. После этого мы используем эти ссылки для извлечения ключевых данных о каждом свойстве. Теперь давайте улучшим наш существующий скрипт, чтобы собирать эту информацию непосредственно из HTML.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
Импортировать Запросы
от bs4 Импортировать КрасивыйСуп
Импортировать JSON

защиту получить_свойства_urls(URL):
    заголовки = {«Пользовательский агент»: «Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/122.0»}

    ответ = запросы.получить(url, заголовки=заголовки)

    property_page_urls = []

    if ответ.status_code == 200:
        суп = КрасивыйСуп(ответ.текст, 'html.парсер')

        URL-адреса_страниц_свойств = [собственность['href'] для собственность in суп.выбрать('div[id="grid-search-results"] > ul > li[class^="ListItem-"] article[data-test="property-card"] a[data-test="property-card-link"]')]

    еще:
        Распечатать(f'Ошибка: {response.status_code}')

    возвращают URL-адреса_страниц_свойств

защиту main():
    URL = "https://www.zillow.com/columbia-heights-washington-dc/sale/"
    результаты = get_property_urls(url)

    Распечатать(json.dumps(результаты, отступ=2))

if __имя__ == "__основной__":
    Основной ()

Но будет ли HTML, который мы получаем с помощью запросов, содержать требуемую информацию? Давайте посмотрим на вывод вышеприведенного скрипта:

1
2
3
4
5
6
7
8
9
10
11
[
  "https://www.zillow.com/homedetails/1429-Girard-St-NW-101-Washington-DC-20009/2053968963_zpid/",
  "https://www.zillow.com/homedetails/1439-Euclid-St-NW-APT-301-Washington-DC-20009/68081615_zpid/",
  "https://www.zillow.com/homedetails/1362-Newton-St-NW-Washington-DC-20010/472850_zpid/",
  "https://www.zillow.com/homedetails/1362-Parkwood-Pl-NW-Washington-DC-20010/472302_zpid/",
  "https://www.zillow.com/homedetails/1458-Columbia-Rd-NW-APT-300-Washington-DC-20009/82293130_zpid/",
  "https://www.zillow.com/homedetails/1438-Meridian-Pl-NW-APT-106-Washington-DC-20010/467942_zpid/",
  "https://www.zillow.com/homedetails/2909-13th-St-NW-Washington-DC-20009/473495_zpid/",
  "https://www.zillow.com/homedetails/1421-Columbia-Rd-NW-APT-B4-Washington-DC-20009/467706_zpid/",
  "https://www.zillow.com/homedetails/2516-12th-St-NW-Washington-DC-20009/473993_zpid/"
]

Вы увидите, что вывод захватывает только часть ожидаемых результатов. Это ограничение возникает из-за того, что Zillow использует JavaScript/Ajax для динамической загрузки результатов поиска на своей странице SERP. Когда вы делаете HTTP-запрос к URL-адресу Zillow, в HTML-ответе отсутствует значительная часть результатов поиска, что приводит к отсутствию ценной информации. Динамически загруженный контент отсутствует в исходном HTML-ответе, что затрудняет получение полного набора данных с помощью статического запроса.

Хотя общепринятый подход с использованием библиотеки запросов Python и BeautifulSoup для сбора данных Zillow является простым методом, он имеет определенные недостатки и проблемы, такие как ограничение скорости, блокировка IP-адресов и неправильная обработка динамической загрузки контента.

Скрэп Зиллоу с Crawlbase

Теперь давайте рассмотрим более продвинутый и эффективный метод скрапинга Zillow с использованием Crawlbase Crawling API. Этот подход предлагает несколько преимуществ по сравнению с обычным методом и устраняет его ограничения. Его параметры позволяют нам без труда справляться с различными задачами по очистке данных.

Ниже приведено пошаговое руководство по использованию возможностей этого специализированного API:

Crawlbase Создание учетной записи и получение токена API

Инициирование процесса извлечения целевых данных через Crawlbase Crawling API начинается с установления вашего присутствия на Crawlbase платформа. Давайте проведем вас через этапы создания учетной записи и получения вашего необходимого API-токена:

  1. Войти Crawlbase: Запустите веб-браузер и перейдите на страницу Подписаться страница на Crawlbase сайт, чтобы начать регистрацию.
  2. Введите свои учетные данные: Укажите свой адрес электронной почты и создайте надежный пароль для вашего Crawlbase счет. Точность заполнения требуемых данных имеет решающее значение.
  3. Этапы проверки: После отправки данных проверьте свой почтовый ящик на наличие письма с подтверждением. Выполните шаги, указанные в письме, чтобы подтвердить свою учетную запись.
  4. Войдите в свой аккаунт: После проверки вашей учетной записи вернитесь на страницу Crawlbase веб-сайт и войдите в систему, используя указанные вами учетные данные.
  5. Получите свой API-токен: Доступ к Crawlbase Crawling API необходим API-токен, который вы можете найти в своем документация по счету.

Быстрая заметка: Crawlbase предлагает два типа токенов — один, предназначенный для статических веб-сайтов, и другой, разработанный для динамических или JavaScript-ориентированных веб-сайтов. Поскольку мы сосредоточены на скрапинге Zillow, мы будем использовать токен JS. В качестве дополнительного бонуса, Crawlbase продлевает первоначальную выдачу 1,000 бесплатных запросов на Crawling API, что делает его оптимальным выбором для нашей работы по веб-скрапингу.

Доступ к Crawling API Crawlbase Библиотека

The Crawlbase Библиотека на Python обеспечивает бесперебойное взаимодействие с API, позволяя вам без труда интегрировать ее в ваш проект по сбору данных Zillow. Приведенный фрагмент кода демонстрирует, как инициализировать и использовать Crawling API через Crawlbase Библиотека Python.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
от база сканирования Импортировать CrawlingAPI

API_ТОКЕН = 'ВАШ_ТОКЕН_JS_CRAWL'
crawling_api = CrawlingAPI({токен: API_ТОКЕН})

URL = "https://www.zillow.com/columbia-heights-washington-dc/sale/"

ответ = crawling_api.get(url)

if ответ["заголовки"]['статус_ПК'] == '200':
    html_content = ответ['тело'].decode('utf-8')
    Распечатать(html_контент)
еще:
    Распечатать(f"Не удалось загрузить страницу. Crawlbase код статуса: {ответ["заголовки"]['статус_ПК']}")

Подробная документация Crawling API доступно на Crawlbase платформа. Вы можете прочитать это здесь. Если вы хотите узнать больше о Crawlbase Библиотеку Python и дополнительные примеры ее использования вы можете найти в документации здесь.

Извлечение URL-адресов страниц свойств из SERP

Чтобы извлечь все URL-адреса страниц недвижимости из SERP Zillow, мы улучшим наш общий скрипт, добавив Crawling API. Zillow, как и многие современные веб-сайты, использует динамические элементы, которые загружаются асинхронно через JavaScript. Мы включим ajax_wait и page_wait параметры, гарантирующие, что наш скрипт захватит все соответствующие URL-адреса объектов недвижимости.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
от база сканирования Импортировать CrawlingAPI
от bs4 Импортировать КрасивыйСуп
Импортировать JSON

защиту получить_свойства_urls(API, URL-адрес):
    варианты = {
        'user_agent': «Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/122.0»,
        'ajax_wait': 'правда',
        'page_wait': 5000
    }

    ответ = api.get(url, параметры)

    property_page_urls = []

    if ответ["заголовки"]['статус_ПК'] == '200':
        html_content = ответ['тело'].decode('utf-8')
        суп = КрасивыйСуп(html_content, 'html.парсер')

        URL-адреса_страниц_свойств = [собственность['href'] для собственность in суп.выбрать('div[id="grid-search-results"] > ul > li[class^="ListItem-"] article[data-test="property-card"] a[data-test="property-card-link"]')]

    еще:
        Распечатать(f'Ошибка: {ответ["заголовки"]["статус_ПК"]}')

    возвращают URL-адреса_страниц_свойств

защиту main():
    API_ТОКЕН = 'ВАШ_ТОКЕН_JS_CRAWL'
    crawling_api = CrawlingAPI({токен: API_ТОКЕН})
    serp_url = "https://www.zillow.com/columbia-heights-washington-dc/sale/"

    результаты = get_property_urls(crawling_api, serp_url)

    Распечатать(json.dumps(результаты, отступ=2))

if __имя__ == "__основной__":
    Основной ()

Пример вывода:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[
  "https://www.zillow.com/homedetails/1429-Girard-St-NW-101-Washington-DC-20009/2053968963_zpid/",
  "https://www.zillow.com/homedetails/1439-Euclid-St-NW-APT-301-Washington-DC-20009/68081615_zpid/",
  "https://www.zillow.com/homedetails/1362-Newton-St-NW-Washington-DC-20010/472850_zpid/",
  "https://www.zillow.com/homedetails/1362-Parkwood-Pl-NW-Washington-DC-20010/472302_zpid/",
  "https://www.zillow.com/homedetails/1458-Columbia-Rd-NW-APT-300-Washington-DC-20009/82293130_zpid/",
  "https://www.zillow.com/homedetails/1438-Meridian-Pl-NW-APT-106-Washington-DC-20010/467942_zpid/",
  "https://www.zillow.com/homedetails/2909-13th-St-NW-Washington-DC-20009/473495_zpid/",
  "https://www.zillow.com/homedetails/1421-Columbia-Rd-NW-APT-B4-Washington-DC-20009/467706_zpid/",
  "https://www.zillow.com/homedetails/2516-12th-St-NW-Washington-DC-20009/473993_zpid/",
  "https://www.zillow.com/homedetails/2617-University-Pl-NW-1-Washington-DC-20009/334524041_zpid/",
  "https://www.zillow.com/homedetails/1344-Kenyon-St-NW-Washington-DC-20010/473267_zpid/",
  "https://www.zillow.com/homedetails/2920-Georgia-Ave-NW-UNIT-304-Washington-DC-20001/126228603_zpid/",
  "https://www.zillow.com/homedetails/2829-13th-St-NW-1-Washington-DC-20009/2055076326_zpid/",
  "https://www.zillow.com/homedetails/1372-Monroe-St-NW-UNIT-A-Washington-DC-20010/71722141_zpid/"
  ..... более
]

Обработка пагинации для расширенного извлечения данных

Чтобы обеспечить комплексное извлечение данных из Zillow, нам нужно заняться пагинацией. Zillow организует результаты поиска на нескольких страницах, каждая из которых идентифицируется номером страницы в URL. Zillow использует {pageNo}_p Параметр пути для управления пагинацией. Давайте изменим наш существующий скрипт для обработки пагинации и сбора URL-адресов свойств с нескольких страниц.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
от база сканирования Импортировать CrawlingAPI
от bs4 Импортировать КрасивыйСуп
Импортировать время
Импортировать JSON

защиту fetch_html(API, URL, параметры, max_retries=2):
    повторные попытки = 0
    в то время как повторы <= макс_повторов:
        стараться:
            ответ = api.get(url, параметры)

            if ответ["заголовки"]['статус_ПК'] == '200':
                возвращают ответ['тело'].decode('utf-8')
            еще:
                повышение Исключение(f'Ответ с pc_status: {ответ["заголовки"]["статус_ПК"]}')

        кроме Исключение as e:
            Распечатать(f'Исключение: {ул(е)}')
            повторные попытки += 1
            if повторы <= макс_повторов:
                Распечатать(f'Повторная попытка ({повторяет}/{макс_повторений})...')
                время.сна(1)

    Распечатать(f'Достигнуто максимальное количество повторов. Невозможно получить данные из {URL}')
    возвращают Ничто

защиту получить_свойства_urls(API, base_url, параметры, max_pages):
    # Извлечь первую страницу, чтобы определить фактическое количество страниц
    first_page_url = f"{базовый_url}1_п/"
    first_page_html = fetch_html(api, first_page_url, параметры)

    if первая_страница_html is   Ничто:
        first_page_soup = КрасивыйСуп(first_page_html, 'html.парсер')

        # Извлечь общее количество доступных страниц
        pagination_max_element = first_page_soup.select_one('div.search-pagination > nav > li:nth-last-child(3)')
        всего_страниц = Int(pagination_max_element.текст) if pagination_max_element еще 1
    еще:
        возвращают []

    # Определите окончательное количество страниц для очистки
    actual_max_pages = мин(всего_страниц, макс_страниц)

    все_свойства_страницы_urls = []

    для номер страницы in ассортимент(1, actual_max_pages + 1):
        URL = f"{базовый_url}{номер_страницы}_п/"
        page_html = fetch_html(api, url, параметры)

        if страница_html is   Ничто:
            суп = КрасивыйСуп(page_html, 'html.парсер')

            URL-адреса_страниц_свойств = [собственность['href'] для собственность in суп.выбрать('div[id="grid-search-results"] > ul > li[class^="ListItem-"] article[data-test="property-card"] a[data-test="property-card-link"]')]

            все_свойства_страницы_urls.extend(свойства_страницы_urls)

    возвращают все_свойства_страницы_urls

защиту main():
    API_ТОКЕН = 'ВАШ_ТОКЕН_JS_CRAWL'
    crawling_api = CrawlingAPI({токен: API_ТОКЕН})
    serp_url = "https://www.zillow.com/columbia-heights-washington-dc/sale/"
    варианты = {
        'user_agent': «Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/122.0»,
        'ajax_wait': 'правда',
        'page_wait': 5000
    }
    макс_страницы = 2  # При необходимости отрегулируйте количество страниц для очистки.

    property_page_urls = get_property_urls(crawling_api, serp_url, параметры, max_pages)

    # дальнейшая обработка property_page_urls

if __имя__ == "__основной__":
    Основной ()

Первая функция, fetch_html, предназначен для извлечения HTML-контента заданного URL-адреса с помощью API с возможностью указания параметров. Он включает в себя механизм повторных попыток, пытаясь выполнить запрос указанное количество раз (по умолчанию 2) в случае ошибок или тайм-аутов. Функция возвращает декодированный HTML-контент, если сервер отвечает с успешным статусом (HTTP 200), а если нет, то вызывает исключение с подробностями о статусе ответа.

Вторая функция, get_property_urls, направлен на сбор URL-адресов свойств с нескольких страниц на указанном веб-сайте. Сначала он извлекает HTML-контент начальной страницы, чтобы определить общее количество доступных страниц. Затем он выполняет итерацию по страницам, извлекая и анализируя HTML, чтобы извлечь URL-адреса свойств. Максимальное количество страниц для извлечения определяется минимальным из общего количества доступных страниц и указанным параметром максимального количества страниц. Функция возвращает список URL-адресов свойств, собранных с указанного количества страниц.

Извлечение данных из URL-адресов страниц недвижимости Zillow

Теперь, когда у нас есть полный список URL-адресов страниц недвижимости, следующим шагом будет извлечение необходимых данных из каждой страницы недвижимости. Давайте улучшим наш скрипт для навигации по этим URL-адресам и сбора соответствующих данных, таких как тип недвижимости, адрес, цена, размер, количество спален и ванных комнат и другие важные данные.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
от база сканирования Импортировать CrawlingAPI
от bs4 Импортировать КрасивыйСуп
Импортировать время
Импортировать JSON

защиту fetch_html(API, URL, параметры):
    # ... (без изменений)

защиту получить_свойства_urls(API, base_url, параметры, max_pages):
    # ... (без изменений)

защиту данные_свойств_очистки(API, URL-адреса, параметры):
    свойства_данных = []

    для URL in URL-адреса:
        page_html = fetch_html(api, url, параметры)

        if страница_html is   Ничто:
            суп = КрасивыйСуп(page_html, 'html.парсер')
            тип_элемента = суп.выберите_один('div[data-testid="macro-data-view"] > div[data-renderstrat="inline"]:nth-child(3) div.dBmBNo:first-child > span')
            встроенный_элемент_года = суп.выберите_один('div[data-testid="macro-data-view"] > div[data-renderstrat="inline"]:nth-child(3) div.dBmBNo:nth-child(2) > span')

            адресный_элемент = суп.выберите_один('div[data-testid="macro-data-view"] > div[data-renderstrat="inline"]:nth-child(2) div[class^="styles__AddressWrapper-"] > h1')
            price_element = суп.выберите_один('div[data-testid="macro-data-view"] > div[data-renderstrat="inline"]:nth-child(2) span[data-testid="price"] > span')
            size_element = суп.select_one('div[data-testid="macro-data-view"] > div[data-renderstrat="inline"]:nth-child(2) div[data-testid="bed-bath-sqft-facts"] > div[data-testid="bed-bath-sqft-fact-container"]:last-child > span:first-child')
            элемент_спальни = суп.выберите_один('div[data-testid="macro-data-view"] > div[data-renderstrat="inline"]:nth-child(2) div[data-testid="bed-bath-sqft-facts"] > div[data-testid="bed-bath-sqft-fact-container"]:first-child > span:first-child')
            элемент_ванной_комнаты = суп.выберите_один('div[data-testid="macro-data-view"] > div[data-renderstrat="inline"]:nth-child(2) div[data-testid="bed-bath-sqft-facts"] > кнопка > div[data-testid="bed-bath-sqft-fact-container"] > диапазон:first-child')

            данные_свойства = {
                'url-адрес свойства': URL-адрес,
                'тип': type_element.text.strip() if тип_элемента еще Ничто,
                'адрес': адрес_элемент.текст.полоска() if адрес_элемент еще Ничто,
                'размер': size_element.text.strip() if размер_элемента еще Ничто,
                'цена': price_element.text.strip() if price_element еще Ничто,
                «спальни»: спальни_элемент.текст.полоска() if спальни_элемент еще Ничто,
                «ванные комнаты»: bathrooms_element.text.strip() if ванные_элемент еще Ничто,
                'встроенный год': встроенный_элемент_года.текст.strip() if встроенный_элемент_года еще Ничто,
            }

            свойства_данные.append(свойство_данные)

    возвращают свойства_данных

защиту main():
    API_ТОКЕН = 'ВАШ_ТОКЕН_JS_CRAWL'
    crawling_api = CrawlingAPI({токен: API_ТОКЕН})
    serp_url = "https://www.zillow.com/columbia-heights-washington-dc/sale/"
    варианты = {
        'user_agent': «Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/122.0»,
        'ajax_wait': 'правда',
        'page_wait': 5000
    }
    макс_страницы = 2  # При необходимости отрегулируйте количество страниц для очистки.

    property_page_urls = get_property_urls(crawling_api, serp_url, параметры, max_pages)

    properties_data = scrape_properties_data(crawling_api, property_page_urls, options)

    Распечатать(json.dumps(properties_data, отступ=2))

if __имя__ == "__основной__":
    Основной ()

Этот сценарий представляет scrape_properties_data Функция, которая извлекает HTML-контент из URL каждой страницы свойств и извлекает необходимые нам данные. Настройте точки данных в соответствии с вашими требованиями, и дальнейшая обработка может быть выполнена по мере необходимости.

Пример вывода:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
[
  {
    "url-адрес свойства": "https://www.zillow.com/homedetails/1008-Fairmont-St-NW-Washington-DC-20001/473889_zpid/",
    "тип": "Таунхаус",
    "адрес": "1008 Fairmont St NW,\u00a0Вашингтон, округ Колумбия 20001",
    "размер": "1,801",
    "цена": "850,000 $",
    "спальни": "3",
    "ванные комнаты": "4",
    "встроенный год": «Построен в 1910 году»
  },
  {
    "url-адрес свойства": "https://www.zillow.com/homedetails/1429-Girard-St-NW-101-Washington-DC-20009/2053968963_zpid/",
    "тип": «Акционерный кооператив»,
    "адрес": "1429 Girard St NW #101,\u00a0Вашингтон, округ Колумбия 20009",
    "размер": "965",
    "цена": "114,745 $",
    "спальни": "2",
    "ванные комнаты": "1",
    "встроенный год": «Построен в 1966 году»
  },
  {
    "url-адрес свойства": "https://www.zillow.com/homedetails/1362-Parkwood-Pl-NW-Washington-DC-20010/472302_zpid/",
    "тип": «Односемейный жилой дом»,
    "адрес": "1362 Parkwood Pl NW,\u00a0Вашингтон, округ Колумбия 20010",
    "размер": "1,760",
    "цена": "675,000 $",
    "спальни": "3",
    "ванные комнаты": "2",
    "встроенный год": «Построен в 1911 году»
  },
  {
    "url-адрес свойства": "https://www.zillow.com/homedetails/3128-Sherman-Ave-NW-APT-1-Washington-DC-20010/2076798673_zpid/",
    "тип": «Акционерный кооператив»,
    "адрес": "3128 Sherman Ave NW APT 1,\u00a0Вашингтон, округ Колумбия 20010",
    "размер": "610",
    "цена": "117,000 $",
    "спальни": "1",
    "ванные комнаты": "1",
    "встроенный год": «Построен в 1955 году»
  },
  {
    "url-адрес свойства": "https://www.zillow.com/homedetails/1438-Meridian-Pl-NW-APT-106-Washington-DC-20010/467942_zpid/",
    "тип": "Кондоминиум",
    "адрес": "1438 Meridian Pl NW APT 106,\u00a0Вашингтон, округ Колумбия 20010",
    "размер": "634",
    "цена": "385,000 $",
    "спальни": "2",
    "ванные комнаты": "2",
    "встроенный год": «Построен в 1910 году»
  },
  {
    "url-адрес свойства": "https://www.zillow.com/homedetails/2909-13th-St-NW-Washington-DC-20009/473495_zpid/",
    "тип": "Таунхаус",
    "адрес": "2909 13th St NW,\u00a0Вашингтон, округ Колумбия 20009",
    "размер": "3,950",
    "цена": "1,025,000 $",
    "спальни": "7",
    "ванные комнаты": "3",
    "встроенный год": «Построен в 1909 году»
  },
  {
    "url-адрес свойства": "https://www.zillow.com/homedetails/1412-Chapin-St-NW-APT-1-Washington-DC-20009/183133784_zpid/",
    "тип": "Кондоминиум",
    "адрес": "1412 Chapin St NW APT 1,\u00a0Вашингтон, округ Колумбия 20009",
    "размер": "724",
    "цена": "550,000 $",
    "спальни": "2",
    "ванные комнаты": "2",
    "встроенный год": «Построен в 2015 году»
  },
  ..... более
]

Сохранение извлеченных данных Zillow в базе данных

После того, как вы успешно извлекли нужные данные со страниц недвижимости Zillow, хорошей практикой будет систематическое хранение этой информации. Один из эффективных способов — использовать базу данных SQLite для организации и управления вашими скопированными данными о недвижимости. Ниже приведена улучшенная версия скрипта для интеграции функциональности SQLite и сохранения скопированных данных:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
от база сканирования Импортировать CrawlingAPI
от bs4 Импортировать КрасивыйСуп
Импортировать sqlite3
Импортировать время

защиту fetch_html(API, URL, параметры):
    # ... (без изменений)

защиту получить_свойства_urls(API, base_url, параметры, max_pages):
    # ... (без изменений)

защиту данные_свойств_очистки(API, URL-адреса, параметры):
    # ... (без изменений)

защиту инициализировать_базу_данных(database_path='zillow_properties_data.db'):
    # Установить соединение с базой данных SQLite
    соединение = sqlite3.connect(database_path)
    курсор = соединение.курсор()

    # Создать таблицу «свойства», если ее нет
    курсор.выполнить('' 'Окно выдачи
        СОЗДАТЬ ТАБЛИЦУ, ЕСЛИ НЕ СУЩЕСТВУЕТ свойства (
            идентификатор ЦЕЛОГО ПЕРВИЧНОГО КЛЮЧА,
            URL-адрес ТЕКСТА,
            введите ТЕКСТ,
            адрес ТЕКСТ,
            цена ТЕКСТ,
            размер ТЕКСТА,
            спальни ТЕКСТ,
            ванные комнаты ТЕКСТ,
            встроенный_год ТЕКСТ
        )
    '' 'Окно выдачи)

    # Зафиксировать изменения и закрыть соединение
    connection.commit ()
    соединение.закрыть()

защиту вставить_в_базу_данных(property_data, database_path='zillow_properties_data.db'):
    # Установить соединение с базой данных SQLite
    соединение = sqlite3.connect(database_path)
    курсор = соединение.курсор()

    # Вставить данные о свойствах в таблицу «свойства»
    курсор.выполнить('' 'Окно выдачи
        ВСТАВИТЬ В свойства (url, тип, адрес, цена, размер, спальни, ванные комнаты, год постройки)
        ЦЕННОСТИ (?, ?, ?, ?, ?, ?, ?, ?)
    '' 'Окно выдачи(
        property_data.получить('url-адрес свойства'),
        property_data.получить('тип'),
        property_data.получить('адрес'),
        property_data.получить('цена'),
        property_data.получить('размер'),
        property_data.получить(«спальни»),
        property_data.получить(«ванные комнаты»),
        property_data.получить('встроенный год')
    ))

    # Зафиксировать изменения и закрыть соединение
    connection.commit ()
    соединение.закрыть()

защиту main():
    API_ТОКЕН = 'ВАШ_ТОКЕН_JS_CRAWL'
    crawling_api = CrawlingAPI({токен: API_ТОКЕН})
    serp_url = "https://www.zillow.com/columbia-heights-washington-dc/sale/"
    варианты = {
        'user_agent': «Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/122.0»,
        'ajax_wait': 'правда',
        'page_wait': 5000
    }
    макс_страницы = 2  # При необходимости отрегулируйте количество страниц для очистки.

    # Инициализируем базу данных
    инициализировать_базу_данных()

    property_page_urls = get_property_urls(crawling_api, serp_url, параметры, max_pages)

    properties_data = scrape_properties_data(crawling_api, property_page_urls, options)

    # Вставить данные в базу данных
    для данные_свойства in свойства_данные:
        вставить_в_базу_данных(свойство_данных)


if __имя__ == "__основной__":
    Основной ()

Этот скрипт вводит две функции: initialize_database настроить таблицу базы данных SQLite и insert_into_database для вставки данных каждого свойства в базу данных. Файл базы данных SQLite (zillow_properties_data.db) будет создан в каталоге скрипта. Отрегулируйте структуру таблицы и логику вставки на основе ваших конкретных точек данных.

properties Снимок таблицы:

Снимок таблицы свойств

Преимущества использования CrawlbaseАвтора Crawling API для Zillow Scraping

Извлечение данных о недвижимости из Zillow становится более эффективным с CrawlbaseАвтора Crawling APIВот почему он выделяется:

  • Эффективная динамическая обработка контента: CrawlbaseAPI умело управляет динамическим контентом на Zillow, гарантируя, что ваш парсер соберет все необходимые данные, даже с задержками или динамическими изменениями.
  • Минимизированный риск блокировки IP-адреса: Crawlbase снижает риск блокировки IP-адресов, позволяя вам менять IP-адреса, что повышает вероятность успеха вашего проекта по парсингу Zillow.
  • Индивидуальные настройки парсинга: Настройте запросы API с помощью таких настроек, как user_agent, format и country для адаптивного и эффективного соскабливания в зависимости от конкретных потребностей.
  • Простая пагинация: Crawlbase упрощает обработку пагинации с помощью таких параметров, как ajax_wait и page_wait, обеспечивая бесперебойную навигацию по страницам Zillow для обширного поиска данных.
  • Поддержка сети Tor: Для дополнительной конфиденциальности, Crawlbase поддерживает сеть Tor через tor_network параметр, позволяющий безопасно извлекать данные с onion-сайтов.
  • Асинхронное сканирование: API поддерживает асинхронное сканирование с параметром async, повышая эффективность крупномасштабных задач по очистке Zillow.
  • Автоматический анализ для извлечения данных: Использовать autoparse параметр для упрощенного извлечения данных в формате JSON, сокращающий усилия по постобработке.

Подводя итог, CrawlbaseАвтора Crawling API оптимизирует сбор данных Zillow за счет эффективности и адаптивности, что делает его надежным выбором для проектов по извлечению данных о недвижимости.

Потенциальные варианты использования данных Zillow Real Estate

Примеры использования данных Zillow в сфере недвижимости

Выявление рыночных тенденций: Данные Zillow позволяют профессионалам в сфере недвижимости определять тенденции рынка, такие как колебания цен, модели спроса и популярные районы. Эти знания помогают принимать обоснованные решения относительно инвестиций в недвижимость и стратегий продаж.

Оценка и сравнение стоимости недвижимости: Анализ данных Zillow позволяет профессионалам оценивать стоимость недвижимости и проводить точные сравнения. Эта информация имеет решающее значение для определения конкурентоспособных цен, понимания конкурентоспособности рынка и консультирования клиентов по реалистичным оценкам недвижимости.

Целевые маркетинговые стратегии: Углубляясь в данные Zillow, специалисты по недвижимости могут адаптировать свои маркетинговые стратегии. Они могут нацеливаться на определенную демографическую группу, создавать эффективные рекламные кампании и охватывать потенциальных клиентов, которые активно ищут недвижимость, соответствующую определенным критериям.

Инвестиционные возможности: Данные Zillow предоставляют информацию о потенциальных инвестиционных возможностях. Профессионалы в сфере недвижимости могут определить области с высоким потенциалом роста, новые тенденции и прибыльные возможности для развития недвижимости или инвестиций.

Консультации и рекомендации клиентов: Вооруженные всеобъемлющими данными Zillow, специалисты могут предоставлять клиентам точную и актуальную информацию во время консультаций. Это повышает надежность рекомендаций и позволяет клиентам принимать обоснованные решения.

Заключение

В мире сбора данных о недвижимости с Zillow простота и эффективность играют жизненно важную роль. Хотя общий подход может служить своей цели, Crawlbase Crawling API становится более разумным выбором. Попрощайтесь с проблемами и примите оптимизированное, надежное и масштабируемое решение с Crawlbase Crawling API для соскребания Zillow.

Те, кто хочет изучить процесс извлечения данных с различных платформ, могут ознакомиться с нашими подробными руководствами:

📜 Как скрейпить Amazon
📜 Как скопировать цены Airbnb
📜 Как скопировать Booking.com
📜 Как скрейпить Expedia

Счастливого скрапинга! Если у вас возникнут какие-либо препятствия или вам понадобится руководство, наш преданная команда здесь, чтобы поддержать вас в вашем путешествии в сфере данных о недвижимости.

Часто задаваемые вопросы (FAQ):

В1: Можно ли проводить скрапинг Zillow?

Веб-скрапинг — сложная юридическая область. Хотя условия обслуживания Zillow в целом разрешают просмотр, систематическое извлечение данных может быть ограничено. Рекомендуется ознакомиться с условиями и положениями Zillow, включая robots.txt файл. Всегда уважайте политику веб-сайта и учитывайте этические последствия веб-скрейпинга.

В2: Могу ли я использовать данные API Zillow в коммерческих целях?

Использование скопированных данных, особенно в коммерческих целях, зависит от политик Zillow. Важно внимательно ознакомиться с условиями обслуживания Zillow и соблюдать их, включая любые рекомендации, касающиеся использования данных и авторских прав. Рекомендуется обратиться за юридической консультацией, если вы планируете использовать скопированные данные в коммерческих целях.

В3: Существуют ли какие-либо ограничения по использованию Crawlbase Crawling API для скрейпинга Zillow?

Если в этой Crawlbase Crawling API является надежным инструментом, пользователи должны знать о некоторых ограничениях. Они могут включать ограничения скорости, налагаемые API, политики, связанные с использованием API, и потенциальные корректировки, необходимые из-за изменений в структуре целевого веб-сайта. Рекомендуется обратиться к Crawlbase документация для получения полной информации об ограничениях API.

В4: Как я могу обрабатывать динамический контент на Zillow, используя Crawlbase Crawling API?

The Crawlbase Crawling API предоставляет механизмы для обработки динамического контента. Такие параметры, как ajax_wait и page_wait являются важными инструментами для обеспечения того, чтобы API захватывал весь релевантный контент, даже если веб-страницы подвергаются динамическим изменениям в процессе скрапинга. Настройка этих параметров на основе поведения веб-сайта помогает эффективному извлечению контента.