Просмотрите Bloomberg, чтобы узнать последние новости этого влиятельного мирового финансового информационного и медийного центра, основанного в 1981 году. Благодаря обширной базе пользователей по всему миру, Bloomberg Предлагает финансовые данные в режиме реального времени, рыночные аналитики и последние новости. Инвесторы, аналитики и компании полагаются на его всеобъемлющее освещение разнообразных рынков, что делает Bloomberg важным инструментом для принятия обоснованных решений в динамичном мире финансов.

В этом сообщении в блоге мы исследуем веб-скрапинг для сбора текущих новостей из Bloomberg. Мы используем сложные технологии, такие как Crawlbase Crawling API и JavaScript для этого начинания. Мы сосредоточимся на извлечении ключевой информации, такой как ведущие новостные сюжеты, финансовые данные, рыночные тенденции и дополнительные релевантные детали. Присоединяйтесь к нам, когда мы опишем шаги, необходимые для извлечения данных из Bloomberg, подчеркивая их важность для получения своевременных обновлений и ценных финансовых сведений.

Содержание:

Структура веб-сайта Bloomberg

Структура веб-сайта Bloomberg

Веб-сайт Bloomberg тщательно продуман, что отражает его стремление обеспечить пользователям бесперебойный доступ к финансовым новостям и рыночным знаниям. На главной странице обычно размещаются разделы, посвященные различным финансовым инструментам, рыночным индексам и новостным заголовкам. Навигационные элементы стратегически размещены, предлагая пользователям легкий доступ к различным сегментам, таким как акции, сырьевые товары и валюты.

Макет часто динамичен, с обновлениями в реальном времени и удобным интерфейсом, который подходит как новичкам, так и опытным инвесторам. Такие разделы, как сводки рынка, главные новости и анализ, обычно отображаются на видном месте, гарантируя пользователям быстрый доступ к ключевой информации при попадании на сайт.

Данные для извлечения:

Для успешного извлечения данных из Bloomberg важно точно определить конкретные элементы в структуре веб-сайта, которые содержат нужную информацию. Это включает в себя понимание HTML-структуры страниц и определение уникальных идентификаторов, связанных с каждой точкой данных.

Извлечь данные из Bloomberg
  1. Главные новости:
  • При извлечении заголовков новостей из Bloomberg разработчики должны определить конкретные HTML-теги, содержащие важную информацию, такую ​​как заголовки статей, временные метки и связанные метаданные. Это включает в себя тщательное изучение исходного кода веб-сайта для точного определения элементов, представляющих срочные новости.
  • Процесс скрапинга фокусируется на получении обновлений в реальном времени и захвате последних и наиболее релевантных новостных статей. Постоянно отслеживая и извлекая данные из идентифицированных HTML-тегов, пользователи могут быть в курсе последних новостей в финансовом мире.
  1. Финансовая аналитика:
  • Извлечение финансовых сведений подразумевает поиск и изоляцию разделов на веб-сайте Bloomberg, специально посвященных всеобъемлющим финансовым данным. Это может включать области, которые предоставляют углубленный анализ, цены акций и другие критические финансовые показатели.
  • Скрипт веб-скрапинга нацелен на области, посвященные финансовым инсайтам, позволяя извлекать подробную информацию о тенденциях рынка, ценах на скот и проводить тщательный финансовый анализ. Эти данные могут быть бесценны для принятия обоснованных инвестиционных решений.
  1. Рыночные тренды:
  • При сборе данных о тенденциях рынка разработчикам необходимо точно определить HTML-теги, которые инкапсулируют данные, связанные с эффективностью различных финансовых инструментов. Это включает в себя определение элементов, которые отображают тенденции, диаграммы и другие визуальные представления движений рынка.
  • Процесс скрапинга направлен на извлечение подробной информации о производительности различных финансовых инструментов. Это может включать данные о движении акций, ценах на сырьевые товары и других рыночных индикаторах, предоставляя пользователям комплексное представление о текущих рыночных тенденциях.
  1. Дополнительные соответствующие наборы данных:
  • Помимо заголовков новостей и финансовых сведений, веб-скрапинг может быть расширен для изучения и выявления дополнительных элементов HTML, содержащих ценные наборы данных. Это может включать информацию о ценах на сырьевые товары, курсах обмена валют, экономических показателях и т. д.
  • Скрипт скрапинга можно настроить для сбора широкого спектра данных, от цен на сырьевые товары до курсов валют и любой другой релевантной информации. Это расширяет широту инсайтов, которые пользователи могут получить с платформы Bloomberg.

Предпосылки

Изучите основы JavaScript:

Чтобы извлечь данные из Bloomberg, начните с понимания основных концепций JavaScript. Ознакомьтесь с манипуляцией DOM, которая позволяет вам взаимодействовать с различными частями веб-страницы. Узнайте, как делать HTTP-запросы для извлечения данных и обрабатывать асинхронные операции для более плавного кодирования. Знание этих основ будет иметь важное значение для нашего проекта.

Получите Crawlbase API-токен:

Чтобы включить скрапинг Bloomberg, получите токен от Crawlbase.

  1. Войти в свой Crawlbase счет.
  2. Перейти кДокументация по счету«страница в вашем Crawlbase панель приборов.
  3. Найдите на этой странице код «JavaScript token». Скопируйте этот код; это как закрытый ключ для связи с Bloomberg.
Crawlbase Документация

Настройте среду кодирования:

Подготовьте инструменты для кода JavaScript. Выполните следующие шаги:

  1. Создать папку проекта:
    Откройте терминал и введите «mkdir bloomberg_scraper», чтобы создать новую папку проекта.

mkdir bloomberg_scraper

  1. Перейдите в папку проекта:
    Введите «cd bloomberg_scraper», чтобы войти в новую папку, что упростит управление файлами проекта.

cd bloomberg_scraper

  1. Создать файл JavaScript:
    Введите «touch scraper.js», чтобы создать новый файл с именем scraper.js (вы можете выбрать другое имя).

touch scraper.js

  1. Установите Crawlbase Пакет:
    Введите «npm install crawlbase», чтобы добавить Crawlbase инструмент для вашего проекта. Этот инструмент важен, потому что он помогает вам общаться с Crawlbase Crawling API, что упрощает получение информации с веб-сайтов.

npm install crawlbase

Выполняя эти шаги, вы создаете основу для своего проекта по скрапингу Bloomberg. У вас будет выделенная папка, файл JavaScript для вашего кода и необходимые Crawlbase инструмент для организованного и эффективного парсинга.

Скрейп Bloomberg с помощью Crawlbase

После того, как у вас есть учетные данные API и установлена ​​библиотека Node.js для веб-скрейпинга, пора начинать работу над файлом «scraper.js». Выберите страницу Bloomberg, которую вы хотите скрейпить. В этом примере мы сосредоточимся на скрейпинге данных из Страница технологий Bloomberg. В файле «scraper.js» используйте Node.js и библиотеку fs для извлечения информации с выбранной страницы Bloomberg. Обязательно замените URL-адрес заполнителя в коде на фактический URL-адрес страницы, которую вы хотите извлечь.

Страница технологий Bloomberg

Для использования Crawlbase Crawling API, Следуй этим шагам:

  1. Убедитесь, что у вас готов файл «scraper.js», как было указано ранее.
  2. Скопируйте и вставьте предоставленный скрипт в этот файл.
  3. Запустите скрипт в терминале, введя «node scraper.js».
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
Const { CrawlingAPI знак равно требовать('crawlbase'),
  фс = требовать('фс'),
  crawlbaseToken = 'ВАШ_ТОКЕН_JS_CRAWL',
  API = новый CrawlingAPI({ знак: crawlbaseToken }),
  bloombergPageURL = «https://www.bloomberg.com/technology»;

пчелы.получить(bloombergPageURL).тогда(handleCrawlResponse).поймать(handleCrawlError);

функция handleCrawlResponse(ответ) {
  if (ответ.код состояния === 200) {
    фс.writeFileSync('ответ.html', ответ.тело);
    консоль.журнал(«HTML сохранен в response.html»);
  }
}

функция handleCrawlError(ошибка) {
  консоль.ошибка(ошибка);
}

HTML-ответ:

HTML-ответ страницы технологий Bloomberg

Соскребите данные статей Bloomberg News

В этом разделе мы покажем вам, как собирать информацию со страницы новостной статьи Bloomberg. Данные, которые мы собираем, включают заголовок статьи, аннотацию, URL-адрес изображения, авторов, дату публикации и многое другое. Для этого мы начнем с получения HTML-кода Страница новостной статьи Bloomberg. Затем мы создадим пользовательский JavaScript-скрейпер, используя две библиотеки: cheerio, обычно используемую для веб-скрейпинга, и fs, которая помогает с файловыми операциями. Предоставленный скрипт проходит через HTML-код страницы новостной статьи Bloomberg, выбирает необходимые данные и сохраняет их в массиве JSON.

Страница статьи новостей Bloomberg
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
Const { CrawlingAPI знак равно требовать('crawlbase'),
  фс = требовать('фс'),
  crawlbaseToken = 'ВАШ_ТОКЕН_JS_CRAWL',
  API = новый CrawlingAPI({ знак: crawlbaseToken }),
  bloombergPageURL =
    'https://www.bloomberg.com/news/articles/2024-01-18/tsmc-s-second-fab-in-arizona-delayed-as-us-grants-remain-in-flux?srnd=technology-vp';

пчелы.получить(bloombergPageURL).тогда(handleCrawlResponse).поймать(handleCrawlError);

функция handleCrawlResponse(ответ) {
  if (ответ.код состояния === 200) {
    фс.writeFileSync('ответ.html', ответ.тело);
    консоль.журнал(«HTML сохранен в response.html»);
  }
}

функция handleCrawlError(ошибка) {
  консоль.ошибка(ошибка);
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
Const фс = требовать('фс'),
  Привет = требовать('привет');

стараться {
  // Прочитать HTML-содержимое из файла response.html
  Const htmlContent = fs.readFileSync('ответ.html', 'utf-8');

  Const $ = привет.загрузка(htmlContent);

  // Извлечение категории статьи, заголовка и аннотации
  Const категория = $('.Eyebrow_sectionTitle-Wew2fboZsjA- a').текст().отделка();
  Const заголовок = $('.HedAndDek_headline-D19MOidHYLI-').текст().заменить(/\н\с+/г, '').отделка();
  Const абстрактныеЭлементы = [];
  $('.HedAndDek_abstract-XX636-2bHQw-li').каждый((индекс, элемент) => {
    абстрактныеЭлементы.протолкнуть.($(элемент).текст().отделка().заменить(/\н\с+/г, ''));
  });

  Const URL-адрес изображения = $('div.ledeImage_ledeImage__nrpgq img.ui-изображение').Attr('источник');

  Const автор = $('.Byline_bylineAuthors-Ts-ifi4q-HY-a')
    .карта((индекс, элемент) => $(элемент).текст().отделка())
    .получить();

  // Извлечь дату публикации
  Const Дата публикации = $('время').Attr('дата-время').раскол('Т')[0];

  // Создание объекта JSON с абстракцией в виде массива
  Const jsonData = {
    Каталог: категория,
    заголовок: заголовок,
    Абстрактные: абстрактные элементы,
    URL-адрес изображения: URL-адрес изображения,
    автор: автор,
    Дата публикации: дата публикации,
  };

  // Отображение извлеченных данных в формате JSON
  консоль.журнал(JSON.стягивать(jsonData, нуль, 2));
} поймать (ошибка) {
  консоль.ошибка(«Ошибка чтения или анализа HTML-файла:», ошибка);
}

В первом блоке кода JavaScript использует Crawlbase Crawling API для извлечения HTML-контента страницы новостной статьи Bloomberg. Затем ответ сохраняется в локальном файле с именем «response.html», если код статуса HTTP равен 200. Второй блок кода использует библиотеку «cheerio» для анализа сохраненного HTML-файла, извлекая соответствующую информацию, такую ​​как категория статьи, заголовок, аннотация, URL-адрес изображения, информация об авторе и дата публикации. Затем извлеченные данные организуются в объект JSON и отображаются в структурированном формате, как показано ниже:

Ответ JSON:

1
2
3
4
5
6
7
8
9
10
{
  "категория": "Технологии",
  "Заголовок": «Вторая фабрика TSMC в Аризоне отложена, поскольку гранты США остаются неопределенными»,
  "Abstract": [
    «Первый завод компании в Аризоне перенесен на 2025 год»,
    «Белый дом Байдена еще не раздал обещанные субсидии на чипы»
  ],
  "автор": [«Джейн Ланхи Ли», «Дебби Ву»],
  "ОпубликоватьДата": «2024-01-18»
}

Заключение

В заключение, это руководство поможет вам извлечь данные Bloomberg с помощью JavaScript и Crawlbase Crawling API. Он упрощает сканирование необработанного HTML со страниц Bloomberg. Он позволяет извлекать различные наборы данных из новостных статей, включая категорию, заголовок, аннотацию, URL-адрес изображения, автора и дату публикации. Изучите наши дополнительные руководства по аналогичным процедурам на Яндекс, Bing, Flipkart и Product HuntЭти руководства являются ценными ресурсами для улучшения ваших навыков сбора данных на различных платформах.

Изучите дополнительные руководства по скрапингу от Crawlbase:

Веб-скрапинг Expedia с использованием JavaScript
Веб-скрапинг Booking.com с помощью JavaScript
Как поцарапать стеклянную дверь
Собирайте вопросы и ответы с помощью Quora Scraper

FAQ

Какие типы данных можно извлечь из Bloomberg с помощью Crawlbase?

Crawlbase упрощает скрапинг Bloomberg, предлагая надежное решение для извлечения разнообразных финансовых и рыночных данных. Скребок Bloomberg позволяет пользователям получать доступ к информации в режиме реального времени об акциях, инвестициях и финансовых рынках, гарантируя точность и своевременность. Инструмент работает для различных разделов Bloomberg, включая Markets, Technology, Politics, Pursuits, Business week, Green и CityLab. Благодаря расширенным возможностям и интеграции ИИ, Crawlbase обеспечивает эффективный сбор данных, охватывающий такие области, как экономика, сделки, фиксированный доход, ETF, иностранная валюта и многое другое.

Могут ли запросы API в Crawlbase быть геолоцированным в определенной стране?

Crawlbase иметь возможность геолокации запросов API в определенной стране. Передавая &страна параметр в своих запросах, пользователи могут настроить API для извлечения данных, соответствующих их целевому географическому положению. Эта функция улучшает настройку и точность извлечения данных, гарантируя, что пользователи получат информацию, специфичную для региона, от Bloomberg. Хотите ли вы сосредоточиться на рынках Америки, Европы или Азиатско-Тихоокеанского региона. Crawlbase позволяет пользователям совершенствовать свои усилия по сбору данных и легко получать данные, привязанные к местоположению.

Могу ли я настроить скрапинг Bloomberg в Crawlbase для определенных категорий новостей?

In Crawlbase, процесс парсинга Bloomberg настраивается, позволяя вам нацеливаться на определенные категории новостей, такие как финансы или технологии. Эта гибкость гарантирует, что вы извлекаете только те данные, которые соответствуют вашим потребностям, что повышает эффективность и точность парсинга. Благодаря этой адаптивности пользователи могут сосредоточиться на сборе последних новостных статей из Bloomberg, которые соответствуют их конкретным областям интересов или требованиям к анализу.

Crawlbase соблюдать условия и правовые нормы Bloomberg при парсинге?

Crawlbase очень внимательно относится к соблюдению правил Bloomberg и правовых норм при сборе данных. Платформа принимает строгие меры, чтобы придерживаться руководящих принципов Bloomberg, например, всегда следить за вещами и корректировать их по мере необходимости. Crawlbase придерживается высоких правовых стандартов, чтобы избежать проблем и предоставляет пользователям этичное решение для парсинга. Соблюдая правила, Crawlbase снижает вероятность возникновения юридических проблем, что делает его надежным и заслуживающим доверия инструментом для парсинга Bloomberg, сохраняя при этом честность и законность в мире веб-парсинга.

Насколько быстро Crawlbase API при ответе на запросы?

The Crawlbase API быстрый и отзывчивый, среднее время отклика составляет от 4 до 10 секунд, когда пользователи делают запросы на скрейпинг Bloomberg. Пользователи могут дополнительно оптимизировать свои результаты, используя параллельные запросы, поскольку API по умолчанию обрабатывает до 20 запросов в секунду. Кроме того, Crawlbase предоставляет пользователям возможность обратиться в службу поддержки, если для удовлетворения конкретных производственных требований необходимо увеличить лимит скорости, что гарантирует отзывчивый и эффективный процесс парсинга.