43 бесплатных источника открытых данныхнаборы данных, которые стоит знать

Открытые данные являются одним из негласных преимуществ современной аналитики. Правительства, исследовательские институты и некоммерческие организации публикуют огромные, свободно используемые наборы данных, и большинство команд никогда ими не пользуется. При грамотном применении открытые данные питают анализ трендов, измеряют эффект государственной политики, уточняют продуктовые решения и основывают модели на реальных цифрах, а не на предположениях.

Это руководство собирает надёжные, действительно бесплатные источники открытых данных, сгруппированные по теме, чтобы вы могли перейти к нужному для вашего проекта разделу: экономические и финансовые данные, государственные, здравоохранение, наука, академические, экологические, преступность, бизнес-справочники, медиа, социальные данные, а также несколько универсальных репозиториев. Для каждого из них указано, что он предоставляет и как его обычно используют, плюс небольшое примечание в конце о том, как ответственно использовать открытые данные.

Что такое открытые данные?

Открытые данные, это данные, к которым любой человек может получить доступ, использовать и распространять без оплаты и без специального разрешения. На практике это основывается на трёх принципах. Любой может получить к ним доступ: файлы находятся в открытом доступе, а не заблокированы за отказным запросом или давно устаревшим форматом. Любой может их использовать: физические лица, компании и государственные органы могут свободно строить на их основе, и из них исключена конфиденциальная личная информация, которая никогда не должна быть публичной. Любой может их распространять: данные можно повторно использовать и распространять.

Большинство открытых данных хранят государственные органы и некоммерческие организации, поскольку хранение и предоставление данных в масштабе требует расходов, а они уже делают это в рамках своей миссии. Многие из них сопровождаются лицензией, например Creative Commons, которая позволяет свободно использовать данные, при этом указывая, как ссылаться на источник. Именно лицензию большинство людей пропускают, а именно она обеспечивает законность вашего использования, поэтому прочитайте её перед тем, как строить что-либо на основе набора данных.

Экономические и финансовые данные

Рынки, торговые потоки и макроэкономические показатели, полезные для исследований, дашбордов и всего, что требует надёжной базы числовых данных.

Global Financial Data

GFD предлагает бесплатные подписки, открывающие доступ к мировым рыночным и экономическим данным, а также к периодическим изданиям, книгам и обширному архиву исторических серий. Это хорошая отправная точка, когда нужны длительные временные горизонты, а не только последние цифры.

База данных U.N. Comtrade

Курируемая Comtrade Labs, эта бесплатная база данных охватывает мировую торговлю и предоставляет доступ к ней через API, поэтому данные можно получать программно, а не скачивать таблицы вручную. Она также включает инструменты для визуализации и извлечения данных.

World Bank Open Data

Один из лучших единых источников ВВП, логистики, мирового потребления энергии, а также данных о выделении и управлении глобальными фондами. Данные регулярно обновляются, а некоторые наборы поставляются с собственными инструментами визуализации.

Financial Times

Хотя Financial Times позиционирует себя как онлайн-газета, это также широкий источник информации о мировых рынках в обеих Америках, Европе, Африке и Азии, что делает его полезным для качественного контекста к необработанным цифрам.

Государственные и глобальные данные

Национальные статистические службы и межправительственные органы публикуют одни из богатейших открытых данных в мире, охватывающих всё от преступности до демографии.

Data.gov.uk

Британский аналог американского data.gov, охватывающий категории от преступности и правосудия до обороны и государственных расходов. Практическая первая остановка для всех, кто работает с британскими общественными данными.

U.K. Data Service

Дополнение к Data.gov.uk с актуальными наборами данных о социальных тенденциях, политике, финансах и международных отношениях, ориентированное прежде всего на исследовательское сообщество.

Open Data Network

Поисковая система для открытых наборов данных с расширенными фильтрами, которые помогают быстро найти данные по общественной безопасности, финансам, инфраструктуре, жилью и развитию, вместо того чтобы просматривать сайт за сайтом.

ЮНИСЕФ

Открытые наборы данных, которые отслеживают и сообщают о положении детей и женщин во всём мире, включая вспышки болезней, гендерное равенство в образовании и отношение к социальным нормам.

Data.gov

Один из наиболее полных порталов открытых данных в мире, охватывающий всё от науки и исследований до производства и климата. Данные представлены в форматах CSV, JSON и XML, а метаданные регулярно обновляются, так что можно быть уверены в актуальности получаемой информации. Если вы планируете загружать данные в таблицу или базу данных, наши заметки о JSON и CSV помогут выбрать правильный формат.

Бюро переписи населения США

Исчерпывающий открытый источник демографических данных о жителях США, собранных от федеральных, штатных и местных органов власти, а также частных компаний. Незаменим для работы с данными о населении, жилье и экономической демографии.

Данные в сфере здравоохранения

Органы здравоохранения и исследовательские институты публикуют подробные наборы данных о здоровье, ценные для исследователей, политиков и всех, кто создаёт инструменты в области здравоохранения.

HealthData.gov

Репозиторий более 3 000 наборов данных, охватывающих свыше 125 лет, созданный для предоставления предпринимателям, исследователям и политикам доступа к данным о здоровье высокой ценности.

Broad Institute

Чёткий, хорошо организованный источник открытых данных в области здравоохранения и научных исследований, с особой глубиной по различным онкологическим заболеваниям.

Food and Drug Administration (FDA)

FDA публикует данные о пищевых заболеваниях и загрязнителях, отзывах продукции и новостях о пищевых добавках в Соединённых Штатах.

Национальный институт рака (NCI)

Часть Национального института здоровья, дополнение к Broad Institute, с расширенными фильтрами, позволяющими сузить поиск до конкретных наборов данных, связанных с онкологическими заболеваниями.

Всемирная организация здравоохранения

Один из наиболее полных мировых репозиториев по показателям смертности, вспышкам болезней, психическим расстройствам и финансированию здравоохранения.

Центр по контролю заболеваний

CDC предлагает широкий спектр бесплатных наборов данных по хроническим заболеваниям, онкологии, сердечно-сосудистым болезням, врождённым патологиям и многому другому.

NHS Digital

Удобный в использовании бесплатный сервис, предоставляющий высококачественные наборы данных о состоянии систем здравоохранения и социальной защиты в Англии.

Научные данные

Данные о Земле, космосе и межотраслевые исследовательские данные, часто очень большого масштаба.

NASA Earth Data

Бесплатные данные о науках о Земле от NASA, с измерениями атмосферы, криосферы, суши, океана и откалиброванного излучения Солнца.

Open Science Data Cloud

OSDC хранит более петабайта крупных наборов данных и позволяет учёным-исследователям эффективно управлять, совместно использовать и анализировать открытые данные по многим дисциплинам.

NASA Planetary Data System

Тысячи открытых наборов данных о планетах нашей Солнечной системы, доступных исследователям, педагогам, студентам и широкой публике.

Академические данные

Образовательная статистика, данные социологических опросов и научные работы, полезные для учреждений, социологов и обзоров литературы.

National Center for Education Statistics

NCES публикует наборы данных, которые образовательные учреждения используют для повышения показателей удержания и успеваемости, а также для понимания того, как учатся студенты.

Pew Research Center

Один из крупнейших открытых источников данных в стране, агрегирующий высококачественные наборы данных опросов. Данные опросов, как правило, публикуются через два года после выхода отчёта, и для доступа к ним необходимо создать бесплатную учётную запись.

Google Scholar

Поиск наборов данных здесь работает почти как в обычной поисковой системе, предоставляя широкий пул образовательных рецензируемых источников.

Экологические данные

Наборы данных по энергетике, климату и экологическому здоровью для исследований в области устойчивого развития и подготовки отчётности.

IEA Atlas of Energy

Открытые наборы данных Международного энергетического агентства, позволяющие просматривать мировые показатели потребления энергии и электричества.

Climate Data Online

CDO является надёжным источником исторических и близких к реальному времени климатических данных по всему миру, включая ежедневные сводки, морские данные и данные метеорологических радаров.

National Center for Environmental Health

Курируемый CDC, этот репозиторий выделяет национальные системы данных, собирающие данные об общественном здоровье и состоянии окружающей среды в масштабе всей страны.

Данные о преступности и наркотиках

Наборы данных по уголовному правосудию и злоупотреблению психоактивными веществами, преимущественно от федеральных агентств США и ООН.

National Archive of Criminal Justice Data

NACJD предоставляет публичные и ограниченные наборы данных о рецидивизме, банданском насилии, терроризме, преступлениях на почве ненависти и многом другом.

National Institute on Drug Abuse

NIDA хранит наборы данных, важные для всех, кто изучает злоупотребление табаком, алкоголем, наркотиками и рецептурными опиоидами в Соединённых Штатах.

Uniform Crime Reporting Program

ФБР агрегирует статистику более чем от 18 000 городов, колледжей, округов, штатов и племён через эту программу.

Bureau of Justice Statistics

Помимо смертей, связанных с арестом, BJS собирает данные, такие как ежегодные данные об обращениях в скорую помощь и запросах на оружие.

Управление ООН по наркотикам и преступности

UNODC регулярно публикует наборы данных по производству и незаконному обороту наркотиков, показателям убийств, коррупции и организованной преступности.

Данные бизнес-справочников

Корпоративные записи и данные отзывов, полезные для исследования рынка, конкурентного анализа и генерации лидов.

Open Corporates

Одна из крупнейших в мире открытых баз данных компаний с сотнями миллионов корпоративных записей практически по каждой стране.

Glassdoor

Сайты с отзывами о работодателях содержат неожиданно большой объём открытых данных. На Glassdoor можно найти анализ гендерного разрыва в оплате труда, ежемесячные отчёты о зарплатах и местные отчёты о заработной плате.

Yelp

Открытые наборы данных Yelp содержат миллионы отзывов о компаниях, которые можно анализировать для выявления закономерностей и тенденций в деловых настроениях.

Медиа и журналистские данные

Новостные архивы и источники журналистики данных, зачастую доступные через API для разработчиков.

Associated Press Developer

Сервисы для разработчиков AP позволяют создавать интеграции вокруг новостного контента, данных опросов и метаданных, в духе, схожем с сетью разработчиков New York Times.

FiveThirtyEight

Широко уважаемый источник журналистики данных, охватывающий темы от политики до спорта, с наборами данных, подкрепляющими опубликованный анализ.

The New York Times Developer Network

Зарегистрировав приложение, вы можете получить доступ к аннотациям, ссылкам, мультимедиа, книгам, спискам и статьям NYT, причём тексты доступны вплоть до 1851 года.

Данные маркетинга и социальных сетей

Данные о настроениях в реальном времени, поисковых интересах и социальных графах для маркетологов и аналитиков.

Social Mention

Поисковая система для данных социальных сетей в реальном времени, выявляющая настроения, использование ключевых слов, пользователей и хэштеги в широком масштабе.

Google Trends

Google Trends показывает, что ищет мир, позволяя маркетологам выбирать время для кампаний с учётом растущего интереса, а не угадывать.

Graph API

Graph API представляет собой набор API, позволяющих приложениям читать и записывать данные из социального графа Facebook. Рассматривайте его как структурированное окно в публичные данные Facebook, и помните, что доступ к нему регулируется собственными условиями Facebook.

Другие репозитории и агрегаторы

Универсальные источники, которые консолидируют многие из приведённых выше наборов данных и несколько нестандартных.

Google Public Data Explorer

Многие источники из этого списка консолидированы здесь, что делает это место отличной отправной точкой, когда вы не знаете, куда смотреть. Google Dataset Search дополняет его как бесплатный способ найти наборы данных в Интернете.

Datasets SubReddit

Сообщество Reddit, где люди делятся интересными наборами данных, часто собранными или скомпилированными на таких языках, как R, полезное для поиска нестандартных данных.

DBpedia

Представьте Wikipedia как базу данных, а не как сайт. DBpedia позволяет исследовать миллионы записей Wikipedia и связи между ними через единый интерфейс запросов, что и стало причиной его использования в проектах ИИ в таких компаниях, как Apple, Google и IBM.

Является ли большие данные открытым исходным кодом?

Растущая доля инструментов для работы с большими данными имеет открытый исходный код, включая такие системы баз данных, как MongoDB, масштабируемое NoSQL-хранилище, хорошо подходящее для задач с большими данными. Компоненты с открытым исходным кодом охватывают и остальную часть конвейера: от сбора и загрузки данных до их обработки и хранения, поэтому вы можете собрать полный стек без проприетарного лицензирования. Открытые инструменты и открытые данные сочетаются естественным образом: бесплатные наборы данных дают вам входные данные, а системы с открытым исходным кодом дают место для их хранения.

Ответственное использование открытых данных

Бесплатный не означает безусловный. Большинство открытых наборов данных сопровождается лицензией, часто Creative Commons, которая указывает, как можно использовать данные и как ссылаться на источник, поэтому прочитайте её и правильно атрибутируйте данные. Когда источник предоставляет API, предпочитайте его парсингу сайта и соблюдайте ограничения на частоту запросов и условия использования. Если набор данных содержит персональные данные, обрабатывайте их в соответствии с такими правилами, как GDPR и CCPA, даже если данные технически публичны. При сборе данных с веб-страниц, а не из скачивания, сохраняйте разумную частоту запросов и соблюдайте robots.txt каждого сайта. Цель состоит в том, чтобы быть добросовестным участником общего пространства открытых данных, из которого вы извлекаете пользу. После получения данных наши руководства по структурированию и очистке данных и их анализу с помощью pandas помогут превратить необработанные файлы в полезные знания.

Часто задаваемые вопросы

В чём разница между открытыми данными и бесплатными данными?

Все открытые данные бесплатны для получения, но открытые данные идут дальше: их также необходимо свободно использовать и распространять, как правило, в соответствии с явной лицензией. Некоторые данные бесплатны для просмотра, но ограничены в использовании или распространении, поэтому проверяйте лицензию, а не предполагайте, что бесплатный означает открытый.

С какого источника открытых данных начать?

Начните с вашей темы. Для широких данных государственных органов США Data.gov является естественной отправной точкой; для глобальной экономики, Всемирный банк; для демографических данных, Бюро переписи населения США; для здравоохранения, ВОЗ или HealthData.gov. Если вы не знаете, куда смотреть, Google Public Data Explorer и Google Dataset Search агрегируют множество источников в одном месте.

Можно ли использовать открытые данные в коммерческом продукте?

Зачастую да, но это полностью зависит от лицензии, прикреплённой к конкретному набору данных. Многие открытые лицензии, включая большинство вариантов Creative Commons, разрешают коммерческое использование при условии правильной атрибуции источника. Всегда читайте условия лицензии для каждого набора данных, прежде чем выпускать что-либо, основанное на нём.

Нужно ли скрапить открытые данные или можно их скачать?

Большинство крупных порталов предлагают прямую загрузку в CSV, JSON или XML, либо API, и они всегда должны быть вашим первым выбором. Парсинг применяется только тогда, когда полезные общедоступные данные находятся на веб-страницах без возможности скачивания или API. В этом случае собирайте данные вежливо и в рамках условий использования сайта.

Большие данные, то же самое, что открытые данные?

Нет. Большие данные описывают масштаб и сложность наборов данных, тогда как открытые данные описывают их лицензирование и доступность. Набор данных может быть открытым, не будучи большим, а крупные наборы данных часто являются проприетарными. Они пересекаются, когда большой набор данных также публикуется открыто, как несколько источников из этого списка.

Как обеспечить соответствие при использовании открытых данных?

Читайте и соблюдайте лицензию каждого набора данных, атрибутируйте источник в соответствии с требованиями, предпочитайте официальные API парсингу, соблюдайте ограничения частоты запросов и robots.txt при сборе данных со страниц. Если данные содержат персональную информацию, обрабатывайте её в соответствии с применимым законодательством о конфиденциальности, например GDPR и CCPA, даже если данные публичны.

BA

Bilal Ahmed

Инженер-программист · Crawlbase

Инженер-программист, написавший некоторые из самых читаемых материалов в блоге Crawlbase о веб-скрейпинге, прокси и инструментах для работы с данными.