Как парсить Instagram с проксипубличные данные, правильные IP и ограничения

Instagram практически ничего полезного не возвращает обычному скрипту. Публичные страницы рендерятся через JavaScript, поверхность API заблокирована, а антибот-стек немедленно помечает единственный IP дата-центра, делающий повторные запросы. Поэтому работающий скрапер Instagram реально представляет собой два наложенных друг на друга решения: получить IP, который платформа воспринимает как реального человека, и заставить браузер действительно отрендерить страницу перед её чтением. Прокси решают первую половину. Но они не решают вторую самостоятельно.

Этот пост посвящён парсингу публичных данных Instagram: подписей к публикациям, метаданных публичных профилей, а также количеств лайков и комментариев к постам, видимым без входа в систему. Он не охватывает приватные аккаунты или контент за логином, а раздел об этике в конце не является формальностью. Задав рамки, рассмотрим, почему Instagram блокирует, какой тип прокси подходит, и путь к коду, который возвращает реальные данные, а не пустую оболочку.

Почему Instagram блокирует скраперы

Instagram является богатой данными, активно монетизируемой платформой, поэтому её защита настроена на быстрое отсеивание автоматизированного трафика. Основную работу выполняют четыре механизма, и знание того, какой именно вас поймал, подсказывает, что изменить.

• Ограничение скорости. Слишком много запросов с одного IP за короткое время вызывает временное или постоянное ограничение. Это самая дешёвая защита и первая, с которой вы столкнётесь.
• Репутация IP. Диапазоны, принадлежащие известным хостинг-провайдерам (ASN дата-центров), помечаются сразу, ещё до того как ваш запрос достигает страницы. Чистый скрипт с облачного сервера редко видит реальный контент.
• JavaScript-рендеринг. Нужная страница строится на стороне клиента. Обычный HTTP-запрос возвращает оболочку с пустыми полями, поэтому даже незаблокированный запрос не даёт ничего полезного, пока браузер не выполнит страницу.
• Поведенческий анализ и анализ сессий. Быстрые, повторяющиеся, идентичные паттерны запросов совершенно не похожи на пролистывающего ленту человека, и Instagram отслеживает именно такую сигнатуру.

Прокси напрямую решает первые две проблемы: он меняет IP, с которого выходит ваш трафик, а ротация по многим IP снижает нагрузку так, чтобы ни один адрес не превышал ограничение скорости. Он не рендерит JavaScript и не имитирует человекообразное поведение. Это отдельные задачи, и именно поэтому голый прокси необходим, но редко достаточен здесь.

Какие публичные данные реально доступны

Установите ожидания перед написанием кода. Не авторизованный пользователь Instagram видит ограниченный срез: метаданные публичного профиля (имя пользователя, биография, количество подписчиков и публикаций), медиаконтент публичных постов, подписи и публичное количество лайков и комментариев. Истории, прямые сообщения, приватные аккаунты и всё за аутентифицированной сессией находятся вне рамок и вне допустимого. Если ваш сценарий использования требует этого, скрапинг является неправильным инструментом.

Даже доступные данные имеют нюанс: они загружаются через JavaScript. Получите URL поста с помощью обычного HTTP-клиента, и вы получите HTML с пустыми полями контента, поскольку ничего ещё не отрендерено. Это единственная наиболее распространённая причина, по которой скрапер Instagram "работает", но возвращает пустые объекты, и именно поэтому прокси в одиночку не является финишной чертой.

Как вписываются прокси и какой тип выбрать

Прокси является одним слоем косвенности между вашим скрапером и Instagram: он делает запрос за вас, поэтому платформа видит IP прокси вместо вашего. Для такой защищённой цели тип IP важнее всего остального в прокси.

IP дата-центров быстрые и дешёвые, но Instagram сбрасывает их сразу, поскольку они разрешаются в хостинговые ASN. Это исключает их как основной вариант здесь. IP, которые выживают, это те, что выглядят как реальные люди: резидентские прокси выходят через реальные потребительские ISP-соединения, а мобильные прокси маршрутизируются через сети операторов, где carrier-grade NAT распределяет один IP между тысячами абонентов, поэтому его блокировка рискует заблокировать реальных клиентов. Мобильные прокси сложнее всего заблокировать и стоят дороже; резидентские являются практическим минимумом для Instagram. Полное сравнение см. в статье прокси дата-центров против резидентских.

Доверие является лишь половиной дела. Ротация, вот что не позволяет одному IP попасть под ограничение скорости в ходе прогона. Ротирующие резидентские прокси распределяют ваши запросы по многим реальным пользовательским адресам, поэтому частота запросов на один IP остаётся низкой, даже когда общий объём высок. Самый чистый способ потреблять это, backconnect-шлюз: один хост и порт, который меняет выходной IP за кадром, на каждый запрос или зафиксированным на каждую сессию, так что ваш код указывает на одну конечную точку, а ротация происходит на стороне сервера. Подробнее об этом паттерне в статье как использовать ротирующие прокси.

Типы прокси для Instagram: кратко

Практический путь в коде

Пример ниже использует ротирующий резидентский шлюз, который также рендерит JavaScript, поскольку для Instagram нужно и то, и другое в одном вызове. Конечная точка, это backconnect-хост, на который вы направляете обычный HTTP-клиент; ротация и рендеринг обрабатываются на стороне сервера. Вы передаёте токен доступа в качестве имени пользователя прокси, а рендеринг и короткое ожидание переключаются параметрами запроса.

Сначала установите единственную зависимость.

pip install requests

Голый GET через шлюз меняет ваш выходной IP, но на Instagram он возвращает оболочку с пустыми полями контента, поскольку ничего ещё не отрендерено. Это режим отказа, который нужно распознать, а не конечная точка.

import requests

# Backconnect gateway: token as the username, rotation server-side.
proxy_url = "http://_USER_TOKEN_:@smartproxy.crawlbase.com:8012"
proxies = {"http": proxy_url, "https": proxy_url}

target = "https://www.instagram.com/p/B5-tZGRAPoR/"
resp = requests.get(target, proxies=proxies, verify=False)

print(resp.status_code)  # 200, but the body is mostly empty

Чтобы получить реальные данные, скажите шлюзу рендерить страницу в браузере и немного подождать заполнения контента. Это делается с помощью параметров запроса, передаваемых в заголовке: включите JavaScript-рендеринг, установите короткое ожидание страницы и попросите встроенный парсер постов Instagram вернуть структурированные поля вместо необработанного HTML.

import requests
import json

proxy_url = "http://_USER_TOKEN_:@smartproxy.crawlbase.com:8012"
proxies = {"http": proxy_url, "https": proxy_url}

# Render with a browser, wait 3s, parse the post into JSON.
params = "scraper=instagram-post&javascript=true&page_wait=3000"
headers = {"CrawlbaseAPI-Parameters": params}

target = "https://www.instagram.com/p/B5-tZGRAPoR/"
resp = requests.get(target, headers=headers, proxies=proxies, verify=False)

data = json.loads(resp.content.decode("latin1"))
print(json.dumps(data, indent=2))

При включённом рендеринге тот же запрос возвращает структурированные поля поста вместо пустой оболочки.

{
  "cb_status": 200,
  "url": "https://www.instagram.com/p/B5-tZGRAPoR/",
  "body": {
    "postedBy": { "accountUserName": "thisisbillgates" },
    "caption": { "text": "Our family loves reading together..." },
    "likesCount": 339131,
    "dateTime": "2019-12-12T16:55:16.000Z"
  }
}

Структура важнее конкретных полей: разница между пустым и заполненным телом, это рендеринг, а не IP. Более полное руководство по созданию скрапера на этом стеке см. в статье веб-скрапинг с Python и Selenium, а общее руководство по работе, в статье как парсить сайты, не попадая в блокировку.

Настройка для поддержания доступности

Несколько привычек поддерживают прогон активным после первых сотен запросов. Ни одна из них не является экзотической; они просто обозначают разницу между трафиком, похожим на человека, и трафиком, похожим на скрипт.

• Поддерживайте низкую частоту запросов на один IP. Ротация помогает только если общий объём действительно размазан по пулу. Задавайте темп запросов вместо их отправки в плотном цикле.
• Отправляйте реалистичные заголовки. Правдоподобный user-agent и заголовки, которые отправляет настоящий браузер, делают больше, чем люди ожидают; запрос без них легко помечается.
• Рендерите только когда необходимо. JavaScript-рендеринг медленнее и дороже, чем обычный запрос. Используйте его для страниц, которые нуждаются в нём (посты Instagram требуют), и пропускайте, где данные уже есть в HTML.
• Следите за кодами статусов. Прогон, который начинает возвращать 403 или страницы с вызовами, сигнализирует, что текущий уровень IP или скорость больше не достаточны. Воспринимайте коды ошибок статуса прокси как сигнал, а не помеху.

Числа, стоящие за всем этим (сколько запросов на IP до блокировки, какой процент успеха держит данный уровень), являются диапазонами, которые мы наблюдаем на практике, а не фиксированными константами; ваши показатели меняются в зависимости от цели и провайдера. Настраивайте по своему собственному трафику, а не по опубликованному ориентиру.

Честная часть: ToS и правовой аспект

Условия использования Instagram запрещают несанкционированный автоматизированный доступ к данным, и парсинг может противоречить этим условиям вне зависимости от тщательности вашего инструментария. Два правила, которых стоит придерживаться: собирайте только публичные данные и соблюдайте заявленные платформой правила, включая её robots.txt и ожидания относительно скорости запросов. Не парсите приватные аккаунты, контент за логином или персональные данные, для сбора которых у вас нет оснований. Публичные метаданные постов для анализа, это одно; сбор информации о людях, другое, и именно там находится юридическое и этическое воздействие.

Данное руководство ограничено публичными данными, поскольку именно эта граница делает работу защищённой. Если проект требует большего, ответом является официальное API-соглашение, а не более умный скрапер.

Часто задаваемые вопросы

Зачем нужны прокси для парсинга Instagram?

Instagram помечает IP дата-центров сразу и ограничивает скорость любого адреса, делающего повторные запросы. Прокси меняет IP, с которого выходит ваш трафик, а ротация по пулу реальных пользовательских IP распределяет запросы так, чтобы ни один адрес не превышал ограничение скорости. Без этого даже правильный скрипт блокируется после нескольких запросов.

Какой тип прокси лучше всего работает для Instagram?

Ротирующие резидентские прокси являются практическим минимумом, поскольку они выходят через реальные потребительские ISP IP, которые Instagram воспринимает как обычных посетителей. Мобильные прокси сложнее всего заблокировать, поскольку carrier-grade NAT распределяет один IP между множеством реальных пользователей, но они дороже. IP дата-центров блокируются слишком быстро, чтобы полагаться на них как на основной вариант здесь.

Почему мой скрапер Instagram возвращает пустой ответ?

Почти всегда потому, что страница не была отрендерена. Instagram строит контент на стороне клиента с помощью JavaScript, поэтому обычный HTTP-запрос возвращает HTML с пустыми полями данных, даже когда сам запрос прошёл успешно. Включите JavaScript-рендеринг и добавьте короткое ожидание страницы, чтобы контент заполнился перед чтением ответа.

Законно ли парсить Instagram?

Условия использования Instagram запрещают несанкционированный автоматизированный доступ, поэтому парсинг может конфликтовать с этими условиями. Придерживайтесь только публичных данных, соблюдайте robots.txt платформы и ожидания относительно скорости запросов и никогда не трогайте приватные аккаунты или контент за логином. Для всего, что выходит за рамки публичных данных, официальное API-соглашение является правильным путём, а не скрапер.

Можно ли парсить приватные аккаунты Instagram или истории?

Нет, и данное руководство не охватывает это. Приватные аккаунты, истории и прямые сообщения находятся за аутентификацией, и доступ к ним через автоматизацию нарушает условия Instagram и создаёт реальные правовые и этические проблемы. Доступные и защищённые данные, это метаданные публичных профилей и публичный контент постов.

Нужен ли headless-браузер, если я использую прокси?

Вам нужен рендеринг, но не обязательно ваш собственный парк браузеров. Прокси обрабатывает IP; рендеринг может обеспечиваться вашим собственным headless-браузером или шлюзом, который рендерит на стороне сервера. Управляемая конечная точка, делающая оба в одном запросе, проще, чем совместный запуск пула прокси и парка Selenium, особенно в масштабе.

HR

Hassan Rehan

Инженер-программист · Crawlbase

Инженер-программист в Crawlbase, пишет практические руководства по ротирующимся прокси, скрейпингу и тонкостям подключения прокси к реальному коду.