Что такое мобильные прокси?IP операторов, доверие CGNAT и когда они побеждают

Мобильный прокси маршрутизирует ваш запрос через сотовое соединение телефона, поэтому целевой сайт видит IP оператора связи, а не ваш. Это звучит как ещё один вариант прокси, но происхождение IP делает его особенным: мобильный IP принадлежит сети 3G, 4G или 5G, управляемой оператором, а операторы совместно используют каждый публичный IP среди большого числа реальных абонентов. Именно этот единственный факт, а не какое-либо хитрое программное обеспечение, объясняет, почему мобильные прокси труднее всего заблокировать.

Эта статья охватывает, что такое мобильный прокси, как сеть оператора плюс NAT операторского уровня создают это доверие, как поверх него работает ротация и когда мобильный прокси оправдывает свою премиальную стоимость по сравнению с резидентным или датацентровым IP, а когда это выбрасывание денег на ветер. Главное запомнить: мобильный, самый доверенный и самый дорогой уровень, поэтому к нему прибегают в последнюю очередь, а не первую.

Что такое мобильный прокси

Прокси, это один уровень косвенности между вашим клиентом и целью: он делает запрос за вас, поэтому адресат видит IP прокси, а не ваш. Мобильный прокси, это тот же слой с одним ограничением на выходной IP: он должен быть тем, который оператор выдал реальному сотовому устройству в своей сети 3G, 4G или 5G.

Это ограничение и является всем продуктом. Датацентровый IP приходит из адресного блока хостинг-провайдера, который любой сайт может найти. Резидентный IP приходит с домашней широкополосной линии. Мобильный IP приходит из пула сотовых адресов оператора, и для цели он неотличим от телефона на мобильных данных, потому что на другом конце многих реальных установок именно это и есть: SIM-карта в модеме.

Для этого не нужен телефон в руках. Коммерческие мобильные прокси работают на банках модемов и специализированном оборудовании, загруженном SIM-картами, всё это стоит в стойке. Трафик всё равно выходит через оператора так же, как у абонента, что является единственным, что может наблюдать цель.

Как IP оператора плюс CGNAT создают доверие

Причина, по которой мобильный IP так сложно заблокировать, сводится к тому, как операторы распределяют своё адресное пространство. Телефонов в сети значительно больше, чем публичных IPv4-адресов для их выдачи, поэтому операторы помещают тысячи абонентов за один публичный IP с помощью NAT операторского уровня (CGNAT). Внутри каждое устройство получает частный адрес; на выходе оператор транслирует весь этот трафик на небольшой общий пул публичных IP.

Для целевого сайта это меняет математику блокировки. Датацентровый IP соответствует одному клиенту, поэтому блокировка ничего не стоит сайту. Мобильный IP соответствует толпе реальных клиентов, делящих его через CGNAT, поэтому его блокировка рискует одновременно отсечь законных пользователей телефонов. Антибот-системы знают это и относятся к мобильным IP с гораздо большей осторожностью, чем к любому другому источнику. Общий IP, это не баг, который вы эксплуатируете; это нормальная архитектура каждой сотовой сети, и ваш трафик сливается с ней.

Есть и второй эффект. Операторы постоянно переназначают эти общие IP по мере того, как устройства подключаются, отключаются и перемещаются между вышками. Эта текучесть уже встроена в сеть, поэтому мобильный IP несёт историю репутации, которая читается как обычный человеческий шум, а не чистый, подозрительно стабильный адрес.

Как поверх этого работает ротация

Ротация, это слой, который вы добавляете, чтобы превратить одно соединение с оператором во что-то, с чем можно скрейпить. Две модели охватывают почти все случаи использования.

Ротируемые выходы меняют IP по расписанию или на каждый запрос. Некоторые мобильные прокси запускают новый IP оператора, циклируя соединение модема, вынуждая сеть назначить новый адрес из общего пула. Другие работают за backconnect-шлюзом, фронтирующим множество SIM-карт и ротирующим между ними. В любом случае ваш скрейпер попадает в одну конечную точку и со временем получает разные выходные IP, что распределяет нагрузку так, чтобы ни один адрес не нарывался на лимит скорости. Если паттерн новый, статья как использовать ротируемые прокси проходит через механику для любого пула.

Закреплённые сессии делают обратное намеренно. Они удерживают один выходной IP в течение установленного окна, чтобы многоэтапный поток (логин, корзина, разбитый на страницы набор результатов) выглядел как один непрерывный пользователь. На мобильных это полезно для платформ на основе приложений, привязывающих сессию к устройству, но это борется с естественной текучестью сети, поэтому окно обычно короткое.

Ротация не делает мобильный прокси более доверенным. Доверие уже заложено в IP оператора; ротация лишь контролирует, как вы его тратите: распределяете тонко по многим запросам или концентрируете на одной идентичности для сессии. О том, почему вообще важна смена IP, читайте в статье что такое ротируемый IP-адрес.

Мобильный vs резидентный vs датацентровый

Три источника, не градации качества от худшего к лучшему. Это разное количество доверия по разным ценам, и правильный, тот, который проходит вашу цель за наименьшие деньги. Вот как они соотносятся по тому, что реально важно для скрейпера.

Столбцы стоимости и скорости, это направления, а не константы: конкретный разрыв между уровнями варьируется по провайдеру, региону и способу тарификации (диапазоны, которые мы видим на практике, а не фиксированные числа). То, что остаётся верным везде, это порядок. Датацентровый дешевле и заметнее, мобильный дороже и наиболее доверен, резидентный находится между ними. Более глубокое разделение между двумя более дешёвыми уровнями, в статье датацентровый vs резидентный прокси, а часто путаемая граница между ротируемым резидентным и статичным резидентным, в статье ISP vs резидентный прокси: главные различия.

Когда мобильный прокси оправдывает премию

Мобильный, вершина лестницы доверия, что делает его нижней ступенью лестницы ценности для большинства задач: вы платите за доверие, которого цель никогда не требовала. Честное правило: переходите к мобильному только тогда, когда нижестоящий уровень блокируется.

Берите мобильный, когда:

• Цель, мобильно-ориентированная платформа приложений. Социальные сети и сервисы на основе приложений, ожидающие сотового трафика, бросают вызов резидентным IP, но терпят мобильные, потому что мобильный, это то, что используют их реальные пользователи.
• Резидентные уже не справляются. Если укреплённая цель показывает страницы блокировки даже резидентным IP, мобильный, следующая ступень, и нередко последняя перед полностью управляемым подходом.
• Верификация рекламы и контента. Проверка того, как мобильная реклама или гео-таргетированный контент действительно отображаются для абонента телефона, требует быть этим абонентом, что убедительно может имитировать только мобильный IP.

Не берите мобильный, когда:

• Датацентровый пул уже справляется с целью. Публичные каталоги, документация и слабо защищённые страницы не нуждаются в таком доверии. Мобильный здесь означает двойной перерасход.
• Резидентного достаточно. Большинство укреплённых целей e-commerce и поиска поддаются резидентным. Если это так, мобильный ничего не добавляет, кроме большего счёта и медленных ответов.
• Нужна сырая пропускная способность. Мобильный, наиболее медленный уровень с наибольшей дисперсией задержки. Для высокообъёмных выгрузок, где скорость является ограничением, это неправильный инструмент независимо от доверия.

Компромиссы, честно

Мобильные прокси выигрывают ровно по одной оси (доверие) и проигрывают по остальным, поэтому будьте честны с собой относительно того, что покупает премия и что она стоит.

Скорость и стабильность. Сотовые линии несут большую задержку и большую дисперсию, чем проводные, а текучесть сети может сменить ваш IP прямо во время сессии. Вы управляете этим через закреплённые окна, но всегда работаете против среды, а не с ней.

Стоимость. Мобильный, наиболее дорогой в эксплуатации источник, потому что каждый выходной IP восходит к реальной SIM-карте на реальном тарифе оператора. Эта стоимость попадает в ваш счёт в любой упаковке, поэтому единственный способ держать её под контролем, не использовать мобильный там, где справился бы более дешёвый уровень.

Источники и этика. Пул настолько надёжен, насколько надёжен способ получения его IP. Это справедливо и для резидентных, но здесь это важнее, потому что вы маршрутизируете трафик через инфраструктуру, привязанную к реальным абонентам. Используйте провайдера с чёткой политикой получения данных на основе согласия, а не пул неизвестного происхождения; более широкий вопрос мы разбираем в статье безопасны ли прокси.

Использование мобильных выходов без управления SIM-картами

Запуск собственных мобильных прокси означает покупку SIM-карт, модемов и оборудования для их ротации, а затем поддержание этой фермы в рабочем состоянии. Большинство команд не хотят этого. Альтернатива, управляемая конечная точка, уже фронтирующая мобильный пул (наряду с датацентровым и резидентным), чтобы вы направляли клиент на один хост и позволяли ему выбирать выход.

Для скрейпера мобильный выход через шлюз, это просто прокси: хост, порт и токен. Тот же curl, который вы использовали бы для любого пула, работает, а ротация происходит на бэкенде.

# Route a request through the rotating gateway and
# read back the exit IP the target actually sees.
curl -x "http://_USER_TOKEN_:@smartproxy.crawlbase.com:8012" \
     -k "https://httpbin.org/ip"

# Response shows a pool IP, not yours. Send again
# and rotation can hand you a different exit.
{ "origin": "203.0.113.42" }

Вот и вся интеграция. Сложная часть мобильных прокси (SIM-карты, ротация, обработка блокировок) находится за конечной точкой, а ваш код продолжает воспринимать это как обычный прокси.

Часто задаваемые вопросы

Что такое мобильный прокси?

Мобильный прокси, это прокси, чей выходной IP приходит из сети мобильного оператора 3G, 4G или 5G, а не из датацентра или домашней широкополосной линии. Он делает запросы от вашего имени, поэтому целевой сайт видит IP оператора, выглядящий как обычный телефон на мобильных данных. Сотовое происхождение и отличает его от любого другого типа прокси.

Почему мобильные прокси сложнее всего заблокировать?

Операторы совместно используют каждый публичный IP среди тысяч абонентов с помощью NAT операторского уровня (CGNAT). Поскольку один мобильный IP соответствует толпе реальных клиентов, его блокировка рискует отсечь законных пользователей телефонов, поэтому антибот-системы относятся к мобильным IP с гораздо большей осторожностью, чем к датацентровым или резидентным. Архитектура с общим IP является нормальной для каждой сотовой сети, и ваш трафик сливается с ней.

Как мобильные прокси ротируют IP-адреса?

Двумя способами. Ротируемые выходы меняют IP по расписанию или на каждый запрос, либо циклируя соединение модема с оператором, либо фронтируя множество SIM-карт за backconnect-шлюзом. Закреплённые сессии делают обратное, удерживая один IP в течение короткого окна, чтобы логин или многоэтапный поток выглядели как один непрерывный пользователь. Ротация контролирует, как вы тратите доверие IP оператора; она не добавляет к нему.

Мобильные прокси лучше резидентных или датацентровых?

Не в целом; они более доверенные и более дорогие. Мобильный находится на вершине лестницы доверия и на нижней ступени лестницы ценности для большинства задач, потому что вы платите за доверие, которого цель никогда не требовала. Используйте датацентровый для толерантных, высокообъёмных сайтов, резидентный для укреплённых целей и мобильный только тогда, когда резидентные блокируются или платформа мобильно-ориентирована.

Когда использовать мобильный прокси?

Берите мобильный, когда цель является мобильно-ориентированной платформой приложений, ожидающей сотового трафика, когда резидентные IP уже блокируются, или когда нужно проверить, как мобильная реклама или гео-таргетированный контент отображаются для реального абонента. Если датацентровый или резидентный пул уже справляется с вашей целью, мобильный ничего не добавляет, кроме большего счёта и медленных ответов.

Нужны ли реальные телефоны для запуска мобильных прокси?

Нет. Коммерческие мобильные прокси работают на банках модемов и специализированном оборудовании с SIM-картами, а не на телефонах в руках. Трафик всё равно выходит через оператора так же, как у абонента. Если вы вообще не хотите запускать это оборудование, управляемая конечная точка, включающая мобильные выходы, позволяет использовать их как обычный прокси без владения SIM-картами.

SR

Sidrah Ramzan

Технический контент-райтер · Crawlbase

Технический контент-райтер в Crawlbase, освещает резидентные и мобильные прокси, ротацию и то, как выбрать сеть, выдерживающую реальную нагрузку при скрейпинге.