Бесплатные списки прокси для скрейпингаЧто показывают 640,600 измеренных прокси

Если вы искали бесплатный список прокси, вы найдёте его за следующие тридцать секунд. Десятки сайтов публикуют десятки тысяч пар «IP и порт», обновляемых ежеминутно, с фильтрами по стране и уровню анонимности, доступных для скачивания текстовым файлом. Предложение реально, и оно действительно бесплатное.

Более сложный вопрос, что происходит после того, как вы вставите эти адреса в скрейпер. Эту часть уже измеряли, дважды и в большом масштабе, академические исследователи, опубликовавшие свои методы. Одно исследование отследило более 107,000 открытых прокси из публичных списков на 13 миллионах запросов. Другое наблюдало за 640,600 из них в течение 30 месяцев. Их выводы существенно полезнее очередного рейтинга.

Эта статья охватывает обе половины: какие бесплатные списки прокси существуют и что каждый из них на самом деле даёт, а затем что измерения говорят о надёжности, целостности трафика и реальной стоимости работы на них. Заканчивается она тем, что большинство статей по этому запросу пропускает: словами «бесплатный прокси» называют два совершенно разных продукта, и только один из них уместен где-либо рядом с продакшеном.

Бесплатным прокси называют две разные вещи

Первая категория, это список открытых прокси у агрегатора. Издатель сканирует интернет в поисках хостов, готовых пересылать трафик для любого желающего, проверяет, отвечают ли они, и публикует те, что ответили. Издатель не владеет этими машинами и не состоит в отношениях с теми, кто владеет. Вы одалживаете сервер незнакомца, и ни вы, ни издатель не знаете, почему этот незнакомец готов вам его дать.

Вторая категория, это бесплатный тариф или пробный доступ коммерческого провайдера. Компания, которая управляет прокси-сетью, бесплатно выделяет вам её лимитированную часть: фиксированное число запросов, ограничение по объёму трафика или пробный период с ограничением по времени. Адреса берутся из инфраструктуры, которую компания закупает, документирует и за которую отвечает.

И то и другое называют «бесплатными прокси», хотя ведут они себя совершенно по-разному. Все измерения ниже описывают первую категорию. Понимание этого различия и составляет почти всё, что отличает работающий скрейпер от того, который тихо собирает мусор.

Бесплатные списки прокси, поимённо

Это агрегаторы, которые чаще всего попадаются по такому запросу, и то, что каждый из них реально предоставляет. Цифры по размеру пула, это собственные заявления издателей на момент написания, и они постоянно меняются, что само по себе часть картины.

Прочитайте мелкий шрифт на этих сайтах, и кое-что станет очевидным: большинство из них прямо говорит, что именно вы получаете. ProxyScrape заявляет, что «предоставляемые нами прокси, это публичные прокси, а значит, прокси может быть заражён». Geonode предупреждает, что бесплатные публичные прокси «могут вести журнал трафика, внедрять рекламу или быть приманками», и добавляет: «никогда не передавайте конфиденциальные данные через бесплатные прокси». free-proxy-list.net описывает собственный инвентарь как «нестабильный и обычно медленный, но очень дешёвый» и отмечает, что эти прокси не работают против крупных сайтов.

Издатели здесь не проблема, и об этом стоит сказать точно. Они индексируют машины, но не управляют ими. Всё измеренное ниже, это свойство анонимных операторов, чьи серверы оказываются в этих списках.

Что показывают измерения: почти никто из них не отвечает

Главная цифра в списке прокси, это не количество работающих прокси. Это количество записей.

В работе An Extensive Evaluation of the Internet's Open Proxies (Mani, Vaidya, Dworken и Sherr, ACSAC 2018) исследователи собрали с сайтов-агрегаторов более 107,000 перечисленных открытых прокси и пропустили через них 13 миллионов запросов за 50 дней. Их вывод: более 92% открытых прокси, появляющихся на сайтах-агрегаторах, не отвечают.

Free Proxies Unmasked (Mehanna, Rudametkin, Laperdrix и Vastel, MADWeb 2024) взяла период длиннее и выборку шире: 640,600 прокси от 11 провайдеров за 30 месяцев. Их показатель доступности: лишь 34.5% были активны хотя бы один раз за всё окно наблюдения.

Эти два исследования очерчивают границы ответа. Отвечает вообще где-то от трети до одной двенадцатой опубликованного списка, а ответить один раз, это не то же самое, что быть пригодным для работы. Практическая проверка Proxyway на 35 адресах из одного популярного списка обнаружила 15 работающих сразу и 11 всё ещё работающих через полчаса.

Именно поэтому бесплатные пулы кажутся рабочими в пятиминутном тесте и разваливаются в регулярной задаче. Горстки живых прокси хватает, чтобы вручную вытянуть одну страницу. Цикл обновления, которому нужна устойчивая пропускная способность, проводит большую часть времени в таймаутах на адресах, переставших отвечать уже после того, как вы скачали список.

Что показывают измерения: некоторые из них меняют ваш трафик

Недоступность, это скучный вид отказа. Интересный состоит в том, что измеримая доля этих хостов изменяет проходящее через них содержимое.

Исследование MADWeb 2024 нашло 16,923 прокси, манипулирующих содержимым, из 640,600 отслеженных. Оно также просканировало сами адреса прокси и каталогизировало 4,452 различные уязвимости, включая 1,755, позволяющие удалённое выполнение кода, и 2,036, позволяющие повышение привилегий. Самое показательное для вопроса о том, кто держит эти машины: 42,206 из них, судя по всему, работали на маршрутизаторах MikroTik, то есть на потребительском и мелкобизнесовом сетевом оборудовании, а не на чём-либо, похожем на прокси-сервис.

Исследование ACSAC 2018 задокументировало конкретное поведение. Исследователи наблюдали атаки «человек посередине» на TLS, HTML, переписанный для внедрения кода майнинга криптовалюты, и двоичные файлы, изменённые при передаче так, чтобы нести троянов удалённого доступа. В качестве контроля та же группа измерила выходные узлы Tor и не нашла ни одного случая перехвата TLS или подмены содержимого, что служит полезным напоминанием: проблема в структуре стимулов именно анонимных открытых прокси, а не в ретранслируемом трафике вообще.

Почему они бесплатные

Слово «бесплатный» подразумевает, что кто-то покрывает издержки. Для прокси из агрегаторов почти всё объясняют четыре причины, и невинна из них только первая.

• Неверная настройка. Хост никогда не должен был быть открытым прокси. Настройки по умолчанию на маршрутизаторе или кэширующем сервере оставили его пересылающим трафик для всего интернета. 42,206 устройств MikroTik в данных MADWeb, это именно такой случай в масштабе, и владельцы почти наверняка ничего об этом не знают.
• Сбор данных. Держать прокси, это дешёвый способ получать поток чужих запросов: имена хостов, заголовки, куки, токены сессий и всё, что отправлено без шифрования. Трафик и есть продукт.
• Внедрение. Если содержимое проходит без шифрования, его можно отредактировать. Опубликованные находки включают рекламу, подмену партнёрских ссылок и скрипты майнинга, которые монетизируют ваш канал и CPU ваших пользователей.
• Наблюдение. Часть открытых прокси, это приманки, которые держат исследователи, поставщики средств безопасности или сетевые операторы, желающие увидеть, что через них течёт. Безобидно по замыслу, но всё равно аудитория для вашего трафика.

Ни один из этих сценариев не требует изощрённого атакующего. Требуется машина, которая пересылает пакеты, и список, который её рекламирует.

Арифметика бесплатного пула

Довод в пользу бесплатного списка в том, что он ничего не стоит. Это верно только если ваше время ничего не стоит и неудачные запросы бесплатны, а за пределами прототипа неверно ни то, ни другое.

Просчитайте модель на своих числах. Если задаче нужно S успешных загрузок, а пул конвертирует с долей p, вы делаете примерно S / p попыток. При измеренных выше показателях выживаемости значение p между 0.3 и 0.4 оптимистично для списка, скачанного час назад, поэтому задача на 50,000 страниц превращается в 125,000 или 165,000 попыток, большинство из которых, это таймауты, а не быстрые отказы. Таймауты, это дорогой вид отказа, потому что каждый удерживает воркер на секунды.

Затем добавьте то, что не попадает в счётчик запросов:

• Повторное скачивание и повторная проверка списка, потому что записи истекают, пока вы ими пользуетесь.
• Разработка и поддержка проверок работоспособности, логики повторов и вытеснения мёртвых прокси. Это небольшая распределённая система, и теперь она ваша.
• Перезапуск пакетов, завершившихся с незаметными пробелами, это самый дорогой режим отказа, потому что обнаруживается он ниже по конвейеру, уже в данных.
• Проверка того, что ничто в собранном корпусе не было изменено при передаче.

Инженер, который тратит на это два дня в месяц, потратил больше, чем стоит платный тариф, и не создал никакого продукта. Наш набор критериев для оценки прокси-провайдеров разбирает тот же обмен подробнее.

Когда бесплатный список прокси, подходящий инструмент

Здесь есть настоящий ответ, и делать вид, что его нет, было бы нечестно. Списки агрегаторов действительно полезны, когда ставки равны нулю.

• Освоение механики. Настроить прокси в curl, в requests или в HTTP-клиенте вашего языка и посмотреть, как меняется ваш видимый IP, это полезное упражнение, и бесплатные прокси для него годятся.
• Одна одноразовая загрузка публичной страницы. Без учётных данных, без сессии, без чего-либо ценного для вас.
• Проверка того, различается ли публичное содержимое по странам, как грубый сигнал перед тем, как вкладываться в настоящий геотаргетинг.
• Тестирование того, что ваши собственные ветви кода переживают отказ прокси, где ненадёжный пул, пожалуй, идеальная тестовая оснастка.

Правило, которого стоит держаться: никогда не отправляйте через неизвестный прокси то, что вам было бы неприятно оставить незнакомцу. Это значит никаких логинов, никаких ключей API, никаких куки, никаких персональных данных и ничего, целостности чего вы собираетесь доверять позже. Наша статья о том, безопасны ли прокси, разбирает вопросы о происхождении адресов, которые стоит задать любому провайдеру, а обзор ротируемых резидентных прокси показывает, где бесплатные пулы находятся относительно платных.

Бесплатный тариф, который действительно работает

Вернёмся к различию, с которого начиналась статья. Если вам нужно скрейпить, пока не платя, ответ, это не список чужих маршрутизаторов, а лимитированная доля инфраструктуры, у которой есть владелец. Такие есть. Webshare даёт 10 статических адресов дата-центра и 1 GB в месяц. Oxylabs предлагает бесплатный тариф только для США с месячным лимитом 5 GB.

Crawlbase Smart AI Proxy даёт 5,000 кредитов без банковской карты, на пуле из 140M резидентных IP с геотаргетингом по 45+ странам, средней долей успеха 99% и без ограничений по объёму трафика. Блокировки и CAPTCHA обрабатываются внутри эндпоинта, а не в вашем цикле повторов.

Операционная разница важнее размера пула. Есть одно имя хоста и один порт. Никакого списка, который нужно скачивать, проверять, ротировать или вычищать, потому что ротация происходит на стороне сервиса и каждый запрос приходит с нового адреса.

curl -x 'https://YOUR_TOKEN:@smartproxy.crawlbase.com:8013' \
     -k 'https://httpbin.org/ip'

Ваш токен, это имя пользователя, а пароль остаётся пустым. Порт 8013, это HTTPS-прокси, и он рекомендуемый; 8012 говорит с прокси по обычному HTTP для клиентов, которым это нужно. Оба обрабатывают и HTTP, и HTTPS цели. Ключ словаря называет схему целевого URL, и каждая запись использует схему, которую ожидает её порт: HTTP-прокси отвечает на 8012, HTTPS-прокси на 8013. То же самое на Python:

import requests

proxies = {
    'http':  'http://YOUR_TOKEN:@smartproxy.crawlbase.com:8012',
    'https': 'https://YOUR_TOKEN:@smartproxy.crawlbase.com:8013',
}

res = requests.get('https://httpbin.org/ip', proxies=proxies, verify=False)
print(res.text)

Геотаргетинг для каждого запроса, тип устройства и закреплённые сессии задаются заголовками запроса, а не переключением эндпоинтов, а если вам нужна ротация без слоя AI, это вопрос конфигурации, разобранный в статье стандартная ротация против слоя AI.

Выбор между вариантами

Если вы всё ещё решаете, какой тип адресов нужен задаче, прежде чем выбирать поставщика, дата-центровые против резидентных и подбор типа прокси под цель, это следующие две статьи для чтения. О механике самой ротации, с кодом, читайте ротацию на каждый запрос против закреплённых сессий.

Коротко

Бесплатные списки прокси реальны, многочисленны и в основном мертвы. Два рецензируемых исследования оценивают доступность между 8% и 34.5%, а сами издатели описывают инвентарь как публичные машины, которые могут быть заражены. Тысячи этих хостов наблюдались изменяющими трафик, десятки тысяч из них, это чей-то неверно настроенный маршрутизатор, а труд по поддержанию такого пула в живом состоянии стоит дороже тарифа.

Если требование действительно «пока без бюджета», возьмите лимитированный бесплатный тариф у оператора, у которого есть имя. Вы получаете рабочий адрес с первого запроса вместо очереди таймаутов, и никто не читает ваш трафик в качестве платы за вход.

Часто задаваемые вопросы

Безопасны ли бесплатные прокси для скрейпинга?

Ни для чего, что вам важно. Рецензируемое измерение 640,600 бесплатных прокси нашло 16,923, изменяющих проходящее через них содержимое, а более раннее исследование 107,000 задокументировало перехват TLS, внедрённые майнеры криптовалюты и двоичные файлы, переписанные при передаче так, чтобы нести троянов удалённого доступа. Некоторые издатели списков говорят это сами; собственная страница ProxyScrape отмечает, что его прокси «могут быть заражены». Используйте их для обучения и одноразовых загрузок публичных страниц, никогда для логинов, ключей API, куки, персональных данных или любого корпуса, целостности которого вы собираетесь доверять.

Почему бесплатные прокси бесплатны?

Большинство объясняют четыре причины. Многие просто неверно настроены: одно исследование нашло 42,206, судя по всему работающих на маршрутизаторах MikroTik, чьи владельцы почти наверняка не собирались держать публичный прокси. Другие существуют, чтобы собирать проходящий через них трафик, внедрять рекламу или код майнинга в незашифрованные страницы либо наблюдать трафик в роли приманок. Кто-то платит за канал, и обычно платой служит трафик.

Сколько прокси из бесплатного списка действительно работает?

Намного меньше, чем главная цифра. Исследование ACSAC 2018 обнаружило, что более 92% открытых прокси из списков агрегаторов не отвечают. Исследование MADWeb 2024 обнаружило, что лишь 34.5% из 640,600 прокси были активны хотя бы раз за 30 месяцев. Отток продолжается и во время работы: независимая практическая проверка 35 адресов из одного списка нашла 15 живых сразу и 11 всё ещё живых через 30 минут. Опубликованный пул на 20,000, это таблица из 20,000 строк, а не 20,000 пригодных адресов.

В чём разница между бесплатным списком прокси и бесплатным пробным доступом к прокси?

В ответственности. Список индексирует машины, которыми управляют незнакомцы, не имеющие соглашения ни с вами, ни с издателем. Пробный доступ или бесплатный тариф, это лимитированная часть сети, которой компания управляет, которую документирует и за которую может отвечать. Слова похожи, а продукты несопоставимы; каждый вывод о надёжности и целостности в этой статье относится к первому виду.

Можно ли использовать бесплатный список прокси для промышленного скрейпера?

Можно, но издержки проявятся в другом месте. При выживаемости около трети каждые 50,000 успешных загрузок требуют примерно 150,000 попыток, в основном медленных таймаутов, плюс повторная проверка списка, контроль работоспособности, вытеснение мёртвых адресов и перезапуск пакетов, завершившихся с незаметными пробелами. Это неоплачиваемый проект по распределённым системам, лежащий под вашей настоящей работой, и обычно он стоит больше инженерного времени, чем тариф стоит денег.

Делает ли использование HTTPS бесплатный прокси безопасным?

Помогает, но этого недостаточно. Шифрование не даёт пассивному прокси читать или редактировать тело страницы, что нейтрализует большую часть поведения с внедрением, задокументированного исследователями. Оператор по-прежнему узнаёт каждое имя хоста, которое вы запрашиваете, и когда, может выборочно задерживать или обрывать соединения и может предложить свой сертификат любому клиенту, который пропускает проверку. HTTPS уменьшает радиус поражения, но не превращает анонимный хост в надёжный.

VP

Viktor Petrov

Архитектор Data Science · Crawlbase

Архитектор Data Science в Crawlbase. Работает над моделями, которые обеспечивают надёжность масштабного краулинга против современных систем защиты от ботов.