Серверные прокси для быстрых и недорогих запросов к слабо защищенным сайтам

IP дата-центров берутся с линий в помещениях, заполненных серверами, а не из домов или телефонов. Эти линии широкие и стабильные, поэтому ответы приходят быстро, и скорость держится даже при множестве одновременных запросов. Без домашней линии или сети оператора на пути цена самая низкая из четырех продуктов.

Обратная сторона в том, что целевые сайты могут определить, что адрес из дата-центра. Сайты, которым нужны только обычные посетители, могут относиться к IP дата-центров строже. Поэтому будут ли серверные прокси самым эффективным выбором или неподходящим, зависит от того, насколько жестко блокирует целевой сайт.

Подключение такое же, как у других продуктов: подключитесь к шлюзу gate.proxymay.com:7000 по HTTP или SOCKS5 и используйте токен доступа как пароль. Вы меняете только настройку прокси в краулере, поэтому продукты легко сравнить на одном и том же коде.

Самый надежный способ: измерить на небольшой выборке. Запросите около 200 целевых страниц через IP дата-центров и запишите результаты.

• Если большинство возвращает 200 с нормальным содержимым, серверных достаточно.
• Если примешиваются ответы 403 и 429, снизьте скорость и измерьте снова.
• Если вы постоянно попадаете на страницы входа или проверки, переход на ротируемые резидентные сэкономит и деньги, и время.

К целям, которые обычно хорошо работают на IP дата-центров, относятся ваши собственные сайты, открытые реестры государственных органов, страницы для машинного чтения вроде товарных фидов и карты сайтов, разрешенные для обхода поисковыми системами. Сохраняйте результаты выборки с датой. Правила блокировки на том же сайте могут измениться через несколько месяцев, и регулярные повторные замеры подскажут, когда пора сменить продукт.

Серверные прокси выбирают ради скорости и цены. Если задаче не нужно выглядеть как домашний пользователь, нет смысла платить за более дорогой адрес.

Если целевой сайт часто блокирует адреса дата-центров, переходите на ротируемые резидентные прокси: каждый запрос уходит с другого домашнего IP, и блокировок становится меньше. Если нужен один и тот же IP с входом в аккаунт на недели, используйте статические ISP прокси; если нужно увидеть то, что видят пользователи смартфонов, используйте мобильные прокси.

На практике их часто совмещают. Легкие части, такие как карты сайта и страницы каталогов, быстро загружайте через IP дата-центров, а на ротируемые резидентные отправляйте только блокируемые страницы с подробностями. Общая стоимость сильно снижается, а с одним балансом не нужно отдельно пополнять каждый продукт.

• Проверка своего сайта: по расписанию проверяйте, что ваш сайт открывается в нескольких странах, и как быстро он отвечает.
• Обход карты сайта: быстро проходите карты сайта с десятками тысяч URL, чтобы найти битые ссылки и редиректы.
• Сбор открытых каталогов: загружайте большие объемы данных, которые издатель разрешает собирать, например открытые реестры и открытые товарные фиды.
• Тестирование локализации: проверяйте, что язык, валюта и отображение цен правильно переключаются по странам в вашем собственном сервисе.

Серверные прокси раскрываются при большом числе параллельных запросов, но это число должно оставаться в пределах того, что выдерживает целевой сайт. Вот пример для Scrapy, который распределяет запросы по нескольким IP и при этом контролирует скорость.

# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]

# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN

При нескольких IP делите запросы между ними поровну. Если один IP берет на себя большую часть нагрузки, этот адрес первым упрется в лимиты.

Серверные прокси оплачиваются за IP, от $1.20 за IP. Объем переданных данных в цену не входит, поэтому чем больше страницы и чем больше запросов, тем сильнее выигрыш перед продуктами с оплатой за GB.

Например, купите 20 IP для краулера карты сайта, и стоимость составит 20 × $1.20. Прокачайте через эти IP десятки GB, и сумма останется той же. Такой же объем на ротируемых резидентных, которые оплачиваются за GB, продолжал бы списывать баланс за каждый GB.

Поэтому при большом объеме данных и слабой блокировке обычно выигрывают серверные; при малом объеме или жесткой блокировке ротируемые резидентные часто обходятся дешевле. Пробный запуск с замером доли блокировок и размера страниц позволяет решать по цифрам.

1. 1Зарегистрируйтесь и сохраните токен доступа. Это и ваш логин, и пароль прокси.
2. 2Пополните баланс, затем выберите страну и количество IP в продукте серверных прокси.
3. 3Скопируйте из панели нужный вашему инструменту формат: http, socks5 или host:port:user:token.
4. 4Добавьте его в краулер или инструмент мониторинга и выполните проверку curl, чтобы подтвердить локацию IP.
5. 5Начните с небольшого числа параллельных запросов и увеличивайте его постепенно, следя за кодами ответов.

Начинайте с малого числа параллельных запросов и увеличивайте его только после того, как доля ошибок станет стабильной. Где вводить настройки в каждом инструменте, описано в разделе быстрый старт.

Серверные прокси доступны в 18 странах, прежде всего там, где много серверных площадок, например в США, Великобритании, Германии, Японии и Сингапуре.

Выбирайте по двум признакам. Если нужно то, что видят пользователи в стране, как при тестировании локализации, выберите эту страну. Если важна чистая скорость, выберите страну рядом с серверами целевого сайта, чтобы ответы приходили быстрее. Продукты по странам перечислены на странице локаций, а страница вроде IP Сингапура наглядно показывает, какие продукты там доступны.

Поскольку серверные прокси быстрые, они легко могут создать нагрузку на целевой сайт. Если найти скорость, при которой сайт еще отвечает нормально, в итоге вы получите больше данных, чем на максимальной скорости.

• Когда растет число ответов 429, вдвое сократите параллельные запросы, затем снова медленно увеличивайте.
• Установите отдельный лимит запросов на домен.
• Соблюдайте robots.txt, условия использования и то, что предназначено для публичного доступа.
• Нагрузочное тестирование или атаки, способные вывести целевой сайт из строя, запрещены.

Если блокировки продолжаются, не пытайтесь пробиться силой. Снизьте скорость или перейдите на другой продукт.

Сначала запустите пробную задачу на нескольких IP и измерьте долю блокировок. Если результаты хорошие, добавляйте IP для масштабирования, а на другой продукт отправляйте только заблокированные части. Суммы пополнения на странице цен, затем зарегистрируйтесь, чтобы получить токен.