Серверні проксі для швидких і недорогих запитів до слабко захищених сайтів

IP дата-центрів беруться з ліній у приміщеннях, заповнених серверами, а не з домівок чи телефонів. Ці лінії широкі й стабільні, тому відповіді приходять швидко, і швидкість тримається навіть за безлічі одночасних запитів. Без домашньої лінії чи мережі оператора на шляху ціна найнижча з чотирьох продуктів.

Зворотний бік у тому, що цільові сайти можуть визначити, що адреса з дата-центру. Сайти, яким потрібні лише звичайні відвідувачі, можуть ставитися до IP дата-центрів суворіше. Тому чи будуть серверні проксі найефективнішим вибором чи невідповідним, залежить від того, наскільки жорстко блокує цільовий сайт.

Підключення таке саме, як в інших продуктів: підключіться до шлюзу gate.proxymay.com:7000 по HTTP або SOCKS5 і використовуйте токен доступу як пароль. Ви змінюєте лише налаштування проксі в краулері, тому продукти легко порівняти на тому самому коді.

Найнадійніший спосіб: виміряти на невеликій вибірці. Запитайте близько 200 цільових сторінок через IP дата-центрів і запишіть результати.

• Якщо більшість повертає 200 з нормальним вмістом, серверних достатньо.
• Якщо трапляються відповіді 403 і 429, знизьте швидкість і виміряйте знову.
• Якщо ви постійно потрапляєте на сторінки входу чи перевірки, перехід на ротаційні резидентні заощадить і гроші, і час.

До цілей, які зазвичай добре працюють на IP дата-центрів, належать ваші власні сайти, відкриті реєстри державних органів, сторінки для машинного читання на кшталт товарних фідів і карти сайтів, дозволені для обходу пошуковими системами. Зберігайте результати вибірки з датою. Правила блокування на тому самому сайті можуть змінитися за кілька місяців, і регулярні повторні виміри підкажуть, коли час змінити продукт.

Серверні проксі вибирають заради швидкості й ціни. Якщо задачі не треба виглядати як домашній користувач, немає сенсу платити за дорожчу адресу.

Якщо цільовий сайт часто блокує адреси дата-центрів, переходьте на ротаційні резидентні проксі: кожен запит іде з іншого домашнього IP, і блокувань стає менше. Якщо потрібен той самий IP із входом в акаунт на тижні, використовуйте статичні ISP проксі; якщо треба побачити те, що бачать користувачі смартфонів, використовуйте мобільні проксі.

На практиці їх часто поєднують. Легкі частини, такі як карти сайту й сторінки каталогів, швидко завантажуйте через IP дата-центрів, а на ротаційні резидентні надсилайте лише сторінки з подробицями, які блокуються. Загальна вартість значно знижується, а з одним балансом не треба окремо поповнювати кожен продукт.

• Перевірка власного сайту: за розкладом перевіряйте, що ваш сайт відкривається в кількох країнах, і як швидко він відповідає.
• Обхід карти сайту: швидко проходьте карти сайту з десятками тисяч URL, щоб знайти биті посилання й редиректи.
• Збір відкритих каталогів: завантажуйте великі обсяги даних, які видавець дозволяє збирати, наприклад відкриті реєстри та відкриті товарні фіди.
• Тестування локалізації: перевіряйте, що мова, валюта й відображення цін правильно перемикаються за країнами у вашому власному сервісі.

Серверні проксі розкриваються за великої кількості паралельних запитів, але ця кількість має залишатися в межах того, що витримує цільовий сайт. Ось приклад для Scrapy, який розподіляє запити між кількома IP і водночас контролює швидкість.

# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]

# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN

За кількох IP діліть запити між ними порівну. Якщо один IP бере на себе більшу частину навантаження, ця адреса першою впреться в ліміти.

Серверні проксі оплачуються за IP, від $1.20 за IP. Обсяг переданих даних до ціни не входить, тому що більші сторінки й що більше запитів, то сильніший виграш перед продуктами з оплатою за GB.

Наприклад, купіть 20 IP для краулера карти сайту, і вартість становитиме 20 × $1.20. Прокачайте через ці IP десятки GB, і сума залишиться тією самою. Такий самий обсяг на ротаційних резидентних, які оплачуються за GB, продовжував би списувати баланс за кожен GB.

Тому за великого обсягу даних і слабкого блокування зазвичай виграють серверні; за малого обсягу або жорсткого блокування ротаційні резидентні часто обходяться дешевше. Пробний запуск із виміром частки блокувань і розміру сторінок дає змогу вирішувати за цифрами.

1. 1Зареєструйтеся й збережіть токен доступу. Це і ваш логін, і пароль проксі.
2. 2Поповніть баланс, потім виберіть країну й кількість IP у продукті серверних проксі.
3. 3Скопіюйте з панелі потрібний вашому інструменту формат: http, socks5 або host:port:user:token.
4. 4Додайте його до краулера чи інструмента моніторингу й виконайте перевірку curl, щоб підтвердити локацію IP.
5. 5Почніть з невеликої кількості паралельних запитів і збільшуйте її поступово, стежачи за кодами відповідей.

Починайте з малої кількості паралельних запитів і збільшуйте її лише після того, як частка помилок стане стабільною. Де вводити налаштування в кожному інструменті, описано в розділі швидкий старт.

Серверні проксі доступні в 18 країнах, передусім там, де багато серверних майданчиків, наприклад у США, Великій Британії, Німеччині, Японії та Сінгапурі.

Вибирайте за двома ознаками. Якщо потрібно те, що бачать користувачі в країні, як під час тестування локалізації, виберіть цю країну. Якщо важлива чиста швидкість, виберіть країну поруч із серверами цільового сайту, щоб відповіді приходили швидше. Продукти за країнами перелічені на сторінці локацій, а сторінка на кшталт IP Сінгапуру наочно показує, які продукти там доступні.

Оскільки серверні проксі швидкі, вони легко можуть створити навантаження на цільовий сайт. Якщо знайти швидкість, за якої сайт ще відповідає нормально, зрештою ви отримаєте більше даних, ніж на максимальній швидкості.

• Коли зростає кількість відповідей 429, удвічі скоротіть паралельні запити, потім знову повільно збільшуйте.
• Встановіть окремий ліміт запитів на домен.
• Дотримуйтеся robots.txt, умов використання і того, що призначене для публічного доступу.
• Навантажувальне тестування чи атаки, здатні вивести цільовий сайт з ладу, заборонені.

Якщо блокування тривають, не намагайтеся пробитися силою. Знизьте швидкість або перейдіть на інший продукт.

Спершу запустіть пробну задачу на кількох IP і виміряйте частку блокувань. Якщо результати добрі, додавайте IP для масштабування, а на інший продукт надсилайте лише заблоковані частини. Суми поповнення на сторінці цін, потім зареєструйтеся, щоб отримати токен.