Ротаційні резидентні проксі, які розподіляють запити між домашніми IP

Ваш інструмент завжди підключається до одного місця: gate.proxymay.com:7000. Отримавши запит, шлюз читає умови в імені користувача, вибирає відповідний домашній IP і надсилає запит на цільовий сайт з цього IP. Цільовий сайт бачить домашній IP, а не ваш сервер.

Якщо в імені користувача немає сесії, кожен запит отримує новий IP. Надішліть 1000 запитів, і вони підуть з безлічі різних домівок, тому жодна адреса не впирається в ліміти. Не треба вести список проксі й вручну перебирати IP.

Додайте session-name, і ви збережете той самий IP, поки використовуєте це ім'я, до 120 хвилин. Це фіксована сесія. Вона підходить для коротких багатокрокових сценаріїв, наприклад додати товар у кошик і перейти на наступну сторінку.

Якщо вам потрібен один IP на години чи тижні, краще підійде статичний ISP проксі, який зберігає той самий IP увесь місяць.

Усі чотири продукти ProxyMay працюють з одного балансу, але кожен має свою задачу. Ротаційні резидентні найсильніші в розподілі безлічі запитів між безліччю адрес; три інші виграють в іншому.

Якщо ви тижнями ведете акаунти на одному IP, краще вибрати статичні ISP проксі. Якщо ви переглядаєте відкриті сторінки, які майже нікого не блокують, серверні проксі впораються дешевше. Якщо треба побачити те, що бачать користувачі смартфонів, вибирайте мобільні проксі.

Але коли цільовий сайт часто блокує адреси дата-центрів, кількість запитів сягає десятків тисяч, а результати потрібні з кількох міст одночасно, ротаційні резидентні залишаються найнадійнішим вибором за замовчуванням. Тому ми й радимо їх усім, хто використовує проксі вперше.

Адреса однакова для всіх задач; змінюється лише ім'я користувача. Пароль завжди токен доступу вашого акаунта.

• Моніторинг цін: перевірка сторінок товарів у кількох магазинах кілька разів на день. Новий IP на кожен запит означає, що жодна адреса не повторюється постійно. Зазвичай достатньо вказати лише країну, наприклад user-country-us.
• Перевірка позицій у пошуку: результати пошуку відрізняються за містами. Таргетинг user-country-gb-city-manchester наближає вас до того, що бачать місцеві користувачі.
• Перевірка реклами: щоб переконатися, що оголошення справді показується в потрібному місті, потрібен домашній IP у цьому місті.
• Збір відкритих даних: масштабні задачі, наприклад відкриті тексти для навчання ШІ або каталоги товарів, ідуть тим рівніше, чим ширше розподілені запити.
• Перевірка багатокрокових сценаріїв: для пов'язаних сторінок, таких як пошук, картка товару й кошик, додайте ім'я session-, щоб зберегти один IP.

# New US IP on every request
curl -x http://user-country-us:[email protected]:7000 https://ipinfo.io/json

# Keep a Tokyo IP under the session name shop1
curl -x http://user-country-jp-city-tokyo-session-shop1:[email protected]:7000 https://ipinfo.io/json

# Frankfurt, Germany over SOCKS5
curl -x socks5://user-country-de-city-frankfurt:[email protected]:7000 https://ipinfo.io/json

Запускаєте кілька воркерів одночасно? Дайте кожному власне ім'я сесії. Різні імена на кшталт session-w1 і session-w2 отримують різні IP, а воркери зі спільним ім'ям використовують спільний IP. Імена сесій складаються з літер і цифр, до 16 символів.

Ротаційні резидентні проксі оплачуються за обсягом переданих даних, а не за кількістю IP. Ціна починається від $0.80/GB, і баланс зменшується на трафік кожного запиту й відповіді. Кількість IP, через які ви проходите, на ціну не впливає, тому ширший розподіл запитів нічого не коштує.

Наприклад, $100 по $0.80/GB це 125 GB. Якщо сторінка товару в середньому важить 400 KB, 1 GB покриває близько 2500 сторінок, а 125 GB близько 312 500. Розмір сторінок залежить від сайту, тому спершу виконайте кілька сотень запитів і виміряйте реальне середнє.

Блокування зображень, відео та шрифтів різко знижує обсяг даних за тієї самої кількості сторінок. У headless-браузері насамперед увімкніть блокування ресурсів. Якщо потрібен лише HTML, звичайний HTTP-запит значно легший за браузер.

1. 1Зареєструйтеся й отримайте токен доступу. Він показується лише один раз, тому одразу збережіть його в надійному місці.
2. 2Поповніть баланс. Той самий баланс працює для всіх чотирьох продуктів.
3. 3Скопіюйте формат підключення з панелі (http, socks5, host:port:user:token) або складіть ім'я користувача самі.
4. 4Введіть хост gate.proxymay.com, порт 7000, ім'я користувача та токен у налаштуваннях проксі вашого інструмента.
5. 5Виконайте перевірку curl з панелі через ipinfo.io і переконайтеся, що країна й місто правильні.

Будь-який інструмент, що приймає адресу проксі, наприклад Python, Node.js, Scrapy або Puppeteer, працює без встановлення додаткових компонентів. Налаштування для кожного інструмента в розділі швидкий старт.

Ротаційні резидентні проксі охоплюють 60 країн і 175 міст. Правило просте: якщо результати змінюються лише за країною, вкажіть країну; якщо вони змінюються за містом, як у локальному пошуку чи локальній рекламі, вкажіть і місто.

Чим вужче вибране місто, тим менший пул IP, з якого ви отримуєте адреси. Якщо місто справді не потрібне, рівень країни дає кращий розподіл.

Пишіть назви міст малими літерами, замінюючи пробіли підкресленнями: New York це city-new_york, Los Angeles це city-los_angeles. Списки міст за країнами на сторінці локацій, а популярний приклад, сторінка IP США, наочно показує формат.

Домашні IP теж блокують. Якщо надіслати забагато запитів на один сайт за короткий час, вирізняється сам характер запитів, яким би не був IP.

• Коли зростає кількість відповідей 403 і 429, збільште паузу між запитами й запустіть менше воркерів.
• Якщо фіксовану сесію заблокували, змініть ім'я сесії й почніть заново на новому IP.
• Не повторюйте невдалі запити одразу; щоразу робіть паузу трохи довшою.
• Перевіряйте robots.txt і умови використання та пропускайте розділи, які сайт не дозволяє.

Збір відкритих даних, перевірка реклами, перевірка позицій у пошуку, моніторинг цін, тестування сайтів і керування власними акаунтами дозволені. Несанкціонований доступ до чужих акаунтів, спам, шахрайство, атаки, незаконний контент і все інше, що порушує закон або права сайту, заборонені.

Поповніть невелику суму, запустіть одну задачу збору, виміряйте обсяг даних на сторінку, а потім масштабуйте скільки потрібно. Залишок балансу працює й на трьох інших продуктах. Суми поповнення та бонуси на сторінці цін, потім зареєструйтеся, щоб отримати токен.