Proxy datacenter : requêtes rapides et économiques sur les sites peu protégés

Les IP datacenter proviennent de lignes situées dans des installations remplies de serveurs, et non de foyers ou de téléphones. Ces lignes sont larges et stables : les réponses reviennent vite et la vitesse tient même avec de nombreuses requêtes simultanées. Sans ligne résidentielle ni réseau d'opérateur sur le trajet, le prix est le plus bas des quatre produits.

La contrepartie est que les sites cibles peuvent savoir que l'adresse provient d'un centre de données. Les sites qui ne veulent que des visiteurs ordinaires peuvent traiter les IP datacenter plus sévèrement. Les proxies datacenter sont donc le choix le plus efficace ou un mauvais choix selon la sévérité du blocage du site cible.

La connexion est identique aux autres produits : connectez-vous à la passerelle gate.proxymay.com:7000 en HTTP ou SOCKS5 et utilisez votre jeton d'accès comme mot de passe. Vous ne modifiez que le réglage proxy de votre crawler : il est donc facile de comparer les produits avec le même code.

Le moyen le plus sûr est de mesurer avec un petit échantillon. Demandez environ 200 pages cibles via des IP datacenter et notez les résultats.

• Si la plupart reviennent en 200 avec un contenu normal, le datacenter suffit.
• Si quelques réponses 403 et 429 se mêlent, ralentissez et mesurez à nouveau.
• Si vous tombez sans cesse sur des pages de connexion ou de vérification, passer au résidentiel rotatif fait gagner à la fois de l'argent et du temps.

Les cibles qui fonctionnent généralement bien avec des IP datacenter incluent les sites que vous exploitez, les données publiques d'organismes gouvernementaux, les pages publiées pour être lues par des machines comme les flux produits, et les sitemaps qui autorisent l'exploration par les moteurs de recherche. Conservez les résultats de vos échantillons avec une date. Les règles de blocage d'un même site peuvent changer des mois plus tard, et mesurer à nouveau régulièrement vous indique quand il est temps de changer de produit.

Le datacenter est le produit qu'on choisit pour la vitesse et le prix. Si la tâche n'a pas besoin de ressembler à un utilisateur résidentiel, il n'y a aucune raison de payer une adresse plus chère.

Si le site cible bloque souvent les adresses datacenter, passez aux proxies résidentiels rotatifs : chaque requête part d'une IP résidentielle différente et les blocages diminuent. Si vous avez besoin de la même IP connectée pendant des semaines, utilisez les proxies ISP statiques ; si vous devez voir ce que voient les utilisateurs de smartphone, utilisez les proxies mobiles.

En pratique, on les combine souvent. Récupérez rapidement les parties légères, comme les sitemaps et les pages de listes, via des IP datacenter, et n'envoyez au résidentiel rotatif que les pages de détail bloquées. Le coût total baisse nettement, et avec un seul solde il n'y a pas de recharge séparée pour chacun.

• Vérification de votre propre site : contrôlez régulièrement que votre site se charge dans plusieurs pays et mesurez son temps de réponse.
• Exploration de sitemaps : parcourez rapidement des sitemaps de dizaines de milliers d'URL pour trouver les liens cassés et les redirections.
• Collecte de listes publiques : récupérez de grands volumes de données dont l'éditeur autorise la collecte, comme les données publiques et les flux produits ouverts.
• Tests de localisation : vérifiez que la langue, la devise et l'affichage des prix changent correctement selon le pays sur votre propre service.

Les proxies datacenter brillent quand vous lancez de nombreuses requêtes en parallèle, mais le nombre de requêtes parallèles doit rester dans les limites de ce que le site cible peut supporter. Voici un exemple Scrapy qui répartit les requêtes sur plusieurs IP tout en contrôlant la vitesse.

# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]

# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN

Avec plusieurs IP, répartissez les requêtes équitablement entre elles. Si une IP porte l'essentiel de la charge, c'est cette adresse qui atteint les limites en premier.

Les proxies datacenter sont facturés par IP, à partir de $1.20 par IP. Les données transférées n'entrent pas dans le prix : plus les pages sont lourdes et plus vous faites de requêtes, plus ils l'emportent sur les produits au GB.

Par exemple, achetez 20 IP pour faire tourner un crawler de sitemaps et le coût est de 20 × $1.20. Faites passer des dizaines de GB par ces IP et le montant reste le même. Le même volume en résidentiel rotatif, facturé au GB, continuerait de puiser dans le solde à chaque GB.

Ainsi, avec beaucoup de données et peu de blocage, le datacenter l'emporte généralement ; avec peu de données ou un blocage fort, le résidentiel rotatif coûte souvent moins. Un essai qui mesure le taux de blocage et la taille des pages vous permet de décider chiffres à l'appui.

1. 1Inscrivez-vous et conservez votre jeton d'accès. Il sert à la fois d'identifiant de connexion et de mot de passe proxy.
2. 2Rechargez, puis choisissez un pays et le nombre d'IP dans le produit datacenter.
3. 3Copiez le format du tableau de bord dont votre outil a besoin : http, socks5 ou host:port:user:token.
4. 4Ajoutez-le à votre crawler ou outil de surveillance et lancez le test curl pour confirmer la localisation de l'IP.
5. 5Commencez avec peu de requêtes parallèles et augmentez-les progressivement en surveillant les codes de réponse.

Commencez avec un nombre de requêtes parallèles bas et ne l'augmentez qu'une fois le taux d'erreur stable. L'endroit où saisir les réglages dans chaque outil est expliqué dans le démarrage rapide.

Les proxies datacenter sont disponibles dans 18 pays, principalement là où les installations de serveurs sont nombreuses, comme les États-Unis, le Royaume-Uni, l'Allemagne, le Japon et Singapour.

Choisissez selon deux critères. Si vous avez besoin de ce que voient les utilisateurs d'un pays, comme pour les tests de localisation, choisissez ce pays. Si la vitesse pure compte, choisissez un pays proche des serveurs du site cible pour des réponses plus rapides. Les produits par pays sont listés sur la page pays et villes, et une page comme IP de Singapour montre en un coup d'œil les produits disponibles sur place.

Parce que les proxies datacenter sont rapides, ils peuvent aussi facilement surcharger un site cible. Trouver le rythme auquel le site répond encore normalement vous rapporte au final plus de données que de tourner à vitesse maximale.

• Quand les réponses 429 augmentent, divisez par deux les requêtes parallèles, puis augmentez-les à nouveau lentement.
• Fixez une limite distincte de requêtes par domaine.
• Respectez le fichier robots.txt, les conditions d'utilisation et ce qui est destiné à être public.
• Les tests de charge ou les attaques susceptibles de faire tomber un site cible sont interdits.

Si les blocages persistent, n'insistez pas. Ralentissez ou passez à un autre produit.

Lancez d'abord une tâche d'essai sur quelques IP et mesurez le taux de blocage. Si les résultats sont bons, ajoutez des IP pour monter en charge et n'envoyez que les parties bloquées vers un autre produit. Consultez les montants de recharge sur la page tarifs, puis inscrivez-vous pour obtenir votre jeton.