Rechenzentrum Proxies (Datacenter Proxies) für schnelle, günstige Abfragen auf schwach gesperrten Seiten

Rechenzentrum IPs stammen von Leitungen in Einrichtungen voller Server, nicht aus Haushalten oder von Smartphones. Diese Leitungen sind breit und stabil, Antworten kommen also schnell zurück, und das Tempo hält auch bei vielen gleichzeitigen Anfragen. Da weder ein Hausanschluss noch ein Mobilfunknetz dazwischenliegt, ist der Preis der niedrigste der vier Produkte.

Die Kehrseite: Zielseiten erkennen, dass die Adresse aus einem Rechenzentrum stammt. Seiten, die nur normale Besucher wollen, behandeln Rechenzentrum IPs womöglich strenger. Ob Rechenzentrum Proxys die effizienteste oder die falsche Wahl sind, hängt also davon ab, wie streng die Zielseite sperrt.

Die Verbindung ist dieselbe wie bei den anderen Produkten: Verbinden Sie sich über HTTP oder SOCKS5 mit dem Gateway gate.proxymay.com:7000 und nutzen Sie Ihr Zugangstoken als Passwort. Sie ändern nur die Proxy-Einstellung Ihres Crawlers, so lassen sich Produkte leicht mit demselben Code vergleichen.

Am sichersten messen Sie es mit einer kleinen Stichprobe. Rufen Sie etwa 200 Zielseiten über Rechenzentrum IPs ab und notieren Sie die Ergebnisse.

• Kommen die meisten mit 200 und normalem Inhalt zurück, reichen Rechenzentrum Proxys.
• Mischen sich einige 403- und 429-Antworten darunter, werden Sie langsamer und messen Sie erneut.
• Landen Sie immer wieder auf Anmelde- oder Prüfseiten, spart ein Wechsel zu rotierenden Residential Proxys Geld und Zeit.

Zu den Zielen, die meist gut mit Rechenzentrum IPs laufen, gehören Seiten, die Sie selbst betreiben, öffentliche Register von Behörden, für Maschinen veröffentlichte Seiten wie Produktfeeds und Sitemaps, die das Crawlen durch Suchmaschinen erlauben. Bewahren Sie Ihre Stichprobenergebnisse mit Datum auf. Die Sperrregeln derselben Seite können sich Monate später ändern, und regelmäßiges Nachmessen zeigt Ihnen, wann ein Produktwechsel fällig ist.

Rechenzentrum Proxys wählen Sie nach Tempo und Preis. Muss die Aufgabe nicht wie ein privater Nutzer aussehen, gibt es keinen Grund, für eine teurere Adresse zu zahlen.

Sperrt die Zielseite häufig Rechenzentrum Adressen, wechseln Sie zu rotierenden Residential Proxys: Jede Anfrage geht von einer anderen privaten IP aus, und Sperren nehmen ab. Brauchen Sie wochenlang dieselbe angemeldete IP, nutzen Sie statische ISP Proxys; müssen Sie sehen, was Smartphone-Nutzer sehen, nutzen Sie mobile Proxys.

In der Praxis werden sie oft kombiniert. Rufen Sie die leichten Teile wie Sitemaps und Listenseiten schnell über Rechenzentrum IPs ab und schicken Sie nur die gesperrten Detailseiten über rotierende Residential Proxys. Die Gesamtkosten sinken deutlich, und mit einem Guthaben entfällt eine separate Aufladung für jedes Produkt.

• Prüfung der eigenen Website: regelmäßig bestätigen, dass Ihre Seite in mehreren Ländern lädt und wie schnell sie antwortet.
• Sitemap-Crawling: Sitemaps mit Zehntausenden URLs schnell durchgehen, um defekte Links und Weiterleitungen zu finden.
• Erfassung öffentlicher Listen: große Datenmengen abrufen, deren Erfassung der Herausgeber erlaubt, etwa öffentliche Register und offene Produktfeeds.
• Lokalisierungstests: prüfen, ob Sprache, Währung und Preisanzeige in Ihrem eigenen Dienst je nach Land richtig wechseln.

Rechenzentrum Proxys glänzen bei vielen parallelen Anfragen, doch die Parallelität sollte im Rahmen dessen bleiben, was die Zielseite verkraftet. Hier ein Scrapy-Beispiel, das Anfragen auf mehrere IPs verteilt und dabei das Tempo steuert.

# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]

# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN

Bei mehreren IPs verteilen Sie die Anfragen gleichmäßig. Trägt eine IP den Großteil der Last, stößt diese Adresse zuerst an Grenzen.

Rechenzentrum Proxys werden pro IP abgerechnet, ab $1.20 pro IP. Die übertragene Datenmenge fließt nicht in den Preis ein. Je größer die Seiten und je mehr Anfragen Sie stellen, desto mehr sind sie Produkten pro GB überlegen.

Kaufen Sie zum Beispiel 20 IPs für einen Sitemap-Crawler, betragen die Kosten 20 × $1.20. Rufen Sie Dutzende GB über diese IPs ab, bleibt der Betrag gleich. Dasselbe Volumen über rotierende Residential Proxys, die pro GB abgerechnet werden, würde das Guthaben mit jedem GB weiter verringern.

Bei vielen Daten und schwachen Sperren gewinnen also meist Rechenzentrum Proxys; bei wenig Daten oder starken Sperren sind rotierende Residential Proxys oft günstiger. Ein Probelauf, der Sperrquote und Seitengröße misst, lässt Sie anhand von Zahlen entscheiden.

1. 1Registrieren Sie sich und speichern Sie Ihr Zugangstoken. Es ist zugleich Ihre Anmeldung und Ihr Proxy-Passwort.
2. 2Laden Sie auf und wählen Sie beim Produkt Rechenzentrum Proxys ein Land und die Anzahl der IPs.
3. 3Kopieren Sie das Dashboard-Format, das Ihr Tool braucht: http, socks5 oder host:port:user:token.
4. 4Fügen Sie es Ihrem Crawler oder Monitoring-Tool hinzu und führen Sie die curl-Prüfung aus, um den IP-Standort zu bestätigen.
5. 5Beginnen Sie mit wenigen parallelen Anfragen und erhöhen Sie sie schrittweise, während Sie die Antwortcodes beobachten.

Beginnen Sie mit niedriger Parallelität und erhöhen Sie sie erst, wenn die Fehlerquote stabil aussieht. Wo Sie die Einstellungen in jedem Tool eintragen, steht im Schnellstart.

Rechenzentrum Proxys gibt es in 18 Ländern, mit Schwerpunkt auf Orten mit vielen Serverstandorten wie den USA, Großbritannien, Deutschland, Japan und Singapur.

Wählen Sie nach zwei Kriterien. Brauchen Sie, was Nutzer in einem Land sehen, wie bei Lokalisierungstests, wählen Sie dieses Land. Zählt reines Tempo, wählen Sie ein Land nahe den Servern der Zielseite für schnellere Antworten. Die Produkte je Land stehen unter Standorte, und eine Seite wie IP aus Singapur zeigt auf einen Blick, welche Produkte Sie dort nutzen können.

Weil Rechenzentrum Proxys schnell sind, können sie eine Zielseite auch leicht belasten. Wer das Tempo findet, bei dem die Zielseite noch normal antwortet, erhält am Ende mehr Daten als mit Höchstgeschwindigkeit.

• Nehmen 429-Antworten zu, halbieren Sie die parallelen Anfragen und erhöhen Sie sie dann langsam wieder.
• Legen Sie eine separate Obergrenze für Anfragen pro Domain fest.
• Respektieren Sie robots.txt, die Nutzungsbedingungen und das, was öffentlich sein soll.
• Lasttests oder Angriffe, die eine Zielseite lahmlegen könnten, sind verboten.

Kommen weiter Sperren, erzwingen Sie nichts. Werden Sie langsamer oder wechseln Sie zu einem anderen Produkt.

Führen Sie zuerst einen Probelauf mit wenigen IPs aus und messen Sie die Sperrquote. Sind die Ergebnisse gut, fügen Sie IPs hinzu, um zu skalieren, und schicken Sie nur die gesperrten Teile über ein anderes Produkt. Aufladebeträge finden Sie unter Preise, dann registrieren Sie sich, um Ihr Token zu erhalten.