Proxy datacenter per consultazioni veloci ed economiche su siti con blocchi leggeri

Gli IP datacenter provengono da linee di strutture piene di server, non da abitazioni o telefoni. Queste linee sono ampie e stabili, quindi le risposte tornano rapidamente e la velocità regge anche con molte richieste contemporanee. Senza linee domestiche o reti di operatori nel percorso, il prezzo è il più basso dei quattro prodotti.

Il rovescio della medaglia è che i siti di destinazione possono capire che l'indirizzo proviene da un datacenter. I siti che vogliono solo visitatori ordinari possono trattare gli IP datacenter con più severità. Quindi, se i proxy datacenter siano la scelta più efficiente o quella sbagliata dipende da quanto blocca il sito di destinazione.

La connessione è la stessa degli altri prodotti: ti colleghi al gateway gate.proxymay.com:7000 via HTTP o SOCKS5 e usi il token di accesso come password. Cambi solo l'impostazione proxy del tuo crawler, quindi è facile confrontare i prodotti con lo stesso codice.

Il modo più sicuro è misurarlo con un piccolo campione. Richiedi circa 200 pagine di destinazione tramite IP datacenter e registra i risultati.

• Se la maggior parte torna con 200 e contenuto normale, il datacenter è sufficiente.
• Se compaiono alcune risposte 403 e 429, rallenta e misura di nuovo.
• Se finisci di continuo su pagine di accesso o di verifica, passare ai residenziali a rotazione fa risparmiare sia denaro sia tempo.

Tra i siti che di solito funzionano bene con IP datacenter ci sono i siti che gestisci tu, gli archivi pubblici degli enti governativi, le pagine pubblicate per la lettura automatica come i feed di prodotto e le sitemap che consentono la scansione dei motori di ricerca. Conserva i risultati del campione con la data. Le regole di blocco dello stesso sito possono cambiare dopo mesi, e ripetere la misurazione periodicamente ti dice quando è il momento di cambiare prodotto.

Il datacenter è il prodotto da scegliere per velocità e prezzo. Se il lavoro non richiede di sembrare un utente domestico, non c'è motivo di pagare un indirizzo più costoso.

Se il sito blocca spesso gli indirizzi datacenter, passa ai proxy residenziali a rotazione: ogni richiesta parte da un IP domestico diverso e i blocchi diminuiscono. Se ti serve lo stesso IP connesso per settimane, usa i proxy ISP statici; se devi vedere ciò che vedono gli utenti da telefono, usa i proxy mobili.

In pratica, spesso si combinano. Scarica rapidamente le parti leggere, come sitemap e pagine di elenco, tramite IP datacenter e invia ai residenziali a rotazione solo le pagine di dettaglio che vengono bloccate. Il costo totale scende molto e, con un unico saldo, non serve una ricarica separata per ciascuno.

• Controllo del tuo sito: verifica periodicamente che il tuo sito si carichi in più paesi e quanto velocemente risponde.
• Scansione delle sitemap: percorri rapidamente sitemap con decine di migliaia di URL per trovare link interrotti e reindirizzamenti.
• Raccolta di elenchi pubblici: scarica grandi volumi di dati che l'editore consente di raccogliere, come archivi pubblici e feed di prodotto aperti.
• Test di localizzazione: verifica che lingua, valuta e visualizzazione dei prezzi cambino correttamente per paese sul tuo servizio.

I proxy datacenter danno il meglio con molte richieste in parallelo, ma il numero di richieste parallele deve restare entro ciò che il sito di destinazione può gestire. Ecco un esempio di Scrapy che distribuisce le richieste su più IP controllando la velocità.

# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]

# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN

Con più IP, suddividi le richieste in modo uniforme tra loro. Se un IP sostiene la maggior parte del carico, quell'indirizzo raggiunge i limiti per primo.

I proxy datacenter sono fatturati per IP, da $1.20 per IP. I dati trasferiti non rientrano nel prezzo, quindi più le pagine sono grandi e più richieste fai, più conviene rispetto ai prodotti per GB.

Per esempio, se acquisti 20 IP per un crawler di sitemap, il costo è 20 × $1.20. Anche se scarichi decine di GB tramite quegli IP, l'importo resta lo stesso. Lo stesso volume sui residenziali a rotazione, fatturati per GB, continuerebbe a ridurre il saldo per ogni GB.

Quindi, con molti dati e blocchi leggeri, di solito vince il datacenter; con pochi dati o blocchi severi, i residenziali a rotazione spesso costano meno. Un'esecuzione di prova che misura tasso di blocco e dimensioni delle pagine ti permette di decidere con i numeri.

1. 1Registrati e salva il token di accesso. È sia la tua password di accesso sia la password del proxy.
2. 2Ricarica, poi scegli un paese e il numero di IP nel prodotto datacenter.
3. 3Copia il formato della dashboard richiesto dal tuo strumento: http, socks5 o host:port:user:token.
4. 4Aggiungilo al tuo crawler o strumento di monitoraggio ed esegui il controllo curl per verificare la posizione dell'IP.
5. 5Inizia con poche richieste parallele e aumentale gradualmente osservando i codici di risposta.

Parti con un numero di richieste parallele basso e aumentalo solo quando il tasso di errore appare stabile. Dove inserire le impostazioni in ogni strumento è spiegato nella guida rapida.

I proxy datacenter sono disponibili in 18 paesi, concentrati dove ci sono molte strutture di server, come Stati Uniti, Regno Unito, Germania, Giappone e Singapore.

Scegli in base a due criteri. Se ti serve ciò che vedono gli utenti di un paese, come nei test di localizzazione, scegli quel paese. Se conta la velocità pura, scegli un paese vicino ai server del sito di destinazione per risposte più rapide. I prodotti per paese sono elencati nella pagina località e una pagina come IP di Singapore mostra a colpo d'occhio quali prodotti puoi usare lì.

Poiché i proxy datacenter sono veloci, possono anche caricare facilmente un sito di destinazione. Trovare la frequenza a cui il sito risponde ancora normalmente ti fa ottenere più dati alla fine rispetto a lavorare alla massima velocità.

• Quando aumentano le risposte 429, dimezza le richieste parallele, poi aumentale di nuovo lentamente.
• Imposta un limite separato di richieste per dominio.
• Rispetta robots.txt, i termini di servizio e ciò che è destinato a essere pubblico.
• Sono vietati test di carico o attacchi che potrebbero mettere fuori servizio un sito.

Se i blocchi continuano, non forzare. Rallenta o passa a un altro prodotto.

Esegui prima un lavoro di prova su pochi IP e misura il tasso di blocco. Se i risultati sono buoni, aggiungi IP per crescere e invia solo le parti bloccate a un altro prodotto. Consulta i tagli di ricarica nella pagina prezzi, poi registrati per ottenere il token.