Datacenter Proxy para sa mabilis at murang lookup sa mga site na mahina ang block

Galing ang datacenter IP sa mga line sa pasilidad na puno ng server, hindi sa bahay o phone. Malapad at matatag ang mga line na iyon, kaya mabilis bumabalik ang sagot at nananatili ang bilis kahit maraming request nang sabay. Dahil walang home line o carrier network sa daan, ito ang may pinakamababang presyo sa apat na product.

Ang kabilang panig nito ay nalalaman ng target site na galing sa datacenter ang address. Ang mga site na ordinaryong bisita lang ang gusto ay puwedeng maging mas mahigpit sa datacenter IP. Kaya kung ang datacenter proxy ang pinakaepektibong pagpipilian o ang maling pagpipilian ay nakadepende sa higpit ng block ng target.

Pareho ang koneksyon sa ibang product: kumonekta sa gateway na gate.proxymay.com:7000 sa HTTP o SOCKS5 at gamitin ang access token mo bilang password. Ang proxy setting lang ng crawler mo ang papalitan mo, kaya madaling ikumpara ang mga product gamit ang parehong code.

Ang pinakasiguradong paraan ay sukatin ito gamit ang maliit na sample. Mag-request ng mga 200 target page sa datacenter IP at itala ang resulta.

• Kung karamihan ay bumabalik na 200 na may normal na content, sapat na ang datacenter.
• Kung may halong ilang 403 at 429 na response, bagalan at sukatin ulit.
• Kung paulit-ulit kang napupunta sa login o verification page, makakatipid ka ng pera at oras kapag lumipat sa rotating residential.

Kabilang sa mga target na karaniwang maayos sa datacenter IP ang mga site na ikaw mismo ang nagpapatakbo, public record mula sa mga ahensya ng gobyerno, mga page na inilathala para basahin ng makina gaya ng product feed, at mga sitemap na nagpapahintulot sa crawling ng search engine. Itago ang resulta ng sample kasama ang petsa. Puwedeng magbago ang patakaran sa block ng parehong site pagkalipas ng ilang buwan, at sa regular na muling pagsukat malalaman mo kung kailan dapat lumipat ng product.

Ang datacenter ang product na pinipili dahil sa bilis at presyo. Kung hindi kailangang magmukhang home user sa trabaho, walang dahilan para magbayad ng mas mahal na address.

Kung madalas mag-block ng datacenter address ang target, lumipat sa rotating residential proxy: lumalabas ang bawat request mula sa ibang home IP at nababawasan ang block. Kung kailangan mo ng parehong IP na naka-log in nang ilang linggo, gamitin ang static ISP proxy; kung kailangan mong makita ang nakikita ng phone user, gamitin ang mobile proxy.

Sa praktika, madalas itong pinaghahalo. Kunin nang mabilis sa datacenter IP ang magagaang bahagi, gaya ng sitemap at listing page, at ipadala sa rotating residential ang mga detail page lang na nabo-block. Malaki ang bawas sa kabuuang gastos, at dahil iisang balanse, walang hiwalay na top-up para sa bawat isa.

• Pag-check ng sariling site: regular na kumpirmahin na naglo-load ang site mo sa ilang bansa at kung gaano kabilis ito sumasagot.
• Sitemap crawling: mabilis na daanan ang mga sitemap na may sampu-sampung libong URL para mahanap ang sirang link at redirect.
• Pagkolekta ng public listing: kumuha ng malaking dami ng data na pinapayagan ng publisher na kolektahin, gaya ng public record at open product feed.
• Localization testing: i-check na tama ang pagpapalit ng wika, currency at presyo ayon sa bansa sa sarili mong serbisyo.

Namumukod ang datacenter proxy kapag maraming sabay na request ang pinapatakbo mo, pero dapat manatili ang bilang ng sabay na request sa kayang tanggapin ng target. Narito ang halimbawa sa Scrapy na nagkakalat ng mga request sa ilang IP habang kinokontrol ang bilis.

# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]

# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN

Kapag ilang IP ang gamit, hatiin nang pantay ang mga request sa kanila. Kung isang IP ang sumasalo ng karamihan ng load, ang address na iyon ang unang tatamaan ng limit.

Sinisingil ang datacenter proxy kada IP, mula $1.20 kada IP. Hindi kasama sa presyo ang nailipat na data, kaya habang lumalaki ang page at dumarami ang request, lalong nakakalamang ito sa mga product na kada GB.

Halimbawa, bumili ng 20 IP para magpatakbo ng sitemap crawler at ang gastos ay 20 × $1.20. Kahit sampu-sampung GB ang dumaan sa mga IP na iyon, pareho pa rin ang halaga. Ang parehong dami sa rotating residential, na kada GB ang singil, ay patuloy na magbabawas sa balanse sa bawat GB.

Kaya kapag maraming data at mahina ang block, kadalasang panalo ang datacenter; kapag kaunti ang data o mahigpit ang block, madalas mas mura ang rotating residential. Sa sample run na sumusukat ng block rate at laki ng page, makakapagpasya ka batay sa numero.

1. 1Mag-sign up at itago ang access token mo. Ito ang login at proxy password mo.
2. 2Mag-top up, saka pumili ng bansa at dami ng IP sa datacenter product.
3. 3Kopyahin ang format sa dashboard na kailangan ng tool mo: http, socks5 o host:port:user:token.
4. 4Idagdag ito sa crawler o monitoring tool mo at patakbuhin ang curl check para makumpirma ang location ng IP.
5. 5Magsimula sa kaunting sabay na request at dagdagan nang paunti-unti habang binabantayan ang response code.

Simulan nang mababa ang bilang ng sabay na request at taasan lang kapag mukhang matatag na ang error rate. Nasa Quick start kung saan ilalagay ang setting sa bawat tool.

Available ang datacenter proxy sa 18 bansa, nakasentro sa mga lugar na maraming server facility gaya ng United States, United Kingdom, Germany, Japan at Singapore.

Pumili batay sa dalawang dahilan. Kung kailangan mo ang nakikita ng mga user sa isang bansa, gaya ng sa localization testing, piliin ang bansang iyon. Kung bilis talaga ang mahalaga, pumili ng bansang malapit sa server ng target para sa mas mabilis na sagot. Nakalista sa Coverage ang mga product kada bansa, at ipinapakita ng page gaya ng Singapore IP sa isang tingin kung aling product ang magagamit mo roon.

Dahil mabilis ang datacenter proxy, madali rin itong makapagbigay ng bigat sa target. Kapag nahanap mo ang bilis kung saan normal pa ring sumasagot ang target, mas maraming data ang makukuha mo sa huli kaysa kung tatakbo ka sa pinakamataas na bilis.

• Kapag dumami ang 429 na response, hatiin sa kalahati ang sabay na request, saka dahan-dahang taasan ulit.
• Magtakda ng hiwalay na limit sa request kada domain.
• Igalang ang robots.txt, ang terms of service at ang talagang para sa publiko.
• Bawal ang load testing o pag-atake na puwedeng magpabagsak sa target.

Kung tuloy-tuloy ang block, huwag pilitin. Bagalan o lumipat sa ibang product.

Magpatakbo muna ng sample job sa ilang IP at sukatin ang block rate. Kung maganda ang resulta, magdagdag ng IP para lumaki at ipadala lang sa ibang product ang mga bahaging nabo-block. Tingnan ang laki ng top-up sa Plans, saka mag-sign up para makuha ang token mo.