डेटा सेंटर प्रॉक्सी: कम ब्लॉक करने वाली साइटों पर तेज़ और कम कीमत वाली क्वेरी

डेटा सेंटर IP घरों या फ़ोन से नहीं, सर्वरों से भरी जगहों की लाइनों से आते हैं। ये लाइनें चौड़ी और स्थिर होती हैं, इसलिए जवाब जल्दी आते हैं और एक साथ कई रिक्वेस्ट होने पर भी स्पीड बनी रहती है। रास्ते में कोई घरेलू लाइन या मोबाइल नेटवर्क न होने से कीमत चारों प्रोडक्ट में सबसे कम है।

दूसरा पहलू यह है कि टारगेट साइटें पहचान सकती हैं कि पता डेटा सेंटर से आ रहा है। जो साइटें सिर्फ़ आम विज़िटर चाहती हैं, वे डेटा सेंटर IP के साथ ज़्यादा सख्ती कर सकती हैं। इसलिए डेटा सेंटर प्रॉक्सी सबसे कारगर विकल्प हैं या गलत, यह इस पर निर्भर करता है कि टारगेट कितनी सख्ती से ब्लॉक करता है।

कनेक्शन बाकी प्रोडक्ट जैसा ही है: HTTP या SOCKS5 से gate.proxymay.com:7000 गेटवे पर कनेक्ट करें और पासवर्ड के रूप में अपना एक्सेस टोकन इस्तेमाल करें। आप सिर्फ़ अपने क्रॉलर की प्रॉक्सी सेटिंग बदलते हैं, इसलिए एक ही कोड से प्रोडक्ट की तुलना करना आसान है।

सबसे पक्का तरीका है छोटे सैंपल से मापना। डेटा सेंटर IP से लगभग 200 टारगेट पेज मांगें और रिज़ल्ट दर्ज करें।

• अगर ज़्यादातर पेज सामान्य कंटेंट के साथ 200 लौटाते हैं, तो डेटा सेंटर काफ़ी है।
• अगर बीच बीच में कुछ 403 और 429 जवाब आते हैं, तो रफ़्तार धीमी करें और फिर मापें।
• अगर आप बार बार लॉग इन या पुष्टि वाले पेज पर पहुंचते हैं, तो रोटेटिंग रेज़िडेंशियल पर जाने से पैसे और समय दोनों बचते हैं।

जो टारगेट आमतौर पर डेटा सेंटर IP पर अच्छे चलते हैं, उनमें आपकी अपनी साइटें, सरकारी संस्थाओं के सार्वजनिक रिकॉर्ड, मशीनों के पढ़ने के लिए छपे पेज जैसे प्रोडक्ट फ़ीड, और सर्च इंजन क्रॉलिंग की इजाज़त देने वाले साइटमैप शामिल हैं। अपने सैंपल रिज़ल्ट तारीख के साथ रखें। उसी साइट के ब्लॉक करने के नियम महीनों बाद बदल सकते हैं, और तय समय पर दोबारा मापने से पता चलता है कि प्रोडक्ट बदलने का समय कब है।

डेटा सेंटर वह प्रोडक्ट है जिसे आप स्पीड और कीमत के आधार पर चुनते हैं। अगर काम में घरेलू यूज़र जैसा दिखना ज़रूरी नहीं, तो महंगे पते के लिए भुगतान करने की कोई वजह नहीं।

अगर टारगेट अक्सर डेटा सेंटर पतों को ब्लॉक करता है, तो रोटेटिंग रेज़िडेंशियल प्रॉक्सी पर जाएं: हर रिक्वेस्ट अलग घरेलू IP से जाती है और ब्लॉक कम हो जाते हैं। अगर हफ़्तों तक एक ही IP से लॉग इन रहना है, तो स्टैटिक ISP प्रॉक्सी इस्तेमाल करें; अगर देखना है कि फ़ोन यूज़र क्या देखते हैं, तो मोबाइल प्रॉक्सी इस्तेमाल करें।

व्यवहार में लोग अक्सर इन्हें मिलाते हैं। हल्के हिस्से, जैसे साइटमैप और लिस्टिंग पेज, डेटा सेंटर IP से जल्दी लाएं, और सिर्फ़ ब्लॉक होने वाले डिटेल पेज रोटेटिंग रेज़िडेंशियल पर भेजें। कुल खर्च काफ़ी घट जाता है, और एक बैलेंस होने से हर एक के लिए अलग रिचार्ज नहीं करना पड़ता।

• अपनी साइट की जांच: तय समय पर पक्का करें कि आपकी साइट कई देशों में खुलती है और कितनी तेज़ी से जवाब देती है।
• साइटमैप क्रॉलिंग: टूटे लिंक और रीडायरेक्ट ढूंढने के लिए हज़ारों URL वाले साइटमैप जल्दी से देखें।
• सार्वजनिक लिस्टिंग कलेक्शन: वह बड़ी मात्रा का डेटा लाएं जिसे जुटाने की प्रकाशक इजाज़त देता है, जैसे सार्वजनिक रिकॉर्ड और खुले प्रोडक्ट फ़ीड।
• लोकलाइज़ेशन टेस्टिंग: जांचें कि आपकी अपनी सर्विस पर भाषा, करेंसी और कीमत का डिस्प्ले देश के हिसाब से सही बदलता है।

डेटा सेंटर प्रॉक्सी कई समानांतर रिक्वेस्ट चलाने पर चमकती हैं, लेकिन समानांतर संख्या उतनी ही रहनी चाहिए जितनी टारगेट संभाल सके। यहां एक Scrapy उदाहरण है जो स्पीड नियंत्रित करते हुए रिक्वेस्ट को कई IP पर बांटता है।

# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]

# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN

कई IP हों तो रिक्वेस्ट उनमें बराबर बांटें। अगर एक IP पर ज़्यादातर बोझ पड़ता है, तो वही पता सबसे पहले सीमा तक पहुंचता है।

डेटा सेंटर प्रॉक्सी का बिल प्रति IP बनता है, $1.20 प्रति IP से। ट्रांसफ़र हुआ डेटा कीमत का हिस्सा नहीं है, इसलिए पेज जितने बड़े और रिक्वेस्ट जितनी ज़्यादा, प्रति GB वाले प्रोडक्ट के मुकाबले यह उतना ही फ़ायदेमंद।

उदाहरण के लिए, साइटमैप क्रॉलर चलाने के लिए 20 IP खरीदें तो खर्च 20 × $1.20 बनता है। उन IP से दसियों GB लाएं, रकम वही रहती है। प्रति GB बिल होने वाले रोटेटिंग रेज़िडेंशियल पर इतनी ही मात्रा हर GB के साथ बैलेंस घटाती रहती।

इसलिए ज़्यादा डेटा और कम ब्लॉकिंग में आमतौर पर डेटा सेंटर आगे रहता है; कम डेटा या ज़्यादा ब्लॉकिंग में अक्सर रोटेटिंग रेज़िडेंशियल सस्ता पड़ता है। ब्लॉक दर और पेज साइज़ मापने वाला सैंपल रन आपको आंकड़ों के साथ फ़ैसला करने देता है।

1. 1साइन अप करें और अपना एक्सेस टोकन सहेजें। यह आपका लॉग इन भी है और प्रॉक्सी पासवर्ड भी।
2. 2रिचार्ज करें, फिर डेटा सेंटर प्रोडक्ट में देश और IP की संख्या चुनें।
3. 3आपके टूल को जो डैशबोर्ड फ़ॉर्मैट चाहिए, वह कॉपी करें: http, socks5 या host:port:user:token।
4. 4इसे अपने क्रॉलर या मॉनिटरिंग टूल में जोड़ें और IP की लोकेशन पक्की करने के लिए curl जांच चलाएं।
5. 5कम समानांतर रिक्वेस्ट से शुरू करें और जवाब के कोड देखते हुए धीरे धीरे बढ़ाएं।

समानांतर संख्या कम से शुरू करें और गलती की दर स्थिर दिखने पर ही बढ़ाएं। हर टूल में सेटिंग कहां डालनी है, यह क्विक स्टार्ट में बताया गया है।

डेटा सेंटर प्रॉक्सी 18 देशों में उपलब्ध हैं, खासकर उन जगहों पर जहां बहुत से सर्वर केंद्र हैं, जैसे अमेरिका, ब्रिटेन, जर्मनी, जापान और सिंगापुर।

दो आधार पर चुनें। अगर आपको वह चाहिए जो किसी देश के यूज़र देखते हैं, जैसे लोकलाइज़ेशन टेस्टिंग में, तो वही देश चुनें। अगर सिर्फ़ स्पीड मायने रखती है, तो तेज़ जवाब के लिए टारगेट के सर्वरों के पास का देश चुनें। हर देश के प्रोडक्ट लोकेशन पर दिए गए हैं, और सिंगापुर IP जैसा पेज एक नज़र में दिखाता है कि वहां कौन से प्रोडक्ट इस्तेमाल कर सकते हैं।

डेटा सेंटर प्रॉक्सी तेज़ हैं, इसलिए ये टारगेट पर आसानी से बोझ भी डाल सकती हैं। वह रफ़्तार ढूंढना जिस पर टारगेट अब भी सामान्य जवाब देता है, आखिर में पूरी रफ़्तार पर चलाने से ज़्यादा डेटा देता है।

• जब 429 जवाब बढ़ें, तो समानांतर रिक्वेस्ट आधी करें, फिर धीरे धीरे बढ़ाएं।
• हर डोमेन के लिए रिक्वेस्ट की अलग सीमा तय करें।
• robots.txt, सेवा की शर्तों और जो सार्वजनिक होने के लिए है, उसका सम्मान करें।
• ऐसी लोड टेस्टिंग या हमले मना हैं जो किसी टारगेट को ठप कर सकें।

अगर ब्लॉक आते रहें, तो ज़बरदस्ती न करें। रफ़्तार धीमी करें या दूसरे प्रोडक्ट पर जाएं।

पहले कुछ IP पर एक सैंपल काम चलाएं और ब्लॉक दर मापें। रिज़ल्ट अच्छे हों, तो बढ़ाने के लिए IP जोड़ें और सिर्फ़ ब्लॉक होने वाले हिस्से दूसरे प्रोडक्ट पर भेजें। रिचार्ज की रकम कीमतें पर देखें, फिर अपना टोकन लेने के लिए साइन अप करें।