ডেটা সেন্টার প্রক্সি, হালকা ব্লক করা সাইটে দ্রুত ও কম খরচের লুকআপের জন্য

ডেটা সেন্টারের IP আসে সার্ভারে ভরা স্থাপনার লাইন থেকে, বাসা বা ফোন থেকে নয়। এই লাইনগুলো চওড়া ও স্থিতিশীল, তাই উত্তর দ্রুত আসে এবং একসাথে অনেক রিকোয়েস্টেও গতি ধরে থাকে। পথে কোনো বাসার লাইন বা অপারেটর নেটওয়ার্ক না থাকায় দাম চারটি প্রোডাক্টের মধ্যে সবচেয়ে কম।

অন্যদিকে, টার্গেট সাইট বুঝতে পারে ঠিকানাটি ডেটা সেন্টার থেকে আসছে। যে সাইট শুধু সাধারণ ভিজিটর চায় তারা ডেটা সেন্টার IP-এর সাথে বেশি কড়া হতে পারে। তাই ডেটা সেন্টার প্রক্সি সবচেয়ে কার্যকর নাকি ভুল বিকল্প, তা নির্ভর করে টার্গেট কতটা কড়াভাবে ব্লক করে তার উপর।

কানেকশন অন্য প্রোডাক্টের মতোই: HTTP বা SOCKS5-এ gate.proxymay.com:7000 গেটওয়েতে কানেক্ট করুন আর অ্যাক্সেস টোকেনকে পাসওয়ার্ড হিসেবে দিন। শুধু ক্রলারের প্রক্সি সেটিং বদলান, তাই একই কোড দিয়ে প্রোডাক্ট তুলনা করা সহজ।

সবচেয়ে নিশ্চিত উপায় ছোট নমুনা দিয়ে মাপা। ডেটা সেন্টার IP দিয়ে টার্গেটের প্রায় 200টি পেজ রিকোয়েস্ট করে ফলাফল লিখে রাখুন।

• বেশিরভাগ যদি স্বাভাবিক কনটেন্টসহ 200 ফেরত দেয়, ডেটা সেন্টার যথেষ্ট।
• কিছু 403 আর 429 উত্তর মিশে থাকলে গতি কমিয়ে আবার মাপুন।
• বারবার লগ ইন বা যাচাইয়ের পেজে পৌঁছালে রোটেটিং রেসিডেনশিয়ালে গেলে টাকা আর সময় দুটোই বাঁচে।

যে টার্গেট সাধারণত ডেটা সেন্টার IP-তে ভালো চলে: আপনার নিজের চালানো সাইট, সরকারি সংস্থার পাবলিক রেকর্ড, প্রোডাক্ট ফিডের মতো যন্ত্রের পড়ার জন্য প্রকাশিত পেজ, আর সার্চ ইঞ্জিন ক্রলিং অনুমোদন করা সাইটম্যাপ। নমুনার ফলাফল তারিখসহ রাখুন। একই সাইটের ব্লকিং নিয়ম মাসখানেক পরে বদলাতে পারে, আর নির্ধারিত সময়ে আবার মাপলে বুঝবেন কখন প্রোডাক্ট বদলানোর সময়।

ডেটা সেন্টার হলো গতি আর দাম দেখে বাছা প্রোডাক্ট। কাজে যদি বাসার ব্যবহারকারীর মতো দেখানোর দরকার না থাকে, তাহলে দামি ঠিকানার জন্য টাকা দেওয়ার কারণ নেই।

টার্গেট প্রায়ই ডেটা সেন্টার ঠিকানা ব্লক করলে রোটেটিং রেসিডেনশিয়াল প্রক্সিতে যান: প্রতিটি রিকোয়েস্ট আলাদা বাসার IP থেকে যায় আর ব্লক কমে। সপ্তাহের পর সপ্তাহ একই IP-তে লগ ইন থাকতে হলে স্ট্যাটিক ISP প্রক্সি ব্যবহার করুন; ফোন ব্যবহারকারীরা যা দেখেন তা দেখতে মোবাইল প্রক্সি ব্যবহার করুন।

বাস্তবে মানুষ প্রায়ই এগুলো মিশিয়ে ব্যবহার করেন। সাইটম্যাপ আর লিস্টিং পেজের মতো হালকা অংশ ডেটা সেন্টার IP দিয়ে দ্রুত আনুন, আর যে বিস্তারিত পেজ ব্লক হয় শুধু সেগুলো রোটেটিং রেসিডেনশিয়ালে পাঠান। মোট খরচ অনেক কমে, আর এক ব্যালেন্স থাকায় আলাদা আলাদা রিচার্জ লাগে না।

• নিজের সাইট যাচাই: নির্ধারিত সময়ে নিশ্চিত করুন আপনার সাইট কয়েকটি দেশে লোড হয় আর কত দ্রুত সাড়া দেয়।
• সাইটম্যাপ ক্রলিং: দশ হাজার URL-এর সাইটম্যাপ দ্রুত ঘুরে ভাঙা লিংক আর রিডাইরেক্ট খুঁজুন।
• পাবলিক লিস্টিং সংগ্রহ: প্রকাশক যে ডেটা সংগ্রহের অনুমতি দেন, যেমন পাবলিক রেকর্ড আর খোলা প্রোডাক্ট ফিড, তা বিপুল পরিমাণে আনুন।
• লোকালাইজেশন টেস্টিং: নিজের সার্ভিসে দেশভেদে ভাষা, মুদ্রা আর দাম ঠিকভাবে বদলায় কিনা যাচাই করুন।

অনেক সমান্তরাল রিকোয়েস্ট চালালে ডেটা সেন্টার প্রক্সি সবচেয়ে ভালো কাজ করে, তবে সমান্তরাল সংখ্যা টার্গেট যতটা সামলাতে পারে তার মধ্যে রাখা উচিত। নিচে একটি Scrapy উদাহরণ, যা গতি নিয়ন্ত্রণ করে কয়েকটি IP-তে রিকোয়েস্ট ছড়ায়।

# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]

# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN

কয়েকটি IP থাকলে রিকোয়েস্ট সমানভাবে ভাগ করুন। একটি IP বেশিরভাগ চাপ নিলে সেই ঠিকানাই আগে সীমায় পৌঁছায়।

ডেটা সেন্টার প্রক্সির বিল হয় প্রতি IP হিসেবে, প্রতি IP $1.20 থেকে। স্থানান্তরিত ডেটা দামের অংশ নয়, তাই পেজ যত বড় আর রিকোয়েস্ট যত বেশি, প্রতি GB প্রোডাক্টের চেয়ে এটি তত বেশি লাভজনক।

যেমন, সাইটম্যাপ ক্রলার চালাতে 20টি IP কিনলে খরচ হয় 20 × $1.20। সেই IP দিয়ে দশ GB আনলেও পরিমাণ একই থাকে। প্রতি GB বিল হওয়া রোটেটিং রেসিডেনশিয়ালে একই পরিমাণ প্রতিটি GB-তে ব্যালেন্স কাটতে থাকত।

তাই ডেটা বেশি আর ব্লক হালকা হলে সাধারণত ডেটা সেন্টার জেতে; ডেটা কম বা ব্লক কড়া হলে রোটেটিং রেসিডেনশিয়াল প্রায়ই কম খরচের। ব্লকের হার আর পেজের আকার মাপা একটি নমুনা চালালে সংখ্যা দেখে সিদ্ধান্ত নিতে পারবেন।

1. 1সাইন আপ করে অ্যাক্সেস টোকেন রাখুন। এটি আপনার লগ ইন আর প্রক্সি পাসওয়ার্ড দুটোই।
2. 2রিচার্জ করুন, তারপর ডেটা সেন্টার প্রোডাক্টে দেশ আর IP-এর সংখ্যা বাছুন।
3. 3আপনার টুলের দরকারি ড্যাশবোর্ড ফরম্যাট কপি করুন: http, socks5 বা host:port:user:token।
4. 4ক্রলার বা পর্যবেক্ষণ টুলে যোগ করে curl যাচাই চালিয়ে IP-এর লোকেশন নিশ্চিত করুন।
5. 5অল্প সমান্তরাল রিকোয়েস্ট দিয়ে শুরু করুন, উত্তরের কোড দেখে ধাপে ধাপে বাড়ান।

সমান্তরাল সংখ্যা কম দিয়ে শুরু করুন আর ত্রুটির হার স্থির দেখালে তবেই বাড়ান। প্রতিটি টুলে কোথায় সেটিং দিতে হয় তা আছে কুইক স্টার্টে।

ডেটা সেন্টার প্রক্সি 18টি দেশে পাওয়া যায়, মূলত যেখানে অনেক সার্ভার স্থাপনা আছে, যেমন যুক্তরাষ্ট্র, যুক্তরাজ্য, জার্মানি, জাপান আর সিঙ্গাপুর।

দুটি ভিত্তিতে বাছুন। লোকালাইজেশন টেস্টিংয়ের মতো কোনো দেশের ব্যবহারকারীরা যা দেখেন তা দরকার হলে সেই দেশ বাছুন। খাঁটি গতি গুরুত্বপূর্ণ হলে দ্রুত সাড়ার জন্য টার্গেটের সার্ভারের কাছের দেশ বাছুন। দেশভিত্তিক প্রোডাক্ট তালিকা আছে লোকেশন পেজে, আর সিঙ্গাপুরের IP-এর মতো পেজ এক নজরে দেখায় সেখানে কোন প্রোডাক্ট ব্যবহার করা যায়।

ডেটা সেন্টার প্রক্সি দ্রুত বলে টার্গেটের উপর সহজেই চাপও ফেলতে পারে। যে হারে টার্গেট স্বাভাবিকভাবে সাড়া দেয় তা খুঁজে বের করলে শেষ পর্যন্ত সর্বোচ্চ গতিতে চালানোর চেয়ে বেশি ডেটা পাবেন।

• 429 উত্তর বাড়লে সমান্তরাল রিকোয়েস্ট অর্ধেক করুন, তারপর ধীরে আবার বাড়ান।
• প্রতি ডোমেইনে রিকোয়েস্টের আলাদা সীমা দিন।
• robots.txt, সেবার শর্তাবলি আর যা পাবলিক থাকার কথা তা মেনে চলুন।
• টার্গেট বন্ধ করে দিতে পারে এমন লোড টেস্টিং বা আক্রমণ নিষিদ্ধ।

ব্লক আসতে থাকলে জোর করবেন না। গতি কমান বা অন্য প্রোডাক্টে যান।

কয়েকটি IP-তে একটি নমুনা কাজ চালিয়ে আগে ব্লকের হার মাপুন। ফলাফল ভালো হলে বাড়াতে IP যোগ করুন আর শুধু ব্লক হওয়া অংশ অন্য প্রোডাক্টে পাঠান। রিচার্জের পরিমাণ দেখুন দাম পেজে, তারপর টোকেন পেতে সাইন আপ করুন।