Veri merkezi proxy: engellemesi zayıf sitelerde hızlı ve düşük maliyetli sorgular

Veri merkezi IP'leri evlerden veya telefonlardan değil, sunucularla dolu tesislerdeki hatlardan gelir. Bu hatlar geniş ve kararlıdır; bu yüzden yanıtlar hızlı döner ve aynı anda çok sayıda istekte bile hız korunur. Yolda ev hattı veya operatör ağı olmadığı için fiyat dört ürünün en düşüğüdür.

Diğer yandan hedef siteler adresin bir veri merkezinden geldiğini anlayabilir. Yalnızca sıradan ziyaretçi isteyen siteler veri merkezi IP'lerine daha katı davranabilir. Bu yüzden veri merkezi proxy'nin en verimli seçim mi yoksa yanlış seçim mi olduğu, hedefin ne kadar sert engellediğine bağlıdır.

Bağlantı diğer ürünlerle aynıdır: HTTP veya SOCKS5 ile gate.proxymay.com:7000 ağ geçidine bağlanın ve şifre olarak erişim anahtarınızı kullanın. Yalnızca tarayıcınızın proxy ayarını değiştirirsiniz, bu yüzden ürünleri aynı kodla karşılaştırmak kolaydır.

En kesin yol küçük bir örneklemle ölçmektir. Veri merkezi IP'leri üzerinden yaklaşık 200 hedef sayfa isteyin ve sonuçları kaydedin.

• Çoğu normal içerikle 200 dönüyorsa veri merkezi yeterlidir.
• Arada bazı 403 ve 429 yanıtları varsa yavaşlayın ve yeniden ölçün.
• Sürekli giriş veya doğrulama sayfalarına düşüyorsanız dönen konut proxy'ye geçmek hem para hem zaman kazandırır.

Veri merkezi IP'lerinde genellikle iyi çalışan hedefler arasında işlettiğiniz siteler, kamu kurumlarının herkese açık kayıtları, ürün akışları gibi makinelerin okuması için yayımlanan sayfalar ve arama motoru taramasına izin veren site haritaları bulunur. Örneklem sonuçlarınızı tarihleriyle saklayın. Aynı sitedeki engelleme kuralları aylar sonra değişebilir ve düzenli olarak yeniden ölçmek ürün değiştirme zamanının geldiğini size söyler.

Veri merkezi, hız ve fiyata göre seçtiğiniz üründür. İşin bir ev kullanıcısı gibi görünmesi gerekmiyorsa daha pahalı bir adrese ödeme yapmak için bir neden yoktur.

Hedef veri merkezi adreslerini sık sık engelliyorsa dönen konut proxy kullanın: her istek farklı bir ev IP'sinden çıkar ve engellemeler azalır. Haftalarca aynı IP ile oturum açık kalmanız gerekiyorsa statik ISP proxy, telefon kullanıcılarının gördüğünü görmeniz gerekiyorsa mobil proxy kullanın.

Pratikte insanlar bunları çoğu zaman karıştırır. Site haritaları ve liste sayfaları gibi hafif kısımları veri merkezi IP'leriyle hızlıca çekin ve yalnızca engellenen detay sayfalarını dönen konut proxy'ye gönderin. Toplam maliyet ciddi ölçüde düşer ve tek bakiye olduğu için her biri için ayrı yükleme gerekmez.

• Kendi sitenizi kontrol etme: sitenizin birkaç ülkede yüklendiğini ve ne kadar hızlı yanıt verdiğini düzenli olarak doğrulayın.
• Site haritası tarama: kırık bağlantıları ve yönlendirmeleri bulmak için on binlerce URL içeren site haritalarını hızlıca gezin.
• Herkese açık liste toplama: herkese açık kayıtlar ve açık ürün akışları gibi yayıncının toplanmasına izin verdiği büyük hacimli verileri çekin.
• Yerelleştirme testleri: kendi hizmetinizde dilin, para biriminin ve fiyat gösteriminin ülkeye göre doğru değiştiğini kontrol edin.

Veri merkezi proxy çok sayıda eş zamanlı istek çalıştırdığınızda öne çıkar, ancak eş zamanlı istek sayısı hedefin kaldırabileceği sınırda kalmalıdır. İşte hızı kontrol ederken istekleri birkaç IP'ye dağıtan bir Scrapy örneği.

# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]

# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN

Birden fazla IP ile istekleri aralarında eşit bölün. Yükün çoğunu tek bir IP alırsa o adres sınırlara önce takılır.

Veri merkezi proxy, IP başına $1.20 fiyatından başlayarak IP başına ücretlendirilir. Aktarılan veri fiyata dahil değildir; bu yüzden sayfalar ne kadar büyük ve istekler ne kadar çok olursa GB başına ücretlendirilen ürünlere göre o kadar avantajlıdır.

Örneğin bir site haritası tarayıcısı çalıştırmak için 20 IP alırsanız maliyet 20 × $1.20 olur. Bu IP'ler üzerinden onlarca GB çekseniz de tutar aynı kalır. GB başına ücretlendirilen dönen konut proxy'de aynı hacim her GB için bakiyeyi düşürmeye devam ederdi.

Yani veri çok ve engelleme zayıfsa genellikle veri merkezi kazanır; veri az veya engelleme güçlüyse dönen konut çoğu zaman daha ucuza gelir. Engelleme oranını ve sayfa boyutunu ölçen bir örnek çalışma, kararı rakamlarla vermenizi sağlar.

1. 1Kaydolun ve erişim anahtarınızı saklayın. Hem girişiniz hem de proxy şifrenizdir.
2. 2Yükleme yapın, ardından veri merkezi ürününde bir ülke ve IP sayısı seçin.
3. 3Aracınızın ihtiyaç duyduğu panel biçimini kopyalayın: http, socks5 veya host:port:user:token.
4. 4Bunu tarayıcınıza veya izleme aracınıza ekleyin ve IP konumunu doğrulamak için curl kontrolünü çalıştırın.
5. 5Az sayıda eş zamanlı istekle başlayın ve yanıt kodlarını izleyerek adım adım artırın.

Eş zamanlı istek sayısını düşük başlatın ve yalnızca hata oranı istikrarlı göründükten sonra artırın. Her araçta ayarların nereye girileceği Hızlı başlangıç sayfasında anlatılır.

Veri merkezi proxy, Amerika Birleşik Devletleri, Birleşik Krallık, Almanya, Japonya ve Singapur gibi çok sayıda sunucu tesisi bulunan yerler başta olmak üzere 18 ülkede mevcuttur.

İki ölçüte göre seçin. Yerelleştirme testlerinde olduğu gibi bir ülkedeki kullanıcıların gördüğüne ihtiyacınız varsa o ülkeyi seçin. Saf hız önemliyse daha hızlı yanıtlar için hedefin sunucularına yakın bir ülke seçin. Ülkelere göre ürünler Konumlar sayfasında listelenir ve Singapur IP gibi bir sayfa orada hangi ürünleri kullanabileceğinizi bir bakışta gösterir.

Veri merkezi proxy hızlı olduğu için hedefe kolayca yük de bindirebilir. Hedefin hâlâ normal yanıt verdiği hızı bulmak, sonunda size azami hızda çalışmaktan daha fazla veri kazandırır.

• 429 yanıtları arttığında eş zamanlı istekleri yarıya indirin, sonra yavaşça yeniden artırın.
• Alan adı başına istekler için ayrı bir üst sınır belirleyin.
• robots.txt dosyasına, hizmet şartlarına ve neyin herkese açık olması amaçlandığına saygı gösterin.
• Bir hedefi çökertebilecek yük testleri veya saldırılar yasaktır.

Engellemeler devam ederse zorlamayın. Yavaşlayın veya başka bir ürüne geçin.

Önce birkaç IP üzerinde bir örnek iş çalıştırın ve engelleme oranını ölçün. Sonuçlar iyiyse ölçeği büyütmek için IP ekleyin ve yalnızca engellenen kısımları başka bir ürüne gönderin. Yükleme tutarlarını Fiyatlar sayfasında görün, ardından anahtarınızı almak için kaydolun.