數據中心代理,快速而低成本地查詢封鎖較輕的網站

數據中心代理由伺服器線路上的IP發出你的請求。它是四種產品中最快、最便宜的一種,在目標網站封鎖不嚴的大量工作上可以節省費用。

起價
$1.20 每個IP
收費方式
按IP收費
指定範圍
國家
覆蓋地區
18個國家

規格一覽

收費
按IP收費
起價
每個IP $1.20
IP類型
數據中心伺服器IP
國家
18個國家
優勢
回應快,可處理大量並行請求
連接
gate.proxymay.com:7000 上的HTTP及SOCKS5

適合用途

  • 檢查自己的網站
  • 爬取網站地圖
  • 收集公開列表
  • 大量價格查詢
  • 本地化測試
取得令牌開始使用

01

為何數據中心代理又快又便宜?

數據中心IP來自放滿伺服器的設施線路,而不是家庭或手機。這些線路頻寬大而穩定,所以回應很快,即使同時發出大量請求,速度亦能維持。路徑中沒有家用線路或電訊商網絡,價格是四種產品中最低的。

另一方面,目標網站可以分辨出地址來自數據中心。只想接待一般訪客的網站,可能會更嚴格對待數據中心IP。所以數據中心代理是最有效率的選擇還是錯誤的選擇,取決於目標網站封鎖得有多嚴。

連接方式與其他產品相同:經HTTP或SOCKS5連接 gate.proxymay.com:7000 閘道,並以存取令牌作為密碼。你只需修改爬蟲的代理設定,所以很容易用同一套程式碼比較不同產品。

02

如何判斷網站封鎖是否較輕?

最可靠的方法是用小量樣本量度。經數據中心IP請求約200個目標頁面,並記錄結果。

  • 如果大部分回應是200並有正常內容,數據中心已經足夠。
  • 如果夾雜一些403及429回應,請減慢速度再量度。
  • 如果經常跳到登入或驗證頁面,轉用動態住宅可以同時節省金錢及時間。

通常在數據中心IP上運作順利的目標包括:你自己營運的網站、政府機構的公開紀錄、產品資料檔這類供機器讀取的頁面,以及允許搜尋引擎爬取的網站地圖。請連同日期保存樣本結果。同一網站的封鎖規則可能在數月後改變,定期重新量度就會知道何時需要轉換產品。

03

數據中心代理與其他三種產品比較

數據中心是以速度及價格為先的產品。如果工作不需要看起來像家庭用戶,就沒有理由為較貴的地址付費。

如果目標網站經常封鎖數據中心地址,請轉用動態住宅代理:每個請求由不同家用IP發出,封鎖會減少。如果需要同一IP登入數星期,請用靜態ISP代理;如果需要看到手機用戶看到的內容,請用流動代理。

實際上很多人會混合使用。網站地圖及列表頁面這類輕量部分用數據中心IP快速擷取,只把會被封鎖的詳情頁面交給動態住宅。總費用會大幅下降,而且只有一個餘額,不需要分開增值。

04

數據中心代理上的大量工作及設定

  • 檢查自己的網站:定期確認你的網站在多個國家能否載入,以及回應速度。
  • 爬取網站地圖:快速走遍有數以萬計網址的網站地圖,找出失效連結及重新導向。
  • 收集公開列表:擷取發布者允許收集的大量數據,例如公開紀錄及開放的產品資料檔。
  • 本地化測試:檢查你自己的服務是否按國家正確切換語言、貨幣及價格顯示。

數據中心代理在大量並行請求時表現最出色,但並行數量應保持在目標網站可承受的範圍內。以下是一個Scrapy例子,將請求分散到多個IP,同時控制速度。

# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]

# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN

有多個IP時,請將請求平均分配。如果一個IP承擔大部分負荷,該地址會最先觸及限制。

05

按IP收費及費用例子

數據中心代理按IP收費,每個IP $1.20起。傳輸數據量不計入價格,所以頁面越大、請求越多,就比每GB產品越划算。

例如購買20個IP運行網站地圖爬蟲,費用為 20 × $1.20。即使經這些IP擷取數十GB,金額亦不變。同樣的數量用在按GB收費的動態住宅上,每用1 GB餘額都會繼續減少。

所以數據量大、封鎖較輕時,數據中心通常較划算;數據量少或封鎖嚴格時,動態住宅往往更便宜。用樣本量度封鎖率及頁面大小,就可以用數字作決定。

06

設定數據中心代理

  1. 1註冊並保存存取令牌。令牌既用於登入,亦是代理密碼。
  2. 2增值後,在數據中心產品揀選國家及IP數量。
  3. 3複製工具需要的控制台格式:http、socks5或host:port:user:token。
  4. 4加入爬蟲或監察工具,然後執行curl檢查,確認IP所在地。
  5. 5由少量並行請求開始,一邊留意回應代碼一邊逐步增加。

並行數量請由低開始,錯誤率穩定後才增加。各工具在哪裡輸入設定,請看快速入門。

07

揀選數據中心IP的國家

數據中心代理覆蓋18個國家,以美國、英國、德國、日本及新加坡等伺服器設施集中的地方為主。

揀選時看兩點。如果需要某國用戶看到的內容,例如本地化測試,就揀該國家。如果純粹講求速度,就揀靠近目標伺服器的國家,回應會更快。各國可用產品列在覆蓋地區,新加坡IP這類頁面一看就知道當地可用哪些產品。

08

高速運作時更需要遵守的使用規則

數據中心代理速度快,亦容易對目標網站造成負荷。找出目標網站仍能正常回應的速度,最終會比以最高速度運行取得更多數據。

  • 429回應增加時,將並行請求減半,然後再慢慢增加。
  • 為每個網域另設請求上限。
  • 尊重robots.txt、服務條款及網站原本打算公開的範圍。
  • 禁止可能令目標網站癱瘓的壓力測試或攻擊。

如果封鎖持續,不要強行繼續。請減慢速度或轉用其他產品。

09

開始使用數據中心代理

先用少量IP執行樣本工作,量度封鎖率。如果結果良好,就增加IP擴大規模,只把被封鎖的部分交給其他產品。增值金額請看收費,然後註冊取得令牌。

其他代理產品

立即註冊
馬上連接到你需要的國家IP

註冊只需要一個令牌。$20起增值,即時可用。