數據中心代理,快速而低成本地查詢封鎖較輕的網站
數據中心代理由伺服器線路上的IP發出你的請求。它是四種產品中最快、最便宜的一種,在目標網站封鎖不嚴的大量工作上可以節省費用。
- 起價
- $1.20 每個IP
- 收費方式
- 按IP收費
- 指定範圍
- 國家
- 覆蓋地區
- 18個國家
規格一覽
- 收費
- 按IP收費
- 起價
- 每個IP $1.20
- IP類型
- 數據中心伺服器IP
- 國家
- 18個國家
- 優勢
- 回應快,可處理大量並行請求
- 連接
- gate.proxymay.com:7000 上的HTTP及SOCKS5
01
為何數據中心代理又快又便宜?
數據中心IP來自放滿伺服器的設施線路,而不是家庭或手機。這些線路頻寬大而穩定,所以回應很快,即使同時發出大量請求,速度亦能維持。路徑中沒有家用線路或電訊商網絡,價格是四種產品中最低的。
另一方面,目標網站可以分辨出地址來自數據中心。只想接待一般訪客的網站,可能會更嚴格對待數據中心IP。所以數據中心代理是最有效率的選擇還是錯誤的選擇,取決於目標網站封鎖得有多嚴。
連接方式與其他產品相同:經HTTP或SOCKS5連接 gate.proxymay.com:7000 閘道,並以存取令牌作為密碼。你只需修改爬蟲的代理設定,所以很容易用同一套程式碼比較不同產品。
02
如何判斷網站封鎖是否較輕?
最可靠的方法是用小量樣本量度。經數據中心IP請求約200個目標頁面,並記錄結果。
- 如果大部分回應是200並有正常內容,數據中心已經足夠。
- 如果夾雜一些403及429回應,請減慢速度再量度。
- 如果經常跳到登入或驗證頁面,轉用動態住宅可以同時節省金錢及時間。
通常在數據中心IP上運作順利的目標包括:你自己營運的網站、政府機構的公開紀錄、產品資料檔這類供機器讀取的頁面,以及允許搜尋引擎爬取的網站地圖。請連同日期保存樣本結果。同一網站的封鎖規則可能在數月後改變,定期重新量度就會知道何時需要轉換產品。
03
數據中心代理與其他三種產品比較
04
數據中心代理上的大量工作及設定
- 檢查自己的網站:定期確認你的網站在多個國家能否載入,以及回應速度。
- 爬取網站地圖:快速走遍有數以萬計網址的網站地圖,找出失效連結及重新導向。
- 收集公開列表:擷取發布者允許收集的大量數據,例如公開紀錄及開放的產品資料檔。
- 本地化測試:檢查你自己的服務是否按國家正確切換語言、貨幣及價格顯示。
數據中心代理在大量並行請求時表現最出色,但並行數量應保持在目標網站可承受的範圍內。以下是一個Scrapy例子,將請求分散到多個IP,同時控制速度。
# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]
# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN有多個IP時,請將請求平均分配。如果一個IP承擔大部分負荷,該地址會最先觸及限制。
05
按IP收費及費用例子
數據中心代理按IP收費,每個IP $1.20起。傳輸數據量不計入價格,所以頁面越大、請求越多,就比每GB產品越划算。
例如購買20個IP運行網站地圖爬蟲,費用為 20 × $1.20。即使經這些IP擷取數十GB,金額亦不變。同樣的數量用在按GB收費的動態住宅上,每用1 GB餘額都會繼續減少。
所以數據量大、封鎖較輕時,數據中心通常較划算;數據量少或封鎖嚴格時,動態住宅往往更便宜。用樣本量度封鎖率及頁面大小,就可以用數字作決定。
06
設定數據中心代理
- 1註冊並保存存取令牌。令牌既用於登入,亦是代理密碼。
- 2增值後,在數據中心產品揀選國家及IP數量。
- 3複製工具需要的控制台格式:http、socks5或host:port:user:token。
- 4加入爬蟲或監察工具,然後執行curl檢查,確認IP所在地。
- 5由少量並行請求開始,一邊留意回應代碼一邊逐步增加。
並行數量請由低開始,錯誤率穩定後才增加。各工具在哪裡輸入設定,請看快速入門。
07
揀選數據中心IP的國家
08
高速運作時更需要遵守的使用規則
數據中心代理速度快,亦容易對目標網站造成負荷。找出目標網站仍能正常回應的速度,最終會比以最高速度運行取得更多數據。
- 429回應增加時,將並行請求減半,然後再慢慢增加。
- 為每個網域另設請求上限。
- 尊重robots.txt、服務條款及網站原本打算公開的範圍。
- 禁止可能令目標網站癱瘓的壓力測試或攻擊。
如果封鎖持續,不要強行繼續。請減慢速度或轉用其他產品。
09