数据中心代理，对拦截较弱的网站进行快速、低成本的查询

数据中心IP来自布满服务器的机房线路，而不是家庭或手机。这些线路带宽大且稳定，因此响应很快，即使同时发送大量请求，速度也能保持。路径中没有家庭线路或运营商网络，价格是四种产品中最低的。

另一方面，目标网站能够识别出地址来自数据中心。只想接待普通访客的网站可能会更严格地对待数据中心IP。因此，数据中心代理是最高效的选择还是错误的选择，取决于目标网站拦截的严格程度。

连接方式与其他产品相同：通过HTTP或SOCKS5连接到 gate.proxymay.com:7000 网关，并使用访问令牌作为密码。只需更改爬虫的代理设置，因此用同一套代码就能轻松比较各产品。

最可靠的方法是用小样本实测。通过数据中心IP请求约200个目标页面并记录结果。

• 如果大多数返回200且内容正常，数据中心就足够了。
• 如果混有一些403和429响应，请降低速度后再测一次。
• 如果总是跳转到登录或验证页面，改用动态住宅能同时节省费用和时间。

通常在数据中心IP上运行良好的目标包括：您自己运营的网站、政府机构的公开记录、商品源这类供机器读取而发布的页面，以及允许搜索引擎抓取的站点地图。请把样本结果连同日期一起保存。同一网站的拦截规则可能在几个月后改变，定期重新测量能告诉您何时该更换产品。

数据中心是按速度和价格来选择的产品。如果任务不需要看起来像家庭用户，就没有理由为更贵的地址付费。

如果目标网站经常拦截数据中心地址，请换成动态住宅代理：每个请求从不同的家庭IP发出，拦截就会减少。如果需要同一IP连续数周保持登录，请使用静态ISP代理；如果需要看到手机用户看到的内容，请使用移动代理。

实际上，很多人会混合使用。站点地图、列表页这类轻量部分用数据中心IP快速抓取，只把会被拦截的详情页交给动态住宅。总费用会大幅下降，而且使用同一个余额，无需分别充值。

• 检查自有网站：定期确认您的网站在多个国家能否正常加载以及响应速度。
• 站点地图抓取：快速遍历包含数万个URL的站点地图，找出失效链接和重定向。
• 公开列表采集：抓取发布方允许采集的大量数据，例如公开记录和开放的商品源。
• 本地化测试：检查您自己的服务在各个国家的语言、货币和价格显示是否正确切换。

数据中心代理在大量并发请求时表现出色，但并发数应控制在目标网站能承受的范围内。下面是一个在控制速度的同时把请求分散到多个IP的Scrapy示例。

# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]

# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN

使用多个IP时，请把请求平均分配给它们。如果某个IP承担了大部分负载，这个地址会最先触发限制。

数据中心代理按IP计费，每个IP $1.20起。传输的数据量不计入价格，因此页面越大、请求越多，相比按GB计费的产品就越划算。

例如，购买20个IP运行站点地图爬虫，费用为 20 × $1.20。即使通过这些IP抓取数十GB，金额也保持不变。同样的数据量如果用按GB计费的动态住宅，每用1GB都会继续扣减余额。

因此，数据量大且拦截较弱时，数据中心通常更划算；数据量小或拦截严格时，动态住宅往往更便宜。通过样本运行测出拦截率和页面大小，就能用数字来做决定。

1. 1注册并保存访问令牌。它既是登录凭证，也是代理密码。
2. 2充值后，在数据中心产品中选择国家和IP数量。
3. 3从控制台复制工具所需的格式：http、socks5 或 host:port:user:token。
4. 4添加到爬虫或监控工具中，运行curl检查确认IP位置。
5. 5先从较少的并发请求开始，一边观察响应码一边逐步增加。

并发数先设低一些，等错误率稳定后再提高。各工具中在哪里填写设置，请查看快速入门。

数据中心代理覆盖 18 个国家，以美国、英国、德国、日本、新加坡等服务器机房较多的地方为中心。

选择时有两个依据。如果需要某个国家用户看到的内容，例如本地化测试，就选择那个国家。如果更看重纯粹的速度，就选择离目标服务器较近的国家，以获得更快的响应。各国家的产品列在覆盖地区，新加坡IP这样的页面可以一眼看出当地能使用哪些产品。

数据中心代理速度快，也很容易给目标网站带来负载。找到目标网站仍能正常响应的速率，最终获得的数据会比全速运行更多。

• 当429响应增多时，把并发请求减半，然后再慢慢增加。
• 为每个域名单独设置请求上限。
• 遵守robots.txt、服务条款以及内容公开的本意。
• 禁止可能导致目标网站瘫痪的压力测试或攻击。

如果持续被拦截，请不要强行继续。降低速度或改用其他产品。

先用几个IP运行样本任务，测出拦截率。如果结果良好，再增加IP扩大规模，只把被拦截的部分交给其他产品。充值金额请查看价格，然后注册获取令牌。