Proxy trung tâm dữ liệu cho tra cứu nhanh, chi phí thấp trên trang chặn nhẹ

IP trung tâm dữ liệu đến từ đường truyền trong các cơ sở chứa đầy máy chủ, không phải từ hộ gia đình hay điện thoại. Các đường truyền này rộng và ổn định, nên phản hồi về nhanh và tốc độ vẫn giữ được ngay cả khi có nhiều yêu cầu cùng lúc. Không có đường truyền hộ gia đình hay mạng nhà mạng trên đường đi, nên giá thấp nhất trong bốn sản phẩm.

Mặt trái là trang đích có thể nhận ra địa chỉ đến từ trung tâm dữ liệu. Những trang chỉ muốn người truy cập bình thường có thể xử lý IP trung tâm dữ liệu khắt khe hơn. Vì vậy proxy trung tâm dữ liệu là lựa chọn hiệu quả nhất hay không phù hợp còn tùy trang đích chặn mạnh đến đâu.

Cách kết nối giống các sản phẩm khác: kết nối tới gateway gate.proxymay.com:7000 bằng HTTP hoặc SOCKS5 và dùng mã truy cập làm mật khẩu. Bạn chỉ đổi cài đặt proxy của công cụ thu thập, nên dễ so sánh các sản phẩm với cùng một đoạn code.

Cách chắc chắn nhất là đo bằng một mẫu nhỏ. Yêu cầu khoảng 200 trang đích qua IP trung tâm dữ liệu và ghi lại kết quả.

• Nếu phần lớn trả về 200 với nội dung bình thường, trung tâm dữ liệu là đủ.
• Nếu lẫn vào một số phản hồi 403 và 429, hãy giảm tốc độ và đo lại.
• Nếu liên tục gặp trang đăng nhập hoặc xác minh, chuyển sang dân cư xoay vòng sẽ tiết kiệm cả tiền lẫn thời gian.

Các trang đích thường chạy tốt với IP trung tâm dữ liệu gồm trang web do bạn vận hành, hồ sơ công khai của cơ quan nhà nước, các trang được công bố để máy đọc như nguồn dữ liệu sản phẩm, và sitemap cho phép công cụ tìm kiếm thu thập. Hãy lưu kết quả mẫu kèm ngày tháng. Quy tắc chặn trên cùng một trang có thể thay đổi sau vài tháng, và đo lại theo lịch sẽ cho bạn biết khi nào nên đổi sản phẩm.

Trung tâm dữ liệu là sản phẩm bạn chọn vì tốc độ và giá. Nếu công việc không cần trông như người dùng hộ gia đình, không có lý do gì để trả tiền cho một địa chỉ đắt hơn.

Nếu trang đích thường chặn địa chỉ trung tâm dữ liệu, hãy chuyển sang proxy dân cư xoay vòng: mỗi yêu cầu đi ra từ một IP hộ gia đình khác và việc bị chặn giảm xuống. Nếu cần cùng một IP đăng nhập trong nhiều tuần, hãy dùng proxy ISP tĩnh; nếu cần thấy những gì người dùng điện thoại thấy, hãy dùng proxy di động.

Trên thực tế, mọi người thường kết hợp chúng. Lấy nhanh các phần nhẹ như sitemap và trang danh sách qua IP trung tâm dữ liệu, và chỉ gửi các trang chi tiết bị chặn sang dân cư xoay vòng. Tổng chi phí giảm nhiều, và với một số dư thì không cần nạp riêng cho từng loại.

• Kiểm tra trang web của chính bạn: xác nhận theo lịch rằng trang web của bạn tải được ở nhiều quốc gia và phản hồi nhanh đến đâu.
• Quét sitemap: duyệt nhanh sitemap có hàng chục nghìn URL để tìm liên kết hỏng và chuyển hướng.
• Thu thập danh sách công khai: lấy khối lượng lớn dữ liệu mà bên công bố cho phép thu thập, như hồ sơ công khai và nguồn dữ liệu sản phẩm mở.
• Kiểm thử bản địa hóa: kiểm tra ngôn ngữ, tiền tệ và cách hiển thị giá chuyển đúng theo quốc gia trên dịch vụ của chính bạn.

Proxy trung tâm dữ liệu phát huy khi chạy nhiều yêu cầu song song, nhưng số yêu cầu song song nên nằm trong mức trang đích chịu được. Đây là ví dụ Scrapy chia yêu cầu qua nhiều IP trong khi vẫn kiểm soát tốc độ.

# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]

# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN

Với nhiều IP, hãy chia đều yêu cầu giữa chúng. Nếu một IP gánh phần lớn tải, địa chỉ đó sẽ chạm giới hạn trước.

Proxy trung tâm dữ liệu tính phí theo IP, từ $1.20 mỗi IP. Dữ liệu truyền tải không nằm trong giá, nên trang càng lớn và yêu cầu càng nhiều thì càng có lợi hơn so với sản phẩm tính theo GB.

Ví dụ, mua 20 IP để chạy công cụ quét sitemap thì chi phí là 20 × $1.20. Kéo hàng chục GB qua các IP đó, số tiền vẫn giữ nguyên. Cùng khối lượng đó trên dân cư xoay vòng, vốn tính theo GB, sẽ tiếp tục trừ số dư cho từng GB.

Vì vậy khi dữ liệu nhiều và chặn nhẹ, trung tâm dữ liệu thường thắng; khi dữ liệu ít hoặc chặn mạnh, dân cư xoay vòng thường rẻ hơn. Một lượt chạy mẫu đo tỷ lệ bị chặn và kích thước trang giúp bạn quyết định bằng con số.

1. 1Đăng ký và cất giữ mã truy cập. Mã vừa là thông tin đăng nhập vừa là mật khẩu proxy.
2. 2Nạp tiền, rồi chọn quốc gia và số IP trong sản phẩm trung tâm dữ liệu.
3. 3Sao chép định dạng trên bảng điều khiển mà công cụ cần: http, socks5 hoặc host:port:user:token.
4. 4Thêm vào công cụ thu thập hoặc giám sát và chạy kiểm tra curl để xác nhận vị trí IP.
5. 5Bắt đầu với ít yêu cầu song song và tăng dần từng bước trong khi theo dõi mã phản hồi.

Bắt đầu với số yêu cầu song song thấp và chỉ tăng khi tỷ lệ lỗi đã ổn định. Nơi nhập cài đặt trong từng công cụ được trình bày trong Bắt đầu nhanh.

Proxy trung tâm dữ liệu có tại 18 quốc gia, tập trung ở những nơi có nhiều cơ sở máy chủ như Hoa Kỳ, Vương quốc Anh, Đức, Nhật Bản và Singapore.

Hãy chọn dựa trên hai yếu tố. Nếu cần thấy những gì người dùng ở một quốc gia thấy, như khi kiểm thử bản địa hóa, hãy chọn quốc gia đó. Nếu tốc độ thuần túy là quan trọng, hãy chọn quốc gia gần máy chủ của trang đích để phản hồi nhanh hơn. Sản phẩm theo từng quốc gia được liệt kê trong Khu vực, và một trang như IP Singapore cho thấy ngay bạn dùng được sản phẩm nào ở đó.

Vì proxy trung tâm dữ liệu nhanh, chúng cũng dễ gây tải cho trang đích. Tìm ra tốc độ mà trang đích vẫn phản hồi bình thường cuối cùng sẽ mang lại nhiều dữ liệu hơn so với chạy tốc độ tối đa.

• Khi phản hồi 429 tăng lên, hãy giảm một nửa số yêu cầu song song, rồi tăng lại từ từ.
• Đặt giới hạn riêng cho số yêu cầu trên mỗi tên miền.
• Tôn trọng robots.txt, điều khoản dịch vụ và những gì được công khai.
• Cấm kiểm thử tải hoặc tấn công có thể làm sập trang đích.

Nếu liên tục bị chặn, đừng cố ép. Hãy giảm tốc độ hoặc chuyển sang sản phẩm khác.

Chạy một công việc mẫu trên vài IP và đo tỷ lệ bị chặn trước. Nếu kết quả tốt, hãy thêm IP để mở rộng và chỉ gửi các phần bị chặn sang sản phẩm khác. Xem các mức nạp ở Bảng giá, rồi đăng ký để nhận mã truy cập.