Proxies de datacenter para consultas rápidas e baratas em sites com pouco bloqueio

Os IPs de datacenter vêm de linhas em instalações cheias de servidores, não de casas ou celulares. Essas linhas são largas e estáveis, então as respostas voltam rápido e a velocidade se mantém mesmo com muitas requisições ao mesmo tempo. Sem linha residencial nem rede de operadora no caminho, o preço é o menor dos quatro produtos.

Por outro lado, os sites de destino conseguem perceber que o endereço vem de um datacenter. Sites que só querem visitantes comuns podem tratar IPs de datacenter com mais rigor. Por isso, se os proxies de datacenter são a escolha mais eficiente ou a errada depende de quanto o destino bloqueia.

A conexão é igual à dos outros produtos: conecte ao gateway gate.proxymay.com:7000 por HTTP ou SOCKS5 e use seu token de acesso como senha. Você só muda a configuração de proxy do seu crawler, então é fácil comparar produtos com o mesmo código.

O jeito mais seguro é medir com uma pequena amostra. Faça cerca de 200 requisições a páginas do destino por IPs de datacenter e registre os resultados.

• Se a maioria voltar com 200 e conteúdo normal, o datacenter basta.
• Se aparecerem algumas respostas 403 e 429, diminua o ritmo e meça de novo.
• Se você cair repetidamente em páginas de login ou verificação, passar para o residencial rotativo economiza dinheiro e tempo.

Destinos que costumam funcionar bem com IPs de datacenter incluem sites que você opera, registros públicos de órgãos governamentais, páginas publicadas para leitura por máquinas, como feeds de produtos, e sitemaps que permitem o rastreamento por buscadores. Guarde os resultados da amostra com a data. As regras de bloqueio do mesmo site podem mudar meses depois, e medir de novo periodicamente mostra quando é hora de trocar de produto.

O datacenter é o produto que você escolhe por velocidade e preço. Se o trabalho não precisa parecer um usuário residencial, não há motivo para pagar por um endereço mais caro.

Se o destino costuma bloquear endereços de datacenter, mude para proxies residenciais rotativos: cada requisição sai de um IP residencial diferente e os bloqueios caem. Se você precisa do mesmo IP logado por semanas, use proxies ISP estáticos; se precisa ver o que os usuários de celular veem, use proxies móveis.

Na prática, muita gente combina os produtos. Baixe as partes leves, como sitemaps e páginas de listagem, rapidamente por IPs de datacenter, e envie ao residencial rotativo só as páginas de detalhe que são bloqueadas. O custo total cai bastante, e com um só saldo não há recarga separada para cada um.

• Verificação do seu próprio site: confirme periodicamente que seu site carrega em vários países e quão rápido responde.
• Rastreamento de sitemaps: percorra rapidamente sitemaps com dezenas de milhares de URLs para achar links quebrados e redirecionamentos.
• Coleta de listagens públicas: colete grandes volumes de dados cuja coleta o publicador permite, como registros públicos e feeds abertos de produtos.
• Testes de localização: confira se idioma, moeda e exibição de preços mudam corretamente por país no seu próprio serviço.

Os proxies de datacenter se destacam quando você roda muitas requisições em paralelo, mas o número de requisições paralelas deve ficar dentro do que o destino aguenta. Aqui está um exemplo com Scrapy que distribui requisições por vários IPs controlando a velocidade.

# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]

# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN

Com vários IPs, divida as requisições de forma equilibrada entre eles. Se um IP recebe a maior parte da carga, esse endereço atinge os limites primeiro.

Os proxies de datacenter são cobrados por IP, a partir de $1.20 por IP. Os dados transferidos não entram no preço, então quanto maiores as páginas e mais requisições você faz, mais ele supera os produtos por GB.

Por exemplo, compre 20 IPs para rodar um crawler de sitemaps e o custo fica em 20 × $1.20. Passe dezenas de GB por esses IPs e o valor continua o mesmo. O mesmo volume no residencial rotativo, cobrado por GB, continuaria consumindo o saldo a cada GB.

Então, com muitos dados e pouco bloqueio, o datacenter costuma ganhar; com poucos dados ou muito bloqueio, o residencial rotativo muitas vezes custa menos. Uma execução de amostra que mede a taxa de bloqueio e o tamanho das páginas permite decidir com números.

1. 1Cadastre-se e guarde seu token de acesso. Ele é ao mesmo tempo seu login e a senha do proxy.
2. 2Recarregue e escolha um país e o número de IPs no produto datacenter.
3. 3Copie o formato do painel de que sua ferramenta precisa: http, socks5 ou host:port:user:token.
4. 4Adicione-o ao seu crawler ou ferramenta de monitoramento e rode a verificação com curl para confirmar o local do IP.
5. 5Comece com poucas requisições paralelas e aumente aos poucos observando os códigos de resposta.

Comece com um número baixo de requisições paralelas e só aumente depois que a taxa de erros parecer estável. Onde informar as configurações em cada ferramenta está no Início rápido.

Os proxies de datacenter estão disponíveis em 18 países, concentrados em lugares com muitas instalações de servidores, como Estados Unidos, Reino Unido, Alemanha, Japão e Singapura.

Escolha por dois critérios. Se você precisa do que os usuários de um país veem, como em testes de localização, escolha esse país. Se a velocidade pura importa, escolha um país perto dos servidores do destino para respostas mais rápidas. Os produtos por país estão listados em Locais, e uma página como IP de Singapura mostra rapidamente quais produtos você pode usar ali.

Como os proxies de datacenter são rápidos, eles também podem sobrecarregar um destino com facilidade. Encontrar o ritmo em que o destino ainda responde normalmente rende mais dados no fim do que rodar na velocidade máxima.

• Quando as respostas 429 aumentarem, corte as requisições paralelas pela metade e depois aumente de novo devagar.
• Defina um limite separado de requisições por domínio.
• Respeite o robots.txt, os termos de serviço e o que é destinado a ser público.
• Testes de carga ou ataques que possam derrubar um destino são proibidos.

Se os bloqueios continuarem, não force. Diminua o ritmo ou passe para outro produto.

Rode um trabalho de amostra em alguns IPs e meça primeiro a taxa de bloqueio. Se os resultados forem bons, acrescente IPs para ampliar e envie só as partes bloqueadas para outro produto. Veja os valores de recarga em Preços e depois cadastre-se para pegar seu token.