Proxy serwerowe do szybkich i tanich zapytań na słabo chronionych stronach

IP serwerowe pochodzą z łączy w obiektach pełnych serwerów, a nie z domów czy telefonów. Te łącza są szerokie i stabilne, więc odpowiedzi wracają szybko, a prędkość utrzymuje się nawet przy wielu żądaniach naraz. Bez domowego łącza czy sieci operatora po drodze cena jest najniższa spośród czterech produktów.

Druga strona medalu jest taka, że strony docelowe mogą rozpoznać, że adres pochodzi z centrum danych. Strony, które chcą tylko zwykłych odwiedzających, mogą traktować IP serwerowe surowiej. To, czy proxy serwerowe są najbardziej efektywnym wyborem, czy złym, zależy więc od tego, jak mocno blokuje strona docelowa.

Połączenie jest takie samo jak w innych produktach: łączysz się z bramą gate.proxymay.com:7000 przez HTTP lub SOCKS5 i używasz tokenu dostępu jako hasła. Zmieniasz tylko ustawienie proxy w swoim crawlerze, więc łatwo porównać produkty na tym samym kodzie.

Najpewniej zmierzyć to na małej próbce. Wyślij około 200 żądań do stron docelowych przez IP serwerowe i zapisz wyniki.

• Jeśli większość wraca z kodem 200 i normalną treścią, proxy serwerowe wystarczą.
• Jeśli pojawiają się odpowiedzi 403 i 429, zwolnij i zmierz ponownie.
• Jeśli ciągle trafiasz na strony logowania lub weryfikacji, przejście na rotacyjne proxy rezydencjalne oszczędzi pieniądze i czas.

Cele, które zwykle dobrze działają na IP serwerowych, to strony, które sam prowadzisz, publiczne rejestry instytucji rządowych, strony publikowane do odczytu przez maszyny, takie jak feedy produktowe, oraz mapy witryn pozwalające na indeksowanie przez wyszukiwarki. Zachowaj wyniki próbki z datą. Zasady blokowania na tej samej stronie mogą się zmienić po kilku miesiącach, a regularne ponowne pomiary powiedzą Ci, kiedy zmienić produkt.

Proxy serwerowe wybierasz ze względu na szybkość i cenę. Jeśli zadanie nie wymaga wyglądania jak użytkownik domowy, nie ma powodu płacić za droższy adres.

Jeśli strona docelowa często blokuje adresy serwerowe, przejdź na rotacyjne proxy rezydencjalne: każde żądanie wychodzi z innego domowego IP, a blokad ubywa. Jeśli potrzebujesz tego samego IP zalogowanego przez tygodnie, użyj statycznych proxy ISP; jeśli chcesz zobaczyć to, co widzą użytkownicy telefonów, użyj proxy mobilnych.

W praktyce często się je łączy. Lekkie części, takie jak mapy witryn i strony z listami, pobieraj szybko przez IP serwerowe, a do rotacyjnych proxy rezydencjalnych wysyłaj tylko blokowane strony szczegółów. Całkowity koszt wyraźnie spada, a przy jednym saldzie nie ma osobnego doładowania dla każdego produktu.

• Sprawdzanie własnej strony: regularnie potwierdzaj, że Twoja strona ładuje się w kilku krajach, i sprawdzaj, jak szybko odpowiada.
• Przeszukiwanie map witryn: szybko przechodź przez mapy witryn z dziesiątkami tysięcy adresów URL, aby znaleźć niedziałające linki i przekierowania.
• Zbieranie publicznych list: pobieraj duże ilości danych, na których zbieranie zezwala wydawca, takich jak publiczne rejestry i otwarte feedy produktowe.
• Testy lokalizacji: sprawdzaj, czy język, waluta i wyświetlanie cen poprawnie zmieniają się w zależności od kraju w Twojej usłudze.

Proxy serwerowe błyszczą przy wielu równoległych żądaniach, ale ich liczba powinna mieścić się w tym, co strona docelowa jest w stanie obsłużyć. Oto przykład dla Scrapy, który rozkłada żądania na kilka IP, kontrolując prędkość.

# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]

# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN

Przy kilku IP rozdzielaj żądania równo między nie. Jeśli jedno IP przejmuje większość obciążenia, ten adres pierwszy trafi na limity.

Proxy serwerowe są rozliczane za IP, od $1.20 za IP. Przesłane dane nie wpływają na cenę, więc im większe strony i im więcej żądań, tym bardziej wygrywają z produktami rozliczanymi za GB.

Na przykład kupujesz 20 IP do uruchomienia crawlera map witryn, a koszt wynosi 20 × $1.20. Przepuść przez te IP dziesiątki GB, a kwota pozostanie taka sama. Ten sam wolumen na rotacyjnych proxy rezydencjalnych, rozliczanych za GB, pomniejszałby saldo za każdy GB.

Przy dużej ilości danych i słabych blokadach zwykle wygrywają więc proxy serwerowe; przy małej ilości danych lub silnych blokadach rotacyjne proxy rezydencjalne często kosztują mniej. Próbny przebieg, który mierzy odsetek blokad i rozmiar stron, pozwala zdecydować na podstawie liczb.

1. 1Zarejestruj się i zapisz token dostępu. Służy zarówno do logowania, jak i jako hasło proxy.
2. 2Doładuj saldo, a następnie wybierz kraj i liczbę IP w produkcie proxy serwerowych.
3. 3Skopiuj z panelu format, którego potrzebuje Twoje narzędzie: http, socks5 lub host:port:user:token.
4. 4Dodaj go do crawlera lub narzędzia monitorującego i uruchom test curl, aby potwierdzić lokalizację IP.
5. 5Zacznij od niewielu równoległych żądań i zwiększaj je stopniowo, obserwując kody odpowiedzi.

Zacznij od niskiej liczby równoległych żądań i zwiększaj ją dopiero wtedy, gdy odsetek błędów jest stabilny. Gdzie wpisać ustawienia w poszczególnych narzędziach, opisujemy w szybkim starcie.

Proxy serwerowe są dostępne w 18 krajach, głównie tam, gdzie jest wiele obiektów serwerowych, takich jak Stany Zjednoczone, Wielka Brytania, Niemcy, Japonia i Singapur.

Wybieraj według dwóch kryteriów. Jeśli potrzebujesz tego, co widzą użytkownicy w danym kraju, jak przy testach lokalizacji, wybierz ten kraj. Jeśli liczy się sama szybkość, wybierz kraj blisko serwerów strony docelowej, aby uzyskać szybsze odpowiedzi. Produkty dla każdego kraju są wymienione w lokalizacjach, a strona taka jak IP z Singapuru pokazuje w jednym spojrzeniu, z których produktów możesz tam korzystać.

Ponieważ proxy serwerowe są szybkie, mogą też łatwo obciążyć stronę docelową. Znalezienie tempa, przy którym strona wciąż odpowiada normalnie, daje w efekcie więcej danych niż praca na maksymalnej prędkości.

• Gdy przybywa odpowiedzi 429, zmniejsz o połowę liczbę równoległych żądań, a potem powoli ją zwiększaj.
• Ustaw osobny limit żądań na domenę.
• Szanuj robots.txt, regulamin i to, co ma być publiczne.
• Testy obciążeniowe lub ataki, które mogłyby unieruchomić stronę docelową, są zabronione.

Jeśli blokady się powtarzają, nie forsuj. Zwolnij lub przejdź na inny produkt.

Najpierw uruchom próbne zadanie na kilku IP i zmierz odsetek blokad. Jeśli wyniki są dobre, dodaj IP, aby zwiększyć skalę, a do innego produktu wysyłaj tylko blokowane części. Zobacz kwoty doładowań w cenniku, a następnie zarejestruj się, aby odebrać token.