データセンタープロキシ：ブロックが弱いサイトを高速、低価格で照会

データセンターのIPは、家庭やスマホではなく、サーバーが並ぶ施設の回線から来ています。こうした回線は帯域が広く安定しているため、応答が速く、多くのリクエストを同時に送っても速度が落ちにくいのが特長です。経路に家庭用回線や通信事業者のネットワークを挟まないため、価格は4つの製品の中で最も低くなります。

その反面、対象サイトはそのアドレスがデータセンターから来ていると判別できます。一般の訪問者だけを求めるサイトでは、データセンターのIPがより厳しく扱われることがあります。そのため、データセンタープロキシが最も効率的な選択になるか不向きな選択になるかは、対象サイトのブロックの強さで決まります。

接続方法は他の製品と同じで、HTTPまたはSOCKS5でgate.proxymay.com:7000ゲートウェイに接続し、アクセストークンをパスワードに使います。変えるのはクローラーのプロキシ設定だけなので、同じコードで製品を比較するのも簡単です。

最も確実なのは、少量のサンプルで測ることです。データセンターのIPで対象ページを200件ほどリクエストし、結果を記録してください。

• ほとんどが200で正常な内容が返るなら、データセンターで十分です。
• 403や429の応答が一部混ざるなら、速度を落としてもう一度測ってください。
• ログインページや認証ページに何度も行き着くなら、ローテーション住宅用に移す方がお金も時間も節約できます。

データセンターのIPで問題なく動くことが多い対象には、自社で運営するサイト、政府機関の公開記録、商品フィードのように機械が読むために公開されたページ、検索エンジンのクロールを許可しているサイトマップなどがあります。サンプルの結果は日付と一緒に残してください。同じサイトでもブロックのルールは数か月後に変わることがあり、定期的に測り直せば製品を切り替える時期がわかります。

データセンターは、速度と価格で選ぶ製品です。作業で家庭の利用者に見える必要がなければ、より高いアドレスに払う理由はありません。

対象サイトがデータセンターのアドレスをよくブロックするなら、ローテーション住宅用プロキシに切り替えてください。リクエストごとに別の家庭用IPから送信され、ブロックが減ります。同じIPで数週間ログインしたままにする必要があるなら固定ISPプロキシを、スマホ利用者に見える画面を確認するならモバイルプロキシを使ってください。

実際には組み合わせて使うことがよくあります。サイトマップや一覧ページのような軽い部分はデータセンターのIPで素早く取得し、ブロックされる詳細ページだけをローテーション住宅用に送ります。総費用が大きく下がり、残高が1つなので製品ごとに別々にチャージする必要もありません。

• 自社サイトの確認：自社サイトが複数の国で表示されるか、どれくらい速く応答するかを定期的に確認します。
• サイトマップのクロール：数万件のURLを含むサイトマップを素早く巡回し、リンク切れやリダイレクトを見つけます。
• 公開リストの収集：公開記録や公開された商品フィードなど、公開元が収集を認めている大量のデータを取得します。
• ローカライズテスト：自社サービスで、言語、通貨、価格表示が国ごとに正しく切り替わるかを確認します。

データセンタープロキシは多数の並列リクエストで力を発揮しますが、並列数は対象サイトが処理できる範囲に収めてください。速度を制御しながら複数のIPにリクエストを分散するScrapyの例です。

# settings.py
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 0.25
AUTOTHROTTLE_ENABLED = True
RETRY_HTTP_CODES = [429, 503]

# proxies.txt (copied from the dashboard in host:port:user:token format)
gate.proxymay.com:7000:USERNAME:YOUR_TOKEN

複数のIPを使う場合は、リクエストを均等に振り分けてください。1つのIPに負荷の大半がかかると、そのアドレスが先に制限に達します。

データセンタープロキシはIPごとに課金され、1IPあたり$1.20からです。転送したデータ量は料金に含まれないため、ページが大きくリクエストが多いほど、GB課金の製品より有利になります。

たとえばサイトマップのクローラーを動かすためにIPを20個購入すると、費用は20 × $1.20になります。そのIPで数十GBを取得しても金額は変わりません。同じ量をGB課金のローテーション住宅用で処理すると、1GBごとに残高が減り続けます。

つまり、データ量が多くブロックが弱いならたいていデータセンターが有利で、データ量が少ないかブロックが強いならローテーション住宅用の方が安くなることがよくあります。ブロック率とページサイズを測るサンプル実行をすれば、数字で判断できます。

1. 1登録してアクセストークンを保存します。ログインにもプロキシのパスワードにも使います。
2. 2チャージして、データセンター製品で国とIPの数を選びます。
3. 3ツールに必要なダッシュボードの形式（http、socks5、host:port:user:token）をコピーします。
4. 4クローラーや監視ツールに追加し、curlチェックを実行してIPの場所を確認します。
5. 5最初は並列リクエストを少なくし、応答コードを見ながら段階的に増やします。

並列数は低く始め、エラー率が安定してから上げてください。各ツールのどこに設定を入力するかはクイックスタートで説明しています。

データセンタープロキシは18か国で利用でき、アメリカ、イギリス、ドイツ、日本、シンガポールなどサーバー施設の多い国が中心です。

選ぶ基準は2つです。ローカライズテストのようにその国の利用者に見える画面が必要なら、その国を選びます。純粋に速度が重要なら、対象サイトのサーバーに近い国を選ぶと応答が速くなります。国ごとの製品は対応地域に一覧があり、シンガポールのIPのようなページを見ると、その国で使える製品がひと目でわかります。

データセンタープロキシは速いぶん、対象サイトに負荷をかけやすくもあります。最高速度で動かすより、対象サイトが正常に応答し続ける速度を見つける方が、最終的に多くのデータを取得できます。

• 429の応答が増えたら並列リクエストを半分にし、その後ゆっくり戻してください。
• ドメインごとのリクエスト数に別途上限を設けてください。
• robots.txt、利用規約、公開を意図された範囲を尊重してください。
• 対象サイトを停止させるおそれのある負荷テストや攻撃は禁止です。

ブロックが続く場合は無理に続けないでください。速度を落とすか、別の製品に移してください。

まず少数のIPでサンプル作業を実行し、ブロック率を測ってください。結果がよければIPを追加して規模を広げ、ブロックされる部分だけを別の製品に送ります。チャージ額は料金で確認し、登録してトークンを受け取ってください。