IPローテーションはどのように機能しますか?

Wednesday, May 29, 2019 1:15 PM

Webスクレイピングに非常に敏感なWebサイトもあります。また、IPをブロックしてスクレイピング活動を阻止するなど、スクレイピング防止対策を利用しています。したがって、データスクレイピングでは複数のIPを使用することが非常に便利です。

 

Octoparseは何を提供していますか?

1.カスタムプロキシ

カスタムプロキシは現時点でローカル抽出のみに追加できます。プロキシの設定の詳細をご覧ください。

Octoparseは現在プロキシを提供していないですが、Web上に無料のプロキシサーバーと有料のプロキシサーバーがたくさんあるので、プロキシが簡単に入手できます。

2.IPローテーション

Octoparse クラウドサービスは、それぞれ唯一のIPアドレスを持つ何千のクラウドサーバーによってサポートされています。タスクがクラウド抽出の場合、6から20のランダムクラウドサーバーが割り当てられ、タスクを同時に実行します。ターゲットWebサイトで追跡およびブロックされる可能性を最小限に抑えながら、さまざまなIPを転換することでターゲットWebサイトでスクレイピングが実行できます。また、IPプールが常に更新されています。

 

なぜCloud Extractionを使いますか。

1.抽出スピードアップ

6〜20台のクラウドサーバーが同時にデータをスクレイピングできます。そのため、ローカル抽出より6〜20倍のスピードでスクレイピングできます。

2.キャプチャー(Captcha)を避ける

より多くのIPは一般的に検出される可能性が低いということを指しています。したがってCaptchaも自然に少なくなります。

(Octoparseクラウドサービスの利点についてもっと知る)

 

関連記事:

なぜOctoparseが異常終了したりフリーズしたりしますか? 

OctoparseはCAPTCHA / reCAPTHCAを処理できますか? 

 

 

btn_sidebar_use.png
btn_sidebar_form.png