Webスクレイピングに非常に敏感なWebサイトもあります。また、IPをブロックしてスクレイピング活動を阻止するなど、スクレイピング防止対策を利用しています。したがって、データスクレイピングでは複数のIPを使用することが非常に便利です。
Octoparseは何を提供していますか?
1.カスタムプロキシ
カスタムプロキシは現時点でローカル抽出のみに追加できます。プロキシの設定の詳細をご覧ください。
Octoparseは現在プロキシを提供していないですが、Web上に無料のプロキシサーバーと有料のプロキシサーバーがたくさんあるので、プロキシが簡単に入手できます。
2.IPローテーション
Octoparse クラウドサービスは、それぞれ唯一のIPアドレスを持つ何千のクラウドサーバーによってサポートされています。タスクがクラウド抽出の場合、6から20のランダムクラウドサーバーが割り当てられ、タスクを同時に実行します。ターゲットWebサイトで追跡およびブロックされる可能性を最小限に抑えながら、さまざまなIPを転換することでターゲットWebサイトでスクレイピングが実行できます。また、IPプールが常に更新されています。
なぜCloud Extractionを使いますか。
1.抽出スピードアップ
6〜20台のクラウドサーバーが同時にデータをスクレイピングできます。そのため、ローカル抽出より6〜20倍のスピードでスクレイピングできます。
2.キャプチャー(Captcha)を避ける
より多くのIPは一般的に検出される可能性が低いということを指しています。したがってCaptchaも自然に少なくなります。
(Octoparseクラウドサービスの利点についてもっと知る)
関連記事:
なぜOctoparseが異常終了したりフリーズしたりしますか? 
OctoparseはCAPTCHA / reCAPTHCAを処理できますか? 