IPローテーション用のプロキシを設定する
Sunday, April 08, 2018 10:34 AMサイトのスクレイピングは、スクレイピング先のサーバーに負荷をかけるため、あるサイトはIPブロックのようなスクレイビング防止対策を取ります。Octoparseでプロキシの手動設定は、外部プロキシー（または特定の国）からサイトにアクセスしたい場合や、Cloud Extraction 
の自動IPローテーション機能を使わなくご自分のプロキシを使う場合にとても便利です。また、「スクレイピング禁止」と書かれているサイトでのご利用は控えてください。
有料の外部プロキシ設定機能を持つ他のスクレイピングツールとは異なり、Octoparseではすべてのユーザーがカスタマイズのプロキシを追加できます。IPアクセス拒否は、スクレイピングに発生する問題の1つです。ですから、プロキシまたはプロキシサーバーは、Webスクレイピングの不可欠な部分であり、匿名Webスクレイピングに広く使用されています。
ローテーションに外部プロキシを使うには：
タスクの設定が完了したら、ワークフローの上にある「Settings」をクリックします。
(「Setting」オプションは、ワークフローに「Extract data」ステップがある場合にのみ使用できます。)
「Use proxies」を選択し、「Settings」をクリックしてカスタムプロキシを追加します。 現在、OctoparseはHTTPプロキシだけをサポートしています。プロキシサーバーのIPアドレスとポート番号をコロンで区切ります。例： 58.22.214.29:2318
複数のIPがある場合は、「IP Proxies」に各プロキシを新しい行で追加します。
「OK」と「Save」をクリックして変更を保存します。ローカルでタスクを行うとき、Octoparseは設定のIPに従って実行します。
|
ヒント！ プロキシのカスタマイズは、Local Extraction Octoparse有料版 |
プロキシを使ってIPアドレスを変更してOctoparseにログインする - 学校または企業のイントラネットが外部アクセスを制限するせいで、Octoparseにログインできない場合、プロキシを使ってOctoparseを使用します。
これを行うには、「Use IP Proxy」をクリックし、必要な情報を入力してください：
接続が成功したかどうかをテストするには、「Test」ボタンをクリックします。 成功すると、以下の提示が出てきます。
関連記事：
