すべてのコレクション
ヘルプ
ワークフロー
実行前の待機時間を設定する
実行前の待機時間を設定する
一週間前以上前にアップデートされました

待機時間を設定する理由は?

Webクローリングでは、プログラムを使用してブラウザをシミュレートし、Webページから情報を収集します。Webページを開くと、すべてのコンテンツが一度に読み込まれるわけではありません。一部のコンテンツはJavaScriptなどのスクリプトで動的に生成される場合があり、または他のサーバーからデータをロードする必要がある場合もあります。したがって、Webページを開くときには、すべてのコンテンツが読み込まれるのを待つ必要があります。

Webページが完全に読み込まれる前に情報を収集し始めると、重要な情報が失われる可能性があります。また、頻繁にサイトにアクセスすることは、サーバーの負荷を高め、サイトの応答速度を遅くする可能性があるため、私たちが望むことではありません。

したがって、すべての情報を正しく収集し、サイトからブロックされないようにするためには、Webページを開いた後に一定時間待つ必要があります。待機時間は、Webページのサイズと読み込み速度に応じて調整することができます。

待機時間を設定する手順

1. 待機時間を設定する

ワークフローにあるすべてのステップは、待機時間を設定できます。ステップの設定画面で、実行前の待機設定オプションを簡単に見つかります。

mceclip0.jpg

今のところ、待機時間を1~30秒以内に設定できます。

2. 待機要素を設定する

待機時間のほかに、要素のXPathを入力するか、Webページから要素を選択するか、指定要素が表示されるまで待機するのも設定できます。

mceclip1.jpg
mceclip2.jpg

注意:

  1. 指定要素が表示されるまで待機」は、「実行前に数秒を待機」設定と一緒に設定する必要があります。これにより、無限の待機を回避できます。

  2. 要素のXPathがわからない場合は、「XPathとは?OctoparseでXPathを利用する方法は?」を確認できます。または、ウェブページから要素を選択すると、Octoparseが自動的にXPathを生成します。

こちらの回答で解決しましたか?