クラウドWebスクレイピング
クラウド収集でWebデータ取得を自動化
クラウド収集とは、Octoparseで作成したタスクをローカルPCではなくOctoparseのクラウドサーバーで実行し、Webデータを収集する仕組みです。PCを起動したままにせず、日次の価格監視や複数サイトの定期取得を運用できます。
クラウド収集・スケジュール実行はスタンダードプラン以上で利用できます。
クラウドタスクの実行フロー
設定後の流れをひと目で確認
スケジュール設定
毎日 09:00に開始
クラウド収集
PCに依存せず実行
データ出力
用途に合う形式で保存・連携
実際の実行時間や取得結果は、対象サイトの構造・応答状況・タスク設定によって異なります。
クラウド収集を選ぶ理由
PCに縛られない、継続的なWebデータ収集へ
タスクをOctoparseのクラウドサーバーで実行することで、ローカル端末の稼働状況に左右されにくい収集体制を構築できます。定期実行、複数タスクの運用、完了後の自動エクスポートまでをつなげられます。
PC OFF
ローカル端末を占有せずに実行
クラウド収集の実行中は、ローカルPCでOctoparseを起動し続ける必要がありません。長時間の収集でも、担当者の端末をほかの業務に使えます。
24時間
クラウド上でタスクを継続
PCの電源や社内ネットワークに依存せず、設定したタスクをOctoparseのクラウド環境で実行できます。
分・時・日
更新頻度に合わせて定期実行
分・時間・日・週・月単位でスケジュールを設定し、価格や店舗情報などの変化を継続的に追跡できます。
複数タスク
収集規模に合わせて並行運用
対応プランの実行枠やクラウドサーバー数に合わせて、対象サイト別のタスクを並行して運用できます。
IPローテーション
クラウドIPをサブタスク単位で切り替え
クラウド収集では、ローカルPCのIPではなくOctoparseのクラウドIPを使用します。IPはサブタスクごとにローテーションし、次の実行では新しいIPがランダムに再割り当てされるため、ローカルIPにアクセスが集中して制限を受けるリスクを抑えられます。
サブスクリプションに含まれるクラウド実行
24時間 × 30日
月を通してクラウド収集を継続運用
スタンダードプラン以上では、クラウド収集を実行時間や取得件数ごとの従量課金ではなく、月額または年額のサブスクリプションに含まれる機能として利用できます。PCを稼働させず、契約期間中は月を通した継続運用が可能です。
利用できるクラウドサーバー数・同時実行数・タスク数などはプランによって異なります。テンプレートなど一部サービスには別料金が設定される場合があります。
クラウド収集の仕組み
設定からデータ活用までを一つの流れに
タスクの準備、実行環境の設定、クラウド収集スケジュールの登録、データエクスポートまで、クラウド収集を始める流れを4つのステップで確認できます。
STEP 01
収集タスクを作成
取得項目やページ操作を設定してカスタムタスクを作成する方法と、用意済みのテンプレートからタスクを立ち上げる方法があります。
タスクの作り方は2通り
カスタムタスクを作成
対象URLを読み込み、クリック、ページ送り、ログイン、取得項目などの操作を画面上で設定します。複雑なページや独自の収集条件にも対応できます。
テンプレートから開始
対象サイトに対応するテンプレートを選び、キーワードや地域などのパラメータを入力して、すぐに収集を始められます。
作成したタスクは保存して再利用でき、次のステップでクラウド実行や定期スケジュールを設定できます。
カスタムタスク 
iタウンページ 店舗・施設リスト情報テンプレート 
STEP 02
実行設定
カスタムタスクでは、実行前に「実行設定」を開き、内蔵ブラウザやクラウドサーバー群などの実行環境を調整できます。対象サイトに合わせて、複数の国・地域にあるクラウドサーバー群から実行環境を選択できます。また、増分収集を有効にすると、前回までに収集したURLと比較し、新しく追加されたページを効率よく取得できます。比較条件はURL全体、または指定したURLパラメーターから選択できます。
- 内蔵ブラウザやUser-Agentをタスクに合わせて設定
- 複数の国・地域にあるクラウドサーバー群を選択
- 契約プランで利用可能なクラウドサーバー数に応じて、タスクを分割して並列実行
- 増分収集で既存URLと比較して重複を除外し、新しいページの情報を効率よく取得
「実行設定」で実行環境と増分収集を調整 
STEP 03
実行スケジュールを設定
対象のタスクを選び、「スケジュール実行」メニューから「クラウド収集スケジュールを登録」を選択します。続いて実行頻度と開始時刻を設定すると、登録したスケジュールに沿ってクラウド上で収集を自動実行できます。
クラウド収集スケジュールを登録 
実行頻度と開始時刻を設定 
単発でクラウド収集する場合
スケジュールを登録せず、その場で一度だけ実行する場合は、タスクの実行時に「クラウド収集」を選択します。収集処理はOctoparseのクラウドサーバー上で行われるため、ローカルPCを長時間占有せず、PCの電源を切った後もタスクを継続できます。
「クラウド収集」を選択して実行 
CLIから単発収集も定期実行も可能
Octoparse CLIでは、コマンドからタスクを一度だけ起動する単発収集に加え、cronやCI/CD、社内のジョブスケジューラーに組み込んだ定期実行にも対応できます。実行タイミングをスケジューラー側で管理できるため、担当者が毎回クライアントアプリを開かずに、夜間バッチや定期更新を自動化できます。
CLIについて詳しく見るSTEP 04
保存・連携
取得したデータは、Excel、CSV、JSONなどのファイルとしてローカルへ直接エクスポートできます。さらに、Google Sheets、各種データベース、Google Drive、Dropbox、Amazon S3などのクラウドストレージにも出力できます。実行スケジュールと連動する自動エクスポートを設定すると、タスクの完了後に指定先へ自動で保存され、データをすぐに確認・共有して後続業務に利用できます。
利用できる出力先や自動エクスポート機能は、契約プランによって異なります。
出力先と形式を選択 
実行完了後に自動エクスポート設定画面を見る
実行スケジュールと自動エクスポートを組み合わせることで、定期収集から保存先への出力までを一つの流れとして自動化できます。
自動エクスポートの対象を設定 
保存先とエクスポート形式を指定 
実行環境の選び方
クラウド収集、ローカル収集、自社運用の違い
収集頻度、保守に使える時間、必要な拡張性によって適した方法は変わります。FlaskはPython処理の窓口を作る技術であり、VPSなどの実行基盤と保守は別途必要です。
| 比較項目 | Octoparseのクラウド収集 | Octoparseのローカル収集 | Pythonの自社運用（VPS・Flaskを含む） |
|---|---|---|---|
| 向いている用途 | 定期監視、複数タスク、PCに依存しない継続運用 | 試行、少量の単発収集、手元で結果を確認したい場合 | 独自ロジックや社内システムへ深く組み込む場合 |
| コーディング | 基本不要 | 基本不要 | 設計・開発・テストが必要 |
| 定期実行 | 対応プランでスケジュール設定が可能 | 端末の稼働状況に左右される | ジョブ管理や障害対応を自社で構築 |
| 運用・保守 | タスク設定と実行結果の確認に集中しやすい | 端末、通信環境、タスクを自社で確認 | コード、サーバー、依存関係、監視を自社で保守 |
| 規模の拡張 | プランの実行枠に合わせて複数タスクを運用 | 端末性能と稼働時間を考慮 | サーバー増強と実行制御の設計が必要 |
公式APIで必要なデータと更新頻度を満たせる場合は、まずAPIの利用条件を確認してください。独自処理を細かく制御したい場合はPython、ノーコードで継続収集したい場合はOctoparseが候補になります。
店舗情報の定期収集
ローカル店舗情報の収集では、会社・店舗名、住所、電話番号、営業時間、カテゴリなどを地域・業種ごとに定期収集し、新規開店や掲載情報の変更を継続的に把握できます。営業リストの更新、出店調査、商圏分析などにも活用できます。
店舗情報テンプレートを使うAmazonなどの価格・在庫を定期監視
AmazonをはじめとするECサイトから、競合商品や自社取扱商品の価格、在庫、レビューなどを定期的に収集し、変化の把握や履歴データの蓄積に使えます。
Amazonスクレイパーを見る安定性と拡張性
長時間・大規模な収集をクラウドで運用
対応プランでは、タスク分割による並列実行や複数タスクの運用が可能です。端末性能に処理を集中させず、対象サイトや更新頻度ごとに実行を整理できます。ただし、クラウド環境だけで取得成功が保証されるわけではないため、実行結果を確認できる運用設計も重要です。
継続運用を支える4つのポイント
- 対象サイトと更新頻度ごとにタスクを分ける
- 長時間タスクは処理範囲を分割し、実行時間帯を分散する
- 取得件数、欠損、実行ログを定期的に確認する
- 失敗やタイムアウトを確認し、原因の修正後に再実行する
Webスクレイピングを行う際は、対象サイトの利用規約、robots.txt、個人情報、著作権、アクセス負荷を確認してください。
運用モニタリング
APIで全タスクの実行状況を集約
対応プランでは、Task Performance Analytics APIからタスクの実行回数、成功率、収集件数、リソース使用量などを日・週・月単位で取得できます。監視ツールや定期レポートに組み込むことで、複数タスクの状態を継続的に確認できます。
成功率や収集件数の急な低下は、対象サイトの構造やアクセス条件が変わった可能性を確認するきっかけになります。異常を検知したら実行ログと取得結果を確認し、必要に応じてタスクを調整します。
タスク分析APIの仕様を見るデータ出力と連携
収集後の使い方に合わせて出力
手元での分析、チーム共有、既存システムへの連携など、目的に合う方法を選べます。利用できる出力先や自動化機能はプランによって異なります。
Excel・CSV
表計算や社内共有で扱いやすい形式に出力します。
JSON・XML
データ処理や別ツールへの受け渡しに使える形式です。
Google Sheets
チームで確認・共有する表へつなげられます。
API・データベース
対応プランでは既存の業務フローへの連携も検討できます。
クラウドストレージ
Google Drive、Dropbox、Amazon S3などへ出力し、共有や後続処理に利用できます。
クラウド収集・定期実行のよくある質問
繰り返しのWebデータ収集を自動化
まずは収集タスクを作成し、必要な頻度とデータ形式を整理しましょう。クラウド収集・スケジュール実行を使う場合は、対応プランをご確認ください。