AIスクレイピングのやり方【2026年版】Octoparse×Claudeでデータ収集から分析まで自動化する

「AIにお願いすれば、Webのデータを集めて分析までしてくれるのでは？」――AIスクレイピングに期待されているのは、まさにこの一連の流れです。

ただ、AIだけでは大量のデータを安定して集め続けることはできません。逆に、スクレイピングツールだけでは、集めたデータを読み解く作業が人の手に残ります。いま最も実用的なAIスクレイピングは、スクレイピングツールがデータを確実に集め、AIがそのデータを読み解いて次の行動につなげるという組み合わせです。

本記事では、Octoparse（オクトパース・オクトパス）のテンプレートをClaudeからMCP経由で呼び出し、Amazon.co.jpの検索結果を収集して、そのままAIに分析させた手順を紹介します。Claudeへの依頼は日本語で数回送っただけ。クラウドで49商品のデータが集まり、分析からは「商品名に『ノイズキャンセリング』と書かれた商品の4割強は、通話用のノイズ低減だけだった」という発見が得られました。

総務省『令和8年版 情報通信白書』によると、国内企業の86.4%が何らかの業務で生成AIを利用しており、用途として最も多いのは議事録・メール作成の補助（約7割）でした（出典：総務省「生成AIの業務利用状況」）。文章づくりの次にAIの力が生きるのが、本記事で扱う「データを集めて分析する」仕事、つまりAIスクレイピングです。

AIスクレイピングとは？ツールとAIの役割分担

AIスクレイピングとは、Webページからデータを取り出す作業（スクレイピング）にAIを組み合わせ、データの収集から分析までを効率化する方法です。仕組みの解説はAI Webスクレイピングの仕組みにまとめていますが、実務で押さえておきたいのは「どちらが何を担うか」です。

AIだけ、ツールだけでは足りない理由

ChatGPTやClaudeにページの文章を渡せば、1ページ分の要約や表の書き出しはできます。しかし、数十〜数百ページを同じ形式で繰り返し取得し、ページ送りや読み込み待ちを処理しながらファイルに残すのは、会話だけでは安定しません。サイトのブロック対策に対応することもできません。

一方、スクレイピングツールはデータを確実に集められますが、集めた表を読み解いて「何が起きているか」「次に何を調べるべきか」を考えるのは人間の仕事でした。

この2つをつなぐと、役割分担は次のようになります。

AIスクレイピングの3つの方法とスクレイピングツールの選び方

AIスクレイピングの方法は、大きく3つに分けられます。

本記事で扱うのは③のAIスクレイピングです。Octoparseには、AIや外部プログラムから操作するための入り口が3つ用意されています。

AIスクレイピングを初めて試すなら、まずはMCPでテンプレートを呼び出すのが、いちばん簡単で確実です。

【基本】ClaudeからOctoparseのテンプレートを呼び出してデータを集める

ここからは、筆者が実際に行ったAIスクレイピングの手順です。テンプレートを使うAIスクレイピングなら、ClaudeのチャットにOctoparseをつなぐだけで始められます。今回はAmazon.co.jpで「ワイヤレスイヤホン」と検索した結果を集めました。

準備｜ClaudeにOctoparseを接続する

Claudeのアプリでは、設定のコネクタからOctoparseを追加します（カスタムコネクタの場合はURLに https://mcp.octoparse.com を指定）。チャット画面のツールメニューでOctoparseをオンにし、ブラウザでOctoparseにログインすれば準備は完了です。Claude Code や Codex から使う場合の手順はOctoparse MCPのドキュメントにまとまっています。

ステップ1｜使えるテンプレートをAIに探させる

最初に送ったのは、次の依頼です。

Octoparse で Amazon.co.jp の検索結果を集めたい。使えるテンプレートを探して、キーワードで検索できてクラウドで動くものを教えて。入力項目と取得できる項目も見せて。

Claudeは Octoparse のテンプレートを検索し、https://www.octoparse.jp/template/amazon-japan-product-scraperを第一候補に挙げました。キーワードをそのまま入力でき、クラウドで実行できるテンプレートです。取得できる項目は次のとおりです。

• サイト、キーワード、ページ番号
• 商品名、ASIN（Amazonの商品番号）、商品URL、画像URL
• 価格、過去価格
• 評価、レビュー数、レビューURL
• スポンサー

あわせて、在庫や配送情報まで取れる多国対応の検索テンプレートや、商品詳細を取るテンプレートとの組み合わせ方も提案してくれました。どのテンプレートを使えばよいかを人が調べる必要はありません。

ステップ2｜テンプレートをクラウドで実行する

続けて、次のように依頼しました。

そのテンプレートで「ワイヤレスイヤホン」を検索して、上位の商品を集めて。ページ数は最小限でいい。

Claudeはテンプレートの入力項目にキーワードとページ数（1ページ）を設定してタスクを実行し、終わるとデータを取り出しました。結果は1ページ分で49商品です。

Amazonのようにボット対策が強いサイトでも、テンプレートならクラウドで安定して取得できます。テンプレートはOctoparseがサイトごとに作って保守しており、クラウド実行時のブロック対策も備えているためです。PCを開いておく必要もありません。

ステップ3｜CSVで受け取る

取得したデータは、ClaudeがそのままCSVにして渡してくれました。このとき、商品URLを https://www.amazon.co.jp/dp/ASIN の形に整え、色違いの商品が別のASINとして並んでいることも教えてくれました。集めたデータを使える形に整える作業まで、会話の中で終わります。

Claude Code・CodexからCLIで同じことをする

同じテンプレートは、CLIからも呼び出せます。Claude CodeやCodexに任せれば、コマンドを自分で打つ必要はありません。

bash

npm install -g @octoparse-ai/octoparse-cli
octoparse auth login --oauth

# テンプレートからタスクを作成（パラメータはテンプレートの入力項目名で渡す）
octoparse template-task create <templateId> --params-file params.json --json

# クラウドで実行して、終わったらCSVで書き出す
octoparse cloud start <taskId> --json
octoparse cloud status <taskId> --json
octoparse data export <taskId> --source cloud --format csv --file result.csv

CLIの使い方はOctoparse CLIのドキュメントで確認できます。

【活用】集めたデータをAIで分析する

ここからが、AIスクレイピングの本当の価値です。テンプレートで集めた49商品のデータを、同じ会話の中でClaudeに分析させました。依頼は次の1通です。

このデータを分析して。価格は使わずに、次の 3 つを出して。

1. 商品名から、各商品が訴求している機能（ノイズキャンセリング、防水、長時間再生など）を数えて多い順に
2. レビュー数と星評価で 4 つに分けて、「レビューが多いのに評価が 4.0 未満」の商品を一覧に
3. ブランドごとの商品数

Claudeは表示用に短くした商品名ではなく、取得した元の商品名を使って集計し直しました。

分析1｜商品名で訴求されている機能を数える

49商品の商品名から、訴求している機能を数えた結果です（1商品につき同じ機能は1回だけ数えています）。

いちばん興味深かったのは、Claudeが「ノイズキャンセリング」の中身を見分けたことです。そう書かれた33商品のうち、再生音を消すアクティブノイズキャンセリング（ANC）は19商品。残りの14商品は、通話時にマイクが拾う雑音を減らすENCだけで、その多くは商品名にブランドが書かれていない商品でした。同じ「ノイズキャンセリング」という言葉が、まったく違う機能を指して並んでいるわけです。

商品企画や広告文を考える立場なら、「ANC搭載」を具体的に書くこと自体が差別化になります。また、空間オーディオやワイヤレス充電を訴求している商品は少なく、打ち出し方しだいで目立てる余地があることも分かります。

分析2｜レビュー数と星評価で4つに分ける

次に、レビュー数（中央値の642件で区切る）と星評価（4.0で区切る）で49商品を4つに分けました。

「レビューが多いのに評価が4.0未満」の3商品は、いずれも国内大手ブランドの製品で、評価はそろって3.9でした。一方、評価5.0や4.8の商品には、レビューが8件、15件、27件と少ないものが目立ちます。星の数だけを見て「売れている」「評判が良い」と判断すると、見誤りやすいことが分かります。

分析3｜ブランドごとの商品数

商品名にブランド名が含まれるかどうかで数えると、49商品のうち17商品は商品名にブランドの記載がありませんでした。ブランド名が出ている中では、ソニーが6商品、Ankerが5商品、JBLが4商品と続きます。

Claudeは、色違いが別のASINとして数えられている点も補足し、モデル単位で数え直すとソニーとAnkerが5モデルずつで並ぶことも示しました。検索結果の1ページ目は、大手ブランドと、ブランド名を前面に出さない商品が入り混じった構図になっています。

分析4｜次に集めるべきデータをAIに提案させる

最後に、こう聞きました。

「レビューが多いのに評価が低い」商品について、次に何のデータを集めれば原因がわかる？ Octoparse のテンプレートで集められるなら、それも提案して。

Claudeは再びOctoparseのテンプレートを検索し、次のような計画を返しました。

さらに、「評価3.9は4.0との差がわずかなので、同じメーカーの評価が高い製品と並べて比べるべき」として、比較する商品の組み合わせまで提案してくれました。

ここに、AIスクレイピングでOctoparseとAIを組み合わせる意味が凝縮されています。Octoparseが集めたデータをAIが分析し、AIの分析結果からOctoparseで次に集めるデータが決まる。 人間がやるのは、目的を伝えて、提案された計画に「進めて」と返すことだけです。店舗の口コミで同じことをしたい場合は、https://www.octoparse.jp/template/google-maps-review-scraper-cloudを使えば、レビュー本文・星評価・投稿日をまとめて集められます。

2026年最新：AIスクレイピングを毎日自動で回す（MCP AI）

一度きりの分析で終わらせず、毎日データが届く仕組みにすると、AIスクレイピングの価値はさらに大きくなります。OctoparseのMCP AI機能を使えば、ClaudeやChatGPT、CodexなどのAIエージェントがOctoparseのスクレイピング能力を直接呼び出し、データの収集から分析までを自律的に実行します。

たとえば、AIエージェントに次のように指示するだけで、データの収集→整理→分析→レポーティングまでが自動化されます。

「Amazonで『ワイヤレスイヤホン』を検索して、上位の商品の商品名・星評価・レビュー数を毎日集めて。前日から新しく上位に入った商品と、レビュー数が大きく増えた商品を見つけて、スプレッドシートにまとめて」

従来なら、検索結果を開く、商品情報をコピーする、表に貼り付ける、前日のデータと見比べる、変化をまとめる、という工程をすべて人間が手作業で行う必要がありました。MCP AI機能を使えば、人間は目標設定だけを行い、AIが自律的に全工程を実行します。

収集の土台はOctoparseのクラウド実行です。テンプレートで作ったタスクは、CLIからスケジュールを設定して毎日自動で動かせます。

bash

# 毎日9時にクラウドで実行
octoparse schedule cloud update <taskId> --type 6 --date "" --time "09:00" --enabled true --yes --json

# 前回から増えた分だけを確認
octoparse data preview <taskId> --source cloud --unexported --json

競合商品の動きを毎朝チェックする担当者にとっては、「集める作業」から解放され、「何が起きているか」を考える時間に集中できるようになります。

【応用】テンプレートがないページはdetectでタスクを作る

テンプレートが用意されていないページでAIスクレイピングをしたい場合は、Octoparse CLIの detect でタスクを作れます。URLを渡すと、Octoparseがページを読み込んで、データがありそうな領域の候補、項目のサンプル、候補を色付きの枠で示した注釈付きスクリーンショットを出力します。AIエージェントはこの材料を見て、どの領域から何を取るかを決めます。

bash

octoparse detect "https://www.amazon.co.jp/s?k=ワイヤレスイヤホン" \
  --prepare-agent --goal "商品名・星評価・レビュー数・商品URLを取得" \
  --output context.json --json

筆者がClaude Codeで試したときは、Octoparseが示した候補の中から、Claude Codeが注釈付きスクリーンショットを見て中央の商品グリッドを選び、抽出計画（plan.json）を作りました。そのあとはOctoparseの検証機能でプレビューし、10行だけ試し実行して中身を確認してから本実行。50行を取得し、重複を除いて44商品になりました。

CLIで作ったタスクは、そのままデスクトップ版で開いて編集できます。2ページ目以降も取りたい場合は、デスクトップ版で「次へ」ボタン（//a[contains(@class,'s-pagination-next')]）をクリックするループを追加し、ループ項目のXPathを商品カードの属性 //div[@data-component-type='s-search-result'] にしておくと、ページ構造の変化に強いタスクになります。

自分で作ったタスクはローカルで実行するのが基本です。ボット対策が強いサイトをクラウドで定期的に集めたい場合は、前述のテンプレートを使ってください。

AIスクレイピングでつまずいたポイントと対処法

実際にAIスクレイピングを試す中でぶつかった壁と、その対処をまとめます。

AIスクレイピングの注意点（法律・利用規約）

AIスクレイピングでも、守るべきルールは従来のスクレイピングと変わりません。

• 利用規約とrobots.txtを確認する：スクレイピングを禁止しているサイトや、商用利用を制限しているサイトがあります
• アクセス頻度と取得量を控えめにする：今回も1ページ分から始めました。必要な分だけを集める設定にしてください
• 個人情報を集めない：氏名や連絡先など、個人を特定できる情報の収集は避けます

なお、Octoparse CLIの detect は、CAPTCHAやアクセス制限がかかったページを識別した場合、タスクを作らずに停止します。スクレイピングの違法性や「ばれる」といった疑問については、スクレイピングのよくある誤解で詳しく解説しています。

よくある質問(FAQ)

ChatGPTやClaudeだけでAIスクレイピングはできますか？

1ページ分の内容を要約したり表にしたりすることはできます。ただし、複数ページを同じ形式で繰り返し取得し、ファイルに残す用途には向きません。データの収集はOctoparseに任せ、AIには判断と分析を任せるのが確実です。

プログラミングができなくても使えますか？

使えます。MCPを使ったAIスクレイピングなら、ClaudeやChatGPTに日本語で依頼するだけで、テンプレートの検索から実行、データの書き出し、分析まで進みます。

無料で試せますか？

試せます。Freeプランでは、MCPとCLIでテンプレートを使った取得が合計で月2,000件まで無料です。detect で自分で作ったタスクをローカルで実行する場合は、この枠には含まれません。

Codexでも同じことができますか？

できます。MCPは codex mcp add octoparse --url https://mcp.octoparse.com で接続でき、CLIもCodexから普通のコマンドとして実行できます。

どんなサイトのテンプレートがありますか？

Amazon、楽天、Googleマップ、価格.com、Yahoo!ショッピングなど、国内外の主要サイトのテンプレートが用意されています。どれを使えばよいか分からないときは、MCPでAIに「〇〇のデータを集めたい」と伝えれば、候補を探してくれます。

まとめ

正直に言うと、筆者も最初は「AIがすごいのだから、AIに任せれば全部やってくれる」と思っていました。

考えが変わったのは、Claudeに分析を頼んだときです。「ノイズキャンセリング」と書かれた33商品のうち14商品は通話用のノイズ低減だけ、という発見は、AIが商品名を1件ずつ読み分けたから出てきたものです。ただ、その前提には、Octoparseのテンプレートがクラウドで黙々と49商品を集めてきた事実がありました。データが届かなければ、AIは分析のしようがありません。

AIスクレイピングの価値は、AIの賢さだけでも、ツールの収集力だけでも生まれません。確実にデータが届く仕組みと、そのデータを判断に変える相棒がそろったときに、はじめて「集める→分析する→次を集める」が回り始めます。

AIスクレイピングの第一歩として、まずはClaudeにOctoparseをつないで、あなたが毎週手作業で見ているサイトのデータを、テンプレートで1回集めてみてください。

Octoparseを無料でダウンロード｜Octoparse MCP AIを詳しく見る

関連記事

• スクレイピングのよくある誤解10選【2026年版】
• クラウドで定期実行できるノーコードスクレイピングツールはどれがおすすめですか？