HTMLスクレイピングとは、WebページのHTMLソースを取得し、その構造の中から必要な情報だけを機械的に抜き出す技術のことです。商品価格の一覧化や競合サイトの監視、市場調査のためのデータ収集など、手作業でのコピー&ペーストでは追いつかない場面で使われています。この記事では、Pythonでの実装方法から、コードを書かずに済むノーコードでの始め方まで、実務でつまずきやすいポイントと合わせて解説します。「WebサイトのHTMLテキスト取得」と検索して来られた方も、ここで扱う内容とほぼ同じです。
HTMLスクレイピングとは？
言い換えると、webサイトのHTMLテキストを取得し、そこから特定の要素(価格、タイトル、URLなど)だけを取り出す作業のことです。ブラウザが表示する前のHTML(タグで構造化されたテキストデータ)を直接読み取り、目で見て手作業でコピーするのではなく、プログラムやツールに「このタグの中身を取ってきて」と指示することで、数十〜数千ページ分のデータを短時間で集められる点が最大のメリットです。
より広い概念であるWebスクレイピングの基本や活用事例の中でも、HTMLスクレイピングは「静的なHTML構造からデータを抜き出す」技術的な側面にフォーカスした呼び方です。画像や動画など他形式のデータ収集を含む広義のスクレイピングに対し、テキストベースの情報整理を目的とする場面でよく使われます。
HTMLスクレイピングはどんな仕組みで動く？
この処理は、どんなツールや言語を使っても基本的に「取得」「解析」「抽出」という3つのステップで動いています。この流れを理解しておくと、どこでエラーが起きやすいか、どこをノーコードツールに任せられるかの判断がしやすくなります。
- ①取得:対象URLにHTTPリクエストを送り、ページのHTMLソースをテキストとして丸ごと受け取る
- ②解析:受け取ったHTMLをタグ構造として読み込み、目的のデータが入っているブロックを特定する
- ③抽出:CSSセレクタやXPathで対象要素を指定し、テキストや属性値だけを取り出してCSV・Excelなどに整形する
なお、JavaScriptでページ内容が後から描画される動的サイトの場合、①の時点でHTTPリクエストだけでは目的のデータがHTMLに含まれていないことがあります。この場合の対処法は後述の「実務でつまずきやすいポイント」で説明します。
HTMLスクレイピングにはどんな実装方法がある？
自分に合ったスクレイピングのやり方を選ぶには、まず全体像を知っておく必要があります。実装方法は、大きく「コードを書く方法」と「ノーコードツールを使う方法」の2つに分かれ、後者はさらに「要素を手動でクリックして設定する方法」と「既存テンプレートを使う方法」に分けられます。どれが向いているかは、扱うページの複雑さと、継続的に運用する必要があるかどうかで変わってきます。
Pythonコードで実装する
Pythonでは requests でHTMLを取得し、BeautifulSoup で解析・抽出するのが定番の組み合わせです。ここではBeautifulSoupの使い方を、最小構成のコード例で確認しておきましょう。
import requests
from bs4 import BeautifulSoup
response = requests.get("https://example.com", timeout=10)
response.raise_for_status()
soup = BeautifulSoup(response.text, "html.parser")
for item in soup.select(".product-card"):
title = item.select_one(".title").get_text(strip=True)
price = item.select_one(".price").get_text(strip=True)
print(title, price)
このコードはまさに前述の「取得→解析→抽出」をそのまま実装したものです。.select() の部分にCSSセレクタを指定することで、ページ内の狙ったブロックだけを繰り返し処理できます。HTML要素からテキストやリンクURLだけをピンポイントで取り出す具体的なコードパターンは、PythonでHTMLからテキストやURLを取得・抽出する方法で個別に詳しく解説しています。Pythonそのものが初めての方は、Pythonでのスクレイピング入門ガイドから読み進めるとスムーズです。
ただし、JavaScriptで描画される動的ページでは requests だけでは目的のHTMLが取得できないため、Selenium や Playwright でブラウザ自体を操作する実装に切り替える必要があります。
ノーコードツールで実装する
コードを書かずにHTMLからデータを抽出したい場合は、Octoparse(オクトパース・オクトパス)のようなノーコードツールを使う方法があります。ブラウザ上でページを開き、取りたい要素(タイトル、価格、日付など)をクリックしていくだけで、Octoparse側が自動的にHTML構造を解析し、同じパターンの要素をページ全体・複数ページから繰り返し抽出してくれます。
たとえば octoparse.jp のブログ一覧ページのようなリスト形式のページであれば、記事タイトル・公開日・タグの要素を順にクリックするだけで、冒頭で示した抽出結果イメージのような表形式データを数分で作成できます。無料で使えるノーコード系スクレイピングツールの選び方は無料Webスクレイピングツール30選の比較記事にまとめています。
Octoparseの既存テンプレートを使う
要素を1つずつクリックして自分でルールを作らなくても、Octoparseにはあらかじめ用意された抽出テンプレートを使う方法もあります。中でもこの記事のテーマにそのまま対応するのが、任意のページのURLを渡すだけでHTMLソースコードとタイトル・メタ情報を取得できる汎用テンプレート「HTML Scraper」です。
特定のサイト構造に依存しないため、CSSセレクタを自分で調べる必要すらありません。具体的な使い方と実際に試した結果は、次の章で詳しく紹介します。
なお、Octoparseにはこの汎用テンプレート以外にも、ECサイトの商品一覧や不動産の物件一覧など、特定サイトの構造にあわせて価格・住所といった項目まで自動抽出してくれる専用テンプレートも多数公開されています。狙ったサイトに専用テンプレートが存在する場合は、そちらを使うとさらに手間を省けます。
Octoparse MCPを使うと、こうしたテンプレートの選択からデータ抽出までを、AIエージェントへの自然言語の指示だけで実行することもできます(詳しくは後述の「Octoparse MCPで自然言語からスクレイピングを自動化できる?」で解説します)。
Octoparse公式テンプレート「HTML Scraper」は実際どう使う?
前の章で触れたように、Octoparseには特定サイト専用の構造化テンプレートだけでなく、どんなページのソースコードもそのまま取得できる汎用テンプレート「https://www.octoparse.jp/template/html-scraper」も公開されています。対象サイトの構造に依存しないため、この記事の冒頭で説明した「HTMLを取得する」という工程そのものを、コードを1行も書かずに再現できます。
使い方は次の3ステップだけです。
①URLを入力する:テンプレートページの入力欄に、取得したいページのURLを貼り付ける(複数URLをまとめて指定することも可能)
②収集方法を選ぶ:URLを入力したら、「実行」をクリックしてクラウド収集(Octoparseのサーバー側で実行され、PCを閉じていても収集が進む)かローカル収集(自分のPCで実行、すぐ試したいときに手軽)かを選びます。
③データをエクスポートする:指定したURLごとに、元URL・ページタイトル・キーワード・ディスクリプション・HTMLソースコード本体がまとめて返ってくる
実際にoctoparse.jpのブログ一覧ページを対象にこのテンプレートを動かしてみたところ、URLを1件渡しただけで、ページタイトル「Webスクレイピングとデータ活用に関するブログ|Octoparse」、meta description、meta keywords、そしてHTMLソースコード全体が、数十秒で1件のデータとして返ってきました。
正直なところ、思っていたよりも手軽でした。自分でPythonのコードを書く場合、requestsでHTMLを取得したあとに<title>タグやmetaタグを個別に指定して取り出すコードを追加で書く必要がありますが、このテンプレートはURLを渡すだけでその処理をすでに済ませた状態で返してくれます。HTMLソースコード全体も同時に手に入るため、「まずページの中身をざっと確認してから、CSSセレクタで狙った要素を絞り込む」という下調べの工程が、コードを書かずにその場で完結する点が一番の収穫でした。
ページのHTML構造をまだ把握していない段階での下調べや、複数ページのタイトル・メタ情報を一括でリスト化したいときにこのテンプレートは向いています。一方、価格や在庫数などピンポイントで欲しい項目だけを毎回同じ形式で抜き出したい場合は、前述のサイト専用テンプレートやノーコードの手動設定の方が適しています。
実務でつまずきやすいポイントは?
コード・ノーコードいずれの方法でも、実務では次のようなポイントでつまずきやすくなっています。
- 動的ページ・JS描画:HTMLを取得しても目的のデータが空のまま返ってくる場合、そのデータはJavaScriptによって後から描画されている可能性が高く、Seleniumでのスクレイピングのようにブラウザ操作を伴う実装が必要になります
- 文字化け:サイト側のエンコーディング指定とライブラリ側の解釈が食い違うと文字化けが起きるため、レスポンスのエンコーディングを明示的に指定すると安定します
- CSSセレクタとXPathの使い分け:クラス名だけで要素を一意に特定できない複雑な構造では、親子関係をたどれるXPathの方が安定することがあります
- アクセス過多によるブロック:短時間に大量アクセスを行うとサーバー側の異常検知でIPブロックされることがあり、リクエスト間隔を空けることが基本の対策になります。適切な待機時間の目安はOctoparseヘルプセンターのタイムアウト・待機時間の記事でも解説されています
HTMLスクレイピングは違法ですか?知っておくべき法令
この行為自体は、日本の法律で一律に禁止されているわけではありません。ただし、実務で必ず押さえておくべき法令・ルールが3つあります。
- 著作権法30条の4:情報解析(データ処理)を目的とした複製は一定の条件下で権利者の許諾なく認められていますが、取得した記事本文や画像をそのまま公開・再配布する用途は対象外になり得ます
- robots.txt:サイト運営者がクローラーに対して「どのページを巡回してよいか」を宣言するファイルで、Disallowに指定されたパスへのアクセスは避けるのが原則です
- 個人情報保護法:氏名・連絡先など個人を特定できる情報を含むデータを収集・保管する場合は、利用目的の明示や適切な管理が求められます
「このサイトは対象にしてよいのか」を個別に判断する具体的な基準(利用規約・robots.txt・データの性質の3点)は、スクレイピングOKなサイトの見分け方で詳しくチェックリスト化しています。robots.txtの具体的な確認手順を知りたい場合はrobots.txtの確認方法の記事を参考にしてください。合法かどうかの最終判断は対象サイトごとに行う必要があり、迷った場合は公式API・データダウンロードなど、サイト側が用意した正規の取得経路を優先するのが安全です。
手動コードだけで十分?ノーコード・テンプレートとの比較
結論から言うと、独自ロジックが必要な少量データの処理は手動コードが、決まったパターンのページをすぐに抽出したい場合はOctoparseの既存テンプレートが、テンプレートのない独自サイトを非エンジニアが継続的に収集する場合はノーコードの手動設定が向いています。三者の違いを具体的に比較すると、次のようになります。
| 比較項目 | 手動コード(Python) | Octoparse(ノーコード・手動設定) | Octoparse(既存テンプレート) |
|---|---|---|---|
| 学習コスト・セットアップ | Python・ライブラリの学習と環境構築が必要 | ブラウザ操作のみ、コード知識不要で数分で開始可能 | テンプレートを検索してURLを入力するだけ、要素選択の操作も不要 |
| 動的ページ(JS描画)対応 | Selenium/Playwrightを別途学習・実装する必要あり | クリック操作の中でJS描画・AJAX読み込み待機に標準対応 | 対象サイトに合わせて設計済みのため個別調整はほぼ不要 |
| スケジュール実行(継続監視) | cron等で自前のサーバー・常時稼働環境が必要 | 非対応(有料プランでクラウド定時実行に対応) | 非対応(有料プランでクラウド定時実行に対応) |
| ブロック対策(IP/CAPTCHA) | プロキシ・ヘッダー偽装などを自分で実装 | 非対応(有料プランでIPローテーション・自動CAPTCHA解決に対応) | 非対応(有料プランでIPローテーション・自動CAPTCHA解決に対応) |
| データ出力・上限 | 上限なし(自分のマシン/ストレージ次第) | タスク数10個、月間5万行・1回のエクスポート上限1万行まで | タスク数10個、月間5万行・1回のエクスポート上限1万行まで |
| 適したケース | 独自ロジックが必要な複雑な処理、少量〜中量データ | テンプレートのない独自サイトの継続的な定点観測 | まずHTMLやタイトル・メタ情報を確認したいとき(HTML Scraperなど汎用テンプレート)、または対象サイト専用テンプレートがすでにあるとき |
上表のとおり、データ量やページ構造が複雑で自由度の高い処理が必要な場合は、手動コードのほうが柔軟に対応できます。一方、まずページのHTMLやタイトル・メタ情報をざっと確認したい、あるいは対象サイトに合う専用テンプレートがすでにあるという場合は、既存テンプレートにURLを入力するだけで抽出ルールの設計自体を省略できます。テンプレートが用意されていない独自サイトや社内システムを非エンジニアが継続的に監視したい場合は、要素をクリックして自分でルールを組むノーコードの手動設定が向いています。
Octoparse MCPで自然言語からスクレイピングを自動化できる?
近年は、こうした処理をAIエージェントに任せる「HTMLスクレイピングAI」的な使い方も広がっています。Octoparse MCPを使うと、ChatGPTやClaudeなどのAIエージェントに対して自然な日本語で指示するだけで、スクレイピングのテンプレート選択からデータ抽出、IPローテーションやCAPTCHA対策までを自動的に処理できます。Octoparse MCPの仕組みを解説した記事では「MCPは、AIにおいてBluetoothと同じ役割を果たす」と表現されており、AIと外部ツールをつなぐ共通規格として機能します。
たとえば「このブログの新着記事一覧からタイトルと公開日を抽出して」のように一文で伝えるだけで、この記事で解説した取得→解析→抽出のステップをAI側が自動的に実行してくれます。コードを書く時間も、ノーコードツールの画面操作を覚える時間も省きたい場合は、MCP経由での自動化が選択肢になります。導入手順はOctoparse MCPの使用チュートリアルを参照してください。
まとめ
この技術は、HTMLの構造を「取得→解析→抽出」の3ステップで読み解き、必要なデータだけを効率的に集めるものです。Pythonでコードを書けば自由度の高い処理ができ、コードを書きたくない場合はOctoparseのようなノーコードツールで数分で始められます。どちらの方法を選ぶ場合も、robots.txtや利用規約の確認、個人情報・著作権への配慮といった法令面のチェックは省略せずに行うことが、長く安全にデータ収集を続けるための前提になります。
よくある質問
Q1. HTMLスクレイピングは違法ですか?
この行為自体が一律に違法というわけではありません。ただし、取得したデータの再配布は著作権法に触れる可能性があり、robots.txtや利用規約に反する収集、個人情報の不適切な取り扱いはリスクになります。対象サイトごとに個別の確認が必要です。
Q2. プログラミング知識がなくてもスクレイピングはできますか?
可能です。Octoparseのようなノーコードツールを使えば、取得したい要素をブラウザ上でクリックしていくだけで、コードを書かずにHTML構造の解析・データ抽出ができます。
Q3. 無料で始められますか?
Pythonでの手動コードは環境構築費用以外は無料で始められます。Octoparseにもクレジットカード不要の無料プランがありますが、タスク数10個・月間5万行までといった上限があるため、大量データを扱う場合は有料プランの検討が必要です。
Q4. HTMLスクレイピングとHTMLデータ抽出は同じ意味ですか?
実務ではほぼ同じ意味で使われます。「スクレイピング」は収集プロセス全体を指すことが多く、「データ抽出」は解析後に必要な値だけを取り出す工程を指すニュアンスがあります。「WebサイトのHTMLテキスト取得」という検索も同じ作業を指しており、厳密に使い分けられているわけではありません。
Q5. この技術を習得するにはどのくらいの期間が必要ですか?
Python未経験からでも、requestsとBeautifulSoupの基本的な使い方であれば数日〜1週間程度でシンプルなページには対応できるようになります。動的ページやエラー処理まで含めた実務レベルの安定運用には、数週間の実践が目安です。ノーコードツールであれば、基本操作の習得は数時間〜1日程度で十分です。
Q6. スクレイピングAIとHTMLスクレイピングは何が違いますか?
前者が「HTML構造からデータを取り出す技術」そのものを指すのに対し、スクレイピングAIはその収集プロセスの一部または全体をAIに任せる手法です。AIスクレイピングの仕組みを解説した記事で、両者の関係や具体的なツールを紹介しています。
競合情報も営業リストも、ウェブデータをそのままExcel・CSV・Google Sheetsに出力
コード不要、誰でも今日から。クリック操作だけで必要な項目を自動抽出
Google Maps・食べログ・iタウンページ向けテンプレートで、リード獲得をすぐに開始
クラウドで毎日・毎週自動実行。大量取得でも安定して、競合動向を常に把握
MCP対応でAIエージェントと連携。収集データをAIに渡して分析・活用まで一気通貫
クレジットカード不要で無料スタート。世界600万人以上が選んだ信頼のツール
