1) テキストを抽出する

ほとんどのデータは、ニュース記事、製品情報、ブログなどのような読めるテキストとしてWeb上に表示されます。ですから、テキストデータを抽出する方法を身につければ、ページの遷移やリストの作るなどの他のテクニックと組み合わせると、ほぼすべてのWebページからデータを取得できます。

Octoparseでテキストデータを抽出する方法を見てみましょう。

1. 対象データをクリックする

対象要素をクリックすると、選択エリアが緑色になります。同時に他にもいくつかの要素が赤色になることもあります。

2. 選択を作る

「Action Tips」にある「Select all」をクリックして、赤色の同じ要素は緑色になります。 Octoparseは、選択範囲内のすべての要素を抽出するまで繰り返しスクレイピングを実行します。

3. テキストを抽出する

「Extract text of the selected elements」をクリックして、選択を終了し、抽出を始めます。

2) リンクや画像のURLを抽出する

簡単にいえば、URLはハイパーリンクです。URLをクリックするだけで、新しいWebページを開いたり、新しいWebサイトに移動することができます。

Webページ以外、URLを使うと、画像など特定のファイルにもアクセスできます。URLを取得したら、インターネットからファイルや画像をダウンロードできます。

Octoparseを使ってリンクや画像のURLを抽出する方法を見てみましょう。

1. 必要なリンク/画像をクリックする

必要なリンク/画像をクリックすると、選択エリアが緑色になります。同時に他にもいくつかの要素が赤色になることもあります。 

2. 選択を作る

「Action Tips」にある「Select all」をクリックして、赤色の同じ要素は緑色になります。 Octoparseは、選択範囲内のすべての要素を抽出するまで繰り返しスクレイピングを実行します。

3. URLを抽出する

「Extract the URLs of the selected elements」/「Extract image URL in the loop」をクリックして、選択を終了し、抽出を始めます。

3) 内部/外部HTMLを抽出する

テキストやURLとは異なり、アイコンのようなデータは直接抽出できません。星の評価のような非テキストコンテンツを抽出する場合は、これらの内部/外部HTMLを抽出しなければなりません。

アイコンのほかに、要素のHTMLを抽出することで、Webページから隠されたテキスト、グラフをスクレイピングもできます。

アイコンに埋め込まれたデータを取得するには、正規表現を適用してデータを処理する必要があります。

Octoparseで内部/外部のHTMLを抽出する方法を見てみましょう。

1. 対象データをクリックする

必要な要素をクリックすると、選択エリアが緑色になります。同時に他にもいくつかの要素が赤色になることもあります。

2. 内部/外部HTMLを抽出する

「Action Tips」の「Extract inner/outer HTML of the selected」をクリックして、選択を終了し、抽出を始めます。