eBayから商品価格をスクレイピングする

Sunday, April 08, 2018 10:40 AM

図解チュートリアル

eBayやAmazonなどのネットショップから情報をWebスクレイピングするのは非常に重要なデータソースになっており、価格、機能、評価から人気商品を比較できます。

今回では、使いやすいWebスクレイピングツールOctoparse 7.XによるeBayからの商品情報の取得を紹介します。ウェブサイトでのデータマイニングをやすくします。

このチュートリアルで次のURLを例として使います。

https://www.ebay.com/sch/Digital-Cameras-/31388/i.html

この度、eBayから「デジタルカメラ」の商品情報をスクレイピングします。以下はチュートリアルの主な手順です。[タスクファイルをダウンロードする ]

1) 「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く

2) ページ遷移のループを作る - 複数のページからデータを取得する

3) 「ループアイテム」を作る - 各ページ上のデータを取得する

4) データを抽出する - 抽出したいデータを選択する

5) データカスタマイズ - 不要な文字を削除してデータを整理する

6) 抽出タスクを始める - タスクの実行を行いデータを取得する

1) 「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く

· 「カスタマイズモード」を選択し、タスクを作ります。自由度の高いカスタマイズモードは、複雑なウェブサイトを対応できます。

· URLを入力して「URLを保存する」をクリックします。

· 「ワークフロー」をオンにするとタスクの作りはやすくなります。

2) ページ遷移のループを作る - 複数のページからデータを取得する

· ページの下にある「>」ボタンをクリックし、「操作ヒント」パネルから「選択したリンクをループクリップする」を選択します。

3) 「ループアイテム」を作る - 各ページ上のデータを取得する

· 一番目のリスト製品のタイトルをクリックすると、Octoparseはページ内の同じのURLを自動的に識別します。

· 「操作ヒント」にある「すべて選択」をクリックします。

· 「各要素をループクリックする」をクリックします。

4) データを抽出する - 抽出したいデータを選択する

· 必要なデータをクリックし、「操作ヒント」にある「選択した要素のテキストを抽出する」を選択します。

· ファイル名を編集します。

ヒント！

1. 選択したアイテムに抽出したい情報がない場合、「ループアイテム」の他のアイテムを選択してデータ抽出を完成させます。このケースでは、eBayの商品価格の展示は異なり、「Current Bid」があるし、「Price」もあるので、「ループアイテム」の3番目のアイテムを選択してデータフィールドを完成にします。