Yahoo!ショッピングから商品情報をスクレイピングする

Thursday, April 25, 2019 12:20 PM

インターネットの発展に伴い、実店舗を持たないeコマースで取引を行う事業者や個人が増えてきています。ですので、Yahoo!ショッピング、eBayやAmazonなどのネットショップから最新の情報を一刻も早くWebスクレイピングできれば、競合監視や価格調査、市場調査など、日々のマーケティング活動で先頭に立ちます。

今回では、使いやすいWebスクレイピングツールOctoparse 7.XによるYahoo!ショッピングから商品情報の取得を紹介します。

このチュートリアルで次のURLを例として使います。 

 https://shopping.yahoo.co.jp/search?first=1&tab_ex=commerce&oq=&aq=&mcr=13300574d6e8678914cdfae41e1379d6&ts=1554880946&p

=%E3%83%90%E3%83%83%E3%82%B0&pf=&pt=&sc_i=shp_pc_top_searchBox&sretry=0&b=1&page=1

Yahoo!ショッピングから「バッグ」の商品情報をスクレイピングし、

このチュートリアルでは次の内容についても説明します。[タスクファイルをダウンロードする]

 

 

1) 「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く

2)スクロールダウンを使う-リストされたページからさらにデータを取得する

3) 「ループアイテム」を作る - 各リストのデータを取得する

4) 抽出タスクを始める - タスクの実行を行いデータを取得する

 

1) 「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く

  • 「カスタマイズモード」を選択し、タスクを作ります。 自由度の高い「カスタマイズモード」は、複雑なウェブサイトを対応できます。
  •  URLを入力して「URLを保存する」をクリックします。
  • 「ワークフロー」をオンにするとタスクの作りはやすくなります。

 

2) スクロールダウンを使う - リストされたページからさらにデータを取得する

      · 「スクロールダウン」オプションを選択します。

      ·  必要な「スクロール方法」と「間隔」を設定します。

      · 「スクロール回数」を「ページの最後までスクロール」にして「OK」ボタンをクリックします。

 ヒント!

      · ほとんどのソーシャルメディアのWebサイトでは、スクロールダウンを使って、一画面に収まらない分量のデータなどを見ていくことができます。(無限スクロールを扱う詳細を見る

      · より多くのデータが必要な場合は、「スクロール回数」の値を高く設定することをお勧めします。

 

 

3) 「ループアイテム」を作る - 各リストのデータを取得する

 

  • スクレイピングしたいデータをクリックすると、その背景色が緑色になります。
  • 必要なデータをクリックすると、Octoparseはページ内の同じのデータを自動的に識別します。
  • 「操作ヒント」にある「すべてのサブ要素を選択する」をクリックします。

 

 

  • 不要なデータを削除します。
  • 必要に応じて、フィールド名を編集します。

 

 

 

4)抽出タスクを始める - タスクの実行を行いデータを取得する

      · 「保存する」をクリックします。

      · 「抽出開始」をクリックします。

 

 

 

 

この記事は役に立ちましたか?もしご不明な点がございましたら、いつでもお問い合わせください!

 

 

btn_sidebar_use.png
btn_sidebar_form.png