logo
languageJPdown
menu

便利すぎ!Octoparseを使って商品データを自動収集してみる(Yahoo!ショッピング編)

約6分で読めます

ECサイト運営者の皆さんは料金相場の調査や競合分析のために、商品データをもっと気軽に収集したいと考えていることでしょう。「Octoparse(オクトパス)」を使えば、商品データの自動収集が簡単に行えます。

この記事では、そんなニーズを抱えている方に向けてYahoo!ショッピングから商品データを自動収集する方法をご紹介します。

Yahoo!ショッピングの商品データ収集は無料プランでもテンプレートが利用できるので、Octoparseのアカウントをお持ちではない方はぜひご登録ください。

Octoparseはなぜ商品データを自動収集できるのか

OctoparseはWebスクレイピングという技術を、誰でも簡単に扱えるようにしたクラウドサービスです。Webスクレイピングとは、Web上に存在するあらゆるデータを自動的に収集できるプログラミング技術を指します。

具体的に説明しますと、Web上のテキスト・画像などのデータは全てHTMLという言語で記されています。WebスクレイピングではまずHTMLコードを取得し、そこから特定のデータを抽出するという方法でデータの自動収集を行います。

こうしたWebスクレイピングをノンプログラミングで実行できるのが、Octoparseです。Octoparseが1つあれば、Web上にあるあなたの欲しいデータが思いのままに入手できます。

ただし、Webサイトの利用規約に注意が必要です

Webスクレイピングは素晴らしい技術ですが、全てのWebサイトがこれを許可しているわけではありません。

短時間で多くのリクエストを送信するため、サーバーに負荷がかかるためです。そのため、Webサイトによっては利用規約でWebスクレイピングを禁止している可能性があるので注意してください。

Webスクレイピングを実行する際は、Webサイトの利用規約を必ず確認しましょう。ちなみにYahoo!ショッピングではWebスクレイピングによる商品データの収集を禁止していないので、安心して自動収集できます。

Yahoo!ショッピングの商品データを自動収集する方法

それでは、Octoparseを使ってYahoo!ショッピングの商品データを自動収集する方法をご紹介します。驚くほど簡単なので、ぜひ試してみてください。Octoparseのアカウントをまだお持ちでない方はこちらからご登録ください。

Octoparseを起動したら検索窓に「yahoo」と入力し、「抽出開始」をクリックします。

Yahoo!のWebスクレイピングテンプレートが表示されるので、その中から「[JP]Yahoo ショッピング」にある「今すぐ使う」をクリックします。

パラメーターに商品データを収集したいページのURLを入力し、「保存して実行」をクリックします。ちなみに今回は、「ゲロルシュタイナー 500ml 24本」で検索した際の商品データを収集してみました。

タスクの実行方法を選択する画面が表示されるので、「ローカル抽出」または「クラウド抽出」をクリックして実行します。今回はクラウド抽出で実行しました。数分後、各商品データの抽出が完了しました!

Octoparseを使うとこのように、プログラミング未経験者でも簡単にWebスクレイピングを実行できます。

自動収集した商品データはどう活用するのか?

Octoparseを使って収集した商品データは次のように活用できます。

  • 最安値で提供している店舗を調査しさらに安い価格にチャレンジする
  • 獲得ポイントの高い店舗を調査してさらに高いポイント率で勝負する
  • 特定の商品の平均価格を調査して料金相場をチェックする

今回使用したテンプレートではこの他にも商品画像も収集できるため、各店舗でどのように商品画像を設定し、消費者はどのような店舗を好んでいるのかなどを調査できます。

こうした商品データを日々収集することはEC運営者にとって欠かせない業務です。戦略的なEC運営のためにも、Octoparseを使って素早い商品データ収集を実現してみてください。

ヤフオクからも商品データを収集してみる

EC運営者が商品データを収集するにあたって、参考になるのがオークションサイトです。Yahoo!ショッピングなどの商品データとは違い、オークションサイトは主に消費者が出品しているため、トレンド把握などに活用できます。

Octoparseにはヤフオクの商品データを収集するテンプレートも用意されているので、合わせてご紹介します。

Octoparseを起動したら検索窓に「ヤフオク」と入力し、「抽出開始」をクリックします。ヤフオクのテンプレートが表示されるので、「今すぐ使う」をクリックします。 

続いてパラメーターに商品データを収集したいページのURLを入力し、「保存して実行」をクリックします。今回はリョービのフィッシングリールの商品データを収集します。

タスクの実行方法を選択する画面が表示されるので、「ローカル抽出」または「クラウド抽出」をクリックして実行します。今回はローカル抽出を選択しました。

ローカル抽出の場合、実行画面の右上にある「ブラウザ」をクリックすると、Webスクレイピングを実行中のブラウザ画面をリアルタイムに確認できます。

あとは、商品データの自動収集が終わるまで待つだけ。非常に簡単ですね!

その他、商品データを自動収集できるOctoparseのテンプレート

今回はYahoo!ショッピングと、ヤフオクで商品データを自動収集するOctoparseのテンプレートをご紹介しました。Octoparseのテンプレートはこれだけではありません。他にも商品データを自動収集できるテンプレートがいくつもあります。

Octoparseが提供している商品データ自動収集のテンプレート

  • Amazon
  • eBay
  • Shopee
  • AliExpress
  • Rakuten
  • Orange
  • ALLOPNEUS
  • 価格.com
  • PayPayモール
  • Buyma
  • mercari
  • 日経アート
  • ジモティー
  • IRIS OHYAMA

日本でもポピュラーなECサイトからマイナーなECサイト、海外ECサイトまでさまざまなテンプレートがあります。また、「こんなテンプレートが欲しい!」というリクエストがありましたら、「新規テンプレートが欲しい」をクリックしてリクエストを送信できます。

使いたいテンプレートが見つからなかった場合は、ぜひお気軽に新規テンプレートをリクエストしてください。

Octoparseで商品データを自動取得しよう

いかがでしょうか?Octoparseを使えば、誰でも簡単にWebスクレイピングを実行し、欲しいデータを思いのままに入手できます。

しかし、EC運営者の中には数万件・数十万件のデータを定期的に必要とするケースもあります。そうした状況で「Webスクレイピングをツールではなくサービスとして提供してほしい」という方は、Octoparseが提供するWebデータ代行収集サービスをご検討ください。

世界1,000社以上のWebデータ代行を行なってきた経験とノウハウで、あなたが必要としてるデータを素早く、正確に収集いたします。

人気記事

トピックを検索する

今すぐOctoparseを始めて、業務効率化を実現しましょう。

ダウンロード

関連記事

  • avatarOctoparse
    お金を掛けずに無料で求人情報を掲載する方法があるのはご存知でしょうか。今回は無料で誰でも簡単に求人情報を掲載する方法を解説します。求人広告費を削減した分、従業員の待遇を良くすれば、さらに人が集まりやすくなりますので、ぜひ参考にしてください。
    2023.03.06 · 6 min read
  • avatarCASITOMO
    京都のような、歴史的建造物と紅葉を同時に楽しめる観光地は世界でも数えるほどしかありません。今回は、そんな京都の紅葉シーズンにおけるホテルリストをBooking.comから取得する方法をご紹介します。WebスクレイピングツールのOctoparse(オクトパス)を使えば誰でも簡単にBooking.comからホテルリストを取得できるので、ぜひ実践してみてください。
    2023.01.10 · 6 min read
  • avatarCASITOMO
    グローバル旅行の規制緩和などに伴って、Airbnbで宿泊先を探している方は多いでしょう。旅行計画は楽しいものですが、1件ずつクリックして宿情報を確認するのはなかなか骨の折れる作業ですね。そこで注目してほしいのが、Webスクレイピングを使って宿情報を一気に収集する方法です。Octoparse(オクトパス)を使えばプログラミングは一切不要なので、誰でも簡単に情報収集できます。しかも、Airbnbのテンプレートが用意されているので目的地を入力するだけで、数百の宿情報を自動的に収集してくれます。それでは、Airbnbテンプレートの使い方を図解付きでご紹介します。
    2023.01.10 · 6 min read
  • avatarTakahashi
    「Yahoo!ロコを使って地域情報のデータベースを作成したい」「Yahoo!ロコの店舗情報を自動で収集する方法を知りたい」このような疑問をお持ちではありませんか?今回は、Yahoo!ロコの地域情報を自動収集する方法を手順に沿って解説します。本記事の内容を参考にしていただければ、誰でもかんたんにYahoo!ロコを使ったデータベースを作成できますので、ぜひ試してみてください。
    2022.12.09 · 6 min read