eBay（イーベイ）は、世界最大規模のインターネットオークションサイトで、出品した商品は世界190カ国に販売することができます。日本でオークションサイトといえば、ヤフオクなどが有名ですので、eBayにあまり馴染みがない方もいるでしょう。
しかし、eBayは世界で1.6億人以上の利用者を抱え、日本の総人口よりも多くの方が利用しています。そのため、商品を海外へ向けて販売したい場合は、eBayは欠かせないサービスといえます。
また、eBayは数多くの商品を扱うため、商品データを収集することで、どんな商品が出品されているか、どれくらいの価格で出品されているかといったように、商品データベースとして活用できます。
eBayの商品データ収集に役立つのがWebスクレイピングです。今回は、プログラミング経験を持たない方でもWebスクレイピングを活用して、eBayの商品情報を収集する方法を解説します。
eBayの商品情報を自動収集（スクレイピング）するメリット
eBayでは、セラー（出品者）が商品を出品することで、世界中の利用者が商品を購入できます。通常、海外向けに商品展開する場合、消費税などの税制や輸出入に関する法律や仕組みは国ごとに異なるため、それぞれの規制をクリアしなければなりません。
しかし、eBayを使えば世界各国向けに商品を展開できます。実際にeBayのサイト上には、ジャンルごとに数多くの商品が掲載されています。これらの商品情報を収集することで、あらゆる用途に活用できるため、出品者にメリットがもたらされます。
具体的なメリットとしては、次のようなものが挙げられます。
- 出品商品の価格相場を把握できる
- 人気商品のリサーチに活用できる
- 商品情報やレビュー情報を取得できる
このように、eBay上の商品情報を大量に集め、いわゆるビッグ・データとして分析・検証することで、出品価格の設定やどのような商品が売れやすいかといったリサーチなど、あらゆる場面で役立ちます。
特にECサイト内では出品数や出品価格がや常に変動するため、短サイクルで最新情報を取得し続ける必要があります。そこでWebスクレイピングを活用すれば、eBayの商品情報を自動で収集でき、常にデータを最新に保つことが可能です。
ビッグデータ収集に役立つWebスクレイピングとは
Webスクレイピングとは、インターネット上に存在する膨大なデータの中から、特定のWebページの情報だけを収集するコンピュータ技術のことです。Webスクレイピングの仕組みは、「サイトクローラー」と呼ばれるロボットが、Webページ内を回遊し、あらかじめ指定された任意の情報を収集します。
近年、Webコンテンツが爆発的に増え、インターネット上には毎時膨大なデータが生成されています。そうした中で、企業や組織は必要なデータを効率的に収集し、ビジネスのヒントとして活用する動きが加速しています。
そこでデータを大量かつ自動的に収集するための技術として、Webスクレイピングの活用は大きく注目を集めています。Webスクレイピングについて、さらに詳しく知りたい方はこちらの記事もご覧ください。
プログラミング不要のスクレイピングツール「Octoparse」とは
Webスクレイピングは、近年あらゆるビジネスシーンで活用されていますが、プログラミングに関する知識・経験がない方にとっては、ハードルが高いと感じるでしょう。
未経験の方におすすめなのが、Webスクレイピングツールの「Octoparse（オクトパス）」です。Octoparseを使えば、ノンプログラミングでスクレイピングを実行できます。
さらにOctoparseはWebスクレイピングに必要な便利な機能が充実しているので、誰でもかんたんにWebスクレイピングを実行できます。中でもOctoparseでは、eBayを始めとした人気Webサイトのスクレイピングテンプレートが備わっています。eBayのテンプレートを使うことで、わずかな操作だけで誰でもかんたんに商品情報を取得できます。
Octoparseは無料プランもあるので、使ったことがない方は早速ダウンロードしてみてください。
eBay商品情報データの収集方法
ここからはOctoparseを用いて商品情報データを収集する方法を解説します。今回は例として、「PlayStation 4」の商品情報データを収集します。
- 製品情報を収集する国：日本
- データを収集する製品：PlayStation4
ステップ1.Octoparseを起動し、eBayのテンプレートを選択する
Octoparseを起動させたら、ホーム画面から「テンプレートタスク」を選択します。
テンプレートは数多くの種類があるため、右上の検索窓に「eBay」と入力すればすぐに見つけられます。ここでは、「Listing page by keyword & country_eBay」のテンプレートを選択します。
テンプレートの概要や、利用方法が書かれた画面が表示されます。内容を確認して、「今すぐ試す」をクリックします。
ステップ3.データ抽出条件を入力する
eBayのテンプレートを開いたら、データ抽出条件を次のように入力します。
- Country：Japan
- Site：Japan
- keyword：PlayStation4
入力が完了したら、画面下にある「保存実行」を押します。
タスク実行モードを、ローカル抽出かクラウド抽出のいずれかから選択できます。クラウド抽出は、Octoparseの有料プランの契約が必要ですが、ローカル抽出に比べてスクレイピングのスピードが早くなります。
もちろん、ローカル抽出でも十分にスクレイピングを体感いただけますのでご安心ください。
タスクが実行されると、データ抽出が開始されます。画面の数字が動いていれば、問題なくスクレイピングが行えています。完了まで数分待ちましょう。
スクレイピングが完了すると「実行が完了しました！」という案内が表示されます。「データをエクスポート」をクリックすると、データをエクスポート（書き出し）します。エクスポート形式は、Excel、CSV、HTML、JSONから選択できます。
ここでは、「フォーマットの指定」でExcelを選択し、「はい」をクリックします。これで抽出されたデータを自動的にExcelにエクスポートできました。
抽出条件を変更する場合｜カスタムタスク
Octoparseテンプレートを使用した場合、あらかじめ抽出条件が設定されているため、誰が使っても同じデータを抽出できます。しかし、テンプレートで設定されていないデータを抽出したい場合はどうすれば良いでしょうか。
そのような場合は、「カスタムタスク」を使用し、スクレイピングタスクを自分で作成します。カスタムタスクはホーム画面から選択します。
まとめ
今回は、Webスクレイピングの基本から、「Octoparse」を活用したeBay製品情報の抽出方法について解説しました。
Octoparseを使えば、プログラミングの専門知識やコーディングの経験がない方でも、簡単にECサイトの商品情報を収集できます。あらかじめスクレイピングプロセスをタスク化し、スケジュール設定しておけば、決められたタイミングでスクレイピングを実行することが可能です。
定期的にデータを更新すれば、商品価格の変動を確認したり、最新商品の情報を素早く把握できるでしょう。
WebスクレイピングツールのOctoparseは、効率的に製品データを収集したい方に最適なツールです。無料プランもありますので早速体感してみてください。
