楽天市場から商品価格をスクレイピングする

2021年03月05日

以前、AmazoneBayから商品情報のスクレイピングする方法を紹介しました。今回はOctoparseを使って、日本最大級のインターネットショッピングサイト「楽天市場」から商品価格をスクレイピングしようと思います。

 

この度、メンズ腕時計の価格を取得します。

次のURLを例として使います。

https://www.rakuten.co.jp/category/301981/?l-id=top_normal_gmenu_d_watch_002

 

以下はチュートリアルの主な手順です。

[まずOctoparseをダウンロード! Octoparseをダウンロード]

[タスクファイルをダウンロードする]

 

1) 「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く

2) クローラーを作る - 自動識別機能を利用する

3) データを抽出する - タスクの実行を行いデータを取得する

 

1) 「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く
  • Octoparseを起動します。スクレイピングしたいWebページのURLを入力します。「抽出開始」 ボタンをクリックして進みます。


    クローラーを作る

 

 

2) クローラーを作る - 自動識別機能を利用する
  • Octoparseでページが読み込みされたら、自動的にページ上の内容を識別します。もし自動識別機能をオフする場合は、右上の操作ヒントパネルで Webページを自動識別する、ページ上の内容を識別します。自動識別とは、自動的にページ上の必要なデータを検出して識別するという役立つ機能です。ポイント&クリックをする必要はなく、Octoparseは自動的に処理します。


楽天市場_データ自動識別機能

 

 

 

3) データを抽出する - タスクの実行を行いデータを取得する
  • 上の「実行」ボタンをクリックして、すぐタスクを実行できます。たった数分で数千件のデータを取得することができます。これがOctoparseのスピードです。一度Octoparseのコツをつかめば、以前Webデータを取得するための手作業で時間を無駄にしていたことを後悔するに違いありません。


楽天市場_タスク実行

  • これは、たった5分で抽出したデータです。


楽天市場_スクレイピング

 

 

 

ヒント!

抽出の速度が速すぎると、アクセス拒否やエラーなどが発生しやすくなります。そのため、実行前に待つ時間の設定が必要です。(通常は2秒です。)

  

この記事は役に立ちましたか?もしご不明な点がございましたら、いつでもお問い合わせください! 

 

btn_sidebar_use.png
btn_sidebar_form.png
当社ウェブサイトは、利便性、品質維持・向上を目的に、Cookieを使用しております。詳しくはプロキシーをご確認ください。Cookieの利用に同意頂ける場合は、「同意する」ボタンを押してください。同意頂けない場合は、ブラウザを閉じて閲覧を中止してください。
同意する 閉じる