現在、電子商取引市場内の競争は激しさを増しています。Amazonだけで約16万社の出品者が存在し、日々膨大な商品リストが更新されています。
多くの出品者は、ECサイト内の商品価格やレビューなどのデータを抽出するために、Webスクレイピングを利用するケースが増えています。
しかしながら、Webスクレイピングで質の高いデータを取得するためにはいくつかの課題があり、それらを留意しないままデータを扱うと、ビジネスに悪影響を与える可能性があります。
そこで、本記事ではECサイトからデータを抽出する際に気をつけるべき、3つの課題とその解決策を解説します。
課題1：抽出データが大量になりやすい
ECサイト内には、主要なカテゴリがあり、その下にはさらにいくつものサブカテゴリに分かれています。EC事業者にとって、それらの管理は非常に手間が掛かるものです。
サムネイル画像、商品説明、商品レビューといった、各製品情報を1つのスプレッドシートにコピー＆ペーストして、毎日記録と分析を行うのは現実的ではありません。時間がかかるだけでなく、単調な作業に飽きてしまい、データの品質と抽出精度の低下にもつながります。
解決策1.アウトソーシングまたは社内チームかで検討する
多くのEC事業者は、アウトソーシングまたは社内チームにWebクローラーを構築してもらいます。さらにWebサイトはそれぞれ構造が異なるので、Webクローラーを定期的に調整する必要があります。それらのメンテナンスをITベンダーにアウトソースした場合、保守・運用費用は決して安くありせん。
一方、社内チームの場合は外注費用こそ掛かりませんが、手間と労力が掛かります。その他に優先すべきタスクがある場合、社内での対応が難しくなるでしょう。
解決策2.Webスクレイピングツールを活用する
Webスクレイピングツールはリーズナブルな費用で利用でき、データ抽出を効率化する際に役立ちます。Webスクレイピングは、もはやプログラマーだけが出来る技術ではありません。中でも、WebスクレイピングツールのOctoparse（オクトパス）は、優れたインターフェースによって直感的な操作を実現し、無料から利用することが可能です。以下では、Octoparseの特徴を3つ紹介します。
専門スキルが不要
簡単なドラッグ＆ドロップでWebクローラーを構築できます。さらに、テンプレートを利用すれば、対象サイトのURLを入れるだけでWebスクレイピングを実行できます。データベースやプログラミング言語など専門的なスキルは必要ありません。
安全性が高い
データソースとデータの品質を担保できます。抽出されたデータは、信頼できるエージェントの手でのみ処理されますので、安心して利用可能です。
リーズナブルである
メンテナンスの際は、数回のクリック操作でデバッグできるため、メンテナンスコストが最小限に抑えられます。サードパーティのサービスと比較して、Webスクレイピングツールは1データあたりの作業コストを削減し、企業にとって粗利益の増加をもたらします。
以下では、Octoparseを活用してビジネス上の課題を解決し、アップスケールするためのステップを紹介します。
- Octoparseの最新バージョンをダウンロードする
- Webスクレイピングテンプレートを選択する
- 選択したテンプレートにパラメータを入力する
- データ保存先をローカルまたはクラウドで設定し、タスクを実行する
- 抽出データの保存先を選択し、希望形式でエクスポートする
- さらに、APIを活用してOctoparseとデータベースを接続することで、データベースの自動更新が可能です。それによって、eBay、Flipkart、Target、BestBuyといった主要なECサイトを複数同時に監視できます。
課題2：ブラックリストに登録／ブロックされる
2つ目の課題は、データ抽出の対象となるECサイトからアクセスをブロックされる可能性があることです。主な要因としては、「IPアドレスのブロック」が挙げられます。（IPアドレス＝インターネット上でオンラインリソースと通信するためのIDのこと）
IPアドレスブロックとは、ユーザーが短時間で多くのリクエストを要求した場合、相手サーバーが「実在の人物からのアクセスではない」と判断し、アクセスを遮断することを指します。
さらに、相手サーバーは、Webサイトデータの悪用を防ぐために、アクセスしてきたIPアドレスをブラックリストに登録し、その後もアクセスをブロックし続けます。
IPアドレスのブロックを防ぐためには、Webクローラーに人間らしい行動をさせる必要があります。そのための具体的な方法をいくつか紹介します。
解決策1.クロール速度を遅くする
Webクローラーのクロール速度を遅くすることで、相手サーバーに気づかれずに、Webスクレイピングを実行できます。Webクローラーボットを活用すれば24時間自動抽出が実行されるため、手動に比べて遥かに効率的です。
Octoparseでは、ワークフロー内のステップの待ち時間を設定して、スクレイピングのスピードをコントロールできます。より人間的なスクレイピングを実行する「ランダム」の設定も可能です。
解決策2.ユーザーエージェントを切り替える
ユーザーエージェントとは、Webサイトでの情報を交換するブラウザのことです。同じユーザーエージェントから、一貫したリクエストを送り続けている場合、同じユーザーからアクセスされていることに気づかれてしまい、ブロックされる可能性があります。
Octoparseでは、Webクローラーが一定時間内で自動的に切り替わるユーザーエージェントのリストを提供しています。
解決策3.IPローテーションを行う
IPローテーションは、Webスクレイピングを中断することなくWebスクレイピングの実行を保つ効果的な方法です。複数のIPアドレスを割り当て、ローテーションさせることで、相手サーバーが異常を検出するのを困難にします。
IPローテーションは、多くのプロキシプロバイダーがサービスを提供しています。しかし、各社によってネットワーク品質に差があるため、導入にあたっては慎重に進めるべきでしょう。
Octoparseのクラウドサービスは、9,000万以上のIPアドレスと何千ものクラウドサーバーによってサポートされています。世界220以上の地域をカバーしており、ブロックされたりCAPTCHAに遭遇したりする可能性が低く、対象サイトのアクセス成功率を高めます。
スクレイピングタスクをクラウドに抽出した場合、6から20のクラウドサーバーがランダムに割り当てられ、複数のタスクを同時に実行します。
課題3：スクレイピング防止技術（CAPTCHA）
サイト運営者はスパム対策としてCAPTCHAを設定していることが少なくありません。CAPTCHAが設定されているサイトは、スクレイピングが難しくなります。ここではCAPTCHAの基本と回避方法を解説します。
CAPTCHAとは？
CAPTCHAとは、日本語で「コンピュータと人間を区別する完全に自動化された公開チューリングテスト」を意味します。わかりやすく言えば、Webサイトを利用する際に人間が操作していることを判断させるスパム対策の一つです。
悪質なコンピューターボットは、マルウェアの拡散や個人情報流出など、さまざまなセキュリティ上の被害をもたらします。Webサイトの運営者は、ユーザーにCAPTCHAによるアクセスを促すことで、悪質なスパムボットの侵入を防ぐことができます。
CAPTCHAに関して詳しく知りたい方はこちらをご覧ください。
参考：Webスクレイピングで知るべき5つのCAPTCHA知識
CAPTCHAのタイプ
CAPTHAにはいくつかのタイプがあるため、それぞれの特徴を理解しましょう。
- テキストCAPTCHA：ボットには認識できないような、ゆがんだ文字列や数字を表示し、ユーザーに入力させるタイプ。
- 画像認識CAPTCHA：画像内のモノ、動物、風景を判別させるタイプ。ジグソーパズルのピースを埋めるタイプもある。
- 音声CAPTCHA：雑音に混じった数字を聴き取らせたり、ランダムな単語や数字を適当に組み合わせた音声を入力させるタイプ。
この他にもCAPTCHAは年々進化しており、「reCAPTCHA v2」「reCaptcha v3」など、スクレイパーの通過が困難になる対策が次々に登場しています。
解決策.CAPTCHAを回避する方法
CAPTCHAの主な目的は、悪質なスパムボットの侵入を防ぐことです。そのため、CAPTCHAを回避するためには、サイト側にWebスクレイパーからのアクセスであることを気づかれないようにすることが重要です。
ポイントは、「人間らしい行動をすること」です。具体的には、Webスクレイパーのリクエスト間隔を空け、可能な限り低速でスクレイピングを実行します。この他にも、スクレイピングの成功率を高める方法を知りたい方はこちらの記事をご覧ください。
参考：スクレイピングテクニック – バレないようにする方法を解説
また、WebスクレイピングツールOctoparse（オクトパス）では、スクレイピングの効率を上げるために、CAPTCHAを解決する機能が備わっています。Octopraseでは現在、hCaptcha、ReCaptcha V2、画像Captchaの3種類のCAPTCHAを自動的に処理することが可能です。詳しくは、Octoparseのチュートリアルをご覧ください。
まとめ
本記事では、ECサイトからデータを抽出する際の３つの課題と解決策について解説しました。今回取り上げた課題以外にも、ECサイトのデータ抽出ではさまざまな課題があります。
例えば、連続するページからデータを抽出する、XPathを編集する、データをクリーニングするなどです。
こうした課題を解決するために、Octoparseでは日々機能の追加やバージョンアップを繰り返しており、誰もがWebスクレイピングを気軽に使えるサービスを目指しています。
