【営業リスト作成】2021年Googleマップをスクレイピングする方法5選

インターネット時代において、地図のデジタルデータはますます重要になり、ビジネス価値を生み出し、意思決定を支援するのに役に立ちます。このようなデータは業界で広く使用されています。たとえば、飲食業者は、地図データと近くの競合他社を分析して、新しいお店を開く場所を決定することができます。 

Googleマップ(Google Maps)では、220 の国と地域を広くカバーする地図と数億のお店や場所に関する詳しい情報を見えるし、リアルタイムの GPS ナビ、渋滞状況、経度緯度、乗換案内のほか、地元のグルメやイベントに関する情報を、世界中どこでも利用できます。実際には、スクレイピング(データを抽出する)を通じて、Googleマップの情報を自動的に収集し整理することができます。プログラミング知識のない方も簡単にデータを収集することができます。

Googleマップからデータをスクレイピングするには、さまざまな種類の方法があります。この記事では、その中から5つの方法をご紹介します。

 

 

1. Places API of Google Maps Platform (Google Maps API)

Facebook、Instagram、Twitter、AmazonなどのWebサイトが、ユーザーに一部のデータをアクセスことができるために、APIを提供します。Googleマップもユーザーに場所のAPIサービスを提供しています。

Google Maps Platformには、地図やストリートビューなどの「マップ(Maps)」、ルートや所要時間などを検索する「ルート(Routes)」、周辺のスポット検索やジオコーディング・ 位置情報を利用する「プレイス(Places)」の3つの機能があります。

Places APIはをGoogleマップから場所データを収集する最良の方法の1つであり、開発者はAPI経由のHTTPリクエストを使用して、指定した地点の施設、地理位置、有名なスポットなどの情報を取得することができます。

Places APIを使用する前に、アカウントを設定し、独自のAPIキーを作成する必要があります。Places APIは無料ではなく、従量課金制のモデルを使用しています。それでも、提供されるデータフィールドはPlaces APIによって制限されているため、必要なすべてのデータを取得できない場合があります。

このサービスの提供が無料ではなく、利用時間に応じて料金を払います。しかし、Googleマップから最新の場所データを取得することにとって最も良い方法だと思っています。

 

 

2. Web Scraper ーー Chrome拡張機能を利用する

Web Scraper(Webスクレーパー)は、最も人気のあるWebスクレイピング拡張機能です。Google Chromeブラウザをダウンロードして、拡張機能Web Scraperをインストールすると、すぐ使えます。データをスクレイピングするためにコードを書いたりソフトウェアをダウンロードしたりする必要はありません。ほとんどの場合、Chrome拡張機能で十分です。

Octoparseと同じように、クラウドサービス、API機能、IPローテーション、および抽出プロジェクトのスケジューリング機能も提供します。
ただし、Webページの複雑な構造を処理したり、大量のデータをスクレイピングしたい場合、この拡張機能はそれほど強力ではありません。

 

 

3. Octoparse

Octoparseは、プログラマー以外のユーザー向けの強力なWebスクレイピングツールで、データのスクレイピングするクローラーを構築できます。数回クリックするだけで、Webサイトから貴重なデータを取得することができます。Octoparseを使うと、クローラーをカスタマイズして、Webサイトの99%複雑な構造を処理し、データを取得できます。

さらに、Octoparseにはたくさんのタスクテンプレート(Amazon、Googleマップなど)があり、誰でも簡単にWebスクレイピングにアクセスできます。キーワードまたはURLを入力するだけで、テンプレートは自動的にデータを収集し始めます。

Google Mapsスクレイピング

 

このGoogle Mapsテンプレートを使うと、場所の名前、評価、アドレス、Webサイト、電話番号、オーペンタイムなどの情報を抽出することができます。キーワードを入力するだけで、すぐにほしいデータを取得できます。それだけでなく、このツールの最もいいところは無料です!誰にとっても完全に無料です。

それだけでなく、Octoparseが構築されたテンプレート以外他のWebサイト上のデータを取集したい場合は、自らのクローラーを作って、情報を抽出することも可能です。Octoparseで作成されたクローラーは、クラウドサーバー上で24時間年中無休で動作しています。抽出したデータがExcel、JSON、CSVなどの多くの形式にエクスポートことができます。APIを通じて自分が作ったデータベースにエクスポートこともできます。

Octoparseで作成されたクローラーは、ローカルマシンまたはクラウドで実行できます。 Octoparseは強力で使いやすいですが、独自のクローラーを構築する方法を学ぶ必要があり、少し時間がかかるかもしれません。

 

 

以上に、ツールでGoogleマップのをスクレイピングする方法3選を紹介しました。この中、データスクレイピングツールは誰でも使える一番簡単な方法です。もし、プログラミング知識がないならば、スクレイピングツール(データ抽出ツール)を薦めます。プログラミング経験があり、プログラミング能力に自信がある場合は次のオプションを紹介させていただきます。

 

 

4. Pythonフレームワークまたはライブラリ

ScrapyBeautiful Soupなどの強力なPythonフレームワーク(frameworks)またはライブラリ(libraries)を使用して、クローラーをカスタマイズし、必要なデータをスクレイピングすることもできます。具体的には、ScrapyはWebページからデータをダウンロード、処理、保存するために使用されるフレームワークであり、多くの組み込みコードがあるから、すごく時間節約できます。BeautifulSoupはプログラマーがWebページからデータをすばやく抽出できるようにするライブラリです。

そのため、クローラーを構築してデータをスクレイピングするには、自分でコードを書く必要があります。したがって、Webスクレイピングを習得したプログラマーのみがこの任に堪えます。Webクロールに関する経験・知識が不足しているプログラマーにとっては、それはあまり実用的ソリューションではありません。

 

 

5. GitHubのオープンソースプロジェクト

ほとんどのプログラマーは、世界有数のソフトウェア開発プラットフォームのGithubを知っているかもしれません。このプラットフォームには、世界中の開発者が共有する多数のオープンソースプロジェクトがあり、それらを活用していくことができます。そのプロジェクトは前の他の開発者に作成されたため、最初からスクレーパーを作る必要がなく、時間とエネルギーを大幅に節約できます。GitHubにはGoogleマップをスクレイピングするプロジェクトもあり、例えば、Node.jsで書かれたこのプロジェクトです。既に他の人によって作成された優れたオープンソースプロジェクトがたくさんありますので、車輪(タイヤ)の再発明することも必要もないように、それを活用しましょう。

ほとんどのコードを自分で記述する必要がない場合でも、スクリプトを実行するために基本的な知識とコードを記述する必要があり、コーディングについてほとんど知識のない人にとっては難しいです。例として、プロジェクトを正常に動作するために、プログラミングの基礎知識と技術が必要です。時々、GoogleマップはそのWebサイトの構造を変更する時に、コードはメンテナンスを欠いている時に、データ抽出プロセスの障害が生じる可能性があります。

さらに、データ抽出(データスクレイピング)の最終的な結果としては、元のオーペンソースプロジェクトの質次第です。データがtxtファイルの形で抽出する場合があり、その場合で大規模なデータを抽出することはほとんど不可能なことです。

いかがでしたか?以上の方法を試して、独自のクローラーを作成し、必要なデータを取得してみてください!

 

 

関連記事:

Googleマップからレストランの情報を取得する

スクレイピングツールにオススメの10選【2021年更新】

タピ活におすすめ!東京のタピオカ人気店5選をご紹介 

Python vs Octoparse!初心者向きのスクレイピング方法はどっち?