Webスクレイピング（Webデータ抽出、データスクレイピングとも呼ばれる）は、Webからデータを抽出し、Web上のデータをデータベースやスプレッドシートに格納・分析可能な構造化データへの変換するWeb技術です。
Webスクレイピング技術は、Webスクレーパー（Webクローラー）を構築するのによって実現されます。プログラミングについて何も知らない人にとって、この作業は難しいかもしれません。幸いなことに、今では、コーディングをしなくてもWebデータを自動抽出できるスクレイピングソフトは様々です。
これらのソフトは、Chromeのようなブラウザが内蔵され、実際ユーザーのWebサイトとのやり取りをシミュレーションすることによって、ブラウザーにデータを表示するだけでなく、Webページからデータを抽出し、ローカル・フォルダーまたはデータベースに保管することができます。
今回では、人気のスクレイピングソフトを30選紹介したいと思います。
1. Beautiful Soup
Webサイト：https://www.crummy.com/software/BeautifulSoup/
誰向け：Webスクレーパー/ Webクローラーを作成してWebサイトをクローリングするプログラミングの習熟度が高い開発者
使う理由：Beautiful Soupは、HTMLやXMLファイルをスクレイピングするために設計されたオープンソースのPythonライブラリです。トップのPythonパーサとして広く使われています。もしプログラミングのスキルを持っているのなら、このライブラリをPythonと組み合わせると最も効果的です。
2. Octoparse
Webサイト：https://www.octoparse.jp/
誰向け：プログラミングの知識がない、Web上のデータをスクレイピングを必要とする個人と企業
使う理由：Octoparseは無料で使えるWebスクレイピングソフトウェアで、WindowsとMacを対応できます。Webページ自動認識機能を実装し、コードを書くことなく、WebサイトのURLを入力すると、データが認識され、スクレイピングして、データベースやスプレッドシートに保存できます。それに、ソフトを使いやすくするために、Yahooショッピング、楽天、マイナビ転職、Twitterなど数多くのWebクローラーテンプレートを利用できます。パラメータ（ターゲットページのURL、検索キーワードなど）を入力するだけで、データがどんどん抽出されてきます。OctoparseはWebデータサービスも提供しています。具体的なニーズに基づいてカスタマイズすることもできます。プログラミングに詳しくない人にとってはすごく便利です。また、日本語サービスも提供しており、日本のユーザーにはやさしいですね。
3. Import. io
Webサイト：https：//www.import.io/
誰向け：データについての統合ソリューションを探している企業
使う理由：Import.ioはWebデータプラットフォームです。Webサイトからデータをスクレイピングし、データセットにまとめることを可能にするWebスクレイピングソフトウェアを提供します。また、洞察を得るためにWebデータを販売およびマーケティングのための分析ツールに統合することができます。
4. Mozenda
Webサイト：https://www.mozenda.com/
誰向け：データニーズを持つ企業とビジネス
使う理由：MozendaはWebからコンテンツを簡単に抽出できるスクレイピングソフトウェアです。それに、データ可視化のサービスも提供しています。データアナリストを雇う必要がなくなります。
5. ParseHub
Webサイト：https://www.parsehub.com/
誰向け：データアナリスト、マーケティング担当者、プログラミングできない研究者
使う理由：ParseHubはWebからデータを取得できる視覚的なWebスクレイピングソフトウェアです。Webサイトの任意のフィールドをクリックしてデータを抽出できます。また、アンチスクレイピング技術を使用しているWebサイトでは、IPアドレスを変更するのに役立つIPローテーションもあります。
6. CrawlMonster
Webサイト：https://www.crawlmonster.com/
誰向け：SEOとマーケティング担当者
使う理由：CrawlMonsterは無料のスクレイピングソフトウェアです。Webサイトをクローリングし、Webサイトのコンテンツ、ソースコード、ページステータス、そして他の多くを分析することを可能にします。
7. Connotate
Webサイト：https://www.connotate.com/
誰向け：データについての統合ソリューションを探している企業
使う理由：ConnotateはImport. ioと一緒に働いて、データスクレイピングを自動化するための解決策を提供します。データをスクレイピングし、収集しそして取り扱うのを助けることができるWebデータサービスを提供しています。
8. Common Crawl
Webサイト：http://commoncrawl.org/
誰向け：研究者、学生、教授
使う理由：Common Crawlはデジタル時代のオープンソースの考えによって設立されました。クローリングされたWebサイトのオープンデータセットを提供しています。抽出されたWebページデータ、メタデータ、およびテキストが含まれています。
9. Crawly
Webサイト：http://crawly.diffbot.com/
誰向け：コーディングできない基本的なデータ要件を持つ人
使う理由：CrawlyはWebサイトをスクレイピングしてJSONまたはCSVの形で構造化データに変換する自動サービスを提供しています。数秒以内に限られた要素を抽出することができます。例えば、HTML、コメント、DateEntityタグ、作成者、画像URL、ビデオ、発行者、および国です。
10. Content Grabber
Webサイト：http://www.contentgrabber.com/
誰向け：プログラミングに精通しているPython開発者
使う理由：Content Grabberは企業向けのWebスクレイピングソフトウェアです。統合されたサードパーティ製のツールを使用して、独自のWebスクレイピングエージェントをカスタマイズすることができます。複雑なWebサイトおよびデータ抽出を扱うことで非常に柔軟です。
11. Diffbot
Webサイト：https://www.diffbot.com/
誰向け：開発者とビジネス
使う理由：Diffbotは機械学習とアルゴリズムとパブリックAPIを使ってWebページからデータを抽出するWebスクレイピングツールです。Diffbotを競合他社分析、価格監視、消費者行動の分析などに使用できます。
12. Dexi. io
Webサイト：https://dexi.io/
誰向け：プログラミングとスクレイピングのスキルを持つ人
使う理由：Dexi.ioはブラウザベースのWebクローラーです。3つのタイプのロボットを提供します - Extractor、Crawler、およびPipes。Pipesには、1台のロボットが複数のタスクを制御できるマスターロボット機能があります。ロボットに簡単に統合することができる多くの第三者サービス（キャプチャソルバー、クラウドストレージなど）をサポートします。
13. Data Scraping Studio
Webサイト：https://www.datascraping.co/
誰向け：データアナリスト、マーケティング担当者、プログラミングできない研究者
使う理由：Data Scraping Studioは、Webページ、HTML、XML、およびPDFからデータを収集するための無料のWebスクレイピングソフトウェアです。デスクトップクライアントは現在Windowsでのみ利用可能です。
14. Easy Web Extract
Webサイト：http://webextract.net/
誰向け：限られたデータニーズを持つビジネス、マーケティング担当者、そしてプログラミングできない研究者
使う理由：Easy Web Extractはビジネスに向いている可視化スクレイピングソフトウェアです。 Webページからコンテンツ（テキスト、URL、画像、ファイル）を抽出し、結果を複数の形式に変換できます。
15. FMiner
Webサイト：http://www.fminer.com/
誰向け：データアナリスト、マーケティング担当者、プログラミングできない研究者
使う理由：FMinerは可視化ワークフローデザイナを備えたWebスクレイピングソフトウェアで、コーディングなしでマクロレコーダーを使ってプロジェクトを構築することを可能にします。高度な機能を使用すると、動的なWebサイトからAjaxとJavascriptを使用してスクレイピングすることができます。
16. Grabby
Webサイト：https://scrapy.org/
誰向け：プログラミングに精通しているPython開発者
使う理由：Grabbyはクローラーを構築するために使用されます。ブラウザベースなので、インストールは必要ありません。この製品の素晴らしいところは、非同期のネットワーキングライブラリがあることです。これにより、完了する前に次のタスクに進むことができます。
17. Helium Scraper
Webサイト：https://www.heliumscraper.com/eng/
誰向け：データアナリスト、マーケティング担当者、プログラミングできない研究者
使う理由：Helium Scraperは可視化的なデータスクレイピングソフトウェアで、特にWebサイト上の小さな要素に対して非常にうまく機能します。ポイントアンドクリックのインターフェイスを持っていて使いやすいです。
18. Scrape. it
Webサイト：https://scrape.it/
誰向け：コーディングなしでスケーラブルなデータを必要とする人
使う理由：Scrape. It はクラウドベースのWebデータ抽出ツールで、Node.jsのスクレイピングソフトです。ローカルドライブにスクレイピングされたデータを保存することを可能にします。Web Scraping Language（WSL）を使用してスクレーパーを作成することができます。
19. ScraperWiki
Webサイト：https://scraperwiki.com/
誰向け：PythonとRのデータ分析環境があり、コーディングに不慣れな経済学者、統計学者そしてデータ管理者
使う理由：ScraperWiki は名前をQuickCodeに変更しました。会社の内部に2つの部分を分けています。一つは、PythonとR言語の知識を持つ経済学者、統計学者、そしてデータ管理者のために設計されたQuickCodeです。もう１つは、厄介な情報を構造化データに変換するWebデータサービスを提供するThe Sensible Code Companyです。
20. ScrapingHub
Webサイト：https://scrapinghub.com/
誰向け：Python /スクレイピング開発者
使う理由：ScrapinghubはクラウドベースのWebプラットフォームです。4種類のツールがあります - Scrapy Cloud、Portia、Crawlera、そしてSplashです。Scrapinghubが50カ国以上をカバーするIPアドレスのコレクションを提供していることは魅力です。これはIP禁止問題の解決策です。
21. Screen Scraper
Webサイト：https://www.screen-scraper.com/
誰向け：自動車、医療、金融およびeコーマス業界に関連するビジネス
使う理由：Screen Scraperは自動車、医療、金融そしてeコーマス業界のためのWebデータサービスを提供しています。ただし、使い方の学習に多くの時間がかかります。経験の浅いユーザーであれば、ソフトウェアを習得するのは簡単ではありません。
22. Salestools. io
Webサイト：https://salestools.io/
誰向け：マーケティング担当者および営業担当者
使う理由：Salestools.ioは、LinkedIn、Angellist、Viadeoなどのプロフェッショナルネットワーク上でデータを手軽に取得できるスクレイピングソフトウェアを提供しています。
23. ScrapeHero
Webサイト：https：//www.scrapehero.com/
誰向け：投資家、ヘッジファンド、マーケットアナリスト
使う理由：APIプロバイダーとするScrapeHeroはWebサイトをデータに変えることを可能にします。これは、既存のスクレイピング事業の改革です。企業にカスタマイズされたWebデータサービスを提供しています。
24. UiPath
Webサイト：https://www.uipath.com/
誰向け：ビジネス
使う理由：UiPathは業務自動化をサポートするロボットプロセス自動化ソフトウェア(RPA)です。ほとんどのアプリケーションからWebデータとデスクトップデータの抽出を自動化します。これにより、ユーザーはビジネスプロセスで自動化を作成、展開、および管理できますデータ管理ルールを作成することを可能にするので、ビジネスユーザーにとって素晴らしいオプションです。
25. Web Content Extractor
Webサイト：http://www.newprosoft.com/web-content-extractor.htm
誰向け：データアナリスト、マーケティング担当者、プログラミングできない研究者
使う理由：Web Content Extractorは個人または企業の目的のための使いやすいWebスクレイピングソフトウェアです。14日間の無料トライアルがあります。
26. WebHarvy Web Scraper
Webサイト：https://www.webharvy.com/
誰向け：データアナリスト、マーケティング担当者、プログラミングできない研究者
使う理由：WebHarvyはポイントアンドクリックのスクレイピングソフトウェアです。非プログラマのために設計されています。抽出機能では、スケジュールを設定できません。初心者ユーザーにとって非常に役に立つスクレイピングチュートリアルを用意しています。
27. Web Scraper. io
Webサイト：https://webscraper.io/
誰向け：データアナリスト、マーケティング担当者、プログラミングできない研究者
使う理由：Web Scraperは、Webサイトからデータのスクレイピング用に構築されたchromeブラウザの拡張機能です。動的なWebページを対応できる無料のWebスクレイピングソフトウェアです。
28. Web Sundrew
Webサイト：http://www.websundew.com/
誰向け：企業、マーケティング担当者、および研究者
使う理由：WebSundewは構造化Webデータを抽出する直感的に操作ができるスクレイピングツールです。Enterprise版では、リモートサーバーでスクレイピングを実行し、収集したデータをFTP経由で公開することができます。
29. Winautomation
Webサイト：https://www.winautomation.com/
誰向け：開発者、ITプロ
使う理由：WinautomationははWindows用のWebスクレイピングツールです。レイアウトははっきりとわかりやすいです。
30. Web Robots
Webサイト：https://webrobots.io/
誰向け：データアナリスト、マーケティング担当者、プログラミングできない研究者
使う理由：Web Robotsは動的なJavascriptを多用するWebサイトをスクレイピングするためのクラウドベースのプラットフォームです。デスクトップソフトウェアと同様にWebブラウザ拡張を持っていて、Webサイトからデータを簡単にスクレイピングできます。
いかがでしょうか？スクレイピングソフトを使うことで大幅な時間短縮ができるようになりました。Webマーケティングに関わっている人は、すでにWebスクレイピングツールを使っている人も多いとは思いますが、それぞれの特徴を理解して最適なツールを利用してみてください。
関連記事：
