Webスクレイピング（Webデータ抽出、データスクレイピングとも呼ばれる）とは、Webからデータを抽出し、Web上のデータをデータベースやスプレッドシートに格納・分析可能な構造化データへの変換するWeb技術です。
Webスクレイピング技術は、Webスクレーパー（Webクローラー）を構築するのによって実現されます。プログラミングについて何も知らない人にとって、この作業は難しいかもしれません。幸いなことに、今では、コーディングをしなくてもWebデータを自動抽出できるスクレイピングソフトは様々です。
これらのソフトは、Chromeのようなブラウザが内蔵され、実際ユーザーのWebサイトとのやり取りをシミュレーションすることによって、ブラウザーにデータを表示するだけでなく、Webページからデータを抽出し、ローカル・フォルダーまたはデータベースに保管することができます。
今回では、人気のスクレイピングソフトを30選紹介したいと思います。
1. Beautiful Soup
Webサイト：https://www.crummy.com/software/BeautifulSoup/
こんな人におすすめ：Webスクレーパー/ Webクローラーを作成してWebサイトをクローリングするプログラミングの習熟度が高い開発者
製品特徴・紹介：Beautiful Soupは、HTMLやXMLファイルをスクレイピングするために設計されたオープンソースのPythonライブラリです。トップのPythonパーサとして広く使われています。パースされたページの解析ツリーを作成し、HTML からデータを抽出することができ、Webスクレイピングに役立ちます。もしプログラミングのスキルを持っているのなら、このライブラリをPythonと組み合わせると最も効果的です。
Python 2.7とPython 3に対応しています。
チュートリアル：【Pythonクローラー入門】SeleniumによるWebクローラーの開発
2. Octoparse
Webサイト：https://www.octoparse.jp/
こんな人におすすめ：プログラミングの知識がない、Web上のデータをスクレイピングを必要とする個人と企業
製品特徴・紹介：Octoparseは無料で使えるノーコードのWebスクレイピングツールで、WindowsとMacを対応できます。
Webページ自動識別機能を実装し、コードを書くことなく、WebサイトのURLを入力すると、データが識別され、気楽にWebクローラーの開発することができ、データベースやスプレッドシートに保存できます。
それに、ソフトを使いやすくするために、Yahooショッピング、楽天、マイナビ転職、Twitterなど数多くのWebクローラーテンプレートを利用できます。パラメータ（ターゲットページのURL、検索キーワードなど）を入力するだけで、データがどんどん抽出されてきます。
さらに、Octoparseのクラウドサービスは、数百台ものクラウドサーバーにサポートされ、それぞれが唯一のIPアドレスを持っています。クラウドでデータ取得を行う場合、対象サイトに様々なIPでアクセスすると、追跡されるやアクセス拒否される可能性は最小限にされます。
OctoparseはWebデータサービスも提供しています。具体的なニーズに基づいてカスタマイズすることもできます。
プログラミングに詳しくない人にとってはすごく便利です。また、日本語サービスも提供しており、日本のユーザーにはやさしいですね。
3. Import.io
Webサイト：https：//www.import.io/
こんな人におすすめ：データについての統合ソリューションを探している企業
製品特徴・紹介：Import.ioはWebデータプラットフォームです。Webサイトからデータをスクレイピングし、データセットにまとめることを可能にするWebスクレイピングソフトウェアを提供します。また、洞察を得るためにWebデータを販売およびマーケティングのための分析ツールに統合することができます。
Import.ioには、複数のURLクエリを処理するために特別に設計されたクロールサービスが組み込まれています。クロールサービスは、動的な速度制限を使用し、エラーや制限を処理するための再試行システムを備えています。複数のWebページにクエリを実行する場合、クロールサービスは、プロセスをより効率的にするために、回転するIPアドレスプールからそれぞれ非同期的にURLにクエリを実行します。URLの取得に失敗した場合は、URLを再取得し、別のIPアドレスから再試行します。このクロールサービスは、Webサイトの応答時間を監視し、抽出がWebサイトに過剰な負荷をかけないようにしています。
4. Mozenda
Webサイト：https://www.mozenda.com/
こんな人におすすめ：データニーズを持つ企業とビジネス
製品特徴・紹介：MozendaはWebからコンテンツを簡単に抽出できるスクレイピングソフトウェアです。データクレンジング、データ整理のサービスも提供しています。Web上のさまざまなソースから非構造化データを取得し、ユーザーが顧客についての洞察を得るために活用できる情報にフォーマットします。さらに、データ可視化のサービスも提供しています。データアナリストを雇う必要がなくなります。
5. ParseHub
Webサイト：https://www.parsehub.com/
こんな人におすすめ：データアナリスト、マーケティング担当者、プログラミングできない研究者
製品特徴・紹介：ParseHubはWebからデータを取得できる視覚的なWebスクレイピングソフトウェアです。Webサイトの任意のフィールドをクリックしてデータを抽出できます。また、アンチスクレイピング技術を使用しているWebサイトでは、IPアドレスを変更するのに役立つIPローテーションもあります。
ParseHubは、ダウンロード後、初めてアプリケーションを開いたときに、自動的にチュートリアルが始まることです。これにより、初めて使う人が自分でインターフェースを理解しようとする手間を省くことができ、チュートリアルが進むにつれて、データをスクレイピングするためのサンプルのウェブサイトが提供されます。直感的に操作できるインターフェースですが、データをスクレイピングするためのページをうまく操作するためには、いくつかの用語を覚えておく必要があります。チュートリアルの最後には、実際にプロジェクトを実行することができ、簡単にダウンロードできる形式のデータを得ることができます。
6. CrawlMonster
Webサイト：https://www.crawlmonster.com/
こんな人におすすめ：SEOとマーケティング担当者
製品特徴・紹介：CrawlMonsterは無料のスクレイピングツールです。Webサイトをクローリングし、Webサイトのコンテンツ、ソースコード、ページステータス、そして他の多くを分析することを可能にします。
膨大な量のSEO技術データへのアクセスをウェブサイトオーナーに提供するために設計された、Webサイトクローラー分析スイートです。企業は、オンライントラフィックの増加と収益の増加に必要なデータを得ることができます。
Webサイトを運営している企業や個人で、ユーザーのアクセス数や収益の増加が重要な商品である場合。私たちの分析プラットフォームは、ユーザーがこれらの指標を改善するために必要なデータを提供します。
7. Connotate
Webサイト：https://www.connotate.com/
こんな人におすすめ：データについての統合ソリューションを探している企業
製品特徴・紹介：ConnotateはImport.ioと一緒に働いて、データスクレイピングを自動化するための解決策を提供します。データをスクレイピングし、収集しそして取り扱うのを助けることができるWebデータサービスを提供しています。
8. Common Crawl
Webサイト：http://commoncrawl.org/
こんな人におすすめ：研究者、学生、教授
製品特徴・紹介：Common Crawlはデジタル時代のオープンソースの考えによって設立されました。クローリングされたWebサイトのオープンデータセットを提供しています。抽出されたWebページデータ、メタデータ、およびテキストが含まれています。
Common Crawl コーパスには、12年間のウェブ・クローリングによって収集されたペタバイト規模のデータが含まれています。このコーパスには、Webページの生データ、メタデータの抽出物、テキストの抽出物が含まれています。Common Crawlのデータは、Amazon Web ServicesのPublic Data Setsと、世界中の複数のアカデミッククラウドプラットフォームに保存されています。
9. Crawly
Webサイト：http://crawly.diffbot.com/
こんな人におすすめ：コーディングできない基本的なデータ要件を持つ人
製品特徴・紹介：CrawlyはWebサイトをスクレイピングしてJSONまたはCSVの形で構造化データに変換する自動サービスを提供しています。数秒以内に限られた要素を抽出することができます。例えば、HTML、コメント、DateEntityタグ、作成者、画像URL、ビデオ、発行者、および国です。
10. Content Grabber
Webサイト：http://www.contentgrabber.com/
こんな人におすすめ：プログラミングに精通しているPython開発者
製品特徴・紹介：Content Grabberは企業向けのWebスクレイピングソフトウェアです。統合されたサードパーティ製のツールを使用して、独自のWebスクレイピングエージェントをカスタマイズすることができます。複雑なWebサイトおよびデータ抽出を扱うことで非常に柔軟です。
Content Grabberは、Webデータ抽出、ドキュメント管理、インテリジェントプロセスオートメーション（IPA）を完全にコントロールします。シーケンタムのエンドツーエンドのプラットフォームは、社内で使用することも、経験豊富なマネージドデータサービスグループにウェブデータ抽出のニーズを委託することもできる柔軟性を備えています。品質管理モニター、任意のフォーマットやエンドポイントへの出力仕様を正確に定義するソフトウェア設定ファイルを作成します。
11. Diffbot
Webサイト：https://www.diffbot.com/
こんな人におすすめ：開発者とビジネス
製品特徴・紹介：Diffbotは機械学習とアルゴリズムとパブリックAPIを使ってWebページからデータを抽出するWebスクレイピングツールです。Diffbotを競合他社分析、価格監視、消費者行動の分析などに使用できます。
Diffbot社は、Webページからデータを抽出する/Webスクレイピングして知識ベースを作成するための機械学習やコンピュータビジョンのアルゴリズムと公開APIの開発会社です。同社は2008年にスタンフォード大学で設立され、スタンフォード大学の学内ベンチャーキャピタルファンドであるStartX（当時はStanford Student Enterprises）が出資した最初の企業です。
Diffbot社は、Webをクロールし、Webページの自動抽出を利用して、構造化されたWebデータの大規模なデータベースを構築することで、自動化された「ナレッジグラフ」のバージョンに取り組んでいることを発表した。2019年にDiffbotはそのナレッジグラフを発表し、その後20億以上のエンティティと10兆以上の 「ファクト」を含むまでに成長しました。
12. Dexi.io
Webサイト：https://dexi.io/
こんな人におすすめ：プログラミングとスクレイピングのスキルを持つ人
製品特徴・紹介：Dexi.ioはブラウザベースのWebクローラーです。3つのタイプのロボットを提供します - Extractor、Crawler、およびPipes。Pipesには、1台のロボットが複数のタスクを制御できるマスターロボット機能があります。ロボットに簡単に統合することができる多くの第三者サービス（キャプチャソルバー、クラウドストレージなど）をサポートします。
dexi.ioは、高性能・高機能なWebデータ抽出・絞り込みサービスで、Webスクレイピングロボットを構築するためのビジュアルエディタを提供しています。デンマークのコペンハーゲンを拠点とする dexi.io は、クライアントが成功するために必要とする貴重な実世界のデータを提供しています。
13. Data Scraping Studio
Webサイト：https://www.datascraping.co/
こんな人におすすめ：データアナリスト、マーケティング担当者、プログラミングできない研究者
製品特徴・紹介：Data Scraping Studioは、Webページ、HTML、XML、およびPDFからデータを収集するための無料のWebスクレイピングソフトウェアです。
Data Scraping Studioは、データを収集するためのスタンドアロンのデスクトップソフトウェアです。CSSセレクタを使用して迅速にWebスクレイピングエージェントを作成するために設計されたポイントアンドクリックのクローム拡張機能を使用して簡単に実装できるように構成されています。それはあなたがワンクリックでテキスト、HTML、または画像を抽出し、インスタント結果のプレビューを提供することができます。現在のページの出力は、JSON、CSV、TSVなどの一般的なファイル形式でダウンロードすることもできます。デスクトップクライアントは現在Windowsでのみ利用可能です。
14. Easy Web Extract
Webサイト：http://webextract.net/
こんな人におすすめ：限られたデータニーズを持つビジネス、マーケティング担当者、そしてプログラミングできない研究者
製品特徴・紹介：Easy Web Extractはビジネスに向いている可視化スクレイピングソフトウェアです。 Webページからコンテンツ（テキスト、URL、画像、ファイル）を抽出し、結果を複数の形式に変換できます。
15. FMiner
Webサイト：http://www.fminer.com/
こんな人におすすめ：データアナリスト、マーケティング担当者、プログラミングできない研究者
製品特徴・紹介：FMinerは可視化ワークフローデザイナを備えたWebスクレイピングソフトウェアで、コーディングなしでマクロレコーダーを使ってプロジェクトを構築することを可能にします。高度な機能を使用すると、動的なWebサイトからAjaxとJavascriptを使用してスクレイピングすることができます。
16. Grabby
Webサイト：https://scrapy.org/
こんな人におすすめ：プログラミングに精通しているPython開発者
製品特徴・紹介：Grabbyはクローラーを構築するために使用されます。ブラウザベースなので、インストールは必要ありません。この製品の素晴らしいところは、非同期のネットワーキングライブラリがあることです。これにより、完了する前に次のタスクに進むことができます。
17. Helium Scraper
Webサイト：https://www.heliumscraper.com/eng/
こんな人におすすめ：データアナリスト、マーケティング担当者、プログラミングできない研究者
製品特徴・紹介：Helium Scraperは可視化的なデータスクレイピングソフトウェアで、特にWebサイト上の小さな要素に対して非常にうまく機能します。ポイントアンドクリックのインターフェイスを持っていて使いやすいです。
18. Scrape. it
Webサイト：https://scrape.it/
こんな人におすすめ：コーディングなしでスケーラブルなデータを必要とする人
製品特徴・紹介：Scrape. It はクラウドベースのWebデータ抽出ツールで、Node.jsのスクレイピングソフトです。ローカルドライブにスクレイピングされたデータを保存することを可能にします。Web Scraping Language（WSL）を使用してスクレーパーを作成することができます。
19. ScraperWiki
Webサイト：https://scraperwiki.com/
こんな人におすすめ：PythonとRのデータ分析環境があり、コーディングに不慣れな経済学者、統計学者そしてデータ管理者
製品特徴・紹介：ScraperWiki は名前をQuickCodeに変更しました。会社の内部に2つの部分を分けています。一つは、PythonとR言語の知識を持つ経済学者、統計学者、そしてデータ管理者のために設計されたQuickCodeです。もう１つは、厄介な情報を構造化データに変換するWebデータサービスを提供するThe Sensible Code Companyです。
20. ScrapingHub
Webサイト：https://scrapinghub.com/
こんな人におすすめ：Python /スクレイピング開発者
製品特徴・紹介：ScrapinghubはクラウドベースのWebプラットフォームです。4種類のツールがあります - Scrapy Cloud、Portia、Crawlera、そしてSplashです。Scrapinghubが50カ国以上をカバーするIPアドレスのコレクションを提供していることは魅力です。これはIP禁止問題の解決策です。
21. Screen Scraper
Webサイト：https://www.screen-scraper.com/
こんな人におすすめ：自動車、医療、金融およびeコーマス業界に関連するビジネス
製品特徴・紹介：Screen Scraperは自動車、医療、金融そしてeコーマス業界のためのWebデータサービスを提供しています。ただし、使い方の学習に多くの時間がかかります。経験の浅いユーザーであれば、ソフトウェアを習得するのは簡単ではありません。
22. Salestools.io
Webサイト：https://salestools.io/
こんな人におすすめ：マーケティング担当者および営業担当者
製品特徴・紹介：Salestools.ioは、LinkedIn、Angellist、Viadeoなどのプロフェッショナルネットワーク上でデータを手軽に取得できるスクレイピングソフトウェアを提供しています。
23. ScrapeHero
Webサイト：https：//www.scrapehero.com/
こんな人におすすめ：投資家、ヘッジファンド、マーケットアナリスト
製品特徴・紹介：APIプロバイダーとするScrapeHeroはWebサイトをデータに変えることを可能にします。これは、既存のスクレイピング事業の改革です。企業にカスタマイズされたWebデータサービスを提供しています。
24. UiPath
Webサイト：https://www.uipath.com/
こんな人におすすめ：ビジネス
製品特徴・紹介：UiPathは業務自動化をサポートするロボットプロセス自動化ソフトウェア(RPA)です。ほとんどのアプリケーションからWebデータとデスクトップデータの抽出を自動化します。これにより、ユーザーはビジネスプロセスで自動化を作成、展開、および管理できますデータ管理ルールを作成することを可能にするので、ビジネスユーザーにとって素晴らしいオプションです。
25. Web Content Extractor
Webサイト：http://www.newprosoft.com/web-content-extractor.htm
こんな人におすすめ：データアナリスト、マーケティング担当者、プログラミングできない研究者
製品特徴・紹介：Web Content Extractorは個人または企業の目的のための使いやすいWebスクレイピングソフトウェアです。14日間の無料トライアルがあります。
26. WebHarvy Web Scraper
Webサイト：https://www.webharvy.com/
こんな人におすすめ：データアナリスト、マーケティング担当者、プログラミングできない研究者
製品特徴・紹介：WebHarvyはポイントアンドクリックのスクレイピングソフトウェアです。非プログラマのために設計されています。抽出機能では、スケジュールを設定できません。初心者ユーザーにとって非常に役に立つスクレイピングチュートリアルを用意しています。
27. Web Scraper.io
Webサイト：https://webscraper.io/
こんな人におすすめ：データアナリスト、マーケティング担当者、プログラミングできない研究者
製品特徴・紹介：Web Scraperは、Webサイトからデータのスクレイピング用に構築されたchromeブラウザの拡張機能です。動的なWebページを対応できる無料のWebスクレイピングソフトウェアです。
28. Web Sundrew
Webサイト：http://www.websundew.com/
こんな人におすすめ：企業、マーケティング担当者、および研究者
製品特徴・紹介：WebSundewは構造化Webデータを抽出する直感的に操作ができるスクレイピングツールです。Enterprise版では、リモートサーバーでスクレイピングを実行し、収集したデータをFTP経由で公開することができます。
29. Winautomation
Webサイト：https://www.winautomation.com/
こんな人におすすめ：開発者、ITプロ
製品特徴・紹介：WinautomationははWindows用のWebスクレイピングツールです。レイアウトははっきりとわかりやすいです。
30. Web Robots
Webサイト：https://webrobots.io/
こんな人におすすめ：データアナリスト、マーケティング担当者、プログラミングできない研究者
製品特徴・紹介：Web Robotsは動的なJavascriptを多用するWebサイトをスクレイピングするためのクラウドベースのプラットフォームです。デスクトップソフトウェアと同様にWebブラウザ拡張を持っていて、Webサイトからデータを簡単にスクレイピングできます。
いかがでしょうか？スクレイピングソフトを使うことで大幅な時間短縮ができるようになりました。Webマーケティングに関わっている人は、すでにWebスクレイピングツールを使っている人も多いとは思いますが、それぞれの特徴を理解して最適なツールを利用してみてください。
関連記事：
スクレイピングは違法？Webスクレイピングに関する10のよくある誤解
