Webクローリングとは、目的に応じてWeb上を巡回し必要な情報を収集する手法です。「Webクローラー（サイトクローラー）」と呼ばれるロボットがWebサイト上を回遊し、わずか数分で必要な情報を集めることができます。今まで手作業でリストアップ作業をしていた方が、そのタスクをWebクローラーに任せるだけで、圧倒的な時間短縮になるでしょう。
これまでWebスクレイピングを行う際はプログラミングの習得が必要であったため、非エンジニアにとってはハードルが高いものでした。しかし、データドリブンな経営が求められる中で、経営層、マーケティング担当、セールス担当などの間でもWebスクレイピングの活用が注目されています。
そこで役立つのが「Webクローラーツール」です。そこで本記事では、WEB上で人気のWebクローラーツールを20選紹介します。
Webクローラーツールのメリット
Webクローラーツールを使うことで次のようなメリットが得られます。
- 情報を素早く収集できる
- スクレイピングの併用で情報を抽出できる
- 人的ミスを防げる
このように、Webクローラーツールはマーケティング担当者・経営者・研究者などの非エンジニアでありながらデータを必要とする方にとって、強力なツールです。
Webクローラーの基本やメリットについてさらに詳しく知りたい方は、以下の記事をご覧ください。
参考：Webクローラーとは？仕組みとクローリングを自動化する方法
Webスクレイピングツール
1. Octoparse：「ノーコード（プログラミング不要）でスクレイピングできる！」
Octoparseは、Webサイトからデータを抽出できる強力なWebクローラーツールで、WindowsとMacに対応しています。海外の製品ですが、操作画面やチュートリアルはすべて日本語に対応しています。Octoparseは内蔵ブラウザを備えており、マウスクリックで簡単にデータを抽出できます。
さらに、誰でもかんたんにサービスを使いやすくするためのWebクローラーテンプレートを豊富に用意しています。例えば、Yahooショッピング、楽天市場、マイナビ転職、Twitter(The X)、食べログなど、利用者が多い人気サイトを中心としたテンプレートが充実しており、テンプレートを選択し、パラメータを入力するだけで、あとは自動的にデータが抽出されていきます。取得したデータをCSV、Excel、またはデータベースなどの構造化フォーマットとして保存や編集が可能です。
加えてOctoparseはクローリングのスケジュール設定が可能です。決められたタイミングに設定すれば、後は何もしなくても常に最新情報にアクセスできます。その他、セキュリティ管理やサーバー管理などのハードウェア保守も不要です。
＜特徴・機能＞
- IPアドレス自動巡回機能で、Webサイト側のアクセス拒否を効果的に避けられる
- プログラミングスキルを必要せず、直感的なマウス操作のみで設定が可能
- 人気サイトのテンプレートが豊富なので目的に合わせてかんたんに扱える
- フリーミアムなので無料プランから利用可能
2.80legs
80legsは、カスタマイズ要件に基づいて設定できる強力なWebクローラーツールです。膨大な量のデータを取り込むことができ、抽出されたデータを即時にダウンロードするオプションもあります。80legsは無料からでも利用でき、１回あたり10,000 URLまでわずか数秒でデータを取得できる高性能クローリング体験を提供します。
＜特徴・機能＞
- API連携：Webクローラーの作成や、データ取得の自動化や管理などを行うためのAPIを提供
- スクレーパーのカスタマイズ：JavaScriptベースのアプリフレームワークにより柔軟な設定が可能
- レート制限：Web ページへのリクエストを応答時間に応じて、クロールを高速または低速で実行
3. ParseHub
Parsehubは、AJAXテクノロジー、JavaScript、Cookieなどを使用するWebサイトからのデータ収集をサポートする優れたWebクローラーです。Webドキュメントを読み取り、分析してから関連データに変換できる機械学習テクノロジーを応用しています。
Parsehubのデスクトップアプリケーションは、Windows、macOS、Linuxなどのシステムをサポートしています。ブラウザ内に組み込まれているWebアプリを使用することもできます。
無料ツールとして、Parsehubにはプロジェクトを5つしか設定できません。有料プランでは、Webサイトをスクレイピングするクローラーを少なくとも20個作成できます。
＜特徴・機能＞
- ブラウザーベースのグラフィックインターフェースなので直感的に使いやすい
- クラウドベースなのでソフトインストール不要。抽出データもクラウド上に保存される
- AJAXとJavaScriptを用いて、動的なWebサイトからもデータ抽出が可能
4. WebHarvy
WebHarvyは非プログラマーのために設計されたポイント・アンド・クリック式のWebクローラーツールです。自動的にWebサイトからテキスト、画像、URLおよびメールをスクレイピングし、様々なフォーマット形式で保存できます。
また、匿名でクローリングを可能にする組込スケジューラとプロキシサポートを提供しているため、Webサーバー側からブロックされるのを防ぎます。プロキシサーバまたはVPN経由でターゲットWebサイトにアクセスすることもできます。
クローリングで抽出したデータは、XML、CSV、JSON、TSVファイルのほか、SQLデータベースにエクスポートすることも可能です。
＜特徴・機能＞
- 優れたUI（ユーザーインターフェース）で直感的な操作でクローリングが可能
- 匿名でのクローリングを可能にし、Webサーバーからブロックされるのを防ぐ
- XML、CSV、JSON、SQLデータベースなど、あらゆる形式にエクスポートが可能
5.Sequentum
Sequentumは、エンタープライズ（企業）向けのWebクローラーツールです。あらゆるWebサイトからコンテンツを抽出し、Excel、XML、CSVのほか、ほとんどのデータベースに構造化データとして保存できます。
豊富なスクリプト編集機能と優れたデバッグインターフェースを提供しているため、高度なプログラミングスキルを持つ人に向いています。ユーザーはC#またはVB.NETを使って、スクリプトをデバッグまたは書き込むことで、クローリングプロセスを制御することが可能です。
＜特徴・機能＞
- サードパーティのデータ分析・レポートアプリケーションとの統合が可能
- 高度で洗練されたクローラーによってスクリプト編集、デバッグ、単体テストをサポ―ト
- 抽出データのエクスポートは、Excel、XML、CSVおよび、ほとんどのデータベースに対応
6.Helium Scraper
Helium Scraperは、インターフェースが優れているWebクローラーツールで、要素間の関連が小さい場合にも非常にうまく機能できます。コーディングをする必要がなく、テンプレートも豊富なので、ユーザーはさまざまなクローリングニーズに基づいて、効率的に利用できます。初級レベルのユーザーのクローリングニーズを満たすには十分なツールです。
＜特徴・機能＞
- 抽出したデータは、CSV、Excel、XML、JSON、SQLiteにエクスポートが可能
- 画像抽出など不要なWebリクエストをブロックすることで抽出スピードの高速化を実現
- プロキシ経由でIPローテーションを設定することで、Webサーバー側のブロックを防ぐ
7.ShtockData
ShtockData（シュトックデータ）は、Webページ上のデータを抽出・収集するクローリングサービスです。多くのWebクローリングサービスは海外企業が多い中、ShtockDataは国内企業の株式会社キーウォーカーが運営しています。スタートアップ、大手企業、行政機関、研究機関など幅広く導入されており、600万以上のサイトでクローリング実績があります。
＜特徴・機能＞
- 収集したデータをBIツールに連携して可視化する、データ抽出レポート機能
- サイト内検索のフォームなどに自動で入力する、自動テキスト入力機能
- 抽出したデータは、CSV、JSON、PDF、Excelなどにエクスポートが可能
Webページ保存ソフト
8. Cyotek WebCopy
CyotekのWebCopyは、その名前の通り、Webサイトの一部あるいは全体をローカルディスクに自動的に複製してくれる無料Webクローラーです。
設定を変更することで、クローラーボットにクローリングの方法を伝えることができます。加えて、ドメインエイリアス、ユーザーエージェント文字列、デフォルトドキュメントなども柔軟に設定可能です。ただし、WebCopyでは仮想DOMやJavaScript解析は対象となっていません。もしWebサイトがJavaScriptを多用している場合、WebCopyは正しくコピーを作成できない可能性があります。
＜特徴・機能＞
- JavaScriptの解析機能がない。Webにある程度知識がある方向け
- ハードディスクにWebサイトをダウンロードし、オフラインでアクセスが可能
- オープンソースなので無料で利用可能
9.HTTrack
HTTrackは、無料で使えるオープンソースのWebクローラーツールです。Webサイト全体をパソコン内にダウンロードする機能を提供しています。 Windows、Linux、Sun Solaris、および他のUnixシステムで利用可能なので、ほとんどのユーザーに対応しています。 HTTrackからWebサイトをミラーリングすることもでき、ミラーリングされたWebサイトから画像・ファイル・HTMLコードを取得し、中断したダウンロードを再開することもできます。
さらに、抽出スピード速度を最大化するためにHTTTrack内でプロキシサポートを利用できます。
HTTrackは、コマンドラインプログラムとして、またはプライベート（キャプチャ）またはプロフェッショナル（オンラインWebミラーリング）の両方でシェルを介して動作します。このようにHTTrackは柔軟性も高いことから、一定以上のプログラミングスキルを持つ方に向いているツールといえるでしょう。
＜特徴・機能＞
- オープンソースのWebクローラ及びオフラインブラウザ
- Webサイトの情報をインターネット経由でローカル環境にダウンロード可能
- ミラーリングされたWebサイトから画像・ファイル・HTMLコードを取得が可能
10.Getleft
Getleftは無料で使いやすいWebクローラーツールです。Webサイト全体または任意の1つのWebページを丸ごとダウンロードできます。Getleftを起動した後、URLを入力し、サイトを表示する機能があるため、開始する前にダウンロードするファイルを選択できます。ダウンロードしたページは、相対リンクに変更されるので、オフラインでのブラウズが容易です。さらに、多言語サポートを提供しており、現在では14言語をサポートするようになりました。
＜特徴・機能＞
- ユーザーが設定したオプションに従って完全な web サイトをダウンロードが可能
- URLを登録するだけで、関連リンクも含めて丸ごとダウンロードが可能
- 多言語に対応しているため海外サイトのダウンロードも容易に行える
Webブラウザ拡張機能
11.Web Scraper
Web ScraperはGoogle拡張機能で、無料で利用できます。データ集計や画像一括取得など、かんたんな操作だけでWeb上のあらゆるデータを、Excelやスプレッドシートに保存でき、データ収集の手間を大きく削減します。
Web Scraperはデータ抽出機能が限られていますが、Webクローリングの知識がない初心者にとってはシンプルで使いやすく、クローリングを体験する分には十分重宝するでしょう。
＜特徴・機能＞
- 抽出データは、Excel、CSV、MS Access、MySQL、MSSQL、XML、JSONにエクスポート可能
- Chromeブラウザ上のわずかな操作だけで、無料でスクレイピングを実行できる
- 製品価格調査、レビュー調査、営業リストの作成などあらゆるビジネスシーンで利用可能
12. Instant Data Scraper
Instant Data Scraper は、あらゆるWeb ページから自動的にデータを抽出し、Excel または CSV ファイルとしてエクスポートします。 AIを使用して、HTML ページで最も関連性の高いデータを予測するため、精度の高いクローリングを実現します。
Instant Data Scraperは、Webサイト固有のスクリプトを必要とせず、HTMLの構造をAIでヒューリスティックに解析し、抽出対象となるデータを検出します。予測結果が不十分な場合、より精度を高めるために、ユーザーが選択項目をカスタマイズすることができます。
＜特徴・機能＞
- AIを使用して、HTMLページで最も関連するデータを自動検出
- クロール速度に合わせた遅延時間や最大待ち時間のカスタマイズ機能
- Webサイトのページネーションに対応。ボタンやリンクによる次ページへの自動誘導が可能
13. OutWit Hub
OutWit Hubは、Webデータ抽出機能を備えたFirefoxアドオンで、Web検索を簡単にさせます。このWebクローラーは、ページを閲覧し抽出された情報を適切な形式で保存できます。
OutWit Hubは、ニーズに応じて大量のデータをスクレイピングできる単一のインターフェースを提供しています。OutWit Hubを使うと、ブラウザ自体から任意のWebページをスクレイピングしたり、自動エージェントを作成してデータを抽出したり、設定によってフォーマットすることさえもできます。無料で利用できる上に、コードを書く必要がないため、手軽にWebデータを抽出したいときに重宝します。
＜特徴・機能＞
- Windows、Mac、LinuxといったあらゆるOSに対応し、無料でダウンロード可能
- リンク、文書、画像、RSSフィード、定期的な語彙やフレーズをつかみ自動で検出する
- ExcelやCSV、データベースなどフォーマットされたテーブルに構造化および非構造化データを変換可能
Webスクレイピングサービス
14.Zyte
Scrapinghub(Zyte)は、何千人もの開発者が貴重なデータを取得するのに役立つクラウドベースのデータ抽出ツールです。そのオープンソースの視覚的なWebクローラーツールは、ユーザーがプログラミングの知識なしでWebサイトをスクレイピングすることを可能にします。
Scrapinghub(Zyte)は、ボット対策の回避をサポートするスマートプロキシローテーターCrawleraを使って、巨大なまたはボットで保護されたサイトを簡単にクローリングできます。これにより、ユーザーは単純なHTTP APIの代わり、複数のIPと場所からスクレイピングすることを可能にします。
Scrapinghub(Zyte)はWebページ全体を構造化されたコンテンツに変換します。このツールが要件を満たすことができない場合、専門家チームを利用することできます。
＜特徴・機能＞
- 50カ国以上をカバーするIPアドレスのコレクションを提供しており、スクレイピングブロックなどの障害を取り除き
- 明確な価格体系で、プログラム開発からその後の管理まで活用できる
- スクレイピングに成功しなければ料金は発生しない
15.Dexi.io
ブラウザベースのWebクローラーツールとして、Dexi.ioは、3つのタイプのロボット（Extractor、Crawler、Pipes）を提供し、任意のWebサイトからデータをスクレイピングすることができます。
Dexi.ioには、スクレイピングしたデータをGoogleドライブに直接保存したり、JSONやCSVファイルとしてエクスポートする機能もあります。また、匿名Webプロキシサーバーも提供しています。収集したデータは、アーカイブされる前にDexi.ioのサーバーで2週間ホストされます。リアルタイムデータを取得するためのニーズに合わせて有料サービスを提供しています。
＜特徴・機能＞
- リアルタイムデータの抽出に優れたブラウザベースのWebクローラーツール
- 抽出したデータは、CSV、JSON、Googleドライブへ直接保存可能
- 抽出したデータは、サーバー上に最大2週間まで無料で保存される
16.Webhose.io
Webhose.ioを使用すると、世界中のオンラインソースをさまざまなクリーンな形式にクロールして、リアルタイムのデータを取得できます。このWebクローラーを使うと、さまざまなソースをカバーする複数のフィルターを使用でき、取得したデータからさまざまな言語のキーワードをさらに抽出することができます。
スクレイピングしたデータをExcel、XML、JSON、RSSなども形式で保存でき、アーカイブから履歴データにアクセスすることができます。さらに、webhose.ioは取得したデータを最大80種の言語でサポートします。ユーザーはWebhose.ioによってクロールされた構造化データに簡単にインデックスを付けて検索することができます。
とにかく、Webhose.ioはユーザーの基本的なクローリング要件を満たすことができます。
＜特徴・機能＞
- 1,000クエリまで無料で利用可能
- 80種類の言語で利用可能。取得したデータから他の言語でさらに抽出できる
- Excel、XML、RSS、JSONの形式で抽出したデータを保存・管理が可能
17.Import. io
Import. IoはURLを入力するだけでデータの抽出ができるWebクローラーツールです。コードを書くことなく数千ものWebページを数分で簡単にスクレイピングでき、要件に基づいて1,000を超えるAPIを構築できます。クラウドベースのサービスであるため、ソフトウェアなどのダウンロードやインストールは一切必要ありません。
Import.ioは、Webデータを独自のアプリまたはWebサイトに統合することで、数回クリックするだけでクローリングが実行されます。
ユーザーのスクレイピング要件を満たすために、Windows、macOS、およびLinux用の無料アプリも用意しています。データ抽出プログラムとクローラーを作成し、データをダウンロードしてオンラインアカウントと同期します。さらに、毎時、毎週、毎日のスクレイピング作業をスケジュールできます。
＜特徴・機能＞
- クラウドベースなので、ソフトウェアのダウンロード・インストールは不要
- クローリングタスクのスケジュール設定により、定期的な自動抽出が可能
- URLを入力するだけでWeb上のデータや画像を抽出できる
18.Spinn3r
Spinn3rは、ニュース、SNS、ブログ、RSS、ATOMフィードからデータ全体を取得できます。Spinn3rは、インデックス作成作業の95％を管理するFirehouse APIと共に配布されています。スパムや不適切な言語の使用を排除し、データの安全性を高める高度なスパム対策を提供しています。
Spinn3rはGoogleのように、コンテンツを索引付けし、抽出したデータをJSONファイルに保存します。 Webクローラーは度々Webサイトをスキャンし、複数のソースから更新情報を見つけてリアルタイムに取得します。管理コンソールではクローリングを制御でき、全文検索では生データに対して複雑なクエリを実行できます。
＜特徴・機能＞
- インデックス作成作業の95％を管理する「Firehouse API」が付属されている
- 不適切な言語の使用やスパムを取り除き、データの安全性を高めるスパム保護機能
- 複数のソースから更新履歴を見つけて、リアルタイムに最新情報を取得
その他、RPAツール・開発者向けツール
19. UiPath
UiPathは、世界トップクラスのシェアを誇るRPAツールです。ほとんどのサードパーティ製アプリからWebデータおよび、デスクトップデータを自動抽出します。複数のWebページに及ぶ場合でも、テーブル形式およびパターンベースのデータの抽出が可能です。
Uipathはクローリングするための組み込みツールを提供しており、複雑なUIを扱うときに非常に効果的です。例えば、個々のテキスト要素、テキストグループ、テーブルデータなども簡単に処理できます。
クローラーツールの多くは海外発ですが、UiPathは日本法人があるため、日本語マニュアルや日本語サポートが充実しておりエンタープライズ利用でも安心です。
＜特徴・機能＞
- 日本語マニュアル、日本人によるサポートが充実
- RPA分野で世界トップクラスのシェアを誇る業務自動化ソフトウェア
- クローリングに適した組み込みツールを提供しており、複雑なUIでも容易に処理できる
20.Scrape.it
Scrape.it はクラウドベースのWebデータ抽出ツールで、node.jsのWebクローリングに使われています。Web Scraping Language（WSL）を使用してスクレーパーを作成することができます。
世界中の何百万もの開発者とコードを発見、再利用、更新、共有できるパブリックパッケージとプライベートパッケージの両方を提供しているため、高度なプログラミングスキルを持つユーザー向けに設計されています。それによって、ニーズに合わせてカスタマイズされたクローラーを構築するのを助けます。
＜特徴・機能＞
- Web Scraping Language（WSL）を使用してスクレーパーを作成できる
- 主にjsのWebクローリングに用いられる
- パブリックパッケージとプライベートパッケージの両方を提供
まとめ
今回はWebクローリングに役立つ、Webクローラーツール20選を紹介しました。現在では、Web制作会社、研究機関、情報収集を専門とする企業まで、様々な組織・団体でデータ収集のニーズがあります。今回紹介したWebクローラーツールを使えば、ほとんどのクローリングニーズを満たせるはずです。
ただし、ツールによって機能や特徴に違いがあります。そのため、大量のデータ取得や解析が必要な場合は、どんなデータをどれくらい集めたいのか、集めたデータをどのように活用したいのかといったように、データ収集・活用の目的に合わせて最適なツールを選択するようにしましょう。
