ご存じのように、手動でWeb上の情報を収集するのは結構時間のかかる作業です。より効率化の情報収集方法を見つけるために、自動にWeb上の情報収集ツールを調べました。そして、Octoparseというスクレイピングツールが提供されました。
Octoparseは、コードを書かずに複数のWebサイトから情報（データ）を抽出できるWebスクレイピングツールです。これはノーコードの情報収集ツールで、誰でも簡単に利用できます。プログラミングの知識がなくても、簡単に情報を収集することが可能です。
さらに、より便利なサービスを提供するために、Octoparseは事前にAmazon、ebey、Yahoo、楽天などのよく使うWebサイトのテンプレートを用意しました。これらのテンプレートをチェックして、自分のニーズに合わせて、直接にテンプレートを使用できます。そして、ソフトウェアでスクレイピングタスクを実行し、抽出されたデータをCSV、TXT、Excel、HTML、またはデータベースに保存できます。
Octoparseはどのようにスクレイピングタスクを作成し実行し、そして、抽出したデータをGoogleスプレッドシートドキュメントに保存していくのでしょうか。これから、Octoparseそのものから明らかにしましょう！
1、Octoparseとは？
「Octoparseはコーディングせずにインターネット上にある無限の情報の中から、必要なデータを欲しい形で自動収集（Webクローリング）するWebクローラーです。」—Octoparseの公式ウェブサイト
Octoparseは、インターネットでほとんどあらゆる種類のデータを抽出できるWebサイトクローラーです。より簡単にデータを抽出するために、自動検出、タスクテンプレート、上級モードなど、さまざまな機能を備えています。
これから、その三つの主な機能を簡単に紹介させていただきます。
一つ目は自動検出機能：
Octoparseで入力されたURLを開き、そして、自動検出アルゴリズムがどんなデータが欲しいを推測し判断し、データを自動的に抽出します。
二つ目はテンプレートの用意：
Octoparseは誰でも簡単にデータを抽出するために、ソフトウェアで数多くのテンプレートを用意しています。ユーザーはこれらのテンプレートを利用して直接にデータを抽出できます。
三つ目は上級モード：
これは柔軟かつ強力なモードです。このモードをうまく利用しようとすると、Octoparseの使い方を学ぶ必要があります。上級モードに達したら、ほとんどあらゆるの公開されたWebサイトであらゆるデータを抽出することが可能になります。
Octoparseは、ユーサに分かりやすくデータ抽出プロセスを示すために、左側「ワークフロー」を設置しています。この「ワークフローから」から、データ抽出のプロセンスを示しています。抽出されたデータも簡単にExcelなどの形にエクスポートもできます。
それだけでなく、Octoparseはクラウド抽出機能を提供しています。スケジュールを設定することによって、パソコンに外しても、octoparseは自動的にデータを抽出できます。または、リアルタイムで抽出することも可能です。
または、OctoparseはWebサイトの検出を避けるために、人間の行動をシミュレートしています。または、IPプロキシサーバーも持っているため、 IPを隠し、IPブロッキングを回避します。
要するに、Octoparseはプログラミングの知識がなくても簡単にデータを抽出できる誰でも利用できるスクレイピングツールです。
2、データ抽出タスクを作成
１）Octoparseをダウンロードする
まず、Octoparseをダウンロードしたら、Octoparseアカウントでログインします。アカウントが持っていない場合はこちらに新規登録を作りましょう。
データを抽出したいWebサイトのURlを用意します。
以上の準備ができたら、Octoparseでデータを抽出してみましょう。
Octoparseのダウンロード手順を以下のようにチェックしましょう。
Octoparseはデータ抽出のニーズに合わせ、いくつかのプランがあります。もうちろん無料のプランもあります。個人としてのデータ収集の場合はほとんど無料プランが満足されますが、より多くのOctoparseの強力な機能を試みたい場合はこちらの上位プランをお薦めです。
２）タスクの作成
データ抽出の方法について、Octoparse公式のwebサイトで初心者ガイドとビデオチュートリアルがありますので、ぜひご利用くださいます。
OctoparseでURLを入力し、「抽出開始」ボタンをクリックします。このような手順をしてから、自動検出機能を使えば、データを自動的に抽出します。
たとえば、以下のURLからデータを抽出します。
Octoparseはページを読み込んだ後に、データが検出されるまでに待ちます。
自動検出が完了したら、オレンジ色の[操作ピント]で表示された指示に従い、データ抽出の各ステップを確認します。最後に、データフィールドの名前を変更し、不要なデータフィールドを削除します。
「操作ピント」欄に「ワークフローの作成」ボタンをクリックします。そして、左上の [保存] ボタンをクリックします。次に、ダッシュボードビューにチェックすると、先ほど作成したタスクは下図のように表示されます。
そして、タスクの名前を変更したり、ローカルまたはクラウドで実行したりできます。数分後、データ抽出作業が完了します。
APIを介してこのタスクを実行する場合は、[その他]> [クラウドの実行]メニューから[API]をクリックします。
次に、タスクIDを示す別のウィンドウが表示されます。後で使いますので、安全な場所に保管することを忘れないでください。
終わりに
この記事では、どのように強力なデータ抽出ツールであるOctoparseを利用して、データを抽出する方法を紹介してきました。自動検出、IPローテーション機能があるこそ、Octoparseはほぼあらゆるサイトからデータを抽出することが可能になりました。
