Indeedから求人情報をスクレイピングする

2021年03月10日

このチュートリアルでは、indeed.comから求人情報をスクレイピングする方法を説明します。Octoparseを使うと、仕事名、会社、給料、説明などの情報を簡単に抽出できます。コーディング必要もないし、URLを入力して抽出タスクを設定するだけで、たくさんの求人情報を無料で入手できます！

indeed.comから求人情報をスクレイピングすると、次のことができます。

· より多くの就職チャンスをゲットする

· 業界の長所と短所を分析する

· 仕事の説明を分析して自分の能力を高める

...

jp.indeed.comにキーワードに「エンジニア」、勤務地に「東京」を入力して検索して以下のURLを得ました。

本記事ではこのURLを利用して２つのタスクを組み合わせる、具体的な求人情報を抽出する手順を紹介します。

（一部のサイトはHTML構造の原因で、２つのタスクを組み合わせて対応しなければいけない場合があります。indeedの場合は情報ページは普通右側に展示されていますよね。実は、たまに右側ではなく、違うタブでリンク先に飛んでいく時もあります。）

以下は本チュートリアルの主な内容です。[タスクファイルをダウンロードする ]

タスク１：検索結果ページからリストとなるURLを抽出する

1) 「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く

タスク2：求人詳細情報を抽出する

１）URLを一括インポートする－各求人詳細情報ページを開く

タスク１：検索結果ページからリストとなるURLを抽出する

タスク１は単に検索ページから各求人詳細情報ページに渡れるページのURLを抽出しますので、複雑な作業にはなりません。

1) 「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く

2) ページ遷移のループを作る - 「次へ」ボタンをループクリックする

Octoparseは自動的に「ページネーション」オプションで「次へ」ボタンの位置を指定する構文のXPATHが生成されます。しかし、Octoparseで自動生成されたXPATHは器用しなくなる時がありますので、タスク実行が順調にページに渡るために、XPATHを変更する必要があります。

　　　まずはFirefoxブラウザでFirepath / Firebug拡張機能から正しいXPathを見つけます。

正しいXPathは//span[contains(text(),"次へ")]/../..

　　それから、正しいXPathを「高級オプション」の「単一要素」の入力ボックスに貼り付けます。

ヒント！

Firebug拡張ツールは、HTML文書の要素を検索するのに非常に便利です。（Firebugは旧バージョンのFireboxでのみ利用可能です。詳細はこちらの旧バージョンのFireboxをダウンロードする）
次のページに渡れないやデータが重複に抽出するなどの場合は、「ページネーション」のXPathが正しいかどうかをチェックする必要があります。ページに渡るボタンをクリックするだけでOctoparseが自動的にXPathが生成されてとても便利ですが、元のXPathを変更したほうが各要素を指定する正確性が高くなります。
Xpathの初心者はこちらのチュートリアルをご覧ください。