Yellowpageからセールスリストを取得する
Sunday, April 08, 2018 10:41 AMこのチュートリアルでは、yellowpages.comからデータをスクレイピングする方法を説明します。 Octoparseを使うと、ビジネスに必要があるビジネス名、住所、電話番号、電子メールなどの情報を簡単に抽出できます。コーディング必要もないし、URLを入力して抽出タスクを設定するだけで、たくさんのセールスリストを無料で入手できます！
抽出したデータをCSV、JSONなどの構造化形式でダウンロードでき、データベースにも直接保存できます。（あるいはOctoparse Data API
と接続して、ご自分のシステムに配信できます。）
Yellowpageからデータをマイニングすることで、次のことが可能になります。
・独自のビジネスWebサイトを作る
・電話番号を取得して売り込み電話をかける
・企業向けのスクレイピングサービスを提供する
・見込み客のリストを作る
・メールマーケティング
...
このチュートリアルでは、yellowpages.comからニューヨークの麻酔医の情報を例としてスクレイピングします。
例のURL：https://www.yellowpages.com/search?search_terms=Anesthesiologists&geo_location_terms=New+York
以下はチュートリアルの主な手順です。 [タスクファイルをダウンロードする]
1)「Go To Web Page」 - 内蔵ブラウザで対象のWebページを開く
2) ページ遷移のループを作る - 複数のページからデータを取得する
3)「Loop Item」を作る - リストの各アイテムを回してクリックする
6) 抽出タスクを始める - タスクの実行を行いデータを取得する
1) 「Go To Web Page」 - 内蔵ブラウザで対象のWebページを開く
·「Advanced Mode」を選択し、タスクを作ります。 自由度の高いAdvanced modeは、複雑なウェブサイトを対応できます。
· URLを入力して「Save URL」をクリックします。
·「Workflow」をオンにするとタスクの作りはやすくなります。
· ページの下にある「Next」ボタンをクリックし、「Action Tips」パネルから「Loop click the selected link」を選択します。
· 一番目のリスト製品のタイトルをクリックすると、Octoparseはページ内の同じのURLを自動的に識別します。
· 「Action Tips」にある「Select all」をクリックします。
· 「Loop click each element」をクリックします。
4) データを抽出する - 抽出したいデータを選択する
· 必要なデータをクリックし、「Action Tips」にある「Extract text of the selected element」を選択します。
· 必要に応じてフィールド名を編集します。
· 星評価をクリックし、「Extract outer HTML of the selected element」を選択します。
· 「star-rating」行を選択し、「Customize data field」をクリックし、「Refine extracted data」オプションを選択して「Add step」ボタンをクリックします。
· 「Match with Regular Expression」をクリックし、「Regular Expression」ボックスに「(?<=title=")(.+?)(?= star)」の正規表現を入力します。
· 「OK」ボタンをクリックします。
|
ヒント！ · Octoparseでは、正規表現を使用して、抽出したデータを処理できます。 |
6) 抽出タスクを始める - タスクの実行を行いデータを取得する
· 「Save」をクリックします。
· 「Start Extraction」をクリックします。
|
ヒント！ · より良いパフォーマンスでタスクを実行するには、「Cloud Extraction」 |
