すべてのコレクション
ヘルプ
ログインが必要なWebページからデータ取得
ログインが必要なWebページからデータ取得
一週間前以上前にアップデートされました

対象サイトがログインする必要がある場合でも、Octoparseでデータをスクレイピングできます。

以下はAmazonを例として操作手順を紹介します。

方法一:ワークフロー内でログイン手順を構築する

  • 注意事項:

    • この方法を使用すると、各タスクの起動時にアカウントがサイト上でログインされます。高頻度でのデータ収集を行うために複数のクラウドサービスを利用する予定がある場合は、この方法を推奨しません。代わりに、方法二:ログイン状態を保持し、定期的に手動で更新する方法が適しています。

    • タスクをエクスポートすると、タスクに保存されたパスワードは自動削除されます。

  • ワークフローチェックポイン

  • 詳細手順

  1. Octoparseを使用してAmazonのログインページを開いてください(ログインページのリンクは頻繁に変更されるため、具体的なURLを提供することができません)。

  2. ログインテキストボックスをクリックし、パネルから「テクストを入力する」を選択します。

3. ユーザー名をテキストボックスに入力した後、「はい」を押してください。

4.ログインの手順に従い、「次に進む」を選択してください。

5.次に、パスワードのテキストボックスをクリックし、「」をパネルから選択してください。

6.ログインの手順に従い、「次に進む」を選択してください。

方法二:Cookieをクローラ内保存する

  • Cookieとは

Cookieは、ブラウザとウェブサイトのサーバー間で情報をやり取りするための小さなテキストファイルです。ウェブサイトにログインすると、サーバーはブラウザにCookieを送信し、その中にはログイン情報が含まれています。ブラウザはこのCookieを保存し、一定期間内は再ログインする必要がなくなります。なぜなら、サーバーはCookieを通じてあなたを認識できるからです。Cookieには有効期限があり、期限が切れると新しいCookieを取得するために再度ログインする必要があります。

  • 詳細手順

  1. 取得したいAmazonの商品ページをクライアント内で開き、ブラウジングモードを開始し、ログインを完了してください。

  2. 次に、ログイン状態をワークフローに保存します。「Webページを開く」ステップの詳細設定の「特定のCookieを使用」を選択し、「該当ページのCookieを取得する」をクリックします。

クッキーの取得に成功しました。保存することを忘れないでください。

これでデータ抽出へ進むことができるようになりました。

こちらの回答で解決しましたか?