Twitterは、全世界で月間3億3000万人のアクティブユーザー数を誇り、日本でも月間4500万人が利用する人気SNSです。
幅広い年代に利用されていることから、国内企業・日本政府でも情報発信ツールとして積極的にTwitterを活用しています。さらに、あらゆるビジネスでインターネット上のデータ活用が注目される中、Twitterをビッグデータとして活用する企業も増えています。
しかし、Twitter上のデータをどのように取り込めば良いかわからない方も多いはずです。そこで本記事では、Twitterからデータを抽出する方法を紹介します。
ここで紹介する方法は無料で活用できる上に、かんたんな操作だけでデータ抽出が可能なので、作業時間の短縮や業務生産性の効率化につながります。Twitterデータを上手に活用して、自社のマーケティング活動の精度を高めましょう。
Twitter(The X)データの用途とは
全世界で利用されるTwitterには数多くのデータが存在します。具体的には、Twitterのプロフィール、ハッシュタグ、タイムライン、ツイート情報などが挙げられます。それらのデータを抽出し、扱いやすい形に整理・加工することで、企業のマーケティング活動や競合対策など、あらゆるビジネスシーンで役立ちます。
例えば以下のような用途があります。
- ブランドモニタリング
- 予測分析
- 競合他社の追跡
- センチメント分析
- MLモデルのトレーニング
- 業界動向分析
- 市場調査
- マーケティングの最適化
- 新製品イノベーション
このようにTwitterデータはあらゆるビジネスシーンで役立ちます。他にも、自社のターゲット層は誰をフォローしているか、どんなツイートに興味関心があるか、現在のトレンドワードは何かなどを分析すれば、ユーザーが求めているニーズや思考の理解に役立つでしょう。
Twitter(The X)からデータを抽出する方法
Twitterからデータを抽出する方法は以下の3つが挙げられます。
- Webスクレイピングツールを利用する
- オープンソースのスクレイピングパッケージを利用する
- Twitter APIを利用する
Webスクレイピングツールを利用する
Webスクレイピングツールとは、Webサイト内の情報を自動で抽出するソフトウェアサービスのことです。一般的にWebスクレイピングを行うためには、Pythonなどのプログラミングが必要です。
しかし、Webスクレイピングツールを利用すれば、プログラミングを行わずとも、かんたんなクリック操作だけでスクレイピングタスクを実行できます。Twitterのツイートをスクレイピングする際に最も効率的な方法といえるでしょう。
オープンソースのスクレイピングパッケージを利用する
オープンソースとは、誰でも利用・編集できるように無償で公開されたソースコードのことです。オープンソースのスクレイピングパッケージを使えば、無料でスクレイピングを行うことができます。しかし、スクレイピングプログラムを構築するには、プログラミングスキルを習得しなければなりません。
また、オープンソースは非営利団体・コミュニティが管理しているため、アップデートやバグ修正（バグフィックス）の即時性を保証されないというデメリットもあります。
Twitter(The X) APIを利用する
Twitter APIは、Twitter社がデータを提供しているため様々なデータを取得できます。しかし、利用するには多額の費用がかかります。
例えば、500万件のツイートをスクレイピングするためには、250万ドル（約3億4000万円）＋開発者の給与＋ネットワークリソースを支払う必要があります。これでは、ツイート1件あたり約1万円以上のコストがかかってしまいます。
初心者がTwitter(The X)データを抽出するならWebスクレイピングツールが最適
ここまで解説した通り、初心者がTwitterのデータを抽出する際は、Webスクレイピングツールの活用がおすすめです。他の方法に比べ、手軽でかんたんな操作だけでデータ抽出が可能なので、時間とコストを大幅に節約できます。
数あるWebスクレイピングツールの中でも「Octoparse」では、コードを書かずにかんたんな設定・操作だけで、データ抽出の自動化が実現可能です。わずか10分程で、何千ものTwitterデータを抽出できます。さらに、データ抽出スピードが速いだけではなく、無料から使えるなど導入費用の安さも魅力です。
個人での利用であれば、無料プランでも十分に活用できます。一方企業が膨大な量のデータ抽出を求める場合は、有料プランがおすすめ。Octoparseを利用する際は、予算と要件に応じて、適切なプランを選択しましょう。
Octoparseでツイートをスクレイピングする方法
Octoparseでは、数多くのWebサイトのデータ抽出テンプレートが用意されています。データを抽出したい対象サイトのテンプレートをチェックするだけで利用が可能です。ここでは、テンプレートの使い方について解説します。
ステップ1
お使いにOS（Windows、mac）に合わせてOctoparseの最新バージョンをダウンロードし、ログインします。
Windows版：https://www.octoparse.jp/Download/windows
MacOS版：https://www.octoparse.jp/download/mac
起動すると次のような画面が表示されます。
ステップ2
テンプレート選択画面でカテゴリー「SNS」をクリックし、その中から「Twitter」を選択します。
ステップ3
Twitterのテンプレートは7種類あり（2023年1月時点）、それぞれ抽出できるデータが異なります。
それぞれの違いは次の表を参考にしてください。
| [FR]Author listing_Twitter | Twitter(The X)の作成者に関する情報（コンテンツ、コメントなど）を抽出するために使用されます。 |
| Tweets Details by account URL_Twitter | Twitter(The X)のアカウントページから、各ツイートの投稿ID、投稿内容、投稿日時など詳細情報を抽出します。 |
| Tweets by account_Twitter | Twitter(The X)のアカウントページから、各ツイートの投稿内容、投稿日時などの情報を抽出します。 |
| Tweets and comments by search result URL_Twitter | キーワードから最新のツイート、Topツイートなどのデータを抽出します。 |
| Tweets by hashtags_Twitter | Topツイートから「いいね数」「リツイート数」「返信数」などのデータを抽出します。 |
| Tweet details by keyword_Twitter | 任意の期間において特定のキーワードでツイートされた情報を抽出します。 |
ステップ4
ここでは、例として「Tweets by account_Twitter」テンプレートを使って、Octoparse Japanのツイートデータをスクレイピングします。テンプレートを選択したら、詳細画面内の「今すぐ使う」をクリックします。
パラメーター入力欄に以下の情報を入力します。
- スクレイピングを行う アカウント名 (10 個まで/ 1 行に 1 つ入力)
- ページ サイズ (スクレイピングしたいページの数)
アカウント名は、各アカウントのURL内に記載されています。
例えば、「https://twitter.com/octoparsejapan」の場合は末尾の「octoparsejapan」がアカウント名です。
それぞれ入力したら、「保存して実行」をクリックします。
ステップ5
タスク実行方法を選択する画面になりますので、「ローカル抽出」か「クラウド抽出」のいずれかを選択します。データ量が少なければローカル抽出で問題ありません。クラウド抽出の場合はスピードが最大20倍にアップしますが、有料プランの契約が必要となります。
タスクを実行するとデータ抽出が開始されます。全てのデータが抽出されるまでに、数分程度掛かりますので、完了まで少し待ちましょう。
抽出したデータは、外部ファイルにエクスポートできます。エクスポート先はExcel、CSV、HTML、JSON、その他データベースのいずれかから選択可能ですので、活用方法に合わせて選択しましょう。
例えば、Excelにエクスポートした場合、グラフやピボットテーブルを作成するなど、データの見える化が可能です。Excelの便利な活用方法を知りたい方はこちらの記事を参考にしてください。
参考：Excelでデータ分析を行う際に知っておくべき関数10選
Twitter(The X) APIを活用してスクレイピングする方法
Twitter(The X)ではAPIを提供しています。Twitter(The X)のAPIとは、公式のWebサイトを経由せずとも、Twitterのサービスを利用できるようになる機能で、様々なツールと連携させることが可能です。
例えば、Pythonを使ってツイートの自動投稿を行ったり、特定の人物のツイートを自動取得することが可能です。
Twitter(The X) APIを利用するには、Twitter(The X)にログインした状態で「Twitter Developer Platform」にアクセスし、利用申請をする必要があります。申請後、審査に問題がなければAPIが利用可能になります。
ただし、APIを使ってデータ取得を自動化するには、Pythonなどのプログラミング知識が必要です。プログラミングの知識がない方にとってはハードルが高いといえるでしょう。また、Twitter(The X) APIでは利用規約があるため、規約範囲内でしか利用できないことも注意が必要です。
まとめ
今回は、数あるSNS（ソーシャルネットワーキングサービス）中で、特に利用者数が多い「Twitter(The X)」のツイートデータを活用する方法を紹介しました。
ツイートデータを活用すれば、ブランドのモニタリング、競合他社の監視、MLモデルのトレーニング、新製品の開発など、あらゆる場面で役立ちます。
Twitter(The X)ではAPIも提供していますが、初心者にはやや扱いが難しいため、Webスクレイピングツールの活用がおすすめです。中でも、Octoparseはノーコードでツイートデータを抽出できる便利なツールです。Octoparseのテンプレートには、すでにTwitterのAPIが組み込まれているため、データ収集プロセスを高速かつ効率的に実行し、スクレイピングに必要な技術インフラをユーザーに提供します。
まずは実際に触ってみて、Twitter(The X)スクレイピングを体感してみてください。
原作者：Shinz
