Octoparse ブログ

Webクローラーエンジニアになるための学習順序を、HTTP・HTML、Python、データ品質、運用・権利確認の観点から整理。CSVの欠損と重複を検査するコード例も紹介します。

AIスクレイピングのやり方を、OctoparseのテンプレートをClaudeからMCPで呼び出し、Amazonの検索結果を収集してAIで分析した実例で解説。スクレイピングツールとAIの役割分担、CLIでの自動化、テンプレートがないページの対処までまとめました。

VOC分析（顧客の声の分析）とは何か、やり方の手順と、AIを使って口コミを収集・分析する方法を解説。OctoparseのテンプレートでAmazonとGoogleマップのレビュー1,300件超を集め、Claudeで分類した実例と、VOC分析ツールの選び方も紹介します。

LLMの学習データを集める前に用途と利用条件を確認。Webデータの収集、本文抽出、重複除去、出所管理、RAGや学習向け変換までを具体例で解説します。

スクレイピングサービス選定では、ツールの自社運用とデータ収集代行の責任範囲を分けて考えます。要件、サンプル品質、費用、保守と権利確認のチェック項目を解説します。

データレイクとは多様な元データを後から活用できるように保管する基盤です。DWH・データマートとの違い、Octoparseの出力を使う設計例、品質と権限の確認点を解説します。

YouTubeの文字起こしをダウンロードする方法を、標準機能・無料サイト・Chrome拡張機能・スマホアプリ・Googleドキュメントで比較。コピーできない原因やTXT・SRTの選び方、Octoparseの専用テンプレートでコードを書かずに複数動画の字幕を取得する手順とAI連携の条件も解説します。

Web APIとは何かをHTTPのリクエストとJSONレスポンスで解説。公開APIのPython実例、公式仕様の探し方、利用条件とデータ取得時の確認点を紹介します。

データマートとは何か、DWHとの違いと設計の5項目を解説。Octoparseで許可されたWebデータを収集し、外部入力としてマートへ渡す具体例も紹介します。

R言語とPythonの違いを比較。同じ架空の売上CSVを両言語で集計するコード例と結果を示し、データ分析の目的別に選ぶポイントを解説します。

データ分析の学習サイト・オンライン講座6選を比較。初心者向けの選び方に加え、架空の来店データで購入率を計算するミニ演習を紹介します。

タウンワークの求人情報をスクレイピングする方法を、Python自作とOctoparse公式テンプレートの保守性、費用、実行手順、データ品質で比較します。