Turn PDF links into clean Markdown for AI and RAG: one row per PDF with headings, paragraphs, lists and tables kept as Markdown tables, multi-column pages read in order, running headers and page numbers removed, plus title, author, page count and creation date. Billed per PDF converted, no start fee; links that are not PDFs, scanned PDFs without text, and blocked downloads get a status row and are not billed. Not affiliated with the sites the files come from
Data Hub Domain List
Retrieve the platforms currently supported by Data Hub Search and their usable domain mappings.
概要
When you need to limit where Data Hub searches, the platform name alone is not enough: search scopes expect a supported domain value. This catalog provides the current mapping between each Data Hub platform identifier and the domain values that can be used to define those scopes.
Using a shared catalog reduces inconsistent naming across teams and prevents platform identifiers from being mistaken for executable domain filters. It is useful as reference data for search strategies, source policies, and configuration libraries that need a stable, machine-readable relationship between a platform and its searchable entry points.
Data notes
The data comes from the catalog of platforms currently enabled for Data Hub Search. Each record represents one usable domain and its corresponding platform identifier. Results are deduplicated by usable domain. A platform may appear in multiple records when it supports more than one searchable domain.
Use the Usable domain value when building include or exclude scopes. The Platform identifier is a classification label and should not be substituted for the domain. The catalog covers only platforms already connected to Data Hub Search; unsupported or retired platforms do not appear.
Example results
Each record represents one domain that can be used to constrain a Data Hub search source.
| Usable domain | Platform identifier |
|---|---|
| xiaohongshu.com | XIAOHONGSHU |
| douyin.com | DOUYIN |
| weibo.com |
Use cases
- When configuring a targeted search, select entries by Usable domain to create an explicit inclusion scope and avoid ineffective platform-name filters.
- When maintaining exclusion rules, store Usable domain values in the blocked-source list and use Platform identifier to verify which platform each rule covers.
- When reviewing platform coverage, group Usable domain records by Platform identifier to identify platforms with multiple searchable entry points.
- When maintaining shared team configurations, use Usable domain as the execution value and Platform identifier as the display category so business rules and platform classifications stay aligned.
適用範囲と境界
Returns the current complete mapping in one call; default limits are 10 calls per second and 100,000 calls per day, covering only platforms enabled for Data Hub Search.
- 適している用途
- Use when you need to confirm which platforms Data Hub Search currently supports.
- Use when you need valid domain values for an include or exclude search scope.
- 適さない用途
- Do not use to search for posts, products, or other business records; use the relevant search Data App instead.
失敗時の処理
開発者が宣言した失敗時と再試行の動作です。連携時にはシステムプロンプトに含めることをおすすめします。
- 1If the list is empty, retry the same call later; if it remains empty, check service availability.
- 2Authentication failures are not retryable until a valid API key is configured.
- 3After a rate-limit response, reduce request frequency before retrying; retry server errors after a short delay.
入力
この App の呼び出しに必要なパラメータで、manifest.json の input.schema から生成されています。
- Request note
request_note任意stringOptional business note for this catalog retrieval. It does not filter or change the returned mappings.
出力
1 件のレコードのフィールド構造で、manifest.json の output.schema から生成されています。
- Usable domain
domainstringDomain value to use in Data Hub Search include or exclude scopes.例xiaohongshu.com - Platform identifier
platformstringData Hub platform identifier associated with the domain.例XIAOHONGSHU
サンプルデータ
output.schema から生成したサンプルです。サンプル値のないフィールドには構造上のプレースホルダーを使用しています。
{
"domain": "xiaohongshu.com",
"platform": "XIAOHONGSHU"
}連携方法
この App は MCP、API、SDK、ファイルエクスポートのいずれでも連携でき、どのチャネルも同じ能力と料金を共有します。すべてのリクエストは Authorization: Bearer ヘッダーで認証し、認証情報には API Key(長期有効。Data Hub コンソールで作成)を使用します。MCP クライアントは OAuth によるキー不要のログインにも対応しています。CLI や Skill など、さらに多くの連携方法も準備中です。
MCP(Model Context Protocol)を使うと、Claude や Cursor などの AI クライアントからこの App を直接呼び出せます。クライアントと認証方式を選び、下の設定をコピーしてください。
クライアント設定
Bearer の後の値を長期有効な API Key に置き換えてください。あらゆるクライアント、CI、ヘッドレス環境で利用できます。
{
"mcpServers": {
"octoparse_datahub": {
"type": "http",
"url": "https://mcp-v2.octoparse.com?pin=meme_today/data-hub-domains",
"headers": { "Authorization": "Bearer <YOUR_API_KEY>" }
}
}
}AI に設定を任せる
設定を手作業で編集したくない場合は、インストールプロンプトをコピーして任意の AI クライアントに貼り付けてください。AI が自分のやり方でセットアップを完了します(デフォルトではログインを案内し、API Key をチャットに送るよう求めることはありません)。
detail.access.mcp.composeHint
料金
返される件数にかかわらず、実行の送信 1 回ごとに課金されます。
複数の課金イベントはそれぞれ独立して累計されます。詳細は各項目をご覧ください。失敗した実行には課金されません。
Credits を確認今すぐ試す
パラメータを入力して実行してください。結果は実際の呼び出しによるものです。