統一 API 中轉入口
提供標準化模型調用入口,支援同步與串流回應,讓您的應用用同一套 API 對接不同模型與供應商。
核心模組
交付的不只是 API proxy,而是一套可管理客戶、Key、模型、成本與安全策略的企業級 Gateway。
提供標準化模型調用入口,支援同步與串流回應,讓您的應用用同一套 API 對接不同模型與供應商。
A 機負責業務、鑑權與計費;B 機僅持有雲端供應商憑證並轉發請求,降低憑證外洩與業務耦合風險。
可管理內建模型、自定義模型、Bedrock 模型 ARN、OpenAI-compatible endpoint,以及團隊可用模型清單。
按優先級、健康狀態、配額與成本選擇帳號;遇到 throttling、權限錯誤或熔斷時自動切換候選帳號。
支援 Super Admin、Team Admin、User;可建立團隊、邀請成員、分配角色、審批使用者與隔離團隊資料。
每個客戶或團隊可建立獨立 Key;原始 Key 僅顯示一次,資料庫保存雜湊,並可停用、輪替與追蹤用量。
按模型輸入輸出 token 計費,支援團隊預算、月度成本上限、用量快照、儲值訂單與支付流程擴充。
可接 Bedrock Guardrails,亦可透過本地模型做 REJECT、COMPRESS、CHEAP、PASS 分流,降低成本與風險。
記錄每次請求的模型、token、成本、IP、Key、團隊與輸入輸出摘要,支援管理端查詢、統計與風險追蹤。
可實現功能
對外能成為 AI API 分發平台;對內能成為企業統一 AI 管控中台。
中轉架構
核心設計是把「業務治理」和「供應商憑證」拆開,既方便平台營運,也便於在您的環境私有化部署。
多雲接入
平台可把不同雲廠商、不同區域、不同帳號的模型能力收斂到同一個 API 入口,並在管理端配置帳號優先級、配額、預算與故障切換策略。
支援多 AWS 帳號、不同區域與 Bedrock inference profile,適合做 Claude、Llama、Mistral 等模型中轉。
可接入 Vertex AI / Gemini 類模型,透過統一 Gateway 管理專案、服務帳號、模型權限與團隊用量。
可接 Azure OpenAI deployment,支援企業在既有 Azure 租戶內做模型分發、權限治理與費用追蹤。
商業價值
您可以對外銷售模型 API 能力,對內完成成本治理與安全合規;同一套底座可服務不同客戶形態。
快速建立自己的 AI API 產品線,管理客戶、Key、價格、餘額與模型套餐,形成可收費服務。
所有部門統一走一個 AI 出口,IT 可以控權限、控預算、看報表,避免各團隊自行購買與失控使用。
以標準 API 接入,不必在各業務系統內重複實作模型路由、憑證保存、限流、審計與計費邏輯。
報價方案
您可依資料與基礎設施歸屬、上線速度、預算模式與後續二次開發需求,選擇託管 SaaS、獨立部署 SaaS 或買斷方案。
適合先用較低成本試營運、驗證收費模型與客戶需求。系統部署在我們的伺服器,並接入客戶自己的收單帳號;基礎月費含前 1,000 名月活躍終端用戶。
適合對資料邊界、基礎設施歸屬與雲端帳號控制有要求的客戶。客戶開設 IAM 帳號或 Role 給我們,我們協助部署與配置。
適合希望取得完整系統授權、自主部署、自主營運並進行後續二次開發的客戶。
適合需要接入標準清單外的模型供應商、特殊 API、非標準鑑權方式或客戶自有服務的場景。
支付方式接入
系統可承接儲值訂單、支付狀態同步、付款回調、預算入帳與帳務審計。支付服務可接入您的商戶主體與收款帳號。
可接入 Stripe Checkout / PaymentIntent,支援客戶儲值、訂單付款、支付回調與入帳流程。
可接入加密貨幣支付服務或指定收款錢包,支援 USDT 等資產的充值確認與訂單狀態更新。
上線準備資料
這些資料將用於完成雲端部署、模型接入、支付接入、域名配置、權限設定與上線驗收。
交付範圍
您可用此清單確認每個模組的交付能力,以及上線後可獲得的營運成果。
| 模組 | 包含能力 | 可獲得的結果 |
|---|---|---|
| API 中轉與串流 | 標準 chat completions、串流回應、模型名稱映射、錯誤格式統一 | 業務系統只接一個 API,即可使用多家模型能力 |
| 模型與帳號管理 | 內建模型、自定義模型、供應商 endpoint、帳號級 modelId 覆蓋 | 營運方可快速上架、停用或切換模型 |
| 路由與穩定性 | 優先級路由、團隊路由、RPM/TPM、並發限制、健康狀態、熔斷恢復 | 降低限流與單點故障,提升服務可用性 |
| 客戶與權限 | 團隊、角色、邀請、審批、API Key、Team Admin 管理 | 支援多客戶、多部門、多權限的 SaaS 化管理 |
| 計費與預算 | token 計費、模型價格、團隊預算、成本上限、儲值訂單、Stripe / 加密貨幣支付接入、ledger 快照 | 可建立平台收費、內部成本分攤、代理商結算與客戶自助儲值流程 |
| 安全與審計 | JWT、Key 雜湊、密鑰加密、Guardrails、內容過濾、用量與風險日誌 | 滿足企業對安全、可追溯與治理的基本要求 |
| 管理端 | 用戶、團隊、模型、帳號、路由、訂單、儀表板、審計查詢 | 營運人員不用進資料庫即可完成日常管理 |
部署導入
可依您的資訊安全與營運要求選擇完整私有化、供應商代管或混合架構。資料庫可連線上 RDS,也可部署您的 PostgreSQL。