資料中心擁有 GPU,不等於已經擁有 AI 服務生意。設備上架之後,營運團隊仍要回答:客戶如何申請資源、模型如何部署、使用量怎麼記錄、不同租戶如何隔離、帳單如何形成,以及尖峰時服務是否仍符合承諾。少了這些環節,GPU 只是昂貴的庫存;有了可重複、可計量的交付流程,算力才開始成為產品。

這就是 Token Factory 的核心概念:把資料、模型與運算資源視為投入,透過標準化的推論、排程、治理和計量流程,穩定產出可由 API 使用、可按服務等級管理、也可歸屬成本與收益的 Token 服務。它不是宣稱 Token 本身等同商業價值,而是用 Token 作為推論生產的共同計量單位,再把它連回可驗收的客戶服務。

INFINITIX 的 ixCSP 為建構於 AI-Stack 之上的商業算力服務平台,支援 GaaS、MaaS 與 TaaS,並提供用量追蹤、即時計費及多租戶管理。這些是目前可驗證的產品基礎;更完整的單位經濟、服務目錄與跨模型調度,則應以營運設計與發展方向來討論。

Token Factory 將請求、模型與算力轉換為可計量 AI 服務的生產線

Token Factory 將請求、模型與算力轉換為可計量 AI 服務的生產線

圖:Token Factory 把輸入請求、模型與算力,經由推論、排程、治理、計量,轉成可交付的 AI 服務。

一、Token Factory 不是一座機房,而是一套生產制度

NVIDIA 將 AI Factory 描述為把能源與資料轉化為 Token 的新型基礎設施,並以 Token throughput、每瓦 Token、每 Token 成本、使用率與正常運作時間觀察其經濟性(AI Factories)。這個比喻有助於理解推論已經從單次模型展示,轉向持續、大量、可營運的生產工作。

但企業若只看「一秒產生多少 Token」,仍可能得到錯誤結論。工廠不只需要機器速度,也需要原料規格、工單、品質檢查、庫存、維護與出貨。同樣地,Token Factory 至少必須處理六件事:服務定義、租戶與身分、模型與環境、資源排程、使用計量,以及帳務與服務品質。

因此,Token Factory 不是特定 GPU 型號,也不是單一推論伺服器。它是一套把技術資源轉成可訂購服務的制度。客戶看到的應是明確的產品目錄、配額、端點、計量與支援責任,而不是機房裡有多少卡。

二、從原料到出貨:一個 Token 服務要經過哪些站點

一條可營運的 Token 生產線,可以拆成五個站點。

站點

輸入

平台責任

必須留下的紀錄

服務受理

租戶、方案、模型需求、資料邊界

建立專案、權限、配額與服務等級

客戶、合約版本、核准範圍

模型準備

模型、映像、依賴、提示範本

驗證版本、建立可重複部署環境

模型版、映像版、部署參數

推論生產

請求、上下文、工具呼叫

排程、批次、路由、伸縮與失敗處理

請求、佇列、資源、錯誤與重試

品質與治理

內容規則、資料政策、動作權限

隔離、過濾、人工確認與稽核

政策判定、例外、人工介入

計量與結算

Token、時間、資源與方案

聚合用量、定價、帳單與報表

輸入/輸出 Token、費率版、金額與歸屬

這些站點必須共用同一個租戶、專案與服務 ID。若推論系統記錄的是端點名稱,計費系統只認得帳號,監控系統又使用 Pod 名稱,月底就需要人工拼接資料,也很難處理客訴。Token Factory 的第一項標準化工作,往往不是優化模型,而是建立跨系統一致的識別方式。

OpenTelemetry 的 生成式 AI 可觀測性示範了模型名稱、輸入/輸出 Token、工具呼叫與延遲如何被放進追蹤、指標和事件。這類共同語意讓營運團隊能從一次客戶請求追到模型、工具與基礎設施,而不只看到一張總量帳單。

三、GaaS、MaaS、TaaS:同一座工廠的三種產品層級

ixCSP 官方產品頁把商業服務分成三種模式。它們不是互相排斥的方案,而是把營運責任放在不同層級。

服務模式

客戶取得的產品

平台主要責任

適合的客戶

GaaS

可按需取得的 GPU 計算資源

資源池、切分、配額、租戶隔離、用量計費

已有模型與平台團隊,需要彈性算力

MaaS

已註冊並可部署的模型服務

模型目錄、版本、環境、部署、端點生命週期

想縮短模型上線時間的應用團隊

TaaS

以 Token 用量計價的推論 API

路由、推論、Token 計量、服務等級與帳務

希望直接整合 AI 能力、不維護模型基礎設施的客戶

Token Factory 的重點在於三層可以共用底層資源與營運資料。GaaS 的 GPU 池可以支援 MaaS 的模型端點,MaaS 再成為 TaaS 的推論來源;每一層保留自己的產品邊界與定價方式。如此一來,資料中心不必為每一種商業模式重建身分、監控和計費系統。

ixCSP 目前公開的能力包含用量追蹤、自動計費、多租戶管理,以及 GaaS/MaaS/TaaS 的服務化。把這些能力放進 Token Factory 主軸後,產品訊息也會更清楚:AI-Stack 提供資源與控制基礎,ixCSP 負責把它包裝成可銷售、可量測、可持續營運的服務。

四、計量不能只數 Token:速度、容量與品質要一起看

Token 是自然的計量單位,但不是完整的服務指標。NVIDIA 的 LLM 推論指標定義區分首 Token 延遲(TTFT)、Token 間延遲(ITL)、端到端延遲、每秒 Token(TPS)與每秒請求(RPS)。不同工具若定義不一致,數字也不能直接比較。

一個可營運的 TaaS 方案至少要分四類觀察:

  1. 使用量:輸入 Token、輸出 Token、請求數與工具呼叫。
  2. 體驗:TTFT、端到端延遲、串流穩定性與錯誤率。
  3. 容量:並發、排隊時間、TPS、資源使用率與尖峰飽和點。
  4. 結果:任務是否完成、是否重試、是否轉人工、是否通過內容與權限規則。

「TPS 越高越好」也需要條件。批次增加可能提高整體吞吐量,卻讓個別使用者等更久;長上下文會增加首 Token 時間與記憶體壓力;高並發接近飽和時,佇列可能快速拉長。服務目錄應寫清楚測試模型、硬體、輸入/輸出長度、並發和量測區間,不能拿單一峰值當作所有工作負載的承諾。

計費資料還要能重算。每一筆用量應保存租戶、服務、模型版本、輸入/輸出 Token、時間、費率版本與折扣規則。當模型 tokenizer、價格或服務方案改變時,舊帳單必須仍可解釋;否則即時畫面再漂亮,也不足以支撐商業營運。

五、多租戶不是登入畫面,而是產品承諾的邊界

Token Factory 往往服務多個外部客戶或內部事業單位。這不只是把每個人放進不同帳號,還涉及資料、網路、模型、資源、日誌與帳務的分離。

Kubernetes 官方的 Multi-tenancy 指南指出,共用叢集能節省成本並簡化管理,但同時帶來安全、公平性與 noisy neighbor 問題。不同租戶的信任程度、法規與效能要求,也可能需要 namespace、虛擬控制面、專用節點甚至獨立叢集等不同隔離方式。

服務商應把「隔離」拆成可以驗收的條款:

  • 身分與 API 金鑰是否只看得到自己的端點與用量;
  • 模型、提示、向量資料與日誌是否跨租戶共享;
  • 一個租戶的高負載是否會拖慢其他租戶;
  • 管理員是否能越權查看內容,以及是否留下稽核紀錄;
  • 合約終止後,模型、資料、快取與備份如何移除。

多租戶設計也直接影響定價。共用資源通常有較佳的平均利用率,但需要更精細的配額、優先級與保護;專用資源較容易說明隔離和容量,固定成本卻較高。Token Factory 不應假設只有一種答案,而要讓不同服務等級對應清楚的技術邊界。

六、從成本中心到服務業務:用單位經濟驗證,不用口號驗證

Token Factory 的商業化不能只比較雲端 API 單價與自建 GPU 成本。固定支出包括設備、機房、網路、軟體與營運人力;變動支出包括能源、模型呼叫、儲存、流量、支援與重試。若只把 GPU 折舊除以 Token 數,可能漏掉大部分服務成本。

FinOps Foundation 的 Cloud Unit Economics強調把成本與一個可理解的業務單位連接。Token Factory 可同時保留兩種單位:技術上看每百萬 Token 成本、每請求成本與有效容量;商業上看每位租戶、每項服務、每個完成任務的成本、收入與毛利。Token 是共同尺,但最終仍要回到客戶得到的服務。

一個 90 天驗證可分三步:

第 1–30 天:定義一個服務 SKU

選一個模型與工作負載,寫清楚租戶、資料邊界、輸入/輸出範圍、預期並發、支援責任和計價單位。建立成本基線,不先承諾不存在的 SLA。

第 31–60 天:跑完計量與帳單閉環

從申請、部署、API 金鑰、請求,到用量彙總與帳單,讓每一步使用相同 ID。用實際流量和尖峰情境驗證 TTFT、TPS、排隊、錯誤與重試,並確認帳務可以逐筆追溯。

第 61–90 天:加入第二個租戶與例外測試

驗證配額耗盡、模型失敗、價格版本切換、租戶刪除和 noisy neighbor 情境。只有當服務、帳務和治理都能在例外中維持一致,才適合擴大模型目錄與客戶數。

Token Factory 真正的轉變,不是把 Token 包裝成新商品,而是把 AI 推論變成可重複交付的服務生產。ixCSP 的 GaaS、MaaS、TaaS、計量計費與多租戶能力,提供了可驗證的產品基礎;下一步應以服務目錄、單位經濟和端到端可觀測性,把 GPU 資產連到客戶真正使用的 AI 服務。