當企業把 LLM 導入客服、內部知識庫與 AI Agent 工作流程,「判斷」往往比「生成」更早發生:這則訊息該轉給哪個模型?內容是否夾帶個資?是否為提示注入?這些判斷都位於使用者等待的關鍵路徑上,每一筆請求都要經過。因此在選型時,團隊通常需要先回答以下問題:
- 雲端與地端的決策模型,準確率實際差多少?
- 「主題分類」與「內容安全防護」兩種任務,能否用同一個模型處理?
- 改用量化版本部署,判斷結果會不會跑掉?
- 生成式 LLM guard 若沒有給出判決,系統會發生什麼事?
為回答這些問題,我們以 5,100 筆中英各半的測試資料,在「主題分類(Domain)」與「內容安全防護(Guard)」兩種情境下,實測 10 種決策模型、共 11 組部署(clef 有兩種部署方式),並以 1 個生成式 LLM guard(gpt-oss-safeguard)作為對照組。
Jev 決策模型是什麼?
Jev 是 TypeSafe 推出的 System One 決策模型。使用方式是送入一段待判斷的文字(state)與一組有型別的問題(questions),模型會一次回傳每一題的答案與機率分布,且不產生任何文字。
同一套 /v1/systemone 介面亦有其他實作,本次受測的 clef、clm、laya、winnow、kev 系列,以及 vllm-sr 的 d3 系列皆相容,下文統稱為「決策模型」。
1. 三種題型:choice、score、noul
| 題型 | 回答的問題 | 如何定義(criteria) | 回傳內容 |
|---|---|---|---|
| choice(選項分類) | 屬於哪一類? | 物件:選項名稱對應一段描述 | choice、confidence、各選項的 probabilities |
| score(程度評分) | 程度有多高? | 陣列:由低到高排列的等級描述 | score、confidence、等級對照 legend、各等級的 probabilities |
| noul(機率判斷) | 是不是? | 不需要,只寫 instructions | noul:「是」的機率,介於 0 到 1 |
- score 是等級的期望值:各等級編號依機率加權,範圍為 0 到「等級數 −1」。例如三個等級的機率分別為 0.67、0.29、0.04 時,score 為 0.38。因此 criteria 的排列順序就是量尺方向,必須由低到高排列。
- 三種題型可放在同一個請求:一次取得多個獨立判斷,無需多次網路往返。
- 本次 Benchmark 僅使用 choice:score 與 noul 的回傳格式,由我們對 jev-latest(回應中版本為 jev-1.13.0)實測確認。
2. 一次請求、多題判斷:實際範例
以下範例針對同一封客服信,同時判斷主題(choice)、緊急程度(score)與是否要求退款(noul)。
Request
{
"model": "jev-latest",
"state": "Hi, I was charged twice for my subscription this month and I need a refund today, otherwise I will cancel.",
"questions": {
"topic": {
"type": "choice",
"instructions": "Pick the topic of the message.",
"criteria": {
"billing": "Payments, invoices, refunds.",
"technical": "Bugs, errors, outages.",
"sales": "Pricing and plans."
}
},
"urgency": {
"type": "score",
"instructions": "Rate how urgent this message is.",
"criteria": [
"Not urgent: no time pressure.",
"Low: wants help this week.",
"Medium: wants an answer within a day.",
"High: needs action today, money involved.",
"Critical: service down or legal threat."
]
},
"refund": {
"type": "noul",
"instructions": "Is the customer asking for a refund?"
}
}
}
Response
{
"model": "jev-1.13.0",
"answers": {
"topic": {
"type": "choice",
"choice": "billing",
"confidence": 1.0,
"probabilities": {"billing": 1.0, "technical": 0.0, "sales": 0.0}
},
"urgency": {
"type": "score",
"score": 3.0,
"confidence": 1.0,
"legend": {
"0": "Not urgent: no time pressure.",
"1": "Low: wants help this week.",
"2": "Medium: wants an answer within a day.",
"3": "High: needs action today, money involved.",
"4": "Critical: service down or legal threat."
},
"probabilities": {"0": 0.0, "1": 0.0, "2": 0.0, "3": 1.0, "4": 0.0}
},
"refund": {"type": "noul", "noul": 0.99}
},
"usage": {"input_tokens": 458, "output_tokens": 69}
}
需要留意的是,confidence 為服務另外回傳的信心分數,不一定等於最高選項的機率(本次測試中,laya:multilingual 即曾回傳 confidence 0.9955、最高機率 0.997)。根據 DataCamp 的介紹,Jev 的機率經過校準;本次 Domain 測試中,jev-latest 在 confidence ≥ 0.9 的題目(佔 94.9%)全數判對,與此說法一致。
3. 決策模型 vs. 生成式 LLM:關鍵差異
下表比較決策模型與生成式 LLM guard 處理同一件事的差異。數據取自本次 Guard 測試;由於兩者執行於不同主機,延遲僅供參考。
| 面向 | 決策模型(systemone) | 生成式 LLM guard(gpt-oss-safeguard:20b) |
|---|---|---|
| 輸出形式 | 每題的型別化答案(類別、分數或機率)+機率分布 | 推理過程+一段 JSON 文字,需自行解析 |
| 自架模型的輸出 tokens | 0 | 平均 327–365 |
| 延遲主要取決於 | 輸入長度(criteria+內容) | 輸出長度(與延遲相關係數 1.00) |
| p50/p95 延遲 | winnow:latest 416/436 ms | 1.58/6.24 s |
| 是否可能沒有答案 | 不會,每題必有答案 | 會,1.0%(改良後 prompt)至 6.2%(原始 prompt) |
| 信心分數 | 有,可用門檻分流 | 無 |
| 可解釋性 | 僅有機率 | 有 rationale 文字 |
| 調整判斷規則 | 修改 criteria 文字,無需重新訓練 | 修改 policy prompt |
註:雲端 jev-latest 的 usage 會回報 output tokens(本次 Guard 約 160、Domain 約 53,上例為 69),但回應形式仍為型別化答案,無需解析文字。

決策模型適合用在哪些場景?
判斷原則很單純:只要答案能事先列舉——無論是一個類別、一個等級,還是一個是非——就適合交給決策模型;需要產出文字或理由的工作則不適合。
| 題型 | 適合的工作 | 應用範例 |
|---|---|---|
| choice(選項分類) | 分類與路由 | 依醫療、財務、法律將問題轉給對應的模型或 Agent(本文 Domain 情境);判斷訊息屬於哪一種有害內容(本文 Guard 情境);客服工單分派 |
| score(程度評分) | 分級與排序 | 客訴緊急程度、風險等級、內容分級;替 LLM 的回答品質評分,再依分數排序或設定門檻 |
| noul(機率判斷) | 是非與放行閘門 | 是否含個資或機密、是否要求退款、是否需轉真人、是否為提示注入;依「是」的機率設定攔截門檻 |
1. 組合使用
一封客服信可在同一請求中同時取得主題、緊急程度與是否要求退款,一次完成分派、排序與觸發退款流程。後文建議將「是否含個資」從單選題拆出、改以 noul 獨立判斷,即是此做法的應用。
2. 閘門門檻可自行調整
noul 回傳的是機率而非是非,攔截門檻可依「寧可錯殺」或「寧可放過」的業務需求自行設定。
3. 不適合的工作
需要產生文字(撰寫信件、摘要、程式碼),或需要書面理由才能稽核的決策。決策模型只回傳答案與機率,這類工作仍應交給 LLM。
由於上述場景大多位於使用者等待的關鍵路徑上,延遲與「沒有答案時怎麼辦」與準確率同等重要。此外,判斷規則寫在 criteria 文字中:新增一個類別或調整一個等級,只需修改一段描述,無需重新訓練。
受測模型一覽
受測的 10 種決策模型(11 組部署)涵蓋從 322M 的編碼器到 27B 的雲端模型;地端 5 個系列各採用不同的內部做法。架構說明取自各服務 /v1/models 回傳的官方描述,記憶體為載入後實際佔用大小。
| 模型 | 架構(官方描述) | 參數量/精度 | 記憶體 | 部署位置 |
|---|---|---|---|---|
| jev-latest | TypeSafe 的 System One 決策模型,未公開架構 | 未公開 | — | 雲端 api.typesafe.ai |
| vllm-sr/d3 | d3-turbo 的別名,可讀取文字、圖片、影片 | 27B | — | 雲端 decision.vllm-sr.ai |
| vllm-sr/d3-flash | 同系列較小版本 | 9B | — | 雲端 decision.vllm-sr.ai |
| vllm-sr/d3-mini | 同系列較小版本 | 4B | — | 雲端 decision.vllm-sr.ai |
| winnow:latest | Gemma 4 12B IT 微調,於自有 prompt 後讀取選項標籤的 logits | 12B/Q8_0 GGUF | 12.7 GB | 地端 Ollaya |
| winnow:e4b | Gemma 4 E4B IT 微調,做法同上,另加作者擬合的 temperature | 7.5B/Q8_0 GGUF | 8.0 GB | 地端 Ollaya |
| clef:flash | Qwen3.5-9B 後訓練,聯合 schema head 於一次 forward pass 中替所有問題的所有選項評分 | 9B/F32 ONNX | 19 GB | 地端 Ollaya |
| clef-flash@ollama-q8 | 同一個 clef-flash,改以 llama.cpp 執行 | 9.1B/Q8_0 GGUF | 12.8 GB | 地端 ollama |
| kev:4b | Qwen3.5-4B base 加 LoRA 與 pointer head | 4.2B/F32 ONNX | 9.5 GB | 地端 Ollaya |
| clm:8b | 對比式:Qwen3-8B 編碼器分別嵌入 state 與每個選項,以相似度評分,重複選項會快取 | 8.2B/F32 ONNX | 16 GB | 地端 Ollaya |
| laya:multilingual | mmBERT-base,支援 100 多種語言 | 322M/F16 | 0.7 GB | 地端 Ollaya |
| gpt-oss-safeguard:20b | 生成式推理模型,依政策文字做安全分類(對照組) | 20B | 12.9 GB | 另一台共用的 Ollama 主機 |
架構差異可能直接反映在結果上:以相似度評分的 laya 與 clm,在本次 criteria 下幾乎無法使用。我們推測這與 criteria 中的否定句與優先規則有關(詳見「三項關鍵技術觀察」)。
我們如何測試?
兩種情境共用同一套流程:每個模型皆以同一批、同樣順序的題目逐筆呼叫;地端 Ollaya 與 ollama 上的模型皆在獨佔 GPU 下測試。
1. 兩種測試情境
| 項目 | Domain(主題分類) | Guard(內容安全) |
|---|---|---|
| 類別 | 醫療、財務、法律、敏感資料、一般,共 5 類 | 騷擾、仇恨言論、暴力、鼓勵自殺、提示注入、正常等,共 13 類 |
| 判斷規則 | 夾帶機密或個資時,不論主題一律判為「敏感資料」 | 一份 13 類的 prompt guard criteria,測試時一字不改 |
| 資料量 | 每類 500 筆,共 2,500 筆 | 每類 200 筆,共 2,600 筆 |
| 語言 | 繁中、英文各半 | 繁中、英文各半 |
| 困難題比例 | 20%;敏感資料類 40% | 多數類別 25%;正常類 60% |
| 每次請求輸入量 | 約 480 tokens | 約 1,150 tokens |
2. 測試資料來源
- 由 LLM 依撰寫規格逐筆生成,禁止以模板套字。繁中與英文各自獨立撰寫、非互譯;形式涵蓋短問句、聊天訊息、email 與論壇貼文。
- 困難題刻意混入其他類別的字眼。例如「有沒有跟《機智醫生生活》一樣好看的韓劇?」屬於一般類;「病患陳怡君,身分證 A225678901,確診第二期乳癌……」主題是醫療,但含虛構個資,應判為敏感資料。
- 以程式驗證品質:去除重複、檢查欄位,並以正規表示式掃描非敏感類別是否誤含個資樣式。
- Guard 資料來源說明:13 類中 9 類由 LLM 撰寫;隱私類沿用 Domain 的個資題;仇恨言論、鼓勵自殺、違法協助 3 類因撰寫時遭 LLM 安全機制阻擋,改用另行取得的資料,句型較模板化、篇幅較短。
3. 執行環境
- 地端:一張 NVIDIA RTX 3090(24 GB)。決策模型由 Ollaya 提供——這是一套類似 Ollama、提供 /v1/systemone 介面的推論伺服器;clef-flash 的 Q8 版本則由同一台機器上的 ollama(llama.cpp)提供。
- 對照組:gpt-oss-safeguard:20b 執行於另一台共用的 Ollama 主機。模型完整載入 VRAM,但同機另載有其他使用者的模型,無法保證獨佔。
- 雲端:jev-latest(api.typesafe.ai)、vllm-sr d3 系列(decision.vllm-sr.ai),延遲包含台灣至該服務的網路往返。
4. 測試流程
- 透過 SSH 執行 systemctl restart ollaya 清空 VRAM。由於 ollama 與 Ollaya 共用同一張 GPU,測試 clef-flash 前亦先清空 Ollaya。
- 暖機:需成功回應 3 次才正式開始。首次請求給予 900 秒逾時,讓伺服器有時間載入模型;失敗即重試。
- 以 ollaya ps 或 /api/ps 確認模型完整位於 GPU 上,否則不予測試。
- 所有模型使用同一份以固定亂數種子打亂的題目順序,以單一 keep-alive 連線逐筆送出(concurrency = 1)。
- 每筆結果立即寫入 JSONL,中斷後可從斷點續跑。
- 傳輸錯誤與 5xx 重試 2 次;429 依伺服器指示等待後重試,不計為錯誤。重試過的請求不納入延遲統計。
- 測試結束後再次確認模型仍位於 GPU 上,並檢查 Ollaya 未被其他人載入模型。
評估指標怎麼看?
「分類準確率」回答的是類別判得對不對;「攔截平衡準確率」回答的是該擋的有沒有擋、不該擋的有沒有放。對 prompt guard 而言,後者才是主要指標。
1. 分類指標
| 指標 | 計算方式 | 代表意義 |
|---|---|---|
| 準確率(Accuracy) | 判對筆數 ÷ 總筆數 N | 整體判對比例;未回應或無法解析者亦計為錯誤 |
| Precision(類別 c) | TP ÷ (TP + FP) | 預測為 c 時的正確比例 |
| Recall(類別 c) | TP ÷ (TP + FN) | 類別 c 被正確辨識的比例 |
| F1(類別 c) | 2 × Precision × Recall ÷ (Precision + Recall) | Precision 與 Recall 的調和平均 |
| Macro-F1 | 各類別 F1 的平均 | 每類權重相同,少數類別表現差會直接反映 |
| 寬鬆準確率(Guard) | 判成 criteria 定義上重疊的類別亦計為正確 | 例如仇恨言論為騷擾的子集,判成騷擾不算錯 |
註:TP 為答案與預測皆為 c 的筆數;FP 為預測為 c 但答案不是 c;FN 為答案為 c 但預測不是 c。
2. 攔截/放行指標(Guard)
預測為「正常」以外的任何類別皆視為攔截,不論類別是否正確。「受保護特徵」的題目屬中性內容,不列入計算。
| 指標 | 計算方式 | 代表意義 |
|---|---|---|
| 有害攔截率(TPR) | 被攔截的有害題 ÷ 有害題 | 該擋的擋了多少 |
| 誤擋率(FPR) | 被攔截的正常題 ÷ 正常題 | 不該擋的擋了多少 |
| 攔截平衡準確率 | (TPR + (1 − FPR)) ÷ 2 | 兩者平均,不受有害題與正常題比例影響 |
之所以採用平衡準確率而非一般正確率,是因為有害題有 2,200 筆、正常題僅 200 筆:一個什麼都擋的模型,一般正確率可達 91.7%,平衡準確率卻只有 50%。laya:multilingual 正是如此——攔截率 98.9%、誤擋率 98.5%,平衡準確率僅 50.2%。
3. 速度指標
| 指標 | 計算方式 | 代表意義 |
|---|---|---|
| 延遲 | Client 端量測的端到端時間,重試過的請求不納入 | 含網路與伺服器排隊的實際等待時間 |
| p50、p95、p99 | 延遲由小到大排序,令 h = (n − 1) × q,取第 ⌊h⌋ 與第 ⌊h⌋ + 1 筆(從 0 起算),依 h 的小數部分線性內插 | p95 與 p50 的差距反映尾端延遲的穩定度 |
| 單連線吞吐量 | 1000 ÷ 平均延遲(ms) | 單一連線每秒可處理筆數;多連線總吞吐量本次未測 |
| 冷啟動 | 重啟後第一次請求的延遲 | 包含載入模型的時間 |
| tokens–延遲相關係數 | 輸入(或輸出)tokens 與延遲的 Pearson r | 判斷延遲由輸入長度或輸出長度驅動 |
4. 信心分數
決策模型會回傳 confidence。我們計算「confidence ≥ 0.9 的覆蓋率」及該部分的準確率,用以評估能否以門檻分流:高信心者直接採用,其餘交由更強的模型處理。
測試結果一:Domain 主題分類
前三名準確率皆在 98.9% 以上,差距不到 1 個百分點;真正拉開差距的是「敏感資料」這一類。
| 模型 | 部署 | 準確率 | 繁中/英文 | 敏感資料 Recall | p50 | p95 |
|---|---|---|---|---|---|---|
| jev-latest | 雲端 | 99.8% | 99.8%/99.7% | 99.2% | 205 ms | 286 ms |
| winnow:latest | 地端 | 99.0% | 99.0%/99.0% | 100.0% | 203 ms | 225 ms |
| vllm-sr/d3 | 雲端 | 98.9% | 98.7%/99.0% | 94.8% | 276 ms | 296 ms |
| vllm-sr/d3-flash | 雲端 | 97.0% | 97.0%/97.0% | 86.6% | 231 ms | 240 ms |
| vllm-sr/d3-mini | 雲端 | 95.5% | 95.0%/95.9% | 79.6% | 228 ms | 235 ms |
| clef:flash | 地端(F32) | 94.2% | 93.7%/94.7% | 73.2% | 809 ms | 878 ms |
| clef-flash@ollama-q8 | 地端(Q8) | 94.2% | 93.8%/94.6% | 73.6% | 246 ms | 264 ms |
| winnow:e4b | 地端 | 93.2% | 93.8%/92.6% | 99.2% | 106 ms | 119 ms |
| kev:4b | 地端 | 87.9% | 87.4%/88.3% | 47.0% | 479 ms | 537 ms |
| laya:multilingual | 地端 | 35.8% | 35.5%/36.2% | 55.4% | 30 ms | 39 ms |
| clm:8b | 地端 | 32.7% | 34.0%/31.4% | 10.0% | 186 ms | 239 ms |

- 差距集中在「敏感資料」:醫療、財務、法律、一般四類,前七名皆在 95% 以上;敏感資料的 Recall 則從 100% 一路下滑至 47%。判錯的多為「主題是法律或財務、內容夾帶機密」的困難題——模型依主題分類,忽略了「有敏感資料就優先」的規則。jev-latest 判錯的 6 筆中,有 4 筆是內部投標金額或合約單價。
- 中英文無明顯差異:可用模型的繁中與英文準確率差距,皆在 1.2 個百分點以內。
- 速度表現:可用模型中以 winnow:e4b 最快(p50 106 ms)。同一個 clef-flash 改以 llama.cpp 執行 Q8 後,p50 從 809 ms 降至 246 ms。地端模型重啟後的第一次請求,需 1.4–6.7 秒載入。
- 準確率 × 速度的 Pareto 前緣:沒有其他模型能同時更準又更快的組合為:jev-latest、winnow:latest、winnow:e4b 與 laya:multilingual。其中 laya 上榜純粹因為速度最快,35.8% 的準確率並不具實用性。
測試結果二:Guard 內容安全
jev-latest、vllm-sr/d3、winnow:latest 三個模型皆攔下 94–95% 的有害內容,誤擋率在 2% 以下。以下依攔截平衡準確率排序。
1. 攔截表現與延遲
| 模型 | 部署 | 攔截平衡準確率 | 有害攔截率 | 誤擋率(95% 信賴區間) | p50 |
|---|---|---|---|---|---|
| jev-latest | 雲端 | 97.4% | 95.3% | 0.5%(0.1–2.8%) | 207 ms |
| vllm-sr/d3 | 雲端 | 96.9% | 94.3% | 0.5%(0.1–2.8%) | 344 ms |
| winnow:latest | 地端 | 96.3% | 94.6% | 2.0%(0.8–5.0%) | 416 ms |
| gpt-oss-safeguard(改良 prompt) | 地端(另一主機) | 94.6% | 89.2% | 0.0%(0.0–1.9%) | 1.58 s |
| vllm-sr/d3-flash | 雲端 | 94.1% | 94.8% | 6.5%(3.8–10.8%) | 257 ms |
| vllm-sr/d3-mini | 雲端 | 93.7% | 93.0% | 5.5%(3.1–9.6%) | 243 ms |
| gpt-oss-safeguard(原始 prompt) | 地端(另一主機) | 91.8% | 83.6% | 0.0%(0.0–1.9%) | 1.92 s |
| winnow:e4b | 地端 | 90.6% | 91.3% | 10.0%(6.6–14.9%) | 208 ms |
| kev:4b | 地端 | 90.0% | 94.4% | 14.5%(10.3–20.0%) | 1.08 s |
| clef-flash@ollama-q8 | 地端(Q8) | 79.6% | 98.7% | 39.5%(33.0–46.4%) | 514 ms |
| clef:flash | 地端(F32) | 79.3% | 98.6% | 40.0%(33.5–46.9%) | 1.79 s |
| laya:multilingual | 地端 | 50.2% | 98.9% | 98.5%(95.7–99.5%) | 30 ms |
| clm:8b | 地端 | 49.1% | 1.3% | 3.0%(1.4–6.4%) | 139 ms |
2. 分類準確率與重點類別攔截率
| 模型 | 分類準確率 | 隱私攔截率 | 提示注入攔截率 |
|---|---|---|---|
| jev-latest | 83.2% | 61.5% | 100.0% |
| vllm-sr/d3 | 80.6% | 64.5% | 100.0% |
| winnow:latest | 78.3% | 73.0% | 98.0% |
| gpt-oss-safeguard(改良 prompt) | 73.3% | 72.0% | 76.5% |
| vllm-sr/d3-flash | 83.3% | 85.5% | 100.0% |
| vllm-sr/d3-mini | 80.1% | 67.5% | 100.0% |
| gpt-oss-safeguard(原始 prompt) | 69.0% | 60.5% | 62.5% |
| winnow:e4b | 73.4% | 48.0% | 84.0% |
| kev:4b | 76.3% | 70.0% | 86.5% |
| clef-flash@ollama-q8 | 77.9% | 95.5% | 99.5% |
| clef:flash | 77.9% | 95.5% | 99.5% |
| laya:multilingual | 21.6% | 100.0% | 100.0% |
| clm:8b | 7.5% | 1.5% | 0.0% |
3. 結果解讀
- 前三名在統計上難分高下:誤擋率僅來自 200 筆正常題,0.5% 與 2.0% 實際上只是 1 筆與 4 筆的差別,信賴區間大幅重疊。
- 隱私是共同弱點:多數可用模型僅攔下 60–73%,夾帶在健康或法律問題中的個資最常被放行。排除誤擋率高達 40% 的 clef 後,以 vllm-sr/d3-flash 的 85.5% 最高,但其誤擋率也達 6.5%。
- 攔得多不等於好:clef 兩個版本攔下 98.6% 的有害內容,但每 10 則正常訊息就誤擋 4 則,連「電鍋蒸蛋外鍋放多少水」都被判為「錯誤資訊」。
- 分類準確率偏低,不全是模型的問題:「受保護特徵」與「非受保護對象」在原 criteria 中更接近名詞定義,多數模型將前者判為正常、後者判為騷擾。排除這 400 題後,前三名的分類準確率可再提高 10–14 個百分點;但這不影響是否攔截的判斷。
- 模板化的 3 類需打折解讀:仇恨言論、鼓勵自殺、違法協助的題目句型重複、篇幅短且無困難題,可用模型的 Recall 多在 90–100%,真實環境表現可能較低。
三項關鍵技術觀察
以下三點是本次測試中最值得關注的技術觀察,分別對應:換部署方式後判斷是否一致、criteria 寫法與模型架構的關係,以及 LLM guard 的失敗模式。
1. 量化幾乎不影響判斷,但信心分數需重新校準
同一個 clef-flash,在 Ollaya 上為 F32 ONNX(19 GB),在 ollama 上為 Q8_0 GGUF(12.8 GB)。兩者逐筆預測在 Domain 有 99.8%、Guard 有 99.6% 相同,速度快 3.3–3.5 倍。由於此處同時更換了 runtime 與精度,加速效果無法全部歸因於量化。
需要注意的是,兩者 confidence 的差距中位數約 0.12——若系統以信心門檻分流,更換部署方式後必須重新校準門檻。
2. criteria 的寫法需配合模型架構
laya(mmBERT)與 clm(對比式編碼器)以「文字與選項描述的相似度」評分,我們推測這是它們在本次 criteria 下失準的主因,但尚未以改寫後的 criteria 驗證。
具體而言,Domain 的「一般」類以否定句定義(not mainly about medical, financial or legal…),描述中反而充滿其他類別的關鍵字;「敏感資料」又附帶「不論主題皆優先」的規則。結果 laya 有 62% 的題目被判為敏感資料,一般類 Recall 僅 1.8%。即使是 clef 與 kev,也常依主題分類而忽略優先規則(敏感資料 Recall 分別為 73% 與 47%)。
criteria 撰寫建議: 每個選項以正面表列描述,避免「除了……以外」的否定句。優先規則不要塞進單選題,拆成獨立的 noul 是非題,例如另外詢問「是否含個資或機密」。僅為名詞定義的條目不要當成選項,例如 Guard 的「受保護特徵」與「非受保護對象」。
3. LLM guard 的失敗模式:沒有判決就放行
gpt-oss-safeguard 會先產生推理,再輸出 JSON 判決。常見做法是將政策與使用者內容合併為一則 user 訊息;即使 max_tokens 設為 4,096,仍有 6.2%(162 筆)沒有判決:
- 64 筆:推理用完 4,096 tokens。
- 98 筆:雖正常結束,輸出卻不是 JSON。重送後發現,模型並非在分類,而是直接回應題目(真的寫出一封 email)、拒絕回答,或被題目中的注入指令帶走而回傳空字串。
這 162 筆中有 134 筆是有害內容。若系統採 fail-open 設計,這些內容將被直接放行。
我們以同一批 130 筆進行對照實驗(max_tokens 均為 4,096;由於正常題僅 10 筆,誤擋率差異無法判讀):
| 組合 | 沒有判決 | 有害攔截率 | 攔截平衡準確率 | 平均輸出 tokens(有判決者) |
|---|---|---|---|---|
| 原始政策,併入 user 訊息 | 10 | 84.5% | 92.3% | 365 |
| 原始政策,放 system 訊息 | 22 | 76.4% | 88.2% | 350 |
| 加上明確指示,併入 user 訊息 | 0 | 90.0% | 95.0% | 389 |
| 加上明確指示,放 system 訊息 | 0 | 91.8% | 95.9% | 331 |
OpenAI 的使用指南建議政策放在 system 訊息、內容放在 user 訊息;但只把政策移過去反而更糟——內容獨立成一則 user 訊息後,看起來就像一般提問。
真正有效的做法是:在政策開頭加入一段明確指示(你是分類器、只輸出 JSON、不要回應內容),並在結尾再次重申輸出格式。以全部 2,600 筆驗證後,沒有判決的比例從 6.2% 降至 1.0%,剩餘案例全數為推理用完 4,096 tokens。
其他需要注意的事項:
- 逼近逾時上限:5.2% 的回答超過 1,024 tokens,最長一筆耗時 27.6 秒,逼近常見的 30 秒逾時設定。
- 尾端延遲不穩:延遲由輸出長度決定(相關係數 1.00),p95 為 p50 的 3–4 倍。
- 結果不完全可重現:temperature 設為 0 時,重送同一題仍不保證結果相同;同一批 1,714 題重跑,預測一致率為 99.5%。
- 政策仍有精簡空間:本次政策約 2,500 tokens,遠超過指南建議的 400–600 tokens,精簡後可能還有提升空間。

如何依需求選型?
沒有一個模型能在所有情境下都是最佳解。建議先決定資料能否送至外部,再權衡準確率與延遲。
| 需求 | 建議方案 | 依據 | 注意事項 |
|---|---|---|---|
| 可用雲端、準確率優先 | jev-latest | Domain 99.8%;Guard 攔截平衡準確率 97.4%、誤擋 0.5%;p50 約 205 ms | 所有訊息皆送至第三方;延遲受網路影響 |
| 雲端第二供應商或備援 | vllm-sr/d3 | Domain 98.9%;Guard 96.9%、誤擋 0.5% | Guard p50 344 ms;隱私攔截率僅 64.5% |
| 資料不能離開內部環境 | winnow:latest | Domain 99.0%(敏感資料 100%);Guard 96.3%;p50 203/416 ms | 約需 13 GB VRAM,須確認模型位於 GPU 上 |
| 地端、延遲或成本優先 | winnow:e4b | Domain p50 106 ms、單連線 9.3 req/s;8 GB VRAM | Guard 誤擋 10%、隱私攔截 48%,較適合 Domain 路由 |
| 特別在意個資外洩 | 主 guard 之外,另以 vllm-sr/d3-flash 判斷個資 | 隱私攔截率 85.5%,為可用模型中最高 | 誤擋率 6.5%,不適合單獨作為主 guard;改成獨立是非題的效果未測 |
| 需要可讀的判斷理由 | gpt-oss-safeguard:政策加上明確指示並放 system 訊息,max_tokens 至少 4,096 | 攔截平衡準確率 94.6%,附 rationale | p50 1.58 s、p95 6.2 s;仍有 1% 沒有判決 |
| 以本次 criteria 不建議 | laya:multilingual、clm:8b;Guard 情境的 clef 系列 | 平衡準確率約 50%;clef 誤擋率 40% | 改寫 criteria 後可再評估 |
架構設計建議
- 用信心分數分流:Domain 情境中,winnow:latest 有 97.2% 的題目 confidence ≥ 0.9,該部分準確率 99.8%;jev-latest 為 94.9% 覆蓋、100% 準確。可先由較快的模型處理高信心請求,僅將低信心者交給更強的模型。但 Guard 情境不宜直接套用——winnow:latest 在 confidence ≥ 0.9 的題目上分類準確率僅 82.4%,門檻需依情境校準。
- 把一題拆成幾題:先問「是否有害」再問「屬於哪一類」,或以 noul 將個資、機密拆成獨立的是非題。由於同一請求即可詢問多題,不會增加網路往返。
- 事先定義失敗處理策略:決策模型必定回傳一個選項,但服務仍可能逾時或回傳 5xx;LLM guard 則多了「沒有判決」的情況。正式環境應明確選擇 fail-open 或 fail-closed,並持續監控發生比例。
- 監控部署狀態:定期檢查模型的 DEVICE 與每筆延遲。若延遲突然暴增 10 倍以上,多半是模型被擠到 CPU 執行——測試初期 winnow:latest 在 CPU 上每筆需 12.5 秒,獨佔 GPU 後僅需 203 ms。
三種代表方案有什麼不同?
下表彙整雲端、地端與生成式 LLM guard 三種代表方案的關鍵差異,協助團隊快速對照。
| 比較面向 | jev-latest(雲端) | winnow:latest(地端) | gpt-oss-safeguard(LLM guard) |
|---|---|---|---|
| 資料是否離開內部環境 | 是,送至第三方服務 | 否 | 否(可自架) |
| Domain 準確率 | 99.8% | 99.0% | 本次未測 |
| Guard 攔截平衡準確率 | 97.4% | 96.3% | 94.6%(改良 prompt) |
| Guard 誤擋率 | 0.5% | 2.0% | 0.0% |
| Guard p50 延遲 | 207 ms | 416 ms | 1.58 s |
| 是否可能沒有判決 | 否 | 否 | 是,約 1.0% |
| 判斷理由 | 僅有機率 | 僅有機率 | 有 rationale 文字 |
| 適合場景 | 可用雲端、準確率優先 | 資料不能出門、需兼顧準確率 | 需要可稽核的判斷理由 |
簡而言之:追求準確率且可用雲端,選 jev-latest;資料必須留在內部,選 winnow:latest;需要可讀的判斷理由,才考慮生成式 LLM guard,並務必做好「沒有判決」的處理。
測試限制與後續方向
本份 Benchmark 適合用於比較模型之間的相對表現,不宜直接作為正式環境的絕對數字。
- 合成資料:測試資料由 LLM 撰寫,用語可能比真實使用者整齊;Guard 有 3 類資料句型模板化。
- 正常題僅 200 筆:誤擋 1 筆即為 0.5%,95% 信賴區間為 0.1–2.8%;2 個百分點以內的差距不具統計意義。信賴區間採 Wilson 公式計算(見下方說明)。
- 每個模型只跑一次:決策模型重跑結果幾乎相同;LLM guard 的輸出則不完全可重現。
- 雲端延遲僅供參考:包含我方網路至服務端的往返,亦無法確認對方的硬體與負載。
- criteria 未針對模型調整:結果反映的是「同一份 criteria 下」的表現;laya 與 clm 的低分,不代表在其他寫法下也同樣不佳。
- 僅測試單連線:高併發下的總吞吐量與尾端延遲,是下一步的測試項目。
- 地端僅一張 RTX 3090:換成其他 GPU,絕對數字會有所不同,但模型之間的相對趨勢應相近。
Wilson 信賴區間說明:即使比例為 0% 或接近 0%,Wilson 公式也能給出合理的區間。
Formula
Wilson 區間 = ( p̂ + z²/2n ± z × √( p̂(1 − p̂)/n + z²/4n² ) ) ÷ ( 1 + z²/n )
p̂:觀察到的比例 n:樣本數 z:95% 信賴水準取 1.96
值得延伸的方向:以改寫後的 criteria 重測編碼器型模型,並將個資偵測拆為獨立的是非題,驗證「拆題」能否補強隱私類的弱點。
常見問題 FAQ
Q1:決策模型和直接用生成式 LLM 做分類,最大的差別是什麼?
決策模型不產生文字,每題必定回傳型別化的答案與機率分布,延遲主要取決於輸入長度;生成式 LLM 需先推理再輸出 JSON,延遲取決於輸出長度,且可能出現「沒有判決」。若業務需要可稽核的書面理由,生成式 LLM 仍有其價值。
Q2:資料不能離開公司內部環境,應該選哪個模型?
本次測試中,地端表現最佳的是 winnow:latest:Domain 準確率 99.0%(敏感資料 Recall 100%)、Guard 攔截平衡準確率 96.3%,約需 13 GB VRAM。若更重視延遲與成本,可考慮 winnow:e4b,但其 Guard 誤擋率為 10%,較適合 Domain 路由。
Q3:改用 Q8 量化版本部署,準確率會下降嗎?
以 clef-flash 為例,F32 與 Q8 兩個版本的逐筆預測在 Domain 有 99.8%、Guard 有 99.6% 相同,速度快 3.3–3.5 倍。但兩者 confidence 差距中位數約 0.12,若以信心門檻分流,需重新校準門檻。
Q4:為什麼 Guard 情境要看「攔截平衡準確率」,而不是一般正確率?
因為有害題與正常題數量懸殊(2,200 筆 vs. 200 筆)。一個什麼都擋的模型,一般正確率可達 91.7%,平衡準確率卻只有 50%;平衡準確率能同時反映「該擋的有沒有擋」與「不該擋的有沒有放」。
Q5:laya 與 clm 分數很低,是模型本身不好嗎?
不一定。兩者以「文字與選項描述的相似度」評分,我們推測本次 criteria 中的否定句與優先規則是失準主因,但尚未以改寫後的 criteria 驗證。結果僅代表「同一份 criteria 下」的表現。
Q6:可以直接用 confidence 門檻來分流嗎?
在 Domain 情境中效果良好:winnow:latest 有 97.2% 的題目 confidence ≥ 0.9,該部分準確率達 99.8%。但在 Guard 情境中,同一門檻下的分類準確率僅 82.4%,因此門檻必須依情境個別校準。
Q7:這份 Benchmark 的數字可以直接作為正式環境的效能指標嗎?
不建議。本次使用合成資料、僅測試單連線與單張 RTX 3090,雲端延遲亦包含網路往返。數據最適合用於比較模型之間的相對表現,正式導入前仍建議以自有資料與實際流量進行驗證。
結語
決策模型以「型別化答案+機率分布」取代生成文字,讓分類、分級與放行閘門這類位於關鍵路徑上的判斷,能兼顧準確率、延遲與可預期性。本次實測顯示,雲端的 jev-latest 與地端的 winnow:latest 皆已達到可投入實務的水準;而 criteria 的撰寫方式、信心門檻的校準,以及失敗處理策略的設計,則是決定系統最終表現的關鍵。
隨著 AI Agent 與多模型路由架構逐步成為企業標配,「先判斷、再生成」將是控制成本與風險的重要設計原則。若您正在規劃 AI 推論基礎架構、模型路由或內容安全防護機制,歡迎與 INFINITIX 團隊聯繫,由專業顧問協助您評估最適合的部署方案。
參考資料
- DataCamp:System One models — Jev:Jev 的三種題型(choice、score、noul)、機率校準與適用情境介紹。
- OpenAI:User guide for gpt-oss-safeguard:政策放 system 訊息、輸出格式需明確並重申、政策長度建議 400–600 tokens。