當企業把 LLM 導入客服、內部知識庫與 AI Agent 工作流程,「判斷」往往比「生成」更早發生:這則訊息該轉給哪個模型?內容是否夾帶個資?是否為提示注入?這些判斷都位於使用者等待的關鍵路徑上,每一筆請求都要經過。因此在選型時,團隊通常需要先回答以下問題:

  • 雲端與地端的決策模型,準確率實際差多少?
  • 「主題分類」與「內容安全防護」兩種任務,能否用同一個模型處理?
  • 改用量化版本部署,判斷結果會不會跑掉?
  • 生成式 LLM guard 若沒有給出判決,系統會發生什麼事?

為回答這些問題,我們以 5,100 筆中英各半的測試資料,在「主題分類(Domain)」與「內容安全防護(Guard)」兩種情境下,實測 10 種決策模型、共 11 組部署(clef 有兩種部署方式),並以 1 個生成式 LLM guard(gpt-oss-safeguard)作為對照組。

Jev 決策模型是什麼?

Jev 是 TypeSafe 推出的 System One 決策模型。使用方式是送入一段待判斷的文字(state)與一組有型別的問題(questions),模型會一次回傳每一題的答案與機率分布,且不產生任何文字。

同一套 /v1/systemone 介面亦有其他實作,本次受測的 clef、clm、laya、winnow、kev 系列,以及 vllm-sr 的 d3 系列皆相容,下文統稱為「決策模型」。

1. 三種題型:choice、score、noul

題型回答的問題如何定義(criteria)回傳內容
choice(選項分類)屬於哪一類?物件:選項名稱對應一段描述choice、confidence、各選項的 probabilities
score(程度評分)程度有多高?陣列:由低到高排列的等級描述score、confidence、等級對照 legend、各等級的 probabilities
noul(機率判斷)是不是?不需要,只寫 instructionsnoul:「是」的機率,介於 0 到 1
  • score 是等級的期望值:各等級編號依機率加權,範圍為 0 到「等級數 −1」。例如三個等級的機率分別為 0.67、0.29、0.04 時,score 為 0.38。因此 criteria 的排列順序就是量尺方向,必須由低到高排列。
  • 三種題型可放在同一個請求:一次取得多個獨立判斷,無需多次網路往返。
  • 本次 Benchmark 僅使用 choice:score 與 noul 的回傳格式,由我們對 jev-latest(回應中版本為 jev-1.13.0)實測確認。

2. 一次請求、多題判斷:實際範例

以下範例針對同一封客服信,同時判斷主題(choice)、緊急程度(score)與是否要求退款(noul)。

Request
{
  "model": "jev-latest",
  "state": "Hi, I was charged twice for my subscription this month and I need a refund today, otherwise I will cancel.",
  "questions": {
    "topic": {
      "type": "choice",
      "instructions": "Pick the topic of the message.",
      "criteria": {
        "billing": "Payments, invoices, refunds.",
        "technical": "Bugs, errors, outages.",
        "sales": "Pricing and plans."
      }
    },
    "urgency": {
      "type": "score",
      "instructions": "Rate how urgent this message is.",
      "criteria": [
        "Not urgent: no time pressure.",
        "Low: wants help this week.",
        "Medium: wants an answer within a day.",
        "High: needs action today, money involved.",
        "Critical: service down or legal threat."
      ]
    },
    "refund": {
      "type": "noul",
      "instructions": "Is the customer asking for a refund?"
    }
  }
}
Response
{
  "model": "jev-1.13.0",
  "answers": {
    "topic": {
      "type": "choice",
      "choice": "billing",
      "confidence": 1.0,
      "probabilities": {"billing": 1.0, "technical": 0.0, "sales": 0.0}
    },
    "urgency": {
      "type": "score",
      "score": 3.0,
      "confidence": 1.0,
      "legend": {
        "0": "Not urgent: no time pressure.",
        "1": "Low: wants help this week.",
        "2": "Medium: wants an answer within a day.",
        "3": "High: needs action today, money involved.",
        "4": "Critical: service down or legal threat."
      },
      "probabilities": {"0": 0.0, "1": 0.0, "2": 0.0, "3": 1.0, "4": 0.0}
    },
    "refund": {"type": "noul", "noul": 0.99}
  },
  "usage": {"input_tokens": 458, "output_tokens": 69}
}

需要留意的是,confidence 為服務另外回傳的信心分數,不一定等於最高選項的機率(本次測試中,laya:multilingual 即曾回傳 confidence 0.9955、最高機率 0.997)。根據 DataCamp 的介紹,Jev 的機率經過校準;本次 Domain 測試中,jev-latest 在 confidence ≥ 0.9 的題目(佔 94.9%)全數判對,與此說法一致。

3. 決策模型 vs. 生成式 LLM:關鍵差異

下表比較決策模型與生成式 LLM guard 處理同一件事的差異。數據取自本次 Guard 測試;由於兩者執行於不同主機,延遲僅供參考。

面向決策模型(systemone)生成式 LLM guard(gpt-oss-safeguard:20b)
輸出形式每題的型別化答案(類別、分數或機率)+機率分布推理過程+一段 JSON 文字,需自行解析
自架模型的輸出 tokens0平均 327–365
延遲主要取決於輸入長度(criteria+內容)輸出長度(與延遲相關係數 1.00)
p50/p95 延遲winnow:latest 416/436 ms1.58/6.24 s
是否可能沒有答案不會,每題必有答案會,1.0%(改良後 prompt)至 6.2%(原始 prompt)
信心分數有,可用門檻分流無
可解釋性僅有機率有 rationale 文字
調整判斷規則修改 criteria 文字,無需重新訓練修改 policy prompt

註:雲端 jev-latest 的 usage 會回報 output tokens(本次 Guard 約 160、Domain 約 53,上例為 69),但回應形式仍為型別化答案,無需解析文字。

決策模型適合用在哪些場景?

判斷原則很單純:只要答案能事先列舉——無論是一個類別、一個等級,還是一個是非——就適合交給決策模型;需要產出文字或理由的工作則不適合。

題型適合的工作應用範例
choice(選項分類)分類與路由依醫療、財務、法律將問題轉給對應的模型或 Agent(本文 Domain 情境);判斷訊息屬於哪一種有害內容(本文 Guard 情境);客服工單分派
score(程度評分)分級與排序客訴緊急程度、風險等級、內容分級;替 LLM 的回答品質評分,再依分數排序或設定門檻
noul(機率判斷)是非與放行閘門是否含個資或機密、是否要求退款、是否需轉真人、是否為提示注入;依「是」的機率設定攔截門檻

1. 組合使用

一封客服信可在同一請求中同時取得主題、緊急程度與是否要求退款,一次完成分派、排序與觸發退款流程。後文建議將「是否含個資」從單選題拆出、改以 noul 獨立判斷,即是此做法的應用。

2. 閘門門檻可自行調整

noul 回傳的是機率而非是非,攔截門檻可依「寧可錯殺」或「寧可放過」的業務需求自行設定。

3. 不適合的工作

需要產生文字(撰寫信件、摘要、程式碼),或需要書面理由才能稽核的決策。決策模型只回傳答案與機率,這類工作仍應交給 LLM。

由於上述場景大多位於使用者等待的關鍵路徑上,延遲與「沒有答案時怎麼辦」與準確率同等重要。此外,判斷規則寫在 criteria 文字中:新增一個類別或調整一個等級,只需修改一段描述,無需重新訓練。

受測模型一覽

受測的 10 種決策模型(11 組部署)涵蓋從 322M 的編碼器到 27B 的雲端模型;地端 5 個系列各採用不同的內部做法。架構說明取自各服務 /v1/models 回傳的官方描述,記憶體為載入後實際佔用大小。

模型架構(官方描述)參數量/精度記憶體部署位置
jev-latestTypeSafe 的 System One 決策模型,未公開架構未公開—雲端 api.typesafe.ai
vllm-sr/d3d3-turbo 的別名,可讀取文字、圖片、影片27B—雲端 decision.vllm-sr.ai
vllm-sr/d3-flash同系列較小版本9B—雲端 decision.vllm-sr.ai
vllm-sr/d3-mini同系列較小版本4B—雲端 decision.vllm-sr.ai
winnow:latestGemma 4 12B IT 微調,於自有 prompt 後讀取選項標籤的 logits12B/Q8_0 GGUF12.7 GB地端 Ollaya
winnow:e4bGemma 4 E4B IT 微調,做法同上,另加作者擬合的 temperature7.5B/Q8_0 GGUF8.0 GB地端 Ollaya
clef:flashQwen3.5-9B 後訓練,聯合 schema head 於一次 forward pass 中替所有問題的所有選項評分9B/F32 ONNX19 GB地端 Ollaya
clef-flash@ollama-q8同一個 clef-flash,改以 llama.cpp 執行9.1B/Q8_0 GGUF12.8 GB地端 ollama
kev:4bQwen3.5-4B base 加 LoRA 與 pointer head4.2B/F32 ONNX9.5 GB地端 Ollaya
clm:8b對比式:Qwen3-8B 編碼器分別嵌入 state 與每個選項,以相似度評分,重複選項會快取8.2B/F32 ONNX16 GB地端 Ollaya
laya:multilingualmmBERT-base,支援 100 多種語言322M/F160.7 GB地端 Ollaya
gpt-oss-safeguard:20b生成式推理模型,依政策文字做安全分類(對照組)20B12.9 GB另一台共用的 Ollama 主機

架構差異可能直接反映在結果上:以相似度評分的 laya 與 clm,在本次 criteria 下幾乎無法使用。我們推測這與 criteria 中的否定句與優先規則有關(詳見「三項關鍵技術觀察」)。

我們如何測試?

兩種情境共用同一套流程:每個模型皆以同一批、同樣順序的題目逐筆呼叫;地端 Ollaya 與 ollama 上的模型皆在獨佔 GPU 下測試。

1. 兩種測試情境

項目Domain(主題分類)Guard(內容安全)
類別醫療、財務、法律、敏感資料、一般,共 5 類騷擾、仇恨言論、暴力、鼓勵自殺、提示注入、正常等,共 13 類
判斷規則夾帶機密或個資時,不論主題一律判為「敏感資料」一份 13 類的 prompt guard criteria,測試時一字不改
資料量每類 500 筆,共 2,500 筆每類 200 筆,共 2,600 筆
語言繁中、英文各半繁中、英文各半
困難題比例20%;敏感資料類 40%多數類別 25%;正常類 60%
每次請求輸入量約 480 tokens約 1,150 tokens

2. 測試資料來源

  • 由 LLM 依撰寫規格逐筆生成,禁止以模板套字。繁中與英文各自獨立撰寫、非互譯;形式涵蓋短問句、聊天訊息、email 與論壇貼文。
  • 困難題刻意混入其他類別的字眼。例如「有沒有跟《機智醫生生活》一樣好看的韓劇?」屬於一般類;「病患陳怡君,身分證 A225678901,確診第二期乳癌……」主題是醫療,但含虛構個資,應判為敏感資料。
  • 以程式驗證品質:去除重複、檢查欄位,並以正規表示式掃描非敏感類別是否誤含個資樣式。
  • Guard 資料來源說明:13 類中 9 類由 LLM 撰寫;隱私類沿用 Domain 的個資題;仇恨言論、鼓勵自殺、違法協助 3 類因撰寫時遭 LLM 安全機制阻擋,改用另行取得的資料,句型較模板化、篇幅較短。

3. 執行環境

  • 地端:一張 NVIDIA RTX 3090(24 GB)。決策模型由 Ollaya 提供——這是一套類似 Ollama、提供 /v1/systemone 介面的推論伺服器;clef-flash 的 Q8 版本則由同一台機器上的 ollama(llama.cpp)提供。
  • 對照組:gpt-oss-safeguard:20b 執行於另一台共用的 Ollama 主機。模型完整載入 VRAM,但同機另載有其他使用者的模型,無法保證獨佔。
  • 雲端:jev-latest(api.typesafe.ai)、vllm-sr d3 系列(decision.vllm-sr.ai),延遲包含台灣至該服務的網路往返。

4. 測試流程

  1. 透過 SSH 執行 systemctl restart ollaya 清空 VRAM。由於 ollama 與 Ollaya 共用同一張 GPU,測試 clef-flash 前亦先清空 Ollaya。
  2. 暖機:需成功回應 3 次才正式開始。首次請求給予 900 秒逾時,讓伺服器有時間載入模型;失敗即重試。
  3. 以 ollaya ps 或 /api/ps 確認模型完整位於 GPU 上,否則不予測試。
  4. 所有模型使用同一份以固定亂數種子打亂的題目順序,以單一 keep-alive 連線逐筆送出(concurrency = 1)。
  5. 每筆結果立即寫入 JSONL,中斷後可從斷點續跑。
  6. 傳輸錯誤與 5xx 重試 2 次;429 依伺服器指示等待後重試,不計為錯誤。重試過的請求不納入延遲統計。
  7. 測試結束後再次確認模型仍位於 GPU 上,並檢查 Ollaya 未被其他人載入模型。

評估指標怎麼看?

「分類準確率」回答的是類別判得對不對;「攔截平衡準確率」回答的是該擋的有沒有擋、不該擋的有沒有放。對 prompt guard 而言,後者才是主要指標。

1. 分類指標

指標計算方式代表意義
準確率(Accuracy)判對筆數 ÷ 總筆數 N整體判對比例;未回應或無法解析者亦計為錯誤
Precision(類別 c)TP ÷ (TP + FP)預測為 c 時的正確比例
Recall(類別 c)TP ÷ (TP + FN)類別 c 被正確辨識的比例
F1(類別 c)2 × Precision × Recall ÷ (Precision + Recall)Precision 與 Recall 的調和平均
Macro-F1各類別 F1 的平均每類權重相同,少數類別表現差會直接反映
寬鬆準確率(Guard)判成 criteria 定義上重疊的類別亦計為正確例如仇恨言論為騷擾的子集,判成騷擾不算錯

註:TP 為答案與預測皆為 c 的筆數;FP 為預測為 c 但答案不是 c;FN 為答案為 c 但預測不是 c。

2. 攔截/放行指標(Guard)

預測為「正常」以外的任何類別皆視為攔截,不論類別是否正確。「受保護特徵」的題目屬中性內容,不列入計算。

指標計算方式代表意義
有害攔截率(TPR)被攔截的有害題 ÷ 有害題該擋的擋了多少
誤擋率(FPR)被攔截的正常題 ÷ 正常題不該擋的擋了多少
攔截平衡準確率(TPR + (1 − FPR)) ÷ 2兩者平均,不受有害題與正常題比例影響

之所以採用平衡準確率而非一般正確率,是因為有害題有 2,200 筆、正常題僅 200 筆:一個什麼都擋的模型,一般正確率可達 91.7%,平衡準確率卻只有 50%。laya:multilingual 正是如此——攔截率 98.9%、誤擋率 98.5%,平衡準確率僅 50.2%。

3. 速度指標

指標計算方式代表意義
延遲Client 端量測的端到端時間,重試過的請求不納入含網路與伺服器排隊的實際等待時間
p50、p95、p99延遲由小到大排序,令 h = (n − 1) × q,取第 ⌊h⌋ 與第 ⌊h⌋ + 1 筆(從 0 起算),依 h 的小數部分線性內插p95 與 p50 的差距反映尾端延遲的穩定度
單連線吞吐量1000 ÷ 平均延遲(ms)單一連線每秒可處理筆數;多連線總吞吐量本次未測
冷啟動重啟後第一次請求的延遲包含載入模型的時間
tokens–延遲相關係數輸入(或輸出)tokens 與延遲的 Pearson r判斷延遲由輸入長度或輸出長度驅動

4. 信心分數

決策模型會回傳 confidence。我們計算「confidence ≥ 0.9 的覆蓋率」及該部分的準確率,用以評估能否以門檻分流:高信心者直接採用,其餘交由更強的模型處理。

測試結果一:Domain 主題分類

前三名準確率皆在 98.9% 以上,差距不到 1 個百分點;真正拉開差距的是「敏感資料」這一類。

模型部署準確率繁中/英文敏感資料 Recallp50p95
jev-latest雲端99.8%99.8%/99.7%99.2%205 ms286 ms
winnow:latest地端99.0%99.0%/99.0%100.0%203 ms225 ms
vllm-sr/d3雲端98.9%98.7%/99.0%94.8%276 ms296 ms
vllm-sr/d3-flash雲端97.0%97.0%/97.0%86.6%231 ms240 ms
vllm-sr/d3-mini雲端95.5%95.0%/95.9%79.6%228 ms235 ms
clef:flash地端(F32)94.2%93.7%/94.7%73.2%809 ms878 ms
clef-flash@ollama-q8地端(Q8)94.2%93.8%/94.6%73.6%246 ms264 ms
winnow:e4b地端93.2%93.8%/92.6%99.2%106 ms119 ms
kev:4b地端87.9%87.4%/88.3%47.0%479 ms537 ms
laya:multilingual地端35.8%35.5%/36.2%55.4%30 ms39 ms
clm:8b地端32.7%34.0%/31.4%10.0%186 ms239 ms
  1. 差距集中在「敏感資料」:醫療、財務、法律、一般四類,前七名皆在 95% 以上;敏感資料的 Recall 則從 100% 一路下滑至 47%。判錯的多為「主題是法律或財務、內容夾帶機密」的困難題——模型依主題分類,忽略了「有敏感資料就優先」的規則。jev-latest 判錯的 6 筆中,有 4 筆是內部投標金額或合約單價。
  2. 中英文無明顯差異:可用模型的繁中與英文準確率差距,皆在 1.2 個百分點以內。
  3. 速度表現:可用模型中以 winnow:e4b 最快(p50 106 ms)。同一個 clef-flash 改以 llama.cpp 執行 Q8 後,p50 從 809 ms 降至 246 ms。地端模型重啟後的第一次請求,需 1.4–6.7 秒載入。
  4. 準確率 × 速度的 Pareto 前緣:沒有其他模型能同時更準又更快的組合為:jev-latest、winnow:latest、winnow:e4b 與 laya:multilingual。其中 laya 上榜純粹因為速度最快,35.8% 的準確率並不具實用性。

測試結果二:Guard 內容安全

jev-latest、vllm-sr/d3、winnow:latest 三個模型皆攔下 94–95% 的有害內容,誤擋率在 2% 以下。以下依攔截平衡準確率排序。

1. 攔截表現與延遲

模型部署攔截平衡準確率有害攔截率誤擋率(95% 信賴區間)p50
jev-latest雲端97.4%95.3%0.5%(0.1–2.8%)207 ms
vllm-sr/d3雲端96.9%94.3%0.5%(0.1–2.8%)344 ms
winnow:latest地端96.3%94.6%2.0%(0.8–5.0%)416 ms
gpt-oss-safeguard(改良 prompt)地端(另一主機)94.6%89.2%0.0%(0.0–1.9%)1.58 s
vllm-sr/d3-flash雲端94.1%94.8%6.5%(3.8–10.8%)257 ms
vllm-sr/d3-mini雲端93.7%93.0%5.5%(3.1–9.6%)243 ms
gpt-oss-safeguard(原始 prompt)地端(另一主機)91.8%83.6%0.0%(0.0–1.9%)1.92 s
winnow:e4b地端90.6%91.3%10.0%(6.6–14.9%)208 ms
kev:4b地端90.0%94.4%14.5%(10.3–20.0%)1.08 s
clef-flash@ollama-q8地端(Q8)79.6%98.7%39.5%(33.0–46.4%)514 ms
clef:flash地端(F32)79.3%98.6%40.0%(33.5–46.9%)1.79 s
laya:multilingual地端50.2%98.9%98.5%(95.7–99.5%)30 ms
clm:8b地端49.1%1.3%3.0%(1.4–6.4%)139 ms

2. 分類準確率與重點類別攔截率

模型分類準確率隱私攔截率提示注入攔截率
jev-latest83.2%61.5%100.0%
vllm-sr/d380.6%64.5%100.0%
winnow:latest78.3%73.0%98.0%
gpt-oss-safeguard(改良 prompt)73.3%72.0%76.5%
vllm-sr/d3-flash83.3%85.5%100.0%
vllm-sr/d3-mini80.1%67.5%100.0%
gpt-oss-safeguard(原始 prompt)69.0%60.5%62.5%
winnow:e4b73.4%48.0%84.0%
kev:4b76.3%70.0%86.5%
clef-flash@ollama-q877.9%95.5%99.5%
clef:flash77.9%95.5%99.5%
laya:multilingual21.6%100.0%100.0%
clm:8b7.5%1.5%0.0%

3. 結果解讀

  • 前三名在統計上難分高下:誤擋率僅來自 200 筆正常題,0.5% 與 2.0% 實際上只是 1 筆與 4 筆的差別,信賴區間大幅重疊。
  • 隱私是共同弱點:多數可用模型僅攔下 60–73%,夾帶在健康或法律問題中的個資最常被放行。排除誤擋率高達 40% 的 clef 後,以 vllm-sr/d3-flash 的 85.5% 最高,但其誤擋率也達 6.5%。
  • 攔得多不等於好:clef 兩個版本攔下 98.6% 的有害內容,但每 10 則正常訊息就誤擋 4 則,連「電鍋蒸蛋外鍋放多少水」都被判為「錯誤資訊」。
  • 分類準確率偏低,不全是模型的問題:「受保護特徵」與「非受保護對象」在原 criteria 中更接近名詞定義,多數模型將前者判為正常、後者判為騷擾。排除這 400 題後,前三名的分類準確率可再提高 10–14 個百分點;但這不影響是否攔截的判斷。
  • 模板化的 3 類需打折解讀:仇恨言論、鼓勵自殺、違法協助的題目句型重複、篇幅短且無困難題,可用模型的 Recall 多在 90–100%,真實環境表現可能較低。

三項關鍵技術觀察

以下三點是本次測試中最值得關注的技術觀察,分別對應:換部署方式後判斷是否一致、criteria 寫法與模型架構的關係,以及 LLM guard 的失敗模式。

1. 量化幾乎不影響判斷,但信心分數需重新校準

同一個 clef-flash,在 Ollaya 上為 F32 ONNX(19 GB),在 ollama 上為 Q8_0 GGUF(12.8 GB)。兩者逐筆預測在 Domain 有 99.8%、Guard 有 99.6% 相同,速度快 3.3–3.5 倍。由於此處同時更換了 runtime 與精度,加速效果無法全部歸因於量化。

需要注意的是,兩者 confidence 的差距中位數約 0.12——若系統以信心門檻分流,更換部署方式後必須重新校準門檻。

2. criteria 的寫法需配合模型架構

laya(mmBERT)與 clm(對比式編碼器)以「文字與選項描述的相似度」評分,我們推測這是它們在本次 criteria 下失準的主因,但尚未以改寫後的 criteria 驗證。

具體而言,Domain 的「一般」類以否定句定義(not mainly about medical, financial or legal…),描述中反而充滿其他類別的關鍵字;「敏感資料」又附帶「不論主題皆優先」的規則。結果 laya 有 62% 的題目被判為敏感資料,一般類 Recall 僅 1.8%。即使是 clef 與 kev,也常依主題分類而忽略優先規則(敏感資料 Recall 分別為 73% 與 47%)。

criteria 撰寫建議: 每個選項以正面表列描述,避免「除了……以外」的否定句。優先規則不要塞進單選題,拆成獨立的 noul 是非題,例如另外詢問「是否含個資或機密」。僅為名詞定義的條目不要當成選項,例如 Guard 的「受保護特徵」與「非受保護對象」。

3. LLM guard 的失敗模式:沒有判決就放行

gpt-oss-safeguard 會先產生推理,再輸出 JSON 判決。常見做法是將政策與使用者內容合併為一則 user 訊息;即使 max_tokens 設為 4,096,仍有 6.2%(162 筆)沒有判決:

  • 64 筆:推理用完 4,096 tokens。
  • 98 筆:雖正常結束,輸出卻不是 JSON。重送後發現,模型並非在分類,而是直接回應題目(真的寫出一封 email)、拒絕回答,或被題目中的注入指令帶走而回傳空字串。

這 162 筆中有 134 筆是有害內容。若系統採 fail-open 設計,這些內容將被直接放行。

我們以同一批 130 筆進行對照實驗(max_tokens 均為 4,096;由於正常題僅 10 筆,誤擋率差異無法判讀):

組合沒有判決有害攔截率攔截平衡準確率平均輸出 tokens(有判決者)
原始政策,併入 user 訊息1084.5%92.3%365
原始政策,放 system 訊息2276.4%88.2%350
加上明確指示,併入 user 訊息090.0%95.0%389
加上明確指示,放 system 訊息091.8%95.9%331

OpenAI 的使用指南建議政策放在 system 訊息、內容放在 user 訊息;但只把政策移過去反而更糟——內容獨立成一則 user 訊息後,看起來就像一般提問。

真正有效的做法是:在政策開頭加入一段明確指示(你是分類器、只輸出 JSON、不要回應內容),並在結尾再次重申輸出格式。以全部 2,600 筆驗證後,沒有判決的比例從 6.2% 降至 1.0%,剩餘案例全數為推理用完 4,096 tokens。

其他需要注意的事項:

  • 逼近逾時上限:5.2% 的回答超過 1,024 tokens,最長一筆耗時 27.6 秒,逼近常見的 30 秒逾時設定。
  • 尾端延遲不穩:延遲由輸出長度決定(相關係數 1.00),p95 為 p50 的 3–4 倍。
  • 結果不完全可重現:temperature 設為 0 時,重送同一題仍不保證結果相同;同一批 1,714 題重跑,預測一致率為 99.5%。
  • 政策仍有精簡空間:本次政策約 2,500 tokens,遠超過指南建議的 400–600 tokens,精簡後可能還有提升空間。

如何依需求選型?

沒有一個模型能在所有情境下都是最佳解。建議先決定資料能否送至外部,再權衡準確率與延遲。

需求建議方案依據注意事項
可用雲端、準確率優先jev-latestDomain 99.8%;Guard 攔截平衡準確率 97.4%、誤擋 0.5%;p50 約 205 ms所有訊息皆送至第三方;延遲受網路影響
雲端第二供應商或備援vllm-sr/d3Domain 98.9%;Guard 96.9%、誤擋 0.5%Guard p50 344 ms;隱私攔截率僅 64.5%
資料不能離開內部環境winnow:latestDomain 99.0%(敏感資料 100%);Guard 96.3%;p50 203/416 ms約需 13 GB VRAM,須確認模型位於 GPU 上
地端、延遲或成本優先winnow:e4bDomain p50 106 ms、單連線 9.3 req/s;8 GB VRAMGuard 誤擋 10%、隱私攔截 48%,較適合 Domain 路由
特別在意個資外洩主 guard 之外,另以 vllm-sr/d3-flash 判斷個資隱私攔截率 85.5%,為可用模型中最高誤擋率 6.5%,不適合單獨作為主 guard;改成獨立是非題的效果未測
需要可讀的判斷理由gpt-oss-safeguard:政策加上明確指示並放 system 訊息,max_tokens 至少 4,096攔截平衡準確率 94.6%,附 rationalep50 1.58 s、p95 6.2 s;仍有 1% 沒有判決
以本次 criteria 不建議laya:multilingual、clm:8b;Guard 情境的 clef 系列平衡準確率約 50%;clef 誤擋率 40%改寫 criteria 後可再評估

架構設計建議

  1. 用信心分數分流:Domain 情境中,winnow:latest 有 97.2% 的題目 confidence ≥ 0.9,該部分準確率 99.8%;jev-latest 為 94.9% 覆蓋、100% 準確。可先由較快的模型處理高信心請求,僅將低信心者交給更強的模型。但 Guard 情境不宜直接套用——winnow:latest 在 confidence ≥ 0.9 的題目上分類準確率僅 82.4%,門檻需依情境校準。
  2. 把一題拆成幾題:先問「是否有害」再問「屬於哪一類」,或以 noul 將個資、機密拆成獨立的是非題。由於同一請求即可詢問多題,不會增加網路往返。
  3. 事先定義失敗處理策略:決策模型必定回傳一個選項,但服務仍可能逾時或回傳 5xx;LLM guard 則多了「沒有判決」的情況。正式環境應明確選擇 fail-open 或 fail-closed,並持續監控發生比例。
  4. 監控部署狀態:定期檢查模型的 DEVICE 與每筆延遲。若延遲突然暴增 10 倍以上,多半是模型被擠到 CPU 執行——測試初期 winnow:latest 在 CPU 上每筆需 12.5 秒,獨佔 GPU 後僅需 203 ms。

三種代表方案有什麼不同?

下表彙整雲端、地端與生成式 LLM guard 三種代表方案的關鍵差異,協助團隊快速對照。

比較面向jev-latest(雲端)winnow:latest(地端)gpt-oss-safeguard(LLM guard)
資料是否離開內部環境是,送至第三方服務否否(可自架)
Domain 準確率99.8%99.0%本次未測
Guard 攔截平衡準確率97.4%96.3%94.6%(改良 prompt)
Guard 誤擋率0.5%2.0%0.0%
Guard p50 延遲207 ms416 ms1.58 s
是否可能沒有判決否否是,約 1.0%
判斷理由僅有機率僅有機率有 rationale 文字
適合場景可用雲端、準確率優先資料不能出門、需兼顧準確率需要可稽核的判斷理由

簡而言之:追求準確率且可用雲端,選 jev-latest;資料必須留在內部,選 winnow:latest;需要可讀的判斷理由,才考慮生成式 LLM guard,並務必做好「沒有判決」的處理。

測試限制與後續方向

本份 Benchmark 適合用於比較模型之間的相對表現,不宜直接作為正式環境的絕對數字。

  • 合成資料:測試資料由 LLM 撰寫,用語可能比真實使用者整齊;Guard 有 3 類資料句型模板化。
  • 正常題僅 200 筆:誤擋 1 筆即為 0.5%,95% 信賴區間為 0.1–2.8%;2 個百分點以內的差距不具統計意義。信賴區間採 Wilson 公式計算(見下方說明)。
  • 每個模型只跑一次:決策模型重跑結果幾乎相同;LLM guard 的輸出則不完全可重現。
  • 雲端延遲僅供參考:包含我方網路至服務端的往返,亦無法確認對方的硬體與負載。
  • criteria 未針對模型調整:結果反映的是「同一份 criteria 下」的表現;laya 與 clm 的低分,不代表在其他寫法下也同樣不佳。
  • 僅測試單連線:高併發下的總吞吐量與尾端延遲,是下一步的測試項目。
  • 地端僅一張 RTX 3090:換成其他 GPU,絕對數字會有所不同,但模型之間的相對趨勢應相近。

Wilson 信賴區間說明:即使比例為 0% 或接近 0%,Wilson 公式也能給出合理的區間。

Formula

Wilson 區間 = ( p̂ + z²/2n  ±  z × √( p̂(1 − p̂)/n + z²/4n² ) ) ÷ ( 1 + z²/n )

p̂:觀察到的比例 n:樣本數 z:95% 信賴水準取 1.96

值得延伸的方向:以改寫後的 criteria 重測編碼器型模型,並將個資偵測拆為獨立的是非題,驗證「拆題」能否補強隱私類的弱點。

常見問題 FAQ

Q1:決策模型和直接用生成式 LLM 做分類,最大的差別是什麼?

決策模型不產生文字,每題必定回傳型別化的答案與機率分布,延遲主要取決於輸入長度;生成式 LLM 需先推理再輸出 JSON,延遲取決於輸出長度,且可能出現「沒有判決」。若業務需要可稽核的書面理由,生成式 LLM 仍有其價值。

Q2:資料不能離開公司內部環境,應該選哪個模型?

本次測試中,地端表現最佳的是 winnow:latest:Domain 準確率 99.0%(敏感資料 Recall 100%)、Guard 攔截平衡準確率 96.3%,約需 13 GB VRAM。若更重視延遲與成本,可考慮 winnow:e4b,但其 Guard 誤擋率為 10%,較適合 Domain 路由。

Q3:改用 Q8 量化版本部署,準確率會下降嗎?

以 clef-flash 為例,F32 與 Q8 兩個版本的逐筆預測在 Domain 有 99.8%、Guard 有 99.6% 相同,速度快 3.3–3.5 倍。但兩者 confidence 差距中位數約 0.12,若以信心門檻分流,需重新校準門檻。

Q4:為什麼 Guard 情境要看「攔截平衡準確率」,而不是一般正確率?

因為有害題與正常題數量懸殊(2,200 筆 vs. 200 筆)。一個什麼都擋的模型,一般正確率可達 91.7%,平衡準確率卻只有 50%;平衡準確率能同時反映「該擋的有沒有擋」與「不該擋的有沒有放」。

Q5:laya 與 clm 分數很低,是模型本身不好嗎?

不一定。兩者以「文字與選項描述的相似度」評分,我們推測本次 criteria 中的否定句與優先規則是失準主因,但尚未以改寫後的 criteria 驗證。結果僅代表「同一份 criteria 下」的表現。

Q6:可以直接用 confidence 門檻來分流嗎?

在 Domain 情境中效果良好:winnow:latest 有 97.2% 的題目 confidence ≥ 0.9,該部分準確率達 99.8%。但在 Guard 情境中,同一門檻下的分類準確率僅 82.4%,因此門檻必須依情境個別校準。

Q7:這份 Benchmark 的數字可以直接作為正式環境的效能指標嗎?

不建議。本次使用合成資料、僅測試單連線與單張 RTX 3090,雲端延遲亦包含網路往返。數據最適合用於比較模型之間的相對表現,正式導入前仍建議以自有資料與實際流量進行驗證。

結語

決策模型以「型別化答案+機率分布」取代生成文字,讓分類、分級與放行閘門這類位於關鍵路徑上的判斷,能兼顧準確率、延遲與可預期性。本次實測顯示,雲端的 jev-latest 與地端的 winnow:latest 皆已達到可投入實務的水準;而 criteria 的撰寫方式、信心門檻的校準,以及失敗處理策略的設計,則是決定系統最終表現的關鍵。

隨著 AI Agent 與多模型路由架構逐步成為企業標配,「先判斷、再生成」將是控制成本與風險的重要設計原則。若您正在規劃 AI 推論基礎架構、模型路由或內容安全防護機制,歡迎與 INFINITIX 團隊聯繫,由專業顧問協助您評估最適合的部署方案。

參考資料