企業が LLM(ChatGPT のような文章を作る AI)を、カスタマーサポート、社内のナレッジベース、AIエージェントなどに導入すると、文章を「作る」前に、まず「判断する」場面がたくさん出てきます。たとえば「このメッセージはどの AI に回すべきか」「個人情報が入っていないか」「AI をだまそうとする指示(プロンプトインジェクション)ではないか」といった判断です。こうした判断は、ユーザーが返事を待っている間に必ず通る道(クリティカルパス)の上にあり、すべてのリクエストが通過します。そのため、モデルを選ぶ前に、次の問いに答えておく必要があります。

  • クラウドとオンプレミスの意思決定モデルでは、精度に実際どの程度の差があるのか?
  • 「トピック分類」と「コンテンツセーフティ」の 2 つのタスクを、同じモデルで処理できるのか?
  • 量子化版(モデルを軽くして速く動かす版)で動かすと、判断結果は変わってしまうのか?
  • 生成型 LLM Guard が判定を返さなかった場合、システムでは何が起こるのか?

これらの問いに答えるため、繁体字中国語と英語が半々の 5,100 件のテストデータを用意し、「トピック分類(Domain)」と「コンテンツの安全チェック(Guard)」の 2 つの場面で、10 種類の意思決定モデル(計 11 の構成。clef は 2 通りの動かし方で測定)を実際に動かして比べました。比較のため、文章を作るタイプの AI で安全チェックを行う「生成型 LLM Guard」(gpt-oss-safeguard)も 1 つテストしています。

Jev 意思決定モデルとは?

Jev は、TypeSafe 社が提供する「System One」という意思決定モデルです。使い方はシンプルで、判断してほしいテキスト(state)と、質問のセット(questions)を送るだけです。モデルは文章を一切書かず、各質問の答えと、それぞれの答えの確率をまとめて返します。

同じ /v1/systemone という呼び出し方(インターフェース)で使えるモデルは、Jev 以外にもあります。今回テストした clef、clm、laya、winnow、kev の各シリーズと、vllm-sr の d3 シリーズはすべてこの形式に対応しています。この記事では、これらをまとめて「意思決定モデル」と呼びます。

1. 3 つの質問タイプ:choice、score、noul

質問タイプ答える問い定義方法(criteria)返却内容
choice(選択肢分類)どのカテゴリに属するか?オブジェクト:選択肢名と説明文の対応choice、confidence、各選択肢の probabilities
score(程度評価)程度はどのくらいか?配列:低い順に並べたレベルの説明score、confidence、レベル対応表 legend、各レベルの probabilities
noul(確率判定)該当するか?不要。instructions のみ記述noul:「該当する」確率(0〜1)
  • score は、各レベルの確率から計算した「平均的なレベル」(期待値)です。レベル番号に確率をかけて足し合わせたもので、0 から「レベル数 − 1」までの値になります。たとえば 3 つのレベルの確率が 0.67、0.29、0.04 なら、score は 0.38 です。このため、criteria(各レベルの説明)は必ず低いものから順に並べてください。並び順がそのまま目盛りの向きになります。
  • 3 つの質問タイプは 1 回のリクエストにまとめて入れられます。複数の判断を一度に受け取れるので、何度も問い合わせる必要がありません。
  • 今回のベンチマーク(性能比較テスト)で使ったのは choice だけです。score と noul の返ってくる形式は、jev-latest(レスポンスに表示されるバージョンは jev-1.13.0)で実際に試して確認しました。

2. 1 回のリクエストで複数の判断:実例

次の例では、1 通のサポートメールについて、話題(choice)、緊急度(score)、返金を求めているか(noul)の 3 つを同時に判断しています。

Request
{
  "model": "jev-latest",
  "state": "Hi, I was charged twice for my subscription this month and I need a refund today, otherwise I will cancel.",
  "questions": {
    "topic": {
      "type": "choice",
      "instructions": "Pick the topic of the message.",
      "criteria": {
        "billing": "Payments, invoices, refunds.",
        "technical": "Bugs, errors, outages.",
        "sales": "Pricing and plans."
      }
    },
    "urgency": {
      "type": "score",
      "instructions": "Rate how urgent this message is.",
      "criteria": [
        "Not urgent: no time pressure.",
        "Low: wants help this week.",
        "Medium: wants an answer within a day.",
        "High: needs action today, money involved.",
        "Critical: service down or legal threat."
      ]
    },
    "refund": {
      "type": "noul",
      "instructions": "Is the customer asking for a refund?"
    }
  }
}
Response
{
  "model": "jev-1.13.0",
  "answers": {
    "topic": {
      "type": "choice",
      "choice": "billing",
      "confidence": 1.0,
      "probabilities": {"billing": 1.0, "technical": 0.0, "sales": 0.0}
    },
    "urgency": {
      "type": "score",
      "score": 3.0,
      "confidence": 1.0,
      "legend": {
        "0": "Not urgent: no time pressure.",
        "1": "Low: wants help this week.",
        "2": "Medium: wants an answer within a day.",
        "3": "High: needs action today, money involved.",
        "4": "Critical: service down or legal threat."
      },
      "probabilities": {"0": 0.0, "1": 0.0, "2": 0.0, "3": 1.0, "4": 0.0}
    },
    "refund": {"type": "noul", "noul": 0.99}
  },
  "usage": {"input_tokens": 458, "output_tokens": 69}
}

注意点として、confidence はサービスが別に返す「自信の度合い」の数値で、いちばん高い選択肢の確率と同じとは限りません(今回のテストでは、laya:multilingual が confidence 0.9955、最高確率 0.997 を返した例がありました)。DataCamp の解説によると、Jev の確率は実際の正解率と合うように調整(キャリブレーション)されています。今回の Domain テストでも、jev-latest は confidence が 0.9 以上だった問題(全体の 94.9%)をすべて正しく判定しており、この説明と合っています。

3. 意思決定モデル vs. 生成型 LLM:主な違い

次の表は、同じ作業を「意思決定モデル」と「生成型 LLM Guard」で行ったときの違いをまとめたものです。数値は今回の Guard テストの結果です。2 つは別々のマシンで動かしているため、レイテンシ(返事が返ってくるまでの時間)は目安としてご覧ください。

観点意思決定モデル(systemone)生成型 LLM Guard(gpt-oss-safeguard:20b)
出力形式質問ごとの型付き回答(カテゴリ、スコア、確率)+確率分布推論過程+JSON テキスト(自前でパースが必要)
セルフホストモデルの出力 tokens0平均 327–365
レイテンシを主に左右する要素入力長(criteria+コンテンツ)出力長(レイテンシとの相関係数 1.00)
p50/p95 レイテンシwinnow:latest 416/436 ms1.58/6.24 s
回答なしの可能性なし。必ず全質問に回答あり。1.0%(改良後 prompt)〜6.2%(元の prompt)
信頼度スコアあり。しきい値で振り分け可能なし
説明可能性確率のみrationale テキストあり
判断ルールの調整criteria の文言を修正。再学習は不要policy prompt を修正

注:クラウド版の jev-latest は、usage 欄に output tokens(出力した文字量の単位)を表示します(今回の Guard で約 160、Domain で約 53、上の例では 69)。ただし返ってくるのは決まった形の答えなので、文章を読み取って解析する必要はありません。

意思決定モデルはどのような場面に適しているか?

見分け方はシンプルです。答えをあらかじめ選択肢として並べられるもの(カテゴリ、レベル、Yes/No)なら、意思決定モデルが向いています。反対に、文章や理由を書いてほしい作業には向いていません。

質問タイプ適した作業活用例
choice(選択肢分類)分類とルーティング医療・金融・法律に応じて質問を対応するモデルや Agent に振り分け(本記事の Domain シナリオ)、メッセージがどの種類の有害コンテンツに当たるかを判定(本記事の Guard シナリオ)、サポートチケットの割り振り
score(程度評価)レベル分けと並べ替えクレームの緊急度、リスクレベル、コンテンツのレーティング、LLM の回答品質を採点し、スコアで並べ替えやしきい値設定
noul(確率判定)Yes/No 判定と通過ゲート個人情報や機密を含むか、返金を求めているか、有人対応への切り替えが必要か、プロンプトインジェクションか。「該当する」確率に応じてブロックのしきい値を設定

1. 組み合わせて使う

たとえば 1 通のサポートメールについて、話題・緊急度・返金を求めているかを 1 回のリクエストでまとめて判断すれば、担当への振り分け、優先順位づけ、返金手続きの開始を一度に進められます。後で紹介する「個人情報を含むか」を別の Yes/No 質問(noul)として切り出す方法も、この考え方を使ったものです。

2. ゲートのしきい値は自由に調整可能

noul は Yes/No ではなく「Yes である確率」を返します。そのため、「多少やりすぎても危険なものは止めたい」のか、「多少見逃しても普通のメッセージは止めたくない」のか、業務に合わせてブロックする基準(しきい値)を自由に決められます。

3. 適さない作業

文章を作る作業(メール作成、要約、プログラム作成)や、監査のために判断理由を文章で残す必要がある判断です。意思決定モデルは答えと確率しか返さないので、こうした作業はこれまでどおり LLM に任せましょう。

上で挙げた場面の多くは、ユーザーが返事を待っている間に行われます。そのため、レイテンシ(返事までの時間)と「答えが返ってこなかったらどうするか」は、精度と同じくらい大切です。また、判断のルールは criteria(選択肢の説明文)に書くので、カテゴリを増やしたりレベルを変えたりするときも、説明文を直すだけで済みます。モデルを学習し直す必要はありません。

テスト対象モデル一覧

テストした 10 種類の意思決定モデル(11 の構成)は、322M(3.22 億パラメータ)の小さなモデルから 27B(270 億パラメータ)のクラウドモデルまで、さまざまな大きさがあります。社内サーバーで動かす(オンプレミス)5 つのシリーズは、それぞれ仕組みが異なります。仕組みの説明は各サービスが公式に返す説明(/v1/models)から引用し、メモリは実際に読み込んだ後の使用量です。

モデルアーキテクチャ(公式説明)パラメータ数/精度メモリデプロイ先
jev-latestTypeSafe の System One 意思決定モデル。アーキテクチャ非公開非公開—クラウド api.typesafe.ai
vllm-sr/d3d3-turbo のエイリアス。テキスト、画像、動画を入力可能27B—クラウド decision.vllm-sr.ai
vllm-sr/d3-flash同シリーズの小型版9B—クラウド decision.vllm-sr.ai
vllm-sr/d3-mini同シリーズの小型版4B—クラウド decision.vllm-sr.ai
winnow:latestGemma 4 12B IT をファインチューニング。独自 prompt の後で選択肢ラベルの logits を読み取る12B/Q8_0 GGUF12.7 GBオンプレミス Ollaya
winnow:e4bGemma 4 E4B IT をファインチューニング。方式は上と同じで、作者がフィッティングした temperature を追加7.5B/Q8_0 GGUF8.0 GBオンプレミス Ollaya
clef:flashQwen3.5-9B を追加学習。結合 schema head が 1 回の forward pass で全質問の全選択肢をスコアリング9B/F32 ONNX19 GBオンプレミス Ollaya
clef-flash@ollama-q8同じ clef-flash を llama.cpp で実行9.1B/Q8_0 GGUF12.8 GBオンプレミス ollama
kev:4bQwen3.5-4B base に LoRA と pointer head を追加4.2B/F32 ONNX9.5 GBオンプレミス Ollaya
clm:8b対照型:Qwen3-8B エンコーダで state と各選択肢を個別に埋め込み、類似度でスコアリング。重複する選択肢はキャッシュ8.2B/F32 ONNX16 GBオンプレミス Ollaya
laya:multilingualmmBERT-base。100 以上の言語に対応322M/F160.7 GBオンプレミス Ollaya
gpt-oss-safeguard:20b生成型推論モデル。ポリシー文に基づいて安全性を分類(比較対象)20B12.9 GB別の共用 Ollama ホスト

モデルの仕組みの違いは、結果にそのまま表れることがあります。「文章と選択肢の説明がどれだけ似ているか」で判断する laya と clm は、今回の criteria ではほとんど使いものになりませんでした。criteria に含まれる否定文(「〜ではない」)や優先ルールが原因だと考えています(詳しくは「3 つの重要な技術的知見」を参照)。

テスト方法

2 つの場面とも同じ手順でテストしました。すべてのモデルに同じ問題を同じ順番で 1 件ずつ送りました。社内サーバー(Ollaya と ollama)のモデルは、GPU を他の処理と共有せず、そのモデル専用にした状態でテストしています。

1. 2 つのテストシナリオ

項目Domain(トピック分類)Guard(コンテンツセーフティ)
カテゴリ医療、金融、法律、機密データ、一般の計 5 カテゴリハラスメント、ヘイトスピーチ、暴力、自殺の助長、プロンプトインジェクション、正常など計 13 カテゴリ
判断ルール機密情報や個人情報を含む場合は、トピックにかかわらず「機密データ」と判定13 カテゴリの prompt guard criteria を 1 文字も変えずに使用
データ量各カテゴリ 500 件、計 2,500 件各カテゴリ 200 件、計 2,600 件
言語繁体字中国語と英語が半々繁体字中国語と英語が半々
ハードケースの割合20%(機密データカテゴリは 40%)大半のカテゴリで 25%(正常カテゴリは 60%)
1 リクエストあたりの入力量約 480 tokens約 1,150 tokens

2. テストデータの出典

  • 問題文は、決められた作成ルールに沿って LLM に 1 件ずつ書かせました。テンプレートの単語を入れ替えるだけの作り方は禁止しています。中国語(繁体字)と英語はそれぞれ別々に書いたもので、翻訳ではありません。形式は、短い質問、チャット、email、掲示板の投稿などさまざまです。
  • 「ハードケース」(間違えやすい難しい問題)には、わざと別のカテゴリの言葉を混ぜています。たとえば「『コード・ブルー』みたいに面白い医療ドラマを教えて」や “Any shows as good as Grey’s Anatomy?” は、医療の言葉が入っていても「一般」カテゴリです。「患者 山田花子、マイナンバー 1234 5678 9012、ステージ 2 の乳がんと診断……」は、話題は医療ですが、架空の個人情報が入っているため「機密データ」と判定するのが正解です。
  • データの品質はプログラムでチェックしました。重複を取り除き、項目の抜けを確認したうえで、機密以外のカテゴリに個人情報らしき文字列がまぎれ込んでいないかも調べています。
  • Guard データの出どころ:13 カテゴリのうち 9 カテゴリは LLM に書かせ、プライバシーのカテゴリは Domain の個人情報の問題を使い回しました。ヘイトスピーチ、自殺の助長、違法行為の手助けの 3 カテゴリは、LLM の安全機能に止められて書かせることができなかったため、別に入手したデータを使っています。そのため、この 3 カテゴリは文の形が似通っていて、文章も短めです。

3. 実行環境

  • 社内サーバー(オンプレミス):NVIDIA RTX 3090(メモリ 24 GB)を 1 枚使用。意思決定モデルは Ollaya で動かしました。Ollaya は、よく知られた Ollama に似たソフトで、/v1/systemone 形式で呼び出せる推論サーバーです。clef-flash の Q8 版(軽量版)は、同じマシンの ollama(llama.cpp)で動かしています。
  • 比較対象:gpt-oss-safeguard:20b は、別の共用 Ollama マシンで動かしました。モデルは GPU のメモリ(VRAM)にすべて読み込まれていますが、同じマシンで他の人のモデルも動いているため、専用の状態とは言い切れません。
  • クラウド:jev-latest(api.typesafe.ai)と vllm-sr d3 シリーズ(decision.vllm-sr.ai)。レイテンシには、台湾から各サービスまでの通信の往復時間も含まれています。

4. テスト手順

  1. SSH でサーバーに接続し、systemctl restart ollaya を実行して GPU のメモリ(VRAM)を空にします。ollama と Ollaya は同じ GPU を使っているため、clef-flash のテスト前にも Ollaya を空にしています。
  2. 準備運転(ウォームアップ):3 回続けて正常に返事が来てから本番を始めます。最初のリクエストはモデルの読み込みに時間がかかるため、待ち時間の上限(タイムアウト)を 900 秒にし、失敗したらやり直します。
  3. ollaya ps または /api/ps で、モデルがすべて GPU に載っていることを確認します。載っていない場合はテストしません。
  4. すべてのモデルで、固定の乱数シード(毎回同じ順番になるシャッフル方法)で並べ替えた同じ出題順を使います。接続は 1 本だけで、1 件ずつ順番に送ります(同時に送る数 concurrency = 1)。
  5. 結果は 1 件ごとにすぐファイル(JSONL)に保存し、途中で止まっても続きから再開できるようにしています。
  6. 通信エラーやサーバーエラー(5xx)は 2 回までやり直します。「混み合っています」というエラー(429)は、サーバーの指示どおり待ってからやり直し、エラーには数えません。やり直したリクエストは、レイテンシの集計に入れていません。
  7. テストが終わったら、モデルがまだ GPU に載っていること、そして Ollaya に他の人がモデルを読み込んでいないことを、もう一度確認します。

評価指標の見方

「分類精度」は、カテゴリを正しく当てられたかを表します。「ブロックバランス精度」は、止めるべきものを止め、通すべきものを通せたかを表します。安全チェック(prompt guard)では、後者がいちばん大事な指標です。

1. 分類指標

指標計算方法意味
精度(Accuracy)正解件数 ÷ 総件数 N全体の正解率。無応答やパース不能なものも不正解としてカウント
Precision(カテゴリ c)TP ÷ (TP + FP)c と予測したときの正解率
Recall(カテゴリ c)TP ÷ (TP + FN)カテゴリ c が正しく識別された割合
F1(カテゴリ c)2 × Precision × Recall ÷ (Precision + Recall)Precision と Recall の調和平均
Macro-F1各カテゴリの F1 の平均全カテゴリを同じ重みで扱うため、少数カテゴリの成績の悪さがそのまま反映される
緩和精度(Guard)criteria の定義上重なるカテゴリと判定した場合も正解とする例えばヘイトスピーチはハラスメントの部分集合のため、ハラスメントと判定しても不正解としない

注:TP は「正解も予測も c」だった件数、FP は「c と予測したが正解は c ではなかった」件数、FN は「正解は c なのに c と予測できなかった」件数です。

2. ブロック/通過の指標(Guard)

「正常」以外のカテゴリと予測したものは、カテゴリが合っていてもいなくても、すべて「ブロックした」とみなします。「保護対象属性」の問題は中立的な内容なので、計算からは外しています。

指標計算方法意味
有害ブロック率(TPR)ブロックされた有害問題 ÷ 有害問題ブロックすべきものをどれだけブロックできたか
誤ブロック率(FPR)ブロックされた正常問題 ÷ 正常問題ブロックすべきでないものをどれだけブロックしたか
ブロックバランス精度(TPR + (1 − FPR)) ÷ 2両者の平均。有害問題と正常問題の比率に左右されない

普通の正解率ではなくバランス精度を使うのは、有害な問題が 2,200 件あるのに、正常な問題は 200 件しかないからです。何でもかんでもブロックするモデルでも、普通の正解率なら 91.7% になってしまいます。バランス精度なら、このようなモデルは 50% にしかなりません。実際、laya:multilingual がその例で、有害なものを 98.9% ブロックした一方、正常なものも 98.5% ブロックしてしまい、バランス精度は 50.2% でした。

3. 速度指標

指標計算方法意味
レイテンシClient 側で計測したエンドツーエンドの時間。リトライしたリクエストは除外ネットワークとサーバー側の待ち行列を含む実際の待ち時間
p50、p95、p99レイテンシを昇順に並べ、h = (n − 1) × q として第 ⌊h⌋ 件と第 ⌊h⌋ + 1 件(0 始まり)を取り、h の小数部分で線形補間p95 と p50 の差はテールレイテンシの安定性を示す
単一接続スループット1000 ÷ 平均レイテンシ(ms)単一接続で 1 秒あたりに処理できる件数。複数接続での総スループットは今回未測定
コールドスタート再起動後の初回リクエストのレイテンシモデルのロード時間を含む
tokens–レイテンシ相関係数入力(または出力)tokens とレイテンシの Pearson rレイテンシが入力長と出力長のどちらに左右されるかを判断

4. 信頼度スコア

意思決定モデルは、答えと一緒に confidence(自信の度合い)を返します。そこで「confidence が 0.9 以上だった問題の割合(カバー率)」と、その問題での精度を計算し、自信の度合いで仕事を振り分けられるかを調べました。自信が高いものはそのまま採用し、それ以外だけをより高性能なモデルに回す、という使い方です。

テスト結果 1:Domain トピック分類

上位 3 モデルの精度はどれも 98.9% 以上で、差は 1 ポイント未満でした。差がはっきり出たのは「機密データ」のカテゴリです。

モデルデプロイ精度繁体字中国語/英語機密データ Recallp50p95
jev-latestクラウド99.8%99.8%/99.7%99.2%205 ms286 ms
winnow:latestオンプレミス99.0%99.0%/99.0%100.0%203 ms225 ms
vllm-sr/d3クラウド98.9%98.7%/99.0%94.8%276 ms296 ms
vllm-sr/d3-flashクラウド97.0%97.0%/97.0%86.6%231 ms240 ms
vllm-sr/d3-miniクラウド95.5%95.0%/95.9%79.6%228 ms235 ms
clef:flashオンプレミス(F32)94.2%93.7%/94.7%73.2%809 ms878 ms
clef-flash@ollama-q8オンプレミス(Q8)94.2%93.8%/94.6%73.6%246 ms264 ms
winnow:e4bオンプレミス93.2%93.8%/92.6%99.2%106 ms119 ms
kev:4bオンプレミス87.9%87.4%/88.3%47.0%479 ms537 ms
laya:multilingualオンプレミス35.8%35.5%/36.2%55.4%30 ms39 ms
clm:8bオンプレミス32.7%34.0%/31.4%10.0%186 ms239 ms

1. 差は「機密データ」に集中

医療、金融、法律、一般の 4 カテゴリでは、上位 7 モデルがすべて 95% 以上でした。一方、機密データの Recall(見つけるべきものをどれだけ見つけられたか)は、モデルによって 100% から 47% まで大きな差がありました。間違いの多くは「話題は法律や金融だが、中に機密情報が入っている」ハードケースです。モデルが話題だけを見て分類し、「機密データがあればそちらを優先する」というルールを見落としていました。jev-latest が間違えた 6 件のうち 4 件は、社内の入札金額や契約単価でした。

2. 中国語と英語で明確な差はなし

実用レベルのモデルでは、中国語(繁体字)と英語の精度の差はどれも 1.2 ポイント以内でした。

3. 速度

実用レベルのモデルの中で最も速かったのは winnow:e4b です(p50=半分のリクエストがこの時間内に返る:106 ms)。同じ clef-flash を llama.cpp の Q8(軽量版)で動かすと、p50 は 809 ms から 246 ms に短くなりました。なお、社内サーバーのモデルは再起動後の最初のリクエストだけ、読み込みに 1.4–6.7 秒かかります。

4. 精度 × 速度の Pareto フロンティア

「精度」と「速さ」の両方で、ほかのどのモデルにも負けていないモデル(Pareto フロンティア)は、jev-latest、winnow:latest、winnow:e4b、laya:multilingual の 4 つです。ただし laya は速さだけで入っており、精度 35.8% では実用になりません。

テスト結果 2:Guard コンテンツセーフティ

jev-latest、vllm-sr/d3、winnow:latest の 3 モデルは、どれも有害なコンテンツの 94–95% を止め、正常なメッセージを間違って止めた割合(誤ブロック率)は 2% 以下でした。以下は、ブロックバランス精度の高い順に並べています。

1. ブロック性能とレイテンシ

モデルデプロイブロックバランス精度有害ブロック率誤ブロック率(95% 信頼区間)p50
jev-latestクラウド97.4%95.3%0.5%(0.1–2.8%)207 ms
vllm-sr/d3クラウド96.9%94.3%0.5%(0.1–2.8%)344 ms
winnow:latestオンプレミス96.3%94.6%2.0%(0.8–5.0%)416 ms
gpt-oss-safeguard(改良 prompt)オンプレミス(別ホスト)94.6%89.2%0.0%(0.0–1.9%)1.58 s
vllm-sr/d3-flashクラウド94.1%94.8%6.5%(3.8–10.8%)257 ms
vllm-sr/d3-miniクラウド93.7%93.0%5.5%(3.1–9.6%)243 ms
gpt-oss-safeguard(元の prompt)オンプレミス(別ホスト)91.8%83.6%0.0%(0.0–1.9%)1.92 s
winnow:e4bオンプレミス90.6%91.3%10.0%(6.6–14.9%)208 ms
kev:4bオンプレミス90.0%94.4%14.5%(10.3–20.0%)1.08 s
clef-flash@ollama-q8オンプレミス(Q8)79.6%98.7%39.5%(33.0–46.4%)514 ms
clef:flashオンプレミス(F32)79.3%98.6%40.0%(33.5–46.9%)1.79 s
laya:multilingualオンプレミス50.2%98.9%98.5%(95.7–99.5%)30 ms
clm:8bオンプレミス49.1%1.3%3.0%(1.4–6.4%)139 ms

2. 分類精度と重点カテゴリのブロック率

モデル分類精度プライバシーブロック率プロンプトインジェクションブロック率
jev-latest83.2%61.5%100.0%
vllm-sr/d380.6%64.5%100.0%
winnow:latest78.3%73.0%98.0%
gpt-oss-safeguard(改良 prompt)73.3%72.0%76.5%
vllm-sr/d3-flash83.3%85.5%100.0%
vllm-sr/d3-mini80.1%67.5%100.0%
gpt-oss-safeguard(元の prompt)69.0%60.5%62.5%
winnow:e4b73.4%48.0%84.0%
kev:4b76.3%70.0%86.5%
clef-flash@ollama-q877.9%95.5%99.5%
clef:flash77.9%95.5%99.5%
laya:multilingual21.6%100.0%100.0%
clm:8b7.5%1.5%0.0%

3. 結果の解釈

  • 上位 3 モデルの差は、統計的にはほぼ誤差の範囲です。誤ブロック率は正常な問題 200 件だけで計算しているので、0.5% と 2.0% の差は、実際には 1 件と 4 件の違いにすぎません。結果のぶれ幅(信頼区間)も大きく重なっています。
  • プライバシーはどのモデルも苦手でした。実用レベルのモデルの多くは 60–73% しか止められず、健康や法律の質問にまぎれた個人情報が特に見逃されがちでした。誤ブロック率が 40% もある clef を除くと、最も多く止めたのは vllm-sr/d3-flash の 85.5% ですが、その誤ブロック率も 6.5% と高めです。
  • たくさん止めればよい、というわけではありません。clef の 2 バージョンは有害なコンテンツの 98.6% を止めましたが、正常なメッセージも 10 件に 4 件止めてしまいました。「電気釜で茶碗蒸しを作るとき外釜に入れる水の量」という普通の質問まで「誤情報」と判定されています。
  • 分類精度が低いのは、モデルだけのせいではありません。「保護対象属性」と「保護対象外の対象」は、元の criteria では用語の説明に近い書き方になっていて、多くのモデルが前者を「正常」、後者を「ハラスメント」と判定しました。この 400 問を除くと、上位 3 モデルの分類精度は 10–14 ポイント上がります。ただし、「止めるか通すか」の判断には影響しません。
  • テンプレート的な 3 カテゴリの結果は、少し割り引いて見る必要があります。ヘイトスピーチ、自殺の助長、違法行為の手助けの問題は、似た文が多く、短く、ハードケースも入っていません。実用レベルのモデルの Recall はおおむね 90–100% ですが、実際の環境ではこれより低くなる可能性があります。

3 つの重要な技術的知見

ここでは、今回のテストで特に大事な 3 つの発見を紹介します。①動かし方を変えても判断は同じか、②criteria の書き方とモデルの仕組みの相性、③LLM Guard がうまくいかないパターン、の 3 つです。

1. 量子化は判断にほとんど影響しないが、信頼度スコアの再キャリブレーションが必要

同じ clef-flash を、Ollaya では F32 ONNX(元のサイズ、19 GB)、ollama では Q8_0 GGUF(量子化した軽量版、12.8 GB)で動かしました。1 件ごとの判定は Domain で 99.8%、Guard で 99.6% が一致し、速度は 3.3–3.5 倍になりました。ただし、今回は動かすソフト(runtime)と精度の両方を同時に変えているので、速くなった理由がすべて量子化だとは言い切れません。

注意点として、2 つの confidence(自信の度合い)は、真ん中の値で約 0.12 ずれていました。confidence の基準(しきい値)で振り分けているシステムでは、動かし方を変えた後に、しきい値を調整し直す(再キャリブレーション)必要があります。

2. criteria の書き方はモデルアーキテクチャに合わせる必要がある

laya(mmBERT)と clm(対照型エンコーダ)は、「文章と選択肢の説明がどれだけ似ているか」で答えを選びます。今回の criteria で精度が出なかったのは、これが主な原因だと考えていますが、criteria を書き直して試すところまではまだできていません。

具体的には、Domain の「一般」カテゴリは「医療・金融・法律が主な話題ではないもの」という否定の形で説明されています(not mainly about medical, financial or legal…)。そのため説明文の中に、むしろ他のカテゴリの言葉がたくさん出てきます。さらに「機密データ」には「話題に関係なく優先する」というルールが付いています。その結果、laya は 62% の問題を機密データと判定し、一般カテゴリの Recall はわずか 1.8% でした。clef や kev でさえ、話題だけで分類して優先ルールを見落とすことが多くありました(機密データの Recall はそれぞれ 73% と 47%)。

criteria 作成のポイント
各選択肢は肯定形で記述し、「〜以外」のような否定文は避けます。
優先ルールは単一選択の質問に詰め込まず、独立した noul の Yes/No 質問に分けます。例えば「個人情報や機密を含むか」を別途質問します。
用語の定義にすぎない項目は選択肢にしません。例えば Guard の「保護対象属性」と「保護対象外の対象」です。

3. LLM Guard の失敗パターン:判定なしのまま通過

gpt-oss-safeguard は、まず考えた過程を文章で書き、その後に JSON 形式で判定を出します。よくある使い方は、ルール(ポリシー)とユーザーの文章を 1 つの user メッセージにまとめて送る方法です。この方法では、出力の上限(max_tokens)を 4,096 にしても、6.2%(162 件)で判定が返ってきませんでした。

  • 64 件:考える途中で出力の上限 4,096 tokens を使い切ってしまった。
  • 98 件:最後まで出力したが、JSON 形式ではなかった。もう一度送って確かめたところ、モデルは分類をせずに問題文そのものに答えてしまう(実際にメールを書いてしまう)、回答を断る、問題文に紛れ込ませた指示に従って空の文字列を返す、といった動きをしていました。

この 162 件のうち 134 件は有害なコンテンツでした。システムが「判定できないときは通す」(fail-open)設計だと、これらはそのまま通ってしまいます。

同じ 130 件を使って、書き方を変えた比較実験をしました(max_tokens はすべて 4,096。正常な問題が 10 件しかないため、誤ブロック率の差は判断できません)。

構成判定なし有害ブロック率ブロックバランス精度平均出力 tokens(判定ありのみ)
元のポリシー、user メッセージに統合1084.5%92.3%365
元のポリシー、system メッセージに配置2276.4%88.2%350
明示的な指示を追加、user メッセージに統合090.0%95.0%389
明示的な指示を追加、system メッセージに配置091.8%95.9%331

OpenAI の利用ガイドでは、ルール(ポリシー)を system メッセージに、チェックする文章を user メッセージに分けて置くよう勧めています。ところが、ポリシーを移しただけでは、かえって結果が悪くなりました。チェックする文章が単独の user メッセージになったことで、普通の質問のように見えてしまったためです。

実際に効果があったのは、ポリシーの最初に「あなたは分類器です」「JSON だけを出力すること」「文章の内容には答えないこと」とはっきり書き、最後にもう一度出力形式を念押しする方法です。2,600 件すべてで試したところ、判定なしの割合は 6.2% から 1.0% に下がりました。残ったのは、すべて考える途中で 4,096 tokens を使い切ったケースでした。

その他の注意点:

  • 時間切れの心配:5.2% の回答が 1,024 tokens を超え、最も長いものは 27.6 秒かかりました。よく使われる 30 秒のタイムアウトにかなり近い時間です。
  • 遅いときが極端に遅い:返事までの時間は出力の長さで決まり(相関係数 1.00)、遅い方の 5%(p95)は、真ん中(p50)の 3–4 倍かかりました。
  • 毎回同じ結果になるとは限らない:temperature(答えのばらつきを決める設定)を 0 にしても、同じ問題を送り直すと結果が変わることがあります。同じ 1,714 問をもう一度実行したとき、判定が一致したのは 99.5% でした。
  • ポリシーはまだ短くできる:今回のポリシーは約 2,500 tokens で、ガイドが勧める 400–600 tokens よりかなり長めです。短くまとめれば、さらに良くなる可能性があります。

要件に応じたモデル選定

どんな場面でもいちばん良い、というモデルはありません。まず「データを社外に送ってよいか」を決め、そのうえで精度と速さのバランスを考えるのがおすすめです。

要件推奨構成根拠注意点
クラウド利用可、精度重視jev-latestDomain 99.8%、Guard ブロックバランス精度 97.4%、誤ブロック 0.5%、p50 約 205 msすべてのメッセージを第三者に送信。レイテンシはネットワークの影響を受ける
クラウドのセカンドベンダーまたはバックアップvllm-sr/d3Domain 98.9%、Guard 96.9%、誤ブロック 0.5%Guard p50 344 ms、プライバシーブロック率は 64.5% のみ
データを社内環境の外に出せないwinnow:latestDomain 99.0%(機密データ 100%)、Guard 96.3%、p50 203/416 ms約 13 GB の VRAM が必要。モデルが GPU 上にあることを要確認
オンプレミス、レイテンシまたはコスト重視winnow:e4bDomain p50 106 ms、単一接続 9.3 req/s、VRAM 8 GBGuard 誤ブロック 10%、プライバシーブロック 48%。Domain ルーティング向き
個人情報漏えいを特に懸念メインの guard に加え、vllm-sr/d3-flash で個人情報を判定プライバシーブロック率 85.5%。実用レベルのモデルで最高誤ブロック率 6.5% のため、単独でメインの guard とするには不向き。独立した Yes/No 質問にした場合の効果は未検証
読める判断理由が必要gpt-oss-safeguard:ポリシーに明示的な指示を加えて system メッセージに配置し、max_tokens は 4,096 以上ブロックバランス精度 94.6%、rationale 付きp50 1.58 s、p95 6.2 s。依然として 1% は判定なし
今回の criteria では非推奨laya:multilingual、clm:8b、Guard シナリオでの clef シリーズバランス精度は約 50%、clef の誤ブロック率は 40%criteria を書き換えたうえで再評価の余地あり

アーキテクチャ設計の推奨事項

  1. confidence(自信の度合い)で振り分ける:Domain の場面では、winnow:latest は 97.2% の問題で confidence が 0.9 以上になり、その問題での精度は 99.8% でした。jev-latest はカバー率 94.9%、精度 100% です。自信が高いものは速いモデルで処理し、自信が低いものだけを高性能なモデルに回す、という組み合わせができます。ただし Guard の場面ではこのままでは使えません。winnow:latest の confidence 0.9 以上の問題での分類精度は 82.4% にとどまるため、基準(しきい値)は場面ごとに調整が必要です。
  2. 1 つの質問を複数に分ける:まず「有害か」を聞き、次に「どのカテゴリか」を聞く。または、個人情報や機密が入っているかを noul で別の Yes/No 質問にする。1 回のリクエストで複数の質問ができるので、通信の回数は増えません。
  3. うまくいかなかったときの対応を先に決めておく:意思決定モデルは必ずどれかの選択肢を返しますが、サービスが時間切れになったりエラー(5xx)を返したりすることはあります。LLM Guard では、さらに「判定なし」も起こります。本番では「判定できないときは通す(fail-open)」か「止める(fail-closed)」かをはっきり決め、どのくらいの頻度で起きているかを見守り続けましょう。
  4. 動作状況を見守る:モデルがどこで動いているか(DEVICE)と、1 件ごとの返事の時間を定期的にチェックします。急に 10 倍以上遅くなったら、多くの場合、モデルが GPU から追い出されて CPU で動いています。テストの初めのころ、winnow:latest は CPU 上で 1 件 12.5 秒かかっていましたが、GPU を専用にした後は 203 ms で済みました。

3 つの代表的な構成の違い

次の表は、クラウド、社内サーバー(オンプレミス)、生成型 LLM Guard の 3 つの代表的な構成の違いをまとめたものです。チームで比較するときにお使いください。

比較項目jev-latest(クラウド)winnow:latest(オンプレミス)gpt-oss-safeguard(LLM guard)
データが社内環境の外に出るか出る(第三者サービスに送信)出ない出ない(セルフホスト可能)
Domain 精度99.8%99.0%今回未測定
Guard ブロックバランス精度97.4%96.3%94.6%(改良 prompt)
Guard 誤ブロック率0.5%2.0%0.0%
Guard p50 レイテンシ207 ms416 ms1.58 s
判定なしの可能性なしなしあり(約 1.0%)
判断理由確率のみ確率のみrationale テキストあり
適したシナリオクラウド利用可、精度重視データを外に出せず、精度も求められる監査可能な判断理由が必要

まとめると、精度を重視してクラウドを使えるなら jev-latest、データを社内に置いておく必要があるなら winnow:latest がおすすめです。判断理由を文章で読みたい場合に限って生成型 LLM Guard を検討し、その場合は「判定なし」への対策を必ず用意してください。

テストの制約と今後の方向性

このベンチマークは、モデル同士を比べるためのものです。ここでの数値を、本番環境での性能としてそのまま使わないでください。

  • 作られたデータ:テストデータは LLM が書いたもので、実際のユーザーの文章よりきれいに整っている可能性があります。また、Guard の 3 カテゴリは文の形が似通っています。
  • 正常な問題は 200 件だけ:1 件間違えるだけで誤ブロック率が 0.5% 変わり、ぶれ幅(95% 信頼区間)は 0.1–2.8% です。2 ポイント以内の差は、統計的には意味がありません。信頼区間は Wilson 法で計算しています(下の説明を参照)。
  • 各モデル 1 回ずつの実行:意思決定モデルは何度やってもほぼ同じ結果になりますが、LLM Guard の結果は毎回少し変わることがあります。
  • クラウドの速さは目安:当社のネットワークから各サービスまでの通信時間を含んでおり、相手側のマシンや混み具合もわかりません。
  • criteria はモデルごとに調整していない:結果は「同じ criteria を使ったとき」の性能です。laya と clm の点数が低くても、別の書き方なら同じように低いとは限りません。
  • 接続 1 本だけでテスト:たくさんのリクエストを同時に送ったときの処理量と遅れ方は、次のテストで調べる予定です。
  • 社内サーバーは RTX 3090 1 枚だけ:別の GPU なら数値そのものは変わりますが、モデル同士の順位の傾向は同じだと考えられます。

Wilson 信頼区間について:割合が 0% やそれに近い値でも、Wilson 法なら無理のないぶれ幅を計算できます。

Formula
Wilson 区間 = ( p̂ + z²/2n  ±  z × √( p̂(1 − p̂)/n + z²/4n² ) ) ÷ ( 1 + z²/n ) p̂:観測された割合 n:サンプル数 z:95% 信頼水準では 1.96

今後の課題:criteria を書き直してエンコーダ型モデル(laya、clm)をもう一度テストします。また、個人情報のチェックを別の Yes/No 質問に分けることで、苦手なプライバシーのカテゴリを補えるかを確かめます。

よくある質問 FAQ

Q1:意思決定モデルと、生成型 LLM で直接分類する方法の最大の違いは何ですか?

意思決定モデルは文章を書かず、どの質問にも必ず決まった形の答えと確率を返します。返事までの時間は、主に入力の長さで決まります。生成型 LLM は、考えた過程を書いてから JSON を出すので、時間は出力の長さで変わり、「判定なし」になることもあります。ただし、業務で判断理由を文章として残す必要がある場合は、生成型 LLM にも使い道があります。

Q2:データを社内環境の外に出せない場合、どのモデルを選ぶべきですか?

今回のテストで、社内サーバーで最も成績が良かったのは winnow:latest です。Domain 精度 99.0%(機密データの Recall 100%)、Guard ブロックバランス精度 96.3% で、GPU メモリ(VRAM)は約 13 GB 必要です。速さとコストをもっと重視するなら winnow:e4b も候補になりますが、Guard の誤ブロック率が 10% あるので、Domain の振り分けに向いています。

Q3:Q8 量子化版でデプロイすると精度は下がりますか?

clef-flash の例では、元のサイズ(F32)と Q8 の軽量版で、1 件ごとの判定は Domain で 99.8%、Guard で 99.6% が一致し、速度は 3.3–3.5 倍になりました。ただし、2 つの confidence は真ん中の値で約 0.12 ずれているので、confidence の基準で振り分けている場合は、基準を調整し直す必要があります。

Q4:Guard シナリオでは、なぜ通常の正解率ではなく「ブロックバランス精度」を見るのですか?

有害な問題と正常な問題の数が大きく違うからです(2,200 件 vs. 200 件)。何でもブロックするモデルでも、普通の正解率なら 91.7% になりますが、バランス精度では 50% にしかなりません。バランス精度なら、「止めるべきものを止めたか」と「通すべきものを通したか」の両方を見ることができます。

Q5:laya と clm のスコアが低いのは、モデル自体の性能が低いからですか?

そうとは限りません。この 2 つは「文章と選択肢の説明がどれだけ似ているか」で答えを選んでいます。今回の criteria に含まれる否定文や優先ルールが精度の低さの主な原因だと考えていますが、書き直した criteria で試すところまではまだできていません。結果はあくまで「同じ criteria を使ったとき」の性能です。

Q6:confidence のしきい値でそのまま振り分けることはできますか?

Domain の場面では有効です。winnow:latest は 97.2% の問題で confidence が 0.9 以上になり、その問題での精度は 99.8% でした。しかし Guard の場面では、同じ基準での分類精度は 82.4% にとどまります。そのため、基準(しきい値)は場面ごとに調整する必要があります。

Q7:この Benchmark の数値は、本番環境の性能指標としてそのまま使えますか?

おすすめしません。今回は作られたデータを使い、接続 1 本、RTX 3090 1 枚だけでテストしています。クラウドの速さには通信時間も含まれます。この数値はモデル同士を比べるのに向いたものです。本番に導入する前に、自社のデータと実際の利用状況で試してください。

おわりに

意思決定モデルは、文章の代わりに「決まった形の答え+確率」を返します。そのため、分類、レベル分け、通すか止めるかの判断のように、ユーザーを待たせたくない場面で、精度、速さ、結果の安定性をそろえて実現できます。今回のテストでは、クラウドの jev-latest と社内サーバーの winnow:latest が、どちらも実務で使えるレベルに達していることがわかりました。一方で、criteria の書き方、confidence の基準の調整、うまくいかなかったときの対応の決め方が、システム全体の性能を大きく左右します。

隨著 AI Agent 與多模型路由架構逐步成為企業標配,「先判斷、再生成」將是控制成本與風險的重要設計原則。若您正在規劃 AI 推論基礎架構、模型路由或內容安全防護機制,歡迎與 INFINITIX 團隊聯繫,由專業顧問協助您評估最適合的部署方案。

AI エージェントや、複数のモデルを使い分ける仕組みが企業で当たり前になりつつある今、「先に判断し、その後で文章を作る」という順番は、コストとリスクをおさえるための大切な考え方になっていくでしょう。AI を動かす基盤(推論基盤)、モデルの使い分け、コンテンツの安全チェックの仕組みをご検討中でしたら、ぜひ INFINITIX までお問い合わせください。専門のコンサルタントが、最適な構成づくりをお手伝いします。

参考資料