{"id":15623,"date":"2026-10-30T15:05:10","date_gmt":"2026-10-30T07:05:10","guid":{"rendered":"https:\/\/ai-stack.ai\/?p=15623"},"modified":"2026-10-30T15:31:32","modified_gmt":"2026-10-30T07:31:32","slug":"what-is-llm-benchmark","status":"publish","type":"post","link":"https:\/\/ai-stack.ai\/ja\/what-is-llm-benchmark","title":{"rendered":"10\u5206\u3067\u308f\u304b\u308bLLM\u30d9\u30f3\u30c1\u30de\u30fc\u30af\uff1a\u30ec\u30a4\u30c6\u30f3\u30b7\u30fc\u3001\u30b9\u30eb\u30fc\u30d7\u30c3\u30c8\u3001\u8ca0\u8377\u30e2\u30c7\u30eb"},"content":{"rendered":"\n

2026\/10\/22 \u00a0 INFINITIX Product Dep.<\/p>\n\n\n\n

\u306f\u3058\u3081\u306b\uff1a\u300c\u3053\u306e\u30b5\u30fc\u30d0\u30fc\u3067\u540c\u6642\u306b\u4f55\u4eba\u3055\u3070\u3051\u308b\u304b\u300d\u306b\u3069\u3046\u7b54\u3048\u308b\u304b<\/strong><\/h1>\n\n\n\n

GPU\u30b5\u30fc\u30d0\u30fc\u306b\u30aa\u30fc\u30d7\u30f3\u30bd\u30fc\u30b9\u306eLLM\uff08\u5927\u898f\u6a21\u8a00\u8a9e\u30e2\u30c7\u30eb\uff09\u3092\u5165\u308c\u3066\u3001curl\u3067\u30d7\u30ed\u30f3\u30d7\u30c8\u3092\u9001\u308b\u3068\u30011\u79d2\u307b\u3069\u3067\u7b54\u3048\u304c\u8fd4\u308a\u59cb\u3081\u307e\u3059\u3002\u901f\u304f\u898b\u3048\u307e\u3059\u304c\u3001\u305d\u308c\u3060\u3051\u3067\u306f\u6b21\u306e\u554f\u3044\u306b\u7b54\u3048\u3089\u308c\u307e\u305b\u3093\u3002\u540c\u6642\u306b\u4f55\u4eba\u307e\u3067\u4f7f\u3048\u308b\u306e\u304b\uff0810\u4eba\u304b\u3001200\u4eba\u304b\uff09\u3002\u6700\u521d\u306e\u6587\u5b57\u304c\u4f55\u79d2\u4ee5\u5185\u306b\u51fa\u308c\u3070\u5408\u683c\u304b\u3002\u6587\u5b57\u304c\u3069\u306e\u304f\u3089\u3044\u306e\u901f\u3055\u3067\u51fa\u308c\u3070\u5feb\u9069\u304b\u3002<\/p>\n\n\n\n

\u3053\u3046\u3057\u305f\u554f\u3044\u306b\u7b54\u3048\u308b\u306e\u304cLLM\u30d9\u30f3\u30c1\u30de\u30fc\u30af\uff08\u6027\u80fd\u30c6\u30b9\u30c8\uff09\u3067\u3059\u3002\u672c\u8a18\u4e8b\u3067\u306f\u30c4\u30fc\u30eb\u306e\u5165\u308c\u65b9\u3067\u306f\u306a\u304f\u3001\u30c6\u30b9\u30c8\u306e\u8003\u3048\u65b9\u3092\u8aac\u660e\u3057\u307e\u3059\u3002\u4f55\u3092\u6e2c\u308b\u304b\u3001\u306a\u305c1\u3064\u306e\u6570\u5b57\u3067\u306f\u8db3\u308a\u306a\u3044\u304b\u3001\u8ca0\u8377\u3092\u3069\u3046\u304b\u3051\u308b\u304b\u3001\u7d50\u679c\u304c\u305a\u308c\u308b\u539f\u56e0\u306f\u4f55\u304b\u3001\u306e4\u70b9\u3067\u3059\u3002\u4f8b\u3068\u3057\u3066\u3001NVIDIA\u306e\u30aa\u30fc\u30d7\u30f3\u30bd\u30fc\u30b9\u30c4\u30fc\u30eb\u300cAIPerf\u300d\u3082\u7d39\u4ecb\u3057\u307e\u3059\u3002<\/p>\n\n\n\n

1. LLM\u30d9\u30f3\u30c1\u30de\u30fc\u30af\u3068\u306f<\/strong><\/h1>\n\n\n\n

\u300cLLM\u30d9\u30f3\u30c1\u30de\u30fc\u30af\u300d\u306b\u306f2\u3064\u306e\u610f\u5473\u304c\u3042\u308a\u307e\u3059\u30021\u3064\u306f\u80fd\u529b\u30d9\u30f3\u30c1\u30de\u30fc\u30af<\/strong>\uff08MMLU\u3084HumanEval\u306a\u3069\uff09\u3067\u3001\u30e2\u30c7\u30eb\u306e\u7b54\u3048\u304c\u6b63\u3057\u3044\u304b\u3092\u6e2c\u308a\u307e\u3059\u3002\u3082\u30461\u3064\u306f\u63a8\u8ad6\u6027\u80fd\u30d9\u30f3\u30c1\u30de\u30fc\u30af<\/strong>\u3067\u3001\u7279\u5b9a\u306e\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3068\u63a8\u8ad6\u30a8\u30f3\u30b8\u30f3\u3067\u52d5\u304b\u3057\u305f\u3068\u304d\u306e\u901f\u3055\u3068\u3001\u540c\u6642\u306b\u4f7f\u3048\u308b\u4eba\u6570\u3092\u6e2c\u308a\u307e\u3059\u3002\u672c\u8a18\u4e8b\u3067\u6271\u3046\u306e\u306f\u5f8c\u8005\u3067\u3059\u3002<\/p>\n\n\n\n

\u305f\u3060\u3057\u3001\u4e00\u822c\u7684\u306aWeb\u30b5\u30fc\u30d3\u30b9\u306e\u8ca0\u8377\u30c6\u30b9\u30c8\u3068\u540c\u3058\u65b9\u6cd5\u3067\u306f\u6e2c\u308c\u307e\u305b\u3093\u3002LLM\u63a8\u8ad6\u306b\u306f\u6b21\u306e\u3088\u3046\u306a\u9055\u3044\u304c\u3042\u308b\u305f\u3081\u3067\u3059\u3002<\/p>\n\n\n\n

    \n
  • \u7b54\u3048\u306f1\u30c8\u30fc\u30af\u30f3\u305a\u3064\u5c4a\u304f\u3002<\/strong>\u6700\u521d\u306e\u30c8\u30fc\u30af\u30f3\u304c\u5c4a\u304f\u307e\u3067\u306e\u6642\u9593\uff08Time to First Token\u3001TTFT\uff09\u3001\u30c8\u30fc\u30af\u30f3\u3068\u30c8\u30fc\u30af\u30f3\u306e\u9593\u9694\uff08Inter-Token Latency\u3001ITL\uff09\u3001\u56de\u7b54\u5168\u4f53\u304c\u7d42\u308f\u308b\u307e\u3067\u306e\u6642\u9593\uff08End-to-End Request Latency\u3001E2E Latency\uff09\u306f\u3001\u305d\u308c\u305e\u308c\u5225\u306e\u6642\u9593\u3067\u3059\u3002<\/li>\n\n\n\n
  • \u30ea\u30af\u30a8\u30b9\u30c8\u3054\u3068\u306b\u4ed5\u4e8b\u91cf\u304c\u9055\u3046\u3002<\/strong>\u51fa\u529b\u304c\u9577\u3044\u307b\u3069\u3001GPU\u3092\u9577\u304f\u4f7f\u3044\u307e\u3059\u3002\u51fa\u529b\u306e\u9577\u3055\u304c\u305d\u308d\u3063\u3066\u3044\u306a\u3044\u3068\u30012\u3064\u306e\u30c6\u30b9\u30c8\u7d50\u679c\u3092\u305d\u306e\u307e\u307e\u6bd4\u3079\u3089\u308c\u307e\u305b\u3093\u3002<\/li>\n\n\n\n
  • \u51e6\u7406\u306fprefill\u3068decode\u306e2\u6bb5\u968e\u3002<\/strong>prefill\u306f\u5165\u529b\u5168\u4f53\u3092\u8aad\u307f\u8fbc\u307f\u3001decode\u306f\u51fa\u529b\u30921\u30c8\u30fc\u30af\u30f3\u305a\u3064\u4f5c\u308a\u307e\u3059\u3002\u5fc5\u8981\u306a\u30ea\u30bd\u30fc\u30b9\u3082\u3001\u30dc\u30c8\u30eb\u30cd\u30c3\u30af\u3082\u9055\u3044\u307e\u3059\u3002<\/li>\n\n\n\n
  • \u30ea\u30af\u30a8\u30b9\u30c8\u540c\u58eb\u304c\u5f71\u97ff\u3057\u5408\u3046\u3002<\/strong>\u63a8\u8ad6\u30a8\u30f3\u30b8\u30f3\u306f\u3001\u8907\u6570\u306e\u30ea\u30af\u30a8\u30b9\u30c8\u3092\u307e\u3068\u3081\u3066\u51e6\u7406\u3057\u307e\u3059\uff08continuous batching\uff09\u3002\u305d\u306e\u305f\u30811\u4ef6\u3042\u305f\u308a\u306e\u901f\u3055\u306f\u3001\u540c\u6642\u306b\u52d5\u304f\u307b\u304b\u306e\u30ea\u30af\u30a8\u30b9\u30c8\u306b\u5de6\u53f3\u3055\u308c\u307e\u3059\u3002<\/li>\n\n\n\n
  • GPU\u30e1\u30e2\u30ea\u30fc\u304c\u5148\u306b\u8db3\u308a\u306a\u304f\u306a\u308b\u3053\u3068\u304c\u3042\u308b\u3002<\/strong>\u51e6\u7406\u4e2d\u306e\u30ea\u30af\u30a8\u30b9\u30c8\u306fKV\u30ad\u30e3\u30c3\u30b7\u30e5\u3068\u3044\u3046\u30e1\u30e2\u30ea\u30fc\u3092\u4f7f\u3044\u3001\u6587\u7ae0\u304c\u9577\u3044\u307b\u3069\u591a\u304f\u4f7f\u3044\u307e\u3059\u3002\u4e0a\u9650\u306b\u8fd1\u3065\u304f\u3068\u3001\u9045\u5ef6\u306f\u5c11\u3057\u305a\u3064\u3067\u306f\u306a\u304f\u4e00\u6c17\u306b\u60aa\u5316\u3057\u307e\u3059\u3002<\/li>\n<\/ul>\n\n\n\n

    \u30c6\u30b9\u30c8\u306e\u524d\u306b\u3001\u6b21\u306e5\u3064\u3092\u6c7a\u3081\u3066\u304a\u304d\u307e\u3059\u3002\u30c6\u30b9\u30c8\u5bfe\u8c61\uff08\u30a8\u30f3\u30c9\u30dd\u30a4\u30f3\u30c8\u3001\u30e2\u30c7\u30eb\u3001\u30b9\u30c8\u30ea\u30fc\u30df\u30f3\u30b0\u306e\u6709\u7121\uff09\u3001\u30ef\u30fc\u30af\u30ed\u30fc\u30c9\uff08\u30d7\u30ed\u30f3\u30d7\u30c8\u306e\u7a2e\u985e\u3001\u5165\u529b\u306e\u9577\u3055ISL\u3068\u51fa\u529b\u306e\u9577\u3055OSL\uff09\u3001\u8ca0\u8377\u30e2\u30c7\u30eb\uff08\u540c\u6642\u30ea\u30af\u30a8\u30b9\u30c8\u6570\u3068\u9001\u308a\u65b9\uff09\u3001\u6e2c\u308b\u6307\u6a19\u3001\u5408\u683c\u30e9\u30a4\u30f3\u3068\u306a\u308bSLO\uff08\u30b5\u30fc\u30d3\u30b9\u30ec\u30d9\u30eb\u76ee\u6a19\uff09\u3067\u3059\u3002\u4e00\u5ea6\u306b\u5909\u3048\u308b\u6761\u4ef6\u306f1\u3064\u3060\u3051\u306b\u3059\u308b\u3068\u3001\u7d50\u679c\u304c\u5909\u308f\u3063\u305f\u7406\u7531\u304c\u308f\u304b\u308a\u3084\u3059\u304f\u306a\u308a\u307e\u3059\u3002<\/p>\n\n\n\n

    2. 1\u3064\u306e\u6570\u5b57\u3060\u3051\u3067\u306f\u5224\u65ad\u3067\u304d\u306a\u3044\u7406\u7531<\/strong><\/h1>\n\n\n\n

    2.1 \u540c\u3058\u6642\u9593\u8ef8\u3067\u898b\u308b4\u3064\u306e\u6307\u6a19<\/strong><\/h2>\n\n\n\n

    \u3069\u306e\u6307\u6a19\u3082\u30011\u672c\u306e\u6642\u9593\u8ef8\u304b\u3089\u8a08\u7b97\u3057\u307e\u3059\u3002t\u2080\u306f\u30ea\u30af\u30a8\u30b9\u30c8\u3092\u9001\u3063\u305f\u6642\u523b\u3001t\u2081\u306f\u6700\u521d\u306e\u30c8\u30fc\u30af\u30f3\u304c\u5c4a\u3044\u305f\u6642\u523b\u3001t\u2099\u306f\u6700\u5f8c\u306e\u30c8\u30fc\u30af\u30f3\u304c\u5c4a\u3044\u305f\u6642\u523b\u3067\u3059\u3002<\/p>\n\n\n\n

    \"\"<\/figure>\n\n\n\n

    \u56f31\u3000\u30af\u30e9\u30a4\u30a2\u30f3\u30c8\u5074\u304b\u3089\u898b\u305f\u6642\u9593\u8ef8\u3068\u30014\u3064\u306e\u6307\u6a19\u304c\u8868\u3059\u533a\u9593<\/p>\n\n\n\n

      \n
    • TTFT\uff08time to first token\uff09\uff1d t\u2081 \u2212 t\u2080\u3002<\/strong>\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3001\u30b5\u30fc\u30d0\u30fc\u3067\u306e\u5f85\u3061\u6642\u9593\u3001prefill\u306e\u6642\u9593\u3092\u542b\u307f\u307e\u3059\u3002\u300c\u53cd\u5fdc\u304c\u3042\u3063\u305f\u300d\u3068\u611f\u3058\u308b\u307e\u3067\u306e\u6642\u9593\u3067\u3001\u30d7\u30ed\u30f3\u30d7\u30c8\u304c\u9577\u3044\u307b\u3069\u3001\u307e\u305f\u540c\u6642\u30a2\u30af\u30bb\u30b9\u304c\u5897\u3048\u308b\u307b\u3069\u60aa\u5316\u3057\u3084\u3059\u3044\u6307\u6a19\u3067\u3059\u3002<\/li>\n\n\n\n
    • ITL\uff08inter-token latency\uff09\uff1d (request latency \u2212 TTFT) \u00f7 (OSL \u2212 1)\u3002<\/strong>\u30c8\u30fc\u30af\u30f3\u304c\u5e73\u5747\u4f55\u79d2\u304a\u304d\u306b\u5c4a\u304f\u304b\u3092\u8868\u3057\u3001\u6587\u5b57\u306e\u51fa\u65b9\u306e\u6ed1\u3089\u304b\u3055\u304c\u308f\u304b\u308a\u307e\u3059\u3002TPOT\u3068\u3082\u547c\u3070\u308c\u307e\u3059\u30021\u3064\u76ee\u306e\u30c8\u30fc\u30af\u30f3\u306fTTFT\u306b\u542b\u307e\u308c\u308b\u305f\u3081\u3001OSL\u304b\u30891\u3092\u5f15\u304d\u307e\u3059\u3002<\/li>\n\n\n\n
    • Request latency \uff1d t\u2099 \u2212 t\u2080\u3002<\/strong>\u56de\u7b54\u5168\u4f53\u306b\u304b\u304b\u3063\u305f\u6642\u9593\u3067\u3059\u3002\u540c\u3058\u6642\u9593\u3067\u3082\u300c\u5f85\u305f\u3055\u308c\u308b\u304c\u3001\u51fa\u59cb\u3081\u308b\u3068\u901f\u3044\u300d\u5834\u5408\u3068\u300c\u3059\u3050\u51fa\u308b\u304c\u3001\u3086\u3063\u304f\u308a\u300d\u306e\u5834\u5408\u3067\u306f\u4f53\u9a13\u304c\u9055\u3046\u305f\u3081\u3001TTFT\u3084ITL\u3068\u4e00\u7dd2\u306b\u898b\u307e\u3059\u3002<\/li>\n\n\n\n
    • \u30e6\u30fc\u30b6\u30fc\u3042\u305f\u308a\u306e\u51fa\u529b\u901f\u5ea6 \uff1d 1 \u00f7 ITL\u3002<\/strong>1\u4eba\u304c1\u79d2\u306b\u53d7\u3051\u53d6\u308b\u30c8\u30fc\u30af\u30f3\u6570\u3067\u3059\u30021\u79d2\u306b10\u30c8\u30fc\u30af\u30f3\u3092\u4e0b\u56de\u308b\u3068\u3001\u591a\u304f\u306e\u4eba\u304c\u300c\u9045\u3044\u300d\u3068\u611f\u3058\u307e\u3059\u3002<\/li>\n<\/ul>\n\n\n\n

      2.2 \u30b9\u30eb\u30fc\u30d7\u30c3\u30c8\uff1a\u30b7\u30b9\u30c6\u30e0\u5168\u4f53\u306e\u51e6\u7406\u91cf<\/strong><\/h2>\n\n\n\n
        \n
      • Benchmark duration\uff1a<\/strong>\u6700\u521d\u306e\u30ea\u30af\u30a8\u30b9\u30c8\u3092\u9001\u3063\u3066\u304b\u3089\u3001\u6700\u5f8c\u306e\u5fdc\u7b54\u304c\u5c4a\u304f\u307e\u3067\u306e\u6642\u9593\u3067\u3059\u3002\u30b9\u30eb\u30fc\u30d7\u30c3\u30c8\u306e\u8a08\u7b97\u306b\u4f7f\u3044\u307e\u3059\u3002<\/li>\n\n\n\n
      • Output token throughput \uff1d \u5168\u51fa\u529b\u30c8\u30fc\u30af\u30f3\u6570 \u00f7 duration\u3002<\/strong>\u30b7\u30b9\u30c6\u30e0\u5168\u4f53\u304c1\u79d2\u306b\u51fa\u529b\u3059\u308b\u30c8\u30fc\u30af\u30f3\u6570\uff08Tokens Per Second\u3001TPS\uff09\u3067\u3059\u3002<\/li>\n\n\n\n
      • Request throughput \uff1d \u5b8c\u4e86\u3057\u305f\u30ea\u30af\u30a8\u30b9\u30c8\u6570 \u00f7 duration<\/strong>\u3002<\/strong>\u30b7\u30b9\u30c6\u30e0\u5168\u4f53\u304c1\u79d2\u306b\u51e6\u7406\u3067\u304d\u308b\u30ea\u30af\u30a8\u30b9\u30c8\u6570\uff08Requests Per Second\u3001RPS\uff09\u3067\u3059\u3002TPS\u3068\u306e\u95a2\u4fc2\u306f\u30011\u4ef6\u3042\u305f\u308a\u306e\u51fa\u529b\u306e\u9577\u3055\u3067\u6c7a\u307e\u308a\u307e\u3059\u3002<\/li>\n<\/ul>\n\n\n\n

        \u300c1\u4eba\u3042\u305f\u308a\u6bce\u79d220\u30c8\u30fc\u30af\u30f3\u300d\u3068\u300c\u30b7\u30b9\u30c6\u30e0\u5168\u4f53\u3067\u6bce\u79d22,000\u30c8\u30fc\u30af\u30f3\u300d\u306f\u3001\u307e\u3063\u305f\u304f\u5225\u306e\u6570\u5b57\u3067\u3059\u3002\u540c\u6642\u30a2\u30af\u30bb\u30b9\u304c\u5897\u3048\u308b\u3068\u3001\u5168\u4f53\u306e\u91cf\u306f\u5897\u3048\u3066\u3082\u30011\u4eba\u3042\u305f\u308a\u306e\u901f\u5ea6\u306f\u4e0b\u304c\u308b\u3053\u3068\u304c\u3042\u308a\u307e\u3059\u3002tokens\/s\u3092\u898b\u305f\u3089\u3001\u300c1\u4eba\u3042\u305f\u308a\u300d\u304b\u300c\u5168\u4f53\u300d\u304b\u3092\u307e\u305a\u78ba\u8a8d\u3057\u307e\u3057\u3087\u3046\u3002<\/p>\n\n\n\n

        2.3 \u5e73\u5747\u5024\u3060\u3051\u3067\u306f\u8db3\u308a\u306a\u3044\u7406\u7531<\/strong><\/h2>\n\n\n\n

        \u9045\u5ef6\u306e\u5206\u5e03\u306b\u306f\u300c\u9577\u3044\u3059\u305d\u300d\u304c\u3042\u308a\u307e\u3059\u3002\u307b\u3068\u3093\u3069\u306e\u30ea\u30af\u30a8\u30b9\u30c8\u306f\u3059\u3050\u7d42\u308f\u308a\u307e\u3059\u304c\u3001\u4e00\u90e8\u306f\u5f85\u3061\u884c\u5217\u3084\u30e1\u30e2\u30ea\u30fc\u4e0d\u8db3\u3067\u4f55\u500d\u3082\u9045\u304f\u306a\u308a\u307e\u3059\u3002\u5e73\u5747\u5024\u306f\u3053\u3046\u3057\u305f\u9045\u3044\u51e6\u7406\u306b\u5f15\u3063\u5f35\u3089\u308c\u308b\u4e00\u65b9\u3067\u3001\u9045\u3044\u30b1\u30fc\u30b9\u304c\u3069\u308c\u307b\u3069\u9045\u3044\u304b\u306f\u898b\u3048\u307e\u305b\u3093\u3002AIPerf\u306e\u8cc7\u6599\u306e\u4f8b\u3067\u306f\u3001p99\u304c\u5e73\u5747\u5024\u3088\u308a7\u5272\u4ee5\u4e0a\u9ad8\u304f\u306a\u3063\u3066\u3044\u307e\u3059\u3002p50\u306f\u300c\u666e\u901a\u306e\u30ea\u30af\u30a8\u30b9\u30c8\u300d\u306e\u9045\u5ef6\u3001p95\u306f\u300c95%\u306e\u30ea\u30af\u30a8\u30b9\u30c8\u304c\u3053\u308c\u4ee5\u4e0b\u300d\u3001p99\u306f\u300c99%\u304c\u3053\u308c\u4ee5\u4e0b\u300d\u3068\u3044\u3046\u610f\u5473\u3067\u3059\u3002SLO\u306b\u306fp95\u3084p99\u3092\u4f7f\u3046\u306e\u304c\u4e00\u822c\u7684\u306a\u306e\u3067\u3001\u30c6\u30b9\u30c8\u30c4\u30fc\u30eb\u306f1\u4ef6\u3054\u3068\u306e\u8a18\u9332\u3092\u6b8b\u3057\u3001\u3042\u3068\u304b\u3089\u8a08\u7b97\u3057\u76f4\u305b\u308b\u306e\u304c\u7406\u60f3\u3067\u3059\u3002<\/p>\n\n\n\n

        2.4 Goodput\uff1a\u901f\u3055\u3068\u54c1\u8cea\u3092\u540c\u6642\u306b\u6e2c\u308b<\/strong><\/h2>\n\n\n\n

        \u9045\u5ef6\u3068\u30b9\u30eb\u30fc\u30d7\u30c3\u30c8\u306f\u3001\u4e00\u65b9\u3092\u826f\u304f\u3059\u308b\u3068\u3082\u3046\u4e00\u65b9\u304c\u60aa\u304f\u306a\u308a\u304c\u3061\u3067\u3059\u3002\u305d\u3053\u3067\u4e21\u65b9\u3092\u307e\u3068\u3081\u3066\u898b\u308b\u306e\u304c\u3001goodput \uff1d \u3059\u3079\u3066\u306eSLO\u3092\u6e80\u305f\u3057\u305f\u30ea\u30af\u30a8\u30b9\u30c8\u6570 \u00f7 duration<\/strong>\u3067\u3059\u3002\u305f\u3068\u3048\u3070\u300cTTFT < 500 ms\u304b\u3064ITL < 50 ms\u300d\u3092\u6e80\u305f\u3057\u305f\u30ea\u30af\u30a8\u30b9\u30c8\u3060\u3051\u3092\u6570\u3048\u308b\u306e\u3067\u3001goodput\u304crequest throughput\u3092\u8d85\u3048\u308b\u3053\u3068\u306f\u3042\u308a\u307e\u305b\u3093\u3002AIPerf\u306e\u8cc7\u6599\u306e\u4f8b\u3067\u306f\u3001throughput\u3067\u8a08\u7b97\u3059\u308b\u306838\u53f0\u3067\u8db3\u308a\u308b\u306f\u305a\u306e\u30b5\u30fc\u30d0\u30fc\u304c\u3001goodput\u3067\u8a08\u7b97\u3059\u308b\u3068135\u53f0\u5fc5\u8981\u3067\u3057\u305f\u3002\u672c\u5f53\u306b\u5fc5\u8981\u306a\u53f0\u6570\u3092\u793a\u3059\u306e\u306f\u3001goodput\u306e\u307b\u3046\u3067\u3059\u3002<\/p>\n\n\n\n

        \u6307\u6a19<\/strong><\/th>\u8a08\u7b97\u5f0f<\/strong><\/th>\u610f\u5473\u30fb\u6ce8\u76ee\u70b9<\/strong><\/th><\/tr><\/thead>
        TTFT<\/td>t\u2081 \u2212 t\u2080<\/td>\u53cd\u5fdc\u304c\u901f\u3044\u3068\u611f\u3058\u308b\u304b<\/td><\/tr>
        ITL\uff08TPOT\uff09<\/td>(request latency \u2212 TTFT) \u00f7 (OSL \u2212 1)<\/td>\u6587\u5b57\u304c\u6ed1\u3089\u304b\u306b\u51fa\u308b\u304b<\/td><\/tr>
        Request latency<\/td>t\u2099 \u2212 t\u2080<\/td>\u30d0\u30c3\u30c1\u51e6\u7406\u3001\u30a8\u30fc\u30b8\u30a7\u30f3\u30c8\u306e\u30ef\u30fc\u30af\u30d5\u30ed\u30fc<\/td><\/tr>
        Output token throughput<\/td>\u03a3 OSL \u00f7 duration<\/td>\u904b\u7528\u30b3\u30b9\u30c8\u3001GPU\u5229\u7528\u7387<\/td><\/tr>
        Goodput<\/td>SLO\u3092\u6e80\u305f\u3057\u305f\u30ea\u30af\u30a8\u30b9\u30c8\u6570 \u00f7 duration<\/td>\u5bb9\u91cf\u8a08\u753b\u3068\u30b5\u30fc\u30d3\u30b9\u54c1\u8cea<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

        2.5 \u30b9\u30c8\u30ea\u30fc\u30df\u30f3\u30b0\u3092\u4f7f\u308f\u306a\u3044\u3068TTFT\u3068ITL\u304c\u6e2c\u308c\u306a\u3044\u7406\u7531<\/strong><\/h2>\n\n\n\n

        \u30b9\u30c8\u30ea\u30fc\u30df\u30f3\u30b0\u3092\u4f7f\u308f\u306a\u3044\u5834\u5408\u3001\u30b5\u30fc\u30d0\u30fc\u306f\u56de\u7b54\u304c\u5168\u90e8\u3067\u304d\u3066\u304b\u3089\u307e\u3068\u3081\u3066\u8fd4\u3057\u307e\u3059\u3002\u30af\u30e9\u30a4\u30a2\u30f3\u30c8\u306b\u306ft\u2080\u3068t\u2099\u3057\u304b\u898b\u3048\u305a\u3001\u6700\u521d\u3068\u6700\u5f8c\u306e\u30c8\u30fc\u30af\u30f3\u304c\u540c\u6642\u306b\u5c4a\u304d\u307e\u3059\u3002\u305d\u306e\u305f\u3081TTFT\u306frequest latency\u3068\u540c\u3058\u306b\u306a\u308a\u3001ITL\u306f\u8a08\u7b97\u3067\u304d\u307e\u305b\u3093\u3002TTFT\u3001ITL\u30011\u4eba\u3042\u305f\u308a\u306e\u51fa\u529b\u901f\u5ea6\u306f\u3001\u30b9\u30c8\u30ea\u30fc\u30df\u30f3\u30b0\u6642\u3060\u3051\u4f7f\u3048\u308b\u6307\u6a19<\/strong>\u3067\u3059\uff08AIPerf\u3067\u306f\u300cstreaming-only\u300d\u3068\u8868\u793a\uff09\u3002\u9006\u306b\u3001\u88cf\u5074\u3067\u307e\u3068\u3081\u3066\u8981\u7d04\u3059\u308b\u51e6\u7406\u306e\u3088\u3046\u306b\u3001\u3082\u3068\u3082\u3068\u30b9\u30c8\u30ea\u30fc\u30df\u30f3\u30b0\u3092\u4f7f\u308f\u306a\u3044\u30b5\u30fc\u30d3\u30b9\u306a\u3089\u3001\u3053\u308c\u3089\u3092\u6c17\u306b\u3059\u308b\u5fc5\u8981\u306f\u3042\u308a\u307e\u305b\u3093\u3002\u6307\u6a19\u306f\u3001\u5b9f\u969b\u306e\u4f7f\u3044\u65b9\u306b\u5408\u308f\u305b\u3066\u9078\u3073\u307e\u3057\u3087\u3046\u3002<\/p>\n\n\n\n

        \u7279\u306b\u7d50\u679c\u304c\u305a\u308c\u3084\u3059\u3044\u8a2d\u5b9a\u304c2\u3064\u3042\u308a\u307e\u3059\u3002<\/strong>1\u3064\u76ee\u306f\u51fa\u529b\u306e\u9577\u3055\u3067\u3059\u3002\u30e2\u30c7\u30eb\u304c\u65e9\u3081\u306b\u7d42\u4e86\u8a18\u53f7\u3092\u51fa\u3057\u3066\u6b62\u307e\u308b\u3068\u3001OSL\u304c\u60f3\u5b9a\u3088\u308a\u77ed\u304f\u306a\u308a\u3001\u30b9\u30eb\u30fc\u30d7\u30c3\u30c8\u3084ITL\u304c\u6b63\u3057\u304f\u6e2c\u308c\u307e\u305b\u3093\u3002ignore_eos\u3084min_tokens\u306a\u3069\u3067\u3001\u6c7a\u3081\u305f\u9577\u3055\u307e\u3067\u51fa\u529b\u3055\u305b\u307e\u3057\u3087\u3046\u3002\u30b5\u30fc\u30d3\u30b9\u306b\u3088\u3063\u3066\u306f\u4eca\u3082max_tokens\u3068\u3044\u3046\u9805\u76ee\u540d\u3092\u4f7f\u3063\u3066\u3044\u305f\u308a\u3001\u4f7f\u3048\u306a\u3044\u30d1\u30e9\u30e1\u30fc\u30bf\u30fc\u3092\u4f55\u3082\u8a00\u308f\u305a\u306b\u7121\u8996\u3057\u305f\u308a\u3059\u308b\u306e\u3067\u6ce8\u610f\u304c\u5fc5\u8981\u3067\u3059\u30022\u3064\u76ee\u306f\u30c8\u30fc\u30af\u30ca\u30a4\u30b6\u30fc\u3067\u3059\u3002ISL\u3068OSL\u306f\u30af\u30e9\u30a4\u30a2\u30f3\u30c8\u5074\u306e\u30c8\u30fc\u30af\u30ca\u30a4\u30b6\u30fc\u3067\u6570\u3048\u308b\u305f\u3081\u3001\u30e2\u30c7\u30eb\u3068\u5408\u3063\u3066\u3044\u306a\u3044\u3068\u3001\u30c8\u30fc\u30af\u30f3\u5358\u4f4d\u306e\u6307\u6a19\u304c\u3059\u3079\u3066\u305a\u308c\u307e\u3059\u3002<\/p>\n\n\n\n

        3. \u8ca0\u8377\u30e2\u30c7\u30eb\uff1a\u8ca0\u8377\u306e\u304b\u3051\u65b9\u3067\u3001\u7d50\u679c\u304c\u5909\u308f\u308b<\/strong><\/h1>\n\n\n\n

        \u8ca0\u8377\u30e2\u30c7\u30eb\u3068\u306f\u3001\u8ca0\u8377\u306e\u300c\u5927\u304d\u3055\u300d\u3060\u3051\u3067\u306a\u304f\u3001\u30ea\u30af\u30a8\u30b9\u30c8\u3092\u300c\u3044\u3064\u3001\u3069\u3093\u306a\u30eb\u30fc\u30eb\u3067\u9001\u308b\u304b\u300d\u3092\u6c7a\u3081\u308b\u4ed5\u7d44\u307f\u3067\u3059\u3002<\/p>\n\n\n\n

        \"\"<\/figure>\n\n\n\n

        \u56f32\u3000\u30af\u30ed\u30fc\u30ba\u30c9\u30eb\u30fc\u30d7\uff08\u540c\u6642\u5b9f\u884c\u6570\u3092\u56fa\u5b9a\uff09\u3068\u30aa\u30fc\u30d7\u30f3\u30eb\u30fc\u30d7\uff08\u5230\u7740\u30ec\u30fc\u30c8\u3092\u56fa\u5b9a\uff09\u306e\u9055\u3044<\/p>\n\n\n\n

        Concurrency\uff08\u540c\u6642\u5b9f\u884c\u6570\u3092\u56fa\u5b9a\u3001\u30af\u30ed\u30fc\u30ba\u30c9\u30eb\u30fc\u30d7\uff09\uff1a<\/strong>N\u4eba\u306e\u4eee\u60f3\u30e6\u30fc\u30b6\u30fc\u304c\u3001\u305d\u308c\u305e\u308c1\u4ef6\u9001\u3063\u3066\u306f\u5fdc\u7b54\u3092\u5f85\u3061\u3001\u5c4a\u3044\u305f\u3089\u6b21\u3092\u9001\u308a\u307e\u3059\u3002\u51e6\u7406\u4e2d\u306e\u30ea\u30af\u30a8\u30b9\u30c8\u306f\u5e38\u306bN\u4ef6\u4ee5\u4e0b\u3067\u3059\u3002\u30b7\u30b9\u30c6\u30e0\u304c\u9045\u304f\u306a\u308b\u3068\u9001\u308b\u30da\u30fc\u30b9\u3082\u81ea\u7136\u306b\u843d\u3061\u308b\u306e\u3067\u3001\u7d50\u679c\u306f\u5b89\u5b9a\u3057\u3001\u518d\u73fe\u3057\u3084\u3059\u304f\u306a\u308a\u307e\u3059\u3002\u300cN\u4eba\u304c\u4f7f\u3044\u7d9a\u3051\u305f\u3068\u304d\u306e\u80fd\u529b\u300d\u3092\u6e2c\u308b\u306e\u306b\u5411\u3044\u3066\u3044\u307e\u3059\u304c\u3001\u6025\u306a\u30a2\u30af\u30bb\u30b9\u96c6\u4e2d\u306b\u6bd4\u3079\u308b\u3068\u8ca0\u8377\u306f\u3084\u3055\u3057\u3081\u3067\u3059\u3002<\/p>\n\n\n\n

        Request rate\uff08\u5230\u7740\u30ec\u30fc\u30c8\u3092\u56fa\u5b9a\u3001\u30aa\u30fc\u30d7\u30f3\u30eb\u30fc\u30d7\uff09\uff1a<\/strong>\u524d\u306e\u30ea\u30af\u30a8\u30b9\u30c8\u304c\u7d42\u308f\u3063\u305f\u304b\u3069\u3046\u304b\u306b\u95a2\u4fc2\u306a\u304f\u3001\u6bce\u79d2\u03bb\u4ef6\u3092\u9001\u308a\u7d9a\u3051\u307e\u3059\u3002\u51e6\u7406\u304c\u8ffd\u3044\u3064\u304b\u306a\u3044\u3068\u3001\u672a\u51e6\u7406\u306e\u30ea\u30af\u30a8\u30b9\u30c8\u304c\u305f\u307e\u308a\u3001\u9045\u5ef6\u304c\u6025\u306b\u60aa\u5316\u3057\u307e\u3059\u3002\u5b9f\u969b\u306e\u30a2\u30af\u30bb\u30b9\u306b\u8fd1\u304f\u3001\u300c\u30d4\u30fc\u30af\u6642\u3067\u3082SLO\u3092\u5b88\u308c\u308b\u304b\u300d\u306e\u78ba\u8a8d\u306b\u5411\u3044\u3066\u3044\u307e\u3059\u3002\u305f\u3060\u3057\u03bb\u306e\u8a2d\u5b9a\u306b\u654f\u611f\u3067\u3001\u51e6\u7406\u80fd\u529b\u3092\u308f\u305a\u304b\u306b\u4e0b\u56de\u308c\u3070\u554f\u984c\u306a\u304f\u3066\u3082\u3001\u308f\u305a\u304b\u306b\u4e0a\u56de\u308b\u3060\u3051\u3067\u5f85\u3061\u884c\u5217\u304c\u305f\u307e\u308a\u7d9a\u3051\u307e\u3059\u3002<\/p>\n\n\n\n

        2\u3064\u306e\u65b9\u6cd5\u306f\u3001\u7b54\u3048\u308b\u554f\u3044\u304c\u9055\u3044\u307e\u3059\u3002\u300c\u6700\u5927\u4f55\u4eba\u307e\u3067\u540c\u6642\u306b\u4f7f\u3048\u308b\u304b\u300d\u306a\u3089\u30af\u30ed\u30fc\u30ba\u30c9\u30eb\u30fc\u30d7\u3001\u300c\u6bce\u79d250\u4ef6\u6765\u305f\u3068\u304d\u306ep99\u9045\u5ef6\u306f\uff1f\u300d\u306a\u3089\u30aa\u30fc\u30d7\u30f3\u30eb\u30fc\u30d7\u3067\u3059\u3002\u3088\u304f\u3042\u308b\u5931\u6557\u306f\u3001\u30af\u30ed\u30fc\u30ba\u30c9\u30eb\u30fc\u30d7\u3067\u300c\u540c\u6642100\u4ef6\u3067TTFT\u306ep99\u306f800 ms\u300d\u3068\u78ba\u8a8d\u3057\u305f\u306e\u306b\u3001\u672c\u756a\u3067\u6bce\u79d2100\u4ef6\u304c\u6765\u308b\u3068\u8010\u3048\u3089\u308c\u306a\u3044\u30b1\u30fc\u30b9\u3067\u3059\u3002\u30af\u30ed\u30fc\u30ba\u30c9\u30eb\u30fc\u30d7\u3067\u306f\u3001\u30b7\u30b9\u30c6\u30e0\u304c\u9045\u304f\u306a\u308b\u3068\u3001\u5b9f\u969b\u306e\u9001\u4fe1\u6570\u304c\u6bce\u79d230\u4ef6\u7a0b\u5ea6\u307e\u3067\u4e0b\u304c\u308b\u3053\u3068\u304c\u3042\u308b\u305f\u3081\u3067\u3059\u3002<\/p>\n\n\n\n

        \u30ea\u30af\u30a8\u30b9\u30c8\u306e\u5c4a\u304d\u65b9\uff1a<\/strong>\u30aa\u30fc\u30d7\u30f3\u30eb\u30fc\u30d7\u3067\u306f\u3001\u30ea\u30af\u30a8\u30b9\u30c8\u306e\u9593\u9694\u3082\u6c7a\u3081\u307e\u3059\u3002Constant\u30e2\u30fc\u30c9\u306f1\/\u03bb\u79d2\u3054\u3068\u306b\u7b49\u9593\u9694\u3067\u9001\u308a\u307e\u3059\u3002Poisson\u30e2\u30fc\u30c9\u306f\u5e73\u5747\u3059\u308b\u3068\u540c\u30581\/\u03bb\u79d2\u9593\u9694\u3067\u3059\u304c\u3001\u9593\u9694\u304c\u30e9\u30f3\u30c0\u30e0\uff08\u6307\u6570\u5206\u5e03\uff09\u306a\u306e\u3067\u3001\u307e\u3068\u307e\u3063\u3066\u5c4a\u304f\u6642\u3068\u3001\u6765\u306a\u3044\u6642\u304c\u3067\u304d\u307e\u3059\u3002\u3070\u3089\u3070\u3089\u306b\u4f7f\u3046\u5229\u7528\u8005\u306e\u69d8\u5b50\u3092\u518d\u73fe\u3057\u305f\u3082\u306e\u3067\u3001AIPerf\u306e\u521d\u671f\u8a2d\u5b9a\u3067\u3059\u3002Poisson\u3067\u306f\u540c\u30581\u79d2\u306b5\u4ef6\u5c4a\u304f\u3053\u3068\u3082\u3042\u308a\u3001\u9045\u5ef6\u306e\u300c\u3059\u305d\u300d\u304c\u4f38\u3073\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001Constant\u3060\u3051\u3067\u6e2c\u3063\u305fp99\u306f\u3001\u5b9f\u969b\u3088\u308a\u826f\u304f\u898b\u3048\u304c\u3061\u3067\u3059\u3002<\/p>\n\n\n\n

        3.1 \u8ca0\u8377\u3092\u6bb5\u968e\u7684\u306b\u4e0a\u3052\u3066\u3001\u9650\u754c\u70b9\uff08knee\uff09\u3092\u63a2\u3059<\/strong><\/h2>\n\n\n\n

        1\u3064\u306e\u8ca0\u8377\u3060\u3051\u3067\u306f\u3001\u300c\u305d\u306e\u8ca0\u8377\u3067\u306e\u7d50\u679c\u300d\u3057\u304b\u308f\u304b\u308a\u307e\u305b\u3093\u3002\u9650\u754c\u3092\u77e5\u308b\u306b\u306f\u3001\u540c\u6642\u5b9f\u884c\u6570\u30921\u30012\u30014\u30018\u2026\u2026\u3068\u5897\u3084\u3057\u306a\u304c\u3089\u3001\u305d\u308c\u305e\u308c\u3067\u30c6\u30b9\u30c8\u3092\u884c\u3044\u3001\u30b9\u30eb\u30fc\u30d7\u30c3\u30c8\u3068\u9045\u5ef6\u306e\u30b0\u30e9\u30d5\u3092\u4f5c\u308a\u307e\u3059\u3002<\/p>\n\n\n\n

        \"\"<\/figure>\n\n\n\n

        \u56f33\u3000\u540c\u6642\u5b9f\u884c\u6570\u3092\u5897\u3084\u3057\u305f\u3068\u304d\u306e\u30b9\u30eb\u30fc\u30d7\u30c3\u30c8\u3068\u9045\u5ef6\uff1a\u30b9\u30eb\u30fc\u30d7\u30c3\u30c8\u306f\u982d\u6253\u3061\u306b\u306a\u308a\u3001\u9045\u5ef6\u306f\u6025\u306b\u60aa\u5316\u3059\u308b\u3053\u3068\u304c\u3042\u308b\uff08\u5de6\uff09\u3002SLO\u306e\u7dda\u3068\u306e\u4ea4\u70b9\u304b\u3089\u80fd\u529b\u3092\u5224\u65ad\u3067\u304d\u308b\uff08\u53f3\uff09<\/p>\n\n\n\n

        \u540c\u6642\u5b9f\u884c\u6570\u3092\u5897\u3084\u3059\u3068\u3001\u30b9\u30eb\u30fc\u30d7\u30c3\u30c8\u306f\u4f38\u3073\u7d9a\u3051\u307e\u3059\u304c\u3001\u4f38\u3073\u65b9\u306f\u3057\u3060\u3044\u306b\u5c0f\u3055\u304f\u306a\u308a\u3001\u3084\u304c\u3066\u6a2a\u3070\u3044\u3001\u307e\u305f\u306f\u308f\u305a\u304b\u306b\u4e0b\u304c\u308a\u307e\u3059\u3002\u9045\u5ef6\u306f\u6700\u521d\u306f\u3042\u307e\u308a\u5909\u308f\u3089\u305a\u3001\u3042\u308b\u70b9\u3092\u8d85\u3048\u308b\u3068\u6025\u306b\u60aa\u5316\u3057\u307e\u3059\u3002\u3053\u306e\u66f2\u304c\u308a\u89d2\u3092knee\uff08\u5909\u66f2\u70b9\uff09\u3068\u547c\u3073\u3001\u305d\u306e\u5c11\u3057\u624b\u524d\u304c\u7406\u60f3\u306e\u904b\u7528\u30dd\u30a4\u30f3\u30c8\u3067\u3059\u3002\u30b0\u30e9\u30d5\u306bSLO\u306e\u7dda\u3092\u5f15\u3051\u3070\u3001\u9045\u5ef6\u306e\u66f2\u7dda\u3068\u4ea4\u308f\u308b\u70b9\u304c\u300cSLO\u3092\u5b88\u308c\u308b\u6700\u5927\u306e\u540c\u6642\u5b9f\u884c\u6570\u300d\u3067\u3059\u3002\u305d\u306e\u3068\u304d\u306egoodput\u3068\u3042\u308f\u305b\u3066\u898b\u308c\u3070\u3001\u6027\u80fd\u3092\u3088\u308a\u6b63\u3057\u304f\u8a55\u4fa1\u3067\u304d\u307e\u3059\u3002<\/p>\n\n\n\n

        3.2 \u30a6\u30a9\u30fc\u30e0\u30a2\u30c3\u30d7\u3068\u3001\u30c6\u30b9\u30c8\u540c\u58eb\u306e\u5e72\u6e09<\/strong><\/h2>\n\n\n\n

        \u30a6\u30a9\u30fc\u30e0\u30a2\u30c3\u30d7\uff1a<\/strong>\u8d77\u52d5\u76f4\u5f8c\u306e\u63a8\u8ad6\u30b5\u30fc\u30d3\u30b9\u306f\u3001\u6700\u521d\u306e\u6570\u5341\u79d2\u3060\u3051\u52d5\u304d\u304c\u5b89\u5b9a\u3057\u307e\u305b\u3093\u3002\u30e2\u30c7\u30eb\u306e\u8aad\u307f\u8fbc\u307f\u3001CUDA\u30ab\u30fc\u30cd\u30eb\u306e\u521d\u56de\u30b3\u30f3\u30d1\u30a4\u30eb\u3001KV\u30ad\u30e3\u30c3\u30b7\u30e5\u306e\u6e96\u5099\u3001\u63a5\u7d9a\u306e\u78ba\u7acb\u306a\u3069\u304c\u3042\u308b\u305f\u3081\u3067\u3059\u3002AIPerf\u306e\u8cc7\u6599\u306e\u4f8b\u3067\u306f\u3001\u6700\u521d\u306e10\u79d2\u306eTTFT\u304c\u901a\u5e38\u3088\u308a\u7d0441%\u9577\u304f\u306a\u308a\u307e\u3057\u305f\u3002\u3053\u306e\u6642\u9593\u3092\u542b\u3081\u308b\u3068p99\u304c\u60aa\u304f\u898b\u3048\u3001\u3057\u304b\u3082\u30c6\u30b9\u30c8\u6642\u9593\u306e\u9577\u3055\u306b\u3088\u3063\u3066\u7d50\u679c\u304c\u5909\u308f\u308a\u307e\u3059\u3002\u307e\u305a\u30a6\u30a9\u30fc\u30e0\u30a2\u30c3\u30d7\u3092\u884c\u3044\u3001\u305d\u306e\u9593\u306e\u30c7\u30fc\u30bf\u3092\u9664\u3044\u3066\u304b\u3089\u672c\u756a\u306e\u6e2c\u5b9a\u3092\u59cb\u3081\u307e\u3057\u3087\u3046\u3002<\/p>\n\n\n\n

        \u30c6\u30b9\u30c8\u306f\u540c\u6642\u306b\u8d70\u3089\u305b\u306a\u3044\uff1a<\/strong>2\u4eba\u306e\u30a8\u30f3\u30b8\u30cb\u30a2\u304c\u540c\u3058\u30a8\u30f3\u30c9\u30dd\u30a4\u30f3\u30c8\u306b\u3001\u305d\u308c\u305e\u308c\u540c\u6642\u5b9f\u884c\u657032\u3067\u30c6\u30b9\u30c8\u3092\u304b\u3051\u308b\u3068\u3001\u30b5\u30fc\u30d0\u30fc\u306b\u306f64\u4ef6\u5206\u306e\u8ca0\u8377\u304c\u304b\u304b\u308a\u307e\u3059\u3002GPU\u3082\u30d0\u30c3\u30c1\u51e6\u7406\u3082KV\u30ad\u30e3\u30c3\u30b7\u30e5\u3082\u5171\u6709\u3059\u308b\u305f\u3081\u3001\u3069\u3061\u3089\u306e\u7d50\u679c\u3082\u5b9f\u969b\u3088\u308a\u60aa\u304f\u306a\u308a\u3001\u3057\u304b\u3082\u30ec\u30dd\u30fc\u30c8\u3092\u898b\u3066\u3082\u539f\u56e0\u304c\u308f\u304b\u308a\u307e\u305b\u3093\u3002\u540c\u3058\u30a8\u30f3\u30c9\u30dd\u30a4\u30f3\u30c8\u306e\u30c6\u30b9\u30c8\u306f\u4e00\u5ea6\u306b1\u3064\u3060\u3051\u306b\u3057\u3001\u53e3\u982d\u306e\u58f0\u304b\u3051\u306b\u983c\u3089\u305a\u3001\u958b\u59cb\u524d\u306b\u78ba\u8a8d\u3057\u307e\u3057\u3087\u3046\u3002\u8ca0\u8377\u3092\u304b\u3051\u308b\u5074\u306e\u30de\u30b7\u30f3\u3082\u540c\u3058\u3067\u3059\u3002CPU\u4e0d\u8db3\u3001\u30dd\u30fc\u30c8\u4e0d\u8db3\u3001JSON\u51e6\u7406\u306e\u8a70\u307e\u308a\u304c\u3042\u308b\u3068\u3001\u6e2c\u3063\u305f\u9045\u5ef6\u306b\u30af\u30e9\u30a4\u30a2\u30f3\u30c8\u5074\u306e\u554f\u984c\u304c\u6df7\u3056\u3063\u3066\u3057\u307e\u3044\u307e\u3059\u3002<\/p>\n\n\n\n

        \u7d50\u679c\u3092\u6bd4\u3079\u308b\u3068\u304d\u306b\u6ce8\u610f\u3057\u305f\u3044\u70b9\u304c3\u3064\u3042\u308a\u307e\u3059\u3002<\/strong>1\u3064\u76ee\u306f\u30b5\u30f3\u30d7\u30eb\u6570\u3067\u3059\u3002p99\u3092\u4fe1\u983c\u3059\u308b\u306b\u306f\u3001\u8ca0\u8377\u3054\u3068\u306b\u6570\u767e\u4ef6\u4ee5\u4e0a\u306e\u30ea\u30af\u30a8\u30b9\u30c8\u304c\u5fc5\u8981\u3067\u3059\u3002100\u4ef6\u3067\u306f\u3001p99\u306f\u307b\u307c\u300c\u4e00\u756a\u9045\u30441\u4ef6\u300d\u306b\u306a\u3063\u3066\u3057\u307e\u3044\u307e\u3059\u30022\u3064\u76ee\u306f\u30c7\u30fc\u30bf\u306e\u7a2e\u985e\u3067\u3059\u3002\u9577\u3055\u3092\u56fa\u5b9a\u3057\u305f\u5408\u6210\u30c7\u30fc\u30bf\u306f\u6761\u4ef6\u3092\u305d\u308d\u3048\u3084\u3059\u304f\u3001\u5b9f\u969b\u306e\u4f1a\u8a71\u30ed\u30b0\u306f\u9577\u3055\u306e\u3070\u3089\u3064\u304d\u304c\u5927\u304d\u3044\u305f\u3081\u3001\u5408\u6210\u30c7\u30fc\u30bf\u3067\u306f\u898b\u3048\u306a\u3044\u554f\u984c\u304c\u51fa\u3066\u304d\u307e\u3059\u3002\u3069\u3061\u3089\u3082\u8a66\u3059\u4fa1\u5024\u304c\u3042\u308a\u307e\u3059\u304c\u3001\u76f4\u63a5\u306f\u6bd4\u3079\u3089\u308c\u307e\u305b\u3093\u30023\u3064\u76ee\u306f\u518d\u73fe\u6027\u3067\u3059\u3002\u4e71\u6570\u30b7\u30fc\u30c9\u3092\u56fa\u5b9a\u3059\u308c\u3070\u3001\u30d7\u30ed\u30f3\u30d7\u30c8\u306e\u5185\u5bb9\u3068Poisson\u306e\u9593\u9694\u306f\u518d\u73fe\u3067\u304d\u307e\u3059\u304c\u3001\u9045\u5ef6\u81ea\u4f53\u306b\u306f\u3070\u3089\u3064\u304d\u304c\u6b8b\u308a\u307e\u3059\u3002\u8a2d\u5b9a\u3092\u6bd4\u3079\u308b\u3068\u304d\u306f\u6570\u56de\u305a\u3064\u5b9f\u884c\u3057\u3066\u4e2d\u592e\u5024\u3067\u6bd4\u3079\u3001\u30e2\u30c7\u30eb\u3001\u63a8\u8ad6\u30a8\u30f3\u30b8\u30f3\u306e\u30d0\u30fc\u30b8\u30e7\u30f3\u3001\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3001\u30c8\u30fc\u30af\u30ca\u30a4\u30b6\u30fc\u3001\u8ca0\u8377\u30e2\u30c7\u30eb\u3001\u30a6\u30a9\u30fc\u30e0\u30a2\u30c3\u30d7\u8a2d\u5b9a\u3001SLO\u3092\u8a18\u9332\u3057\u3066\u304a\u304d\u307e\u3057\u3087\u3046\u3002<\/p>\n\n\n\n

        4. AIPerf\uff1a\u5b9f\u969b\u306e\u30c4\u30fc\u30eb\u3067\u306f\u3069\u3046\u306a\u3063\u3066\u3044\u308b\u304b<\/strong><\/h1>\n\n\n\n

        AIPerf\u306f\u3001NVIDIA Dynamo\u30c1\u30fc\u30e0\u304c\u516c\u958b\u3057\u3066\u3044\u308b\u30aa\u30fc\u30d7\u30f3\u30bd\u30fc\u30b9\u306eLLM\u6027\u80fd\u30c6\u30b9\u30c8\u30c4\u30fc\u30eb\u3067\u3059\uff08Apache 2.0\u30e9\u30a4\u30bb\u30f3\u30b9\u3001GenAI-Perf\u306e\u5f8c\u7d99\uff09\u3002\u3053\u3053\u3067\u306f\u4f7f\u3044\u65b9\u3067\u306f\u306a\u304f\u30013\u3064\u306e\u8a2d\u8a08\u3092\u901a\u3057\u3066\u3001\u3053\u308c\u307e\u3067\u306e\u8003\u3048\u65b9\u304c\u30c4\u30fc\u30eb\u306b\u3069\u3046\u8868\u308c\u3066\u3044\u308b\u304b\u3092\u898b\u3066\u3044\u304d\u307e\u3059\u3002<\/p>\n\n\n\n

        \"\"<\/figure>\n\n\n\n

        \u56f34\u3000AIPerf\u306e3\u3064\u306e\u5c64\uff1a\u30b3\u30f3\u30c8\u30ed\u30fc\u30eb\u30d7\u30ec\u30fc\u30f3\u304c\u8ca0\u8377\u306e\u304b\u3051\u65b9\u3092\u6c7a\u3081\u3001\u30c7\u30fc\u30bf\u30d7\u30ec\u30fc\u30f3\u304c\u6e2c\u5b9a\u3057\u3001\u5206\u6790\u30d7\u30ec\u30fc\u30f3\u304c\u96c6\u8a08\u3059\u308b<\/p>\n\n\n\n

        \u8907\u6570\u306e\u30d7\u30ed\u30bb\u30b9\u3068credit\uff1a<\/strong>AIPerf\u306f\u7d0410\u306e\u30b5\u30fc\u30d3\u30b9\u3092\u5225\u3005\u306e\u30d7\u30ed\u30bb\u30b9\u3067\u52d5\u304b\u3057\u3001ZeroMQ\u3067\u9023\u643a\u3055\u305b\u307e\u3059\u3002\u5f79\u5272\u306f3\u3064\u306b\u5206\u304b\u308c\u3066\u3044\u307e\u3059\u3002\u30b3\u30f3\u30c8\u30ed\u30fc\u30eb\u30d7\u30ec\u30fc\u30f3\uff08\u3044\u3064\u4f55\u4ef6\u9001\u308b\u304b\u3092\u6c7a\u3081\u308b\uff09\u3001\u30c7\u30fc\u30bf\u30d7\u30ec\u30fc\u30f3\uff08worker\u304cHTTP\u30ea\u30af\u30a8\u30b9\u30c8\u3092\u9001\u308a\u3001\u6642\u523b\u3092\u8a18\u9332\u3059\u308b\uff09\u3001\u5206\u6790\u30d7\u30ec\u30fc\u30f3\uff08\u6307\u6a19\u3092\u8a08\u7b97\u3057\u3066\u7d50\u679c\u3092\u51fa\u3059\uff09\u3067\u3059\u3002\u8ca0\u8377\u3092\u5236\u5fa1\u3059\u308b\u4ed5\u7d44\u307f\u306e1\u3064\u304c\u300ccredit\u300d\u3067\u3001\u30ea\u30af\u30a8\u30b9\u30c8\u306e\u901a\u884c\u8a3c\u306e\u3088\u3046\u306a\u3082\u306e\u3067\u3059\u3002worker\u306fcredit\u3092\u6301\u3063\u3066\u3044\u308b\u3068\u304d\u3060\u30511\u4ef6\u9001\u308c\u307e\u3059\u3002\u540c\u6642\u5b9f\u884c\u6570\u3092\u56fa\u5b9a\u3059\u308b\u30e2\u30fc\u30c9\u3067\u306f\u3001\u6700\u521d\u306bN\u679a\u3092\u914d\u308a\u30011\u679a\u623b\u308b\u305f\u3073\u306b1\u679a\u3092\u88dc\u5145\u3057\u307e\u3059\uff08\u30af\u30ed\u30fc\u30ba\u30c9\u30eb\u30fc\u30d7\uff09\u3002Request rate\u30e2\u30fc\u30c9\u3067\u306f\u3001Poisson\u306e\u30b9\u30b1\u30b8\u30e5\u30fc\u30eb\u306b\u6cbf\u3063\u3066\u3001\u623b\u308a\u3092\u5f85\u305f\u305a\u306bcredit\u3092\u914d\u308a\u307e\u3059\uff08\u30aa\u30fc\u30d7\u30f3\u30eb\u30fc\u30d7\uff09\u3002\u3064\u307e\u308a\u8ca0\u8377\u30e2\u30c7\u30eb\u3068\u306f\u3001\u300c\u3069\u3093\u306a\u6761\u4ef6\u3067\u6b21\u306e\u901a\u884c\u8a3c\u3092\u51fa\u3059\u304b\u300d\u306e\u30eb\u30fc\u30eb\u306a\u306e\u3067\u3059\u3002<\/p>\n\n\n\n

        \u30bf\u30a4\u30e0\u30b9\u30bf\u30f3\u30d7\u3068\u30c8\u30fc\u30af\u30ca\u30a4\u30b6\u30fc\uff1a<\/strong>worker\u306f\u3001\u30ea\u30af\u30a8\u30b9\u30c8\u3092\u9001\u3063\u305f\u6642\u523b\u3068\u3001\u30b9\u30c8\u30ea\u30fc\u30df\u30f3\u30b0\u306e\u5404\u30c1\u30e3\u30f3\u30af\u304c\u5c4a\u3044\u305f\u6642\u523b\u3092\u8a18\u9332\u3057\u307e\u3059\u3002TTFT\u3001ITL\u3001request latency\u306f\u3053\u306e\u6642\u523b\u306e\u5dee\u304b\u3089\u3001benchmark duration\u306f\u30c6\u30b9\u30c8\u5168\u4f53\u306e\u7d4c\u904e\u6642\u9593\u304b\u3089\u8a08\u7b97\u3057\u307e\u3059\u3002ISL\u3068OSL\u306f\u30c8\u30fc\u30af\u30ca\u30a4\u30b6\u30fc\u3067\u6570\u3048\u308b\u305f\u3081\u3001\u30b5\u30fc\u30d0\u30fc\u304c\u5b9f\u969b\u306b\u4f7f\u3063\u3066\u3044\u308b\u30e2\u30c7\u30eb\u3068\u540c\u3058\u30c8\u30fc\u30af\u30ca\u30a4\u30b6\u30fc\u3092\u6307\u5b9a\u3059\u308b\u5fc5\u8981\u304c\u3042\u308a\u307e\u3059\u3002<\/p>\n\n\n\n

        \u30b9\u30a4\u30fc\u30d7\u3068\u81ea\u52d5\u63a2\u7d22\uff1a<\/strong>\u6a19\u6e96\u306e\u30b0\u30ea\u30c3\u30c9\u30b9\u30a4\u30fc\u30d7\u3067\u306f\u3001\u540c\u6642\u5b9f\u884c\u65701\u30013\u30017\u300119\u300152\u3001139\u3001373\u30011000\u306e8\u70b9\u3092\u30c6\u30b9\u30c8\u3057\u307e\u3059\u3002\u5404\u70b9\u3092\u4f55\u56de\u304b\u7e70\u308a\u8fd4\u3057\u3066\u3001\u7d50\u679c\u306e\u3070\u3089\u3064\u304d\u306e\u5e45\uff08\u4fe1\u983c\u533a\u9593\uff09\u3092\u898b\u308b\u3053\u3068\u3082\u3067\u304d\u307e\u3059\u3002\u300cSLO\u3092\u5b88\u308c\u308b\u6700\u5927\u306e\u540c\u6642\u5b9f\u884c\u6570\u300d\u3092\u76f4\u63a5\u77e5\u308a\u305f\u3044\u5834\u5408\u306f\u3001max-concurrency-under-sla\u306a\u3069\u306esearch recipe\u3092\u4f7f\u3044\u307e\u3059\u3002\u307e\u305a\u8ca0\u8377\u3092\u4e0a\u3052\u3066\u3001\u521d\u3081\u3066SLO\u3092\u8d85\u3048\u308b\u70b9\u3092\u898b\u3064\u3051\u3001\u7bc4\u56f2\u3092\u7d5e\u308a\u307e\u3059\u3002\u6b21\u306b\u3001\u7b49\u5f35\u56de\u5e30\uff08isotonic regression\uff09\u3067\u6e2c\u5b9a\u306e\u30ce\u30a4\u30ba\u3092\u6e1b\u3089\u3057\u3066\u4ea4\u70b9\u3092\u63a8\u5b9a\u3057\u3001\u7bc4\u56f2\u306e\u5e45\u304c5%\u672a\u6e80\u306b\u306a\u308b\u307e\u3067\u5883\u754c\u4ed8\u8fd1\u3092\u8ffd\u52a0\u3067\u30c6\u30b9\u30c8\u3057\u307e\u3059\u300213\u301c25\u56de\u307b\u3069\u3067\u7d42\u308f\u308a\u307e\u3059\u30028\u70b9\u3060\u3051\u306e\u30c6\u30b9\u30c8\u3067\u306f\u3001\u300c139\u301c373\u306e\u9593\u300d\u307e\u3067\u3057\u304b\u308f\u304b\u3089\u306a\u3044\u3053\u3068\u3082\u3042\u308a\u307e\u3059\u3002\u300cSLO\u3092\u5b88\u308a\u3064\u3064\u30b9\u30eb\u30fc\u30d7\u30c3\u30c8\u3092\u6700\u5927\u306b\u3057\u305f\u3044\u300d\u5834\u5408\u306f\u3001\u30d9\u30a4\u30ba\u6700\u9069\u5316\uff08Bayesian optimization\uff09\u3092\u4f7f\u3048\u307e\u3059\u3002\u30ac\u30a6\u30b9\u904e\u7a0b\uff08Gaussian process\uff09\u3067\u540c\u6642\u5b9f\u884c\u6570\u3068\u30b9\u30eb\u30fc\u30d7\u30c3\u30c8\u306e\u95a2\u4fc2\u3092\u4e88\u6e2c\u3057\u3001\u826f\u3055\u305d\u3046\u306a\u70b9\u3084\u3001\u307e\u3060\u3088\u304f\u308f\u304b\u3089\u306a\u3044\u70b9\u3092\u9078\u3093\u3067\u8a66\u3057\u307e\u3059\u3002\u4f55\u56de\u304b\u6539\u5584\u304c\u306a\u3051\u308c\u3070\u7d42\u4e86\u3067\u3059\u3002\u8abf\u3079\u308b\u6761\u4ef6\u306e\u6570\u304c\u591a\u3044\u307b\u3069\u3001\u30b0\u30ea\u30c3\u30c9\u30b9\u30a4\u30fc\u30d7\u3088\u308a\u52b9\u7387\u7684\u3067\u3059\u3002<\/p>\n\n\n\n

        \u307e\u3068\u3081<\/strong><\/h1>\n\n\n\n

        \u6027\u80fd\u306e\u554f\u3044\u306f\u3001\u307e\u305a\u6e2c\u308c\u308b\u5f62\u306b\u8a00\u3044\u63db\u3048\u308b\u3053\u3068\u304c\u5927\u5207\u3067\u3059\u3002\u305f\u3068\u3048\u3070\u300c\u3053\u306e\u30e2\u30c7\u30eb\u3001\u63a8\u8ad6\u30a8\u30f3\u30b8\u30f3\u3001ISL\/OSL\u306e\u6761\u4ef6\u3067\u3001\u30af\u30ed\u30fc\u30ba\u30c9\u30eb\u30fc\u30d7\u3067\u540c\u6642\u5b9f\u884c\u6570\u3092\u4e0a\u3052\u3066\u3044\u304d\u3001\u30a6\u30a9\u30fc\u30e0\u30a2\u30c3\u30d7\u3092\u9664\u3044\u305f\u3068\u304d\u3001TTFT\u306ep95\u304cX ms\u672a\u6e80\u3001ITL\u306ep95\u304cY ms\u672a\u6e80\u3092\u5b88\u308c\u308b\u6700\u5927\u306e\u540c\u6642\u5b9f\u884c\u6570\u306f\u3044\u304f\u3064\u304b\u3002\u305d\u306e\u3068\u304d\u306egoodput\u306f\u3044\u304f\u3089\u3067\u3059\u304b\u3002\u7b54\u3048\u306f\u3001\u30b9\u30eb\u30fc\u30d7\u30c3\u30c8\u3068\u9045\u5ef6\u306e\u30b0\u30e9\u30d5\u3001SLO\u306e\u7dda\u3001\u305d\u306e\u4ea4\u70b9\u3067\u793a\u305b\u307e\u3059\u3002<\/p>\n\n\n\n

        \u30c6\u30b9\u30c8\u3092\u59cb\u3081\u308b\u524d\u306b\u3001\u6b21\u306e5\u70b9\u3092\u78ba\u8a8d\u3057\u307e\u3057\u3087\u3046\u3002<\/p>\n\n\n\n

          \n
        1. \u30b9\u30c8\u30ea\u30fc\u30df\u30f3\u30b0\u3092\u4f7f\u3063\u3066\u3044\u308b\u304b\uff08TTFT\u3068ITL\u3092\u6e2c\u308c\u308b\u304b\u304c\u6c7a\u307e\u308b\uff09\u3002<\/li>\n\n\n\n
        2. \u51fa\u529b\u306e\u9577\u3055\u3092\u305d\u308d\u3048\u3066\u3044\u308b\u304b\u3002\u30c8\u30fc\u30af\u30ca\u30a4\u30b6\u30fc\u306f\u30e2\u30c7\u30eb\u3068\u540c\u3058\u304b\u3002<\/li>\n\n\n\n
        3. \u80fd\u529b\u3092\u77e5\u308a\u305f\u3044\u306a\u3089\u30af\u30ed\u30fc\u30ba\u30c9\u30eb\u30fc\u30d7\u3001\u30d4\u30fc\u30af\u6642\u306e\u9045\u5ef6\u3092\u78ba\u304b\u3081\u305f\u3044\u306a\u3089\u30aa\u30fc\u30d7\u30f3\u30eb\u30fc\u30d7\u3092\u4f7f\u3046\u3002\u30aa\u30fc\u30d7\u30f3\u30eb\u30fc\u30d7\u3067\u306fPoisson\u306e\u5c4a\u304d\u65b9\u3082\u9078\u3079\u308b\u3002<\/li>\n\n\n\n
        4. \u30a6\u30a9\u30fc\u30e0\u30a2\u30c3\u30d7\u3092\u9664\u3044\u3066\u3044\u308b\u304b\u3002\u540c\u3058\u30a8\u30f3\u30c9\u30dd\u30a4\u30f3\u30c8\u3067\u5225\u306e\u30c6\u30b9\u30c8\u304c\u52d5\u3044\u3066\u3044\u306a\u3044\u304b\u3002<\/li>\n\n\n\n
        5. \u5e73\u5747\u3060\u3051\u3067\u306a\u304fp95\u30fbp99\u3092\u3001throughput\u3060\u3051\u3067\u306a\u304fgoodput\u3082\u898b\u3066\u3044\u308b\u304b\u3002\u8a2d\u5b9a\u30681\u4ef6\u3054\u3068\u306e\u8a18\u9332\u3092\u6b8b\u3057\u3066\u3044\u308b\u304b\u3002<\/li>\n<\/ol>\n\n\n\n

          \u30c4\u30fc\u30eb\u3082GPU\u3082\u5909\u308f\u3063\u3066\u3044\u304d\u307e\u3059\u304c\u3001\u3053\u306e\u30c1\u30a7\u30c3\u30af\u30ea\u30b9\u30c8\u306f\u3053\u308c\u304b\u3089\u3082\u4f7f\u3048\u307e\u3059\u3002<\/p>\n\n\n\n

          \u53c2\u8003\u8cc7\u6599<\/strong><\/h1>\n\n\n\n