什麼是 LLM Benchmark？ 「LLM benchmark」常見有兩種意思。能力評測 benchmark（例如 MMLU、HumanEval 等題庫）關心的是模型答得對不對，而不是在評估硬體效能；推論效能 benchmark則關心同一個模型部署在特定硬體與推論引擎後，回應速度有多快，以及可以同時服務多少使用者。本文討論的是後者，也就是大家真正想知道的事。