「LLMベンチマーク」には2つの意味があります。1つは能力ベンチマーク（MMLUやHumanEvalなど）で、モデルの答えが正しいかを測ります。もう1つは推論性能ベンチマークで、特定のハードウェアと推論エンジンで動かしたときの速さと、同時に使える人数を測ります。本記事で扱うのは後者です。