2026년 10월 22일 · INFINITIX 제품팀 들어가며: “이 서버는 동시에 몇 명의 사용자에게 서비스를 제공할 수 있을까?” 한 팀이 GPU 서버에 오픈소스 대규모 언어 모델(LLM)을 배포했다고 가정해 보자. Curl로 프롬프트(Prompt)를 전송하니 1초 남짓 지나 응답 텍스트가 출력되기 시작한다. 언뜻 보기에는 충분히 빠르다. 하지만 ‘빠르게 보인다’는 사실만으로는 다음 질문에 답할 수 없다. – 시스템은 동시에 10명의 요청을 처리할 수 있을까, 아니면 200명까지 처리할 수 있을까? – 사용자가 첫 번째 응답 텍스트를 몇 초 이내에 확인해야 적절한 서비스 품질이라고 할 수 있을까? – 스트리밍 방식으로 응답을 표시할 때 어느 정도의 출력 속도가 확보되어야 자연스럽고 원활하게 느껴질까? 이러한 질문에 답하기 위해 필요한 것이…