왜 갑자기 모두가 Token Factory를 이야기할까요?

ChatGPT나 Claude에 질문할 때마다 화면에 하나씩 나타나는 문장들은 사실 어딘가에 있는 ‘공장’에서 방금 생산된 제품입니다. 이 공장은 연기를 내뿜지도 않고 생산라인에서 일하는 근로자도 필요하지 않습니다. 바로 Token Factory(토큰 팩토리)입니다.

2026년 3월 16일, NVIDIA CEO 젠슨 황(Jensen Huang)은 미국 산호세에서 열린 GTC 2026 기조연설에서 데이터센터를 AI 토큰을 생산하는 공장으로 새롭게 정의했습니다. 또한 기업 경영자들에게 다음과 같은 공식을 제시했습니다.

매출 = 와트당 토큰 생산량 × 가용 전력(GW)

이후 ‘Token Factory’라는 용어는 엔지니어들 사이에서 사용되던 전문 용어를 넘어 기술 미디어, 통신사업자, 데이터센터 사업자들이 공통으로 사용하는 개념으로 자리 잡았습니다.

모델 학습은 한 번 수행하는 대규모 프로젝트인 반면, 추론은 연중무휴로 이루어집니다. 모든 대화, AI 에이전트의 모든 작업, 모든 API 호출에서 토큰이 지속적으로 소비됩니다.

AI 산업의 중심이 ‘모델을 학습시키는 것’에서 ‘토큰을 판매하는 것’으로 이동하면서, 이러한 인프라를 설명할 새로운 용어가 필요해졌습니다.

이 글에서는 Token Factory의 개념부터 작동 방식, 효율성 측정 방법, 비즈니스 모델까지 처음부터 차근차근 살펴보겠습니다.

먼저 알아야 할 기본 개념: 토큰(Token)이란?

Token Factory를 이해하려면 먼저 이 공장이 생산하는 ‘토큰’이 무엇인지 알아야 합니다.

토큰은 대규모 언어 모델(LLM)이 텍스트를 읽고 생성할 때 사용하는 최소 처리 단위입니다.

모델은 텍스트를 단순히 글자 단위로 읽는 것이 아니라, 토크나이저(Tokenizer)를 사용해 텍스트를 여러 토큰으로 분할한 다음 숫자로 변환하여 처리합니다.

토큰은 어떻게 나뉠까요? 영어와 중국어 예시

  • 영어 예시

“Token factory is amazing” 이 문장은 대략 다음과 같이 4개의 토큰으로 나뉩니다. Token | factory | is | amazing 일반적으로 영어에서는 토큰 1개가 약 4개의 문자 또는 0.75개의 단어에 해당합니다.

  • 중국어 예시

“什麼是 Token 工廠” 이 문장은 다음과 같이 분할될 수 있습니다. 什麼 | 是 | Token | 工 | 廠 중국어에서는 일반적으로 한 글자가 1~2개의 토큰에 해당하는 경우가 많지만, 실제 토큰 수는 모델의 토크나이저에 따라 달라집니다.

즉, 동일한 의미를 전달하더라도 사용하는 언어와 모델에 따라 소비되는 토큰 수가 달라집니다.

이 때문에 특히 번체 중국어 사용자에게는 토큰 효율성이 중요한 고려 사항이 됩니다.

토큰은 왜 과금 단위가 될 수 있을까요?

토큰은 모델이 실제로 수행하는 연산 작업량을 나타내는 단위이기 때문입니다.

모델이 입력 토큰을 읽거나 출력 토큰을 생성할 때마다 GPU 연산 시간과 전력이 소비됩니다. 따라서 토큰은 자연스럽게 AI 서비스의 과금 단위가 되었습니다.

현재 주요 AI API 서비스 대부분은 토큰 사용량을 기준으로 요금을 부과하며, 기본적인 과금 구조는 다음과 같습니다.

  1. 입력과 출력을 구분하여 과금

사용자가 입력한 프롬프트(Input Tokens)와 모델이 생성한 응답(Output Tokens)에 각각 요금이 부과됩니다.

  1. 출력 토큰의 단가가 일반적으로 더 높음

출력 토큰은 순차적으로 하나씩 생성해야 하므로, 입력 전체를 한 번에 처리하는 것보다 더 많은 연산 자원이 필요합니다.

  1. 100만 토큰을 기준으로 가격 표시

대부분의 AI API 제공업체는 기업이 비용을 쉽게 예측할 수 있도록 ‘100만 토큰당 가격(USD)’을 제시합니다.

토큰에 가격이 매겨지면서 토큰은 대량 생산하고 판매할 수 있는 상품이 되었습니다.

바로 이것이 ‘Token Factory’라는 비유가 성립하는 출발점입니다.

Token Factory의 정의

전력과 데이터를 투입하고 GPU 및 AI 모델을 활용하여 지속적으로 토큰을 생산합니다.

Token Factory의 가치는 얼마나 많은 데이터를 저장하고 있는지가 아니라, 초당, 와트당, 비용 단위당 얼마나 많은 토큰을 생산할 수 있는지에 있습니다.

일반적인 공장에 비유하면?

일반적인 공장Token Factory
원재료전력 + 데이터(사용자 프롬프트, 기업 데이터, 실시간 센서 정보)
생산라인GPU 클러스터 + AI 모델 + 추론 소프트웨어
생산품토큰(텍스트, 코드, 이미지 설명, 에이전트 작업)
수율 및 생산능력지연시간, 처리량, 토큰당 비용
매출토큰 기반 과금 API 및 AI 서비스

개념의 유래: 젠슨 황의 ‘AI 팩토리’ 비전

‘AI 팩토리(AI Factory)’는 NVIDIA CEO 젠슨 황이 최근 몇 년간 반복적으로 강조해 온 개념입니다.

2025년 3월 GTC 기조연설의 오프닝 영상에서는 이미 토큰을 AI의 기본 단위이자 AI 팩토리의 생산물로 설명했습니다.

이후 2026년 3월 16일 미국 산호세에서 열린 GTC 2026에서 그는 이 개념을 Token Factory로 더욱 구체화했습니다.

데이터센터를 하나의 공장으로 바라보며 다음과 같은 공식을 제시했습니다.

매출 = 와트당 토큰 생산량 × 가용 전력(GW)

그는 앞으로 모든 AI 기업이 단위 에너지당 얼마나 많은 토큰을 생산할 수 있는지를 기준으로 인프라 효율성을 평가하게 될 것이라고 강조했습니다.

같은 해 6월 열린 GTC Taipei에서는 토큰이 AI 기업의 핵심 매출 단위가 되었다고 한층 더 강조했습니다.

Token Factory와 기존 데이터센터는 무엇이 다를까요?

구분기존 데이터센터Token Factory
핵심 역할데이터 저장, 전송 및 제공‘지능’을 지속적으로 생산(토큰)
주요 컴퓨팅 자원CPU 중심GPU 및 AI 가속기 중심
워크로드 특성요청 기반, 변동성이 큼연중무휴 추론, 지속적인 생산
핵심 성과 지표가용성, 스토리지 용량, 네트워크 대역폭초당 토큰 수, 와트당 토큰 수, 토큰당 비용
비즈니스 모델공간, 랙, 가상머신 임대토큰, 모델 서비스, GPU 컴퓨팅 자원 판매

한 문장으로 정리하면, 기존 데이터센터가 창고와 물류센터를 결합한 형태라면, Token Factory는 24시간 가동되는 지능형 제조공장이라고 할 수 있습니다.

Token Factory의 효율성을 측정하는 핵심 지표

모델 학습용 클러스터에서는 원시 처리량과 장시간 연산에 대한 장애 대응 능력이 중요합니다.

반면 Token Factory에서는 매출과 직접적으로 연결되는 네 가지 지표가 중요합니다.

지표의미매출에 영향을 미치는 이유
지연시간(Latency)요청을 보낸 시점부터 첫 번째 토큰이 생성되기까지의 시간(TTFT)과 토큰 간 생성 간격지연시간이 길어지면 사용자가 이탈할 수 있으며, 실시간 음성 및 AI 에이전트 서비스 구현도 어려워집니다.
지속 처리량(Sustained Throughput)전체 클러스터가 초당 안정적으로 생산할 수 있는 토큰 수동일한 하드웨어로 얼마나 많은 사용자에게 서비스를 제공하고 토큰을 판매할 수 있는지를 결정합니다.
에너지 효율(Energy Efficiency)전력 1와트당 생산할 수 있는 토큰 수전력은 가장 큰 변동비 중 하나이자 확장이 가장 어려운 자원입니다.
토큰당 비용(Cost per Token)하드웨어 감가상각비, 전기요금, 운영·유지보수 비용을 토큰당으로 환산한 비용서비스 가격 책정의 여유와 매출총이익률을 결정합니다.

왜 ‘와트당 토큰 생산량’이 새로운 경쟁 지표가 되었을까요?

과거 데이터센터의 경쟁력은 랙 수나 GPU 수로 평가되는 경우가 많았습니다.

그러나 현재 가장 큰 병목은 전력입니다.

데이터센터가 확보할 수 있는 전력에는 한계가 있으며, 새로운 전력망 용량을 확보하려면 수년이 걸릴 수 있습니다.

전력 공급량이 고정되어 있다면, 동일한 전력으로 더 많은 토큰을 생산하는 사업자가 더 높은 매출을 창출할 수 있습니다.

단기간에 가용 전력(GW)을 늘리기 어렵기 때문에 사업자가 개선할 수 있는 핵심 변수는 결국 ‘와트당 토큰 생산량(Tokens per Watt)’입니다.

더 효율적인 GPU를 도입하고, 더 우수한 추론 엔진을 활용하며, 컴퓨팅 자원을 더욱 정밀하게 스케줄링하는 모든 활동이 이 지표에 반영됩니다.

기존의 PUE(Power Usage Effectiveness, 전력사용효율)는 데이터센터 시설이 전력을 얼마나 효율적으로 사용하는지를 측정합니다.

반면 Tokens per Watt는 소비한 전력으로 실제 얼마나 많은 토큰을 생산했는지를 직접 측정합니다.

따라서 점점 더 많은 AI 데이터센터가 이를 핵심 효율성 지표로 활용하고 있습니다.

비즈니스 모델: 서비스로서의 Token Factory

Token Factory를 구축하는 것은 첫 번째 단계에 불과합니다.

진정한 과제는 GPU 컴퓨팅 자원을 어떻게 매출을 창출하는 서비스로 전환할 것인가입니다.

컴퓨팅 자원을 판매하려면 하드웨어 위에 별도의 ‘운영 시스템’이 필요합니다.

여기에는 멀티테넌트 격리, 토큰 기반 사용량 측정, 요금제 관리 및 과금·정산 기능 등이 포함됩니다.

INFINITIX(인피니틱스)가 제공하는 ixCSP는 바로 이러한 격차를 해소하기 위해 설계된 플랫폼입니다.

ixCSP란?

ixCSP는 기업, 통신사업자 및 데이터센터 사업자가 기존 GPU 서버를 과금 및 거버넌스가 가능한 AI 클라우드 서비스로 빠르게 전환할 수 있도록 지원하는 AI 클라우드 운영 플랫폼입니다.

컴퓨팅 자원을 판매하는 세 가지 방식: GaaS, MaaS, TaaS

서비스 모델판매 대상적합한 고객
GaaS(GPU as a Service)GPU 컴퓨팅 자원을 사용 시간 또는 사양에 따라 임대자체적으로 모델을 학습하거나 배포해야 하는 AI 개발팀
MaaS(Model as a Service)사전 배포된 AI 모델을 즉시 사용할 수 있는 서비스인프라를 직접 관리하지 않고 AI를 도입하려는 기업
TaaS(Token as a Service)토큰 사용량을 기준으로 과금하는 API 서비스개발자, SaaS 사업자, AI 에이전트 애플리케이션 사업자

어떤 기업에 이러한 플랫폼이 가장 필요할까요?

  • 통신사업자

이미 데이터센터, 전력 인프라 및 기업 고객 기반을 확보하고 있으며, 단순한 네트워크 연결 서비스 제공업체에서 AI 서비스 공급자로 사업을 확장하려는 기업입니다.

  • 데이터센터 및 AI 데이터센터(AIDC) 사업자

기존의 랙 임대 중심 사업에서 벗어나 토큰 및 AI 모델 서비스를 판매하는 사업 모델로 전환하려는 기업입니다.

  • 대기업 그룹

유휴 컴퓨팅 자원을 보유한 기업은 ixCSP를 통해 해당 자원을 그룹 내 다른 부서, 계열사, 나아가 공급망의 상·하위 협력사와 공유할 수 있습니다.

한 문장으로 정리하면, ixCSP의 역할은 GPU를 비용 중심의 자산에서 매출을 창출하는 플랫폼으로 전환하는 것입니다.

결론: 토큰은 AI 시대의 새로운 ‘전력’이 될까요?

처음의 질문으로 돌아가 보겠습니다.

우리가 AI에 질문을 하나 던질 때마다, 그 뒤에서는 Token Factory가 답변을 생산하고 있습니다.

100여 년 전 발전소는 석탄을 전기로 바꾸었고, 전기는 다시 공장과 교통수단, 가정의 일상생활을 움직이는 동력이 되었습니다.

오늘날 Token Factory는 전력을 토큰으로 전환하고, 이 토큰은 고객 서비스, 소프트웨어 개발, 연구 및 다양한 AI 에이전트를 구동합니다.

토큰과 전력에는 몇 가지 공통점이 있습니다.

두 가지 모두 정확하게 사용량을 측정할 수 있고, 사용량에 따라 요금을 부과할 수 있으며, 대규모 인프라가 필요합니다.

또한 널리 보급되면 수많은 서비스의 이면에서 보이지 않는 기반 역할을 수행하게 됩니다.

그러나 중요한 차이점도 있습니다.

전력은 동질적인 상품입니다. 1kWh의 전기는 어디에서 생산되었든 동일한 에너지량을 의미합니다.

반면 토큰의 품질은 사용되는 AI 모델에 따라 달라집니다.

이는 미래의 Token Factory가 단순히 생산량과 가격뿐 아니라, **‘어떤 수준의 지능을 생산할 수 있는가’**를 기준으로도 경쟁하게 된다는 의미입니다.

앞으로 컴퓨팅 자원, 전력, 운영 역량은 이 새로운 산업에서 경쟁력을 확보하는 핵심 요소가 될 것입니다.

기업의 IT 의사결정자든, 데이터센터 사업자든, AI가 어떻게 작동하는지 궁금한 일반 독자든, 지금이 바로 Token Factory를 이해하기에 가장 좋은 시점입니다.

추가 자료：인프라에서 Token Factory로

💡 무료 백서 다운로드

《인프라에서 Token Factory로: AI 데이터센터 구축·운영 백서｜INFINITIX》전문에는 4가지 핵심 과제에 대한 상세한 분석, 운영 계층의 3단계 레퍼런스 아키텍처, 데이터센터 라이프사이클 단계별 도입 계획 및 사례가 포함되어 있습니다. 양식을 작성하시면 다운로드하실 수 있습니다.

자주 묻는 질문(FAQ)

Q1. Token Factory란 무엇인가요?

Token Factory(토큰 팩토리)는 데이터센터를 AI 토큰을 생산하는 공장으로 재정의한 개념입니다.

전력과 데이터를 투입하고 GPU 및 AI 모델 추론을 통해 지속적으로 토큰을 생산하며, 토큰당 비용과 와트당 토큰 생산량 등의 지표로 효율성을 측정합니다.

Q2. Token Factory와 AI Factory는 무엇이 다른가요?

두 용어는 혼용되는 경우가 많습니다.

AI Factory는 NVIDIA가 먼저 사용한 보다 포괄적인 개념으로, AI 모델의 학습과 추론을 모두 포함합니다.

반면 Token Factory는 추론 단계에 더욱 초점을 맞추며, **‘토큰이 곧 제품’**이라는 생산 및 과금 개념을 강조합니다.

Q3. Token Factory라는 개념은 누가 제시했나요?

NVIDIA CEO 젠슨 황은 2026년 3월 GTC 2026 기조연설에서 데이터센터를 토큰을 생산하는 공장으로 정의했습니다.

또한 다음과 같은 공식을 제시했습니다.

매출 = 와트당 토큰 생산량 × 가용 전력(GW)

Q4. Token Factory의 효율성은 어떻게 측정하나요?

주로 다음 네 가지 지표를 활용합니다.

1. 지연시간(Latency)

2. 지속 처리량(Sustained Throughput)

3. 와트당 토큰 생산량(Tokens per Watt)

4. 토큰당 비용(Cost per Token)

Q5. 기업은 기존 GPU를 어떻게 Token Factory 서비스로 전환할 수 있나요?

GPU 하드웨어와 추론 엔진 외에도 멀티테넌트 관리, API 게이트웨이, 사용량 기반 과금 시스템 등이 필요합니다.

ixCSP와 같은 AI 클라우드 운영 플랫폼을 활용하면 기업은 GaaS, MaaS, TaaS 등의 서비스 모델을 통해 GPU 컴퓨팅 자원을 상용화하고 매출을 창출할 수 있습니다.