기업의 AI 도입 속도는 거버넌스 체계가 구축되는 속도보다 훨씬 빠릅니다. 대규모 언어 모델(LLM), AI Agent부터 GPU 인프라에 이르기까지 AI는 이제 기업 IT 환경에서 빼놓을 수 없는 핵심 요소로 자리 잡고 있습니다.
Gartner는 2026년 전 세계 AI 관련 지출이 2조 5,900억 달러에 달하며, 전년 대비 47% 증가할 것으로 전망했습니다. 이 가운데 AI 인프라가 차지하는 비중은 45%를 넘어설 것으로 예상됩니다.
그러나 많은 비용을 투자한다고 해서 반드시 효율적으로 활용하고 있다는 의미는 아닙니다.
Cast AI의 《2026 State of Kubernetes Optimization Report》에 따르면 기업의 평균 GPU 사용률은 불과 5%에 그쳤습니다. 또한 FinOps Foundation의 《State of FinOps 2026》에서는 기업의 73%가 AI 관련 지출에서 예산 초과를 경험한 것으로 나타났습니다.
AI 도입이 확대되면서 기업은 새로운 관리 과제에 직면하고 있습니다.
비용을 통제하면서도 AI 사용의 보안, 컴플라이언스, 추적 가능성을 어떻게 동시에 확보할 것인가?
AI가 IT 관리의 새로운 핵심으로 부상하며, FinOps와 AI 거버넌스도 빠르게 결합
과거 기업 IT 관리의 주요 대상은 SaaS, 클라우드 리소스, 소프트웨어 라이선스였습니다. 그러나 이제는 AI 모델, GPU 컴퓨팅 자원, Token 사용량, AI 애플리케이션까지 관리 범위에 포함되고 있습니다.
Flexera의 《2026 State of ITAM Report》가 전 세계 512명의 IT 자산 관리 전문가를 대상으로 조사한 결과는 다음과 같습니다.
- 기업의 84%가 ‘새로운 AI 애플리케이션의 추적 또는 도입’을 현재 가장 큰 종합적인 과제로 꼽았습니다.
- 47%의 기업이 향후 몇 년간 AI 소프트웨어 투자를 크게 확대할 것으로 전망했습니다.
- 전체 AI 소프트웨어 가운데 완전한 가시성(Visibility)이 확보된 비율은 31%에 불과했습니다.
- 78%의 조직이 전담 FinOps 팀을 운영하고 있으며, ITAM(IT Asset Management)과 FinOps 간 협업 및 역할 중첩도 지속적으로 증가하고 있습니다.
이러한 변화는 FinOps의 관리 범위가 기존 퍼블릭 클라우드를 넘어 SaaS, 소프트웨어 라이선스, 프라이빗 클라우드, 데이터센터까지 확장되고 있음을 보여줍니다.
동시에 전통적인 IT 자산 관리와 FinOps의 경계 역시 빠르게 허물어지고 있습니다.
특히 조사에서는 Token, LLM 요청, GPU 사용률 등 AI 사용량을 세분화해 추적하는 기능이 현재 기업에 가장 부족하면서도 가장 시급하게 요구되는 역량 중 하나로 나타났습니다.
이는 중요한 변화를 의미합니다.
AI 거버넌스가 단순한 IT 관리 영역을 넘어 FinOps 기반의 비용 관리와 AI Governance 기반의 거버넌스 관리가 병행되는 구조로 발전하고 있다는 것입니다.
이제 기업은 단순히 AI가 작동하는지만 보지 않습니다.
- GPU가 실제로 효율적으로 사용되고 있는가?
- 어떤 팀이 가장 많은 Token을 사용하고 있는가?
- AI 사용이 기업의 보안 정책을 준수하고 있는가?
- AI에 대한 투자가 실질적인 ROI로 이어지고 있는가?
이러한 질문에 답할 수 있어야 합니다.
AI 도입은 빨라지지만, 거버넌스는 따라가지 못한다
많은 기업이 AI를 도입한 이후 다음과 같은 문제를 경험하고 있습니다.
1. AI 비용은 빠르게 증가하지만 어디에 사용되는지 알기 어렵다
GPU, 추론 서비스, 모델 API, Token 사용량은 빠르게 증가하고 있지만 이를 통합적으로 파악할 수 있는 비용 관리 체계가 부족한 경우가 많습니다.
IT 부서는 다음과 같은 질문에 명확하게 답하지 못합니다.
어느 부서가 GPU를 가장 많이 사용하고 있는가?
어떤 모델의 운영 비용이 가장 높은가?
어떤 AI Agent가 가장 많은 Token을 소비하고 있는가?
이는 FinOps Foundation의 조사 결과와도 연결됩니다.
기업의 73%가 AI 관련 지출에서 예산 초과를 경험하는 주요 원인 중 하나는 실시간·세분화된 사용량 추적 체계의 부족입니다.
2. 낮은 GPU 사용률과 대규모 유휴 자원
기업이 대규모 GPU를 구축하더라도 리소스가 분산돼 있고 통합 스케줄링 체계가 없다면 GPU 유휴, 중복 자원 신청, 부서 간 자원 경쟁 등의 문제가 발생합니다.
Cast AI의 분석에 따르면 이는 일부 기업만의 문제가 아닙니다.
평균 GPU 사용률이 불과 5%라는 것은 고가의 AI 인프라 대부분이 충분한 가치를 만들어내지 못하고 있다는 것을 의미합니다.
3. AI 사용에 대한 거버넌스와 추적 가능성 부족
각 부서가 개별적으로 AI 도구를 도입하면서 기업 내부에서는 다음과 같은 문제가 발생하기 시작합니다.
Shadow AI와 같은 관리되지 않는 AI 도구 사용, 분산된 API Key 관리, 모델 버전 관리 혼선, 권한 및 감사 체계 부족, 민감 정보 유출 위험 등이 대표적입니다.
AI 도입 속도가 빨라질수록 거버넌스 리스크 역시 함께 증가합니다.
4. FinOps와 IT 조직 간 책임 경계가 모호하다
ITAM과 FinOps의 역할이 점차 중첩되면서 두 조직이 각각 별도의 사용량 및 비용 보고서를 관리하는 경우도 많습니다.
공통된 데이터 기반이 없다면 AI 비용과 리소스 사용 현황에 대해 일관된 책임 체계를 만들기 어렵고, 합리적인 의사결정 역시 어려워집니다.
AI-Stack의 해법: AI 인프라부터 FinOps와 거버넌스까지, 신뢰할 수 있는 AI 플랫폼 구축
AI-Stack은 GPU 컴퓨팅 자원 스케줄링 및 AI 인프라 관리 플랫폼입니다.
단일 플랫폼에서 GPU, AI 모델, 사용자 권한 및 워크로드를 통합 관리함으로써 기업이 효율성, 가시성, 거버넌스 역량을 동시에 갖춘 AI 인프라 환경을 구축할 수 있도록 지원합니다.
이를 통해 FinOps 기반의 비용 최적화와 AI Governance 체계를 함께 구현할 수 있습니다.
1. 이기종 자원의 통합 관리
NVIDIA 및 AMD GPU를 비롯해 Phison aiDAPTIV+, NPU 등 다양한 이기종 컴퓨팅 자원을 하나의 플랫폼에서 통합 관리할 수 있습니다.
GPU 분할 및 통합, 지능형 스케줄링, 자동 자원 할당 등을 통해 전체 GPU 사용률을 높이고 유휴 비용을 줄일 수 있습니다.
이는 산업 전반에서 나타나는 ‘GPU 사용률 5%’라는 대표적인 문제를 직접적으로 개선할 수 있는 접근 방식입니다.
2. AI 리소스의 투명한 모니터링
AI-Stack은 통합 리소스 모니터링과 시각화 대시보드를 통해 GPU, CPU, VRAM 등 주요 인프라 자원의 사용 현황을 실시간으로 확인할 수 있도록 지원합니다.
또한 프로젝트별 리소스 사용량과 사용자 이용 이력을 함께 관리할 수 있어 AI 자원을 가시화하고, 추적하며, 관리할 수 있는 환경을 제공합니다.
이는 기업이 FinOps를 구축하기 위해 필요한 핵심 데이터 기반이 됩니다.
3. AI Governance
AI-Stack은 기업 AI 환경에 필요한 다양한 거버넌스 기능을 제공합니다.
Role-Based Access Control(RBAC), Audit Log 기반 감사 기록, Multi-tenancy, 모델 접근 권한 관리, 컨테이너 기반 워크로드 격리 등을 통해 기업이 일관되고 안전하며 감사 가능한 AI 사용 체계를 구축할 수 있도록 지원합니다.
이를 통해 Shadow AI, 과도한 권한 부여, 데이터 유출 등의 리스크를 줄일 수 있습니다.
AI-Stack이 제공하는 핵심 가치
AI-Stack은 기업이 가장 중요하게 고려하는 비용, 효율성, 거버넌스를 하나의 플랫폼으로 통합합니다.
AI를 단순히 실행하는 수준을 넘어 장기적으로 안정적이고 통제 가능한 방식으로 확장할 수 있도록 지원합니다.
| 기업의 과제 | AI-Stack이 제공하는 가치 |
| 낮은 GPU 사용률 | GPU 가상 분할, 지능형 스케줄링, 자원 공유를 통한 전체 사용률 향상 |
| AI 비용 추적의 어려움 | GPU, 프로젝트, 부서별 비용 및 사용량 가시화 |
| 다수 부서의 공동 사용 | Quota 관리, Multi-tenancy 격리, 수요 기반 리소스 할당 |
| 부족한 AI 거버넌스 | RBAC, Audit Log, 프로젝트 및 모델 접근 권한 관리 |
| 빠르게 확장되는 AI 환경 | 단일 플랫폼에서 AI 인프라와 워크로드를 통합 관리해 운영 복잡성 감소 |
| FinOps 실행의 어려움 | AI 비용 관리, 사용량 분석, 리소스 최적화 체계를 구축해 IT와 FinOps 조직이 공통 활용 |
결론: AI의 다음 단계는 단순한 배포가 아니라 거버넌스다
기업은 AI 투자를 빠르게 확대하고 있지만 동시에 가시성 부족, 비용 관리의 어려움, 거버넌스 체계 미비라는 문제에도 직면하고 있습니다.
AI-Stack은 AI 인프라 관리, GPU 자원 스케줄링, FinOps 기반 비용 관리, AI Governance를 하나의 플랫폼으로 통합해 기업이 가시적이고 통제 가능하며 확장 가능한 AI 운영 체계를 구축할 수 있도록 지원합니다.
이를 통해 AI는 단순한 기술 투자를 넘어, 지속적으로 비즈니스 가치를 창출하는 핵심 인프라로 발전할 수 있습니다.
