AI-Stack으로 해결하는 공공기관 AI 도입의 유휴 자원과 거버넌스 과제

대만 지방정부의 AI 도입은 빨라지고 있지만, 컴퓨팅 자원 관리는 따라가지 못하고 있다

대만 국가발전위원회는 ‘Sovereign AI 및 컴퓨팅 인프라 구축’과 ‘스마트 정부 데이터 거버넌스’를 정부 AI 발전의 핵심 프레임워크로 제시하고 있으며, ‘AI 신(新) 10대 건설’을 통해 지방정부의 AI 인프라 투자도 빠르게 확대하고 있습니다.

그러나 많은 지방정부가 GPU를 도입하는 방식은 여전히 ‘부서별 개별 구매, 개별 관리’ 구조에 머물러 있습니다.

AI 활용 규모가 작을 때는 이러한 방식으로도 운영이 가능하지만, 점차 더 많은 부서와 기관이 AI 서비스를 도입하면서 다음과 같은 구조적인 비효율이 나타나기 시작합니다.

• 자원 사일로(Resource Silo): 각 부서가 GPU를 독립적으로 운영하기 때문에 부서 간 자원 공유와 재배치가 어렵습니다. 비업무 시간에는 대규모 컴퓨팅 자원이 유휴 상태로 남아 있어도 전력 비용과 데이터센터 감가상각 비용은 계속 발생합니다.

• 프로젝트 대기 문제: 동일한 GPU 자원을 여러 업무가 순차적으로 사용해야 하면서 작업 대기 시간이 발생합니다. 긴급하거나 우선순위가 높은 업무도 필요한 시점에 즉시 컴퓨팅 자원을 확보하기 어렵습니다.

• 가시성 부족 IT: 관리자가 현재 GPU를 누가 사용하고 있는지, 어느 정도 사용하고 있는지를 실시간으로 파악하기 어렵습니다. 이 경우 연간 GPU 추가 구매 역시 객관적인 사용량 데이터보다는 경험과 추정에 의존하게 됩니다.

• 거버넌스 공백: Quota 관리나 권한 격리 체계가 부족할 경우 민감한 행정 업무 데이터와 일반 업무 데이터가 동일한 컴퓨팅 환경에서 처리될 수 있어 보안 및 데이터 거버넌스 리스크가 증가합니다.

AI-Stack: 분산된 GPU를 하나의 공용 컴퓨팅 자원 풀로 통합

INFINITIX의 AI-Stack은 온프레미스 환경을 위해 설계된 이기종 컴퓨팅 자원 스케줄링 및 관리 플랫폼입니다.

AI 인프라의 미들웨어(Middleware) 역할을 수행하며, 기관 내에 분산된 GPU를 하나의 통합 GPU 자원 풀로 구성해 컴퓨팅 자원의 중앙 관리, 동적 스케줄링 및 최적화된 자원 배분을 지원합니다.

AI-Stack은 하위의 컴퓨팅 인프라와 상위의 AI 애플리케이션 생태계 사이에서 자원 통합과 서비스 연결을 담당하는 핵심 중간 계층입니다.

하위 인프라 영역에서는 NVIDIA 및 AMD GPU, NPU 등 다양한 이기종 컴퓨팅 자원을 비롯해 스토리지와 컴퓨팅 클러스터를 통합 관리할 수 있습니다.

상위 영역에서는 표준화된 API와 일관된 개발 환경을 제공해 데이터 사이언티스트, AI 엔지니어 및 각 업무 부서가 다양한 AI 도구와 오픈소스 프레임워크에 빠르게 접근할 수 있도록 지원합니다.

이를 통해 AI 애플리케이션의 개발과 배포 속도를 높일 수 있습니다.

AI-Stack은 크게 관리자 포털과 사용자 포털의 이중 구조로 구성됩니다.

관리자 포털 | AI 자원을 중앙에서 통합 관리해 보안과 운영 효율 확보

자원 Quota 관리

프로젝트 또는 부서별로 GPU, vCPU, RAM 등의 사용 한도를 설정해 세밀한 자원 통제가 가능합니다.

이를 통해 특정 부서나 프로젝트가 과도하게 컴퓨팅 자원을 점유하는 것을 방지하고, 조직 전체의 자원을 보다 균형 있게 배분할 수 있습니다.

지능형 자원 회수

유휴 GPU 자동 회수, 컨테이너 자동 또는 예약 삭제 등의 기능을 통해 사용되지 않는 자원이 장시간 점유되는 것을 방지합니다.

필요한 시점에 자원을 다시 공용 풀로 반환함으로써 전체 인프라 활용률을 높일 수 있습니다.

실시간 모니터링 및 분석

Dashboard를 통해 기관 전체의 GPU 사용률, 자원 상태 및 사용자·업무별 이용 패턴을 실시간으로 확인할 수 있습니다.

이를 통해 IT 관리자는 실제 사용량을 기반으로 자원 배분 및 신규 인프라 투자 의사결정을 수행할 수 있습니다.

체계적인 보안 및 거버넌스

프로젝트별 데이터 격리, 계층형 역할 기반 권한 관리, Audit Log 기반 감사 기록, 이중 인증(2FA) 등을 지원합니다.

이를 통해 공공기관의 보안 정책과 관리 요구사항에 맞는 일관된 AI 운영 환경을 구축할 수 있습니다.

사용자 포털 | 유연한 컴퓨팅 자원 활용으로 AI 개발 가속화

유연한 GPU 사용 방식

공유 모드
하나의 GPU를 여러 컨테이너가 동시에 사용할 수 있도록 지원해 일상적인 AI 추론 업무에 적합합니다.

독점 모드
GPU 전체 자원을 특정 업무에 할당해 높은 연산 성능이 필요한 작업을 지원합니다.

Cross-Node 연산
여러 노드와 다수의 GPU 자원을 통합해 대규모 모델 및 복잡한 AI 워크로드를 처리할 수 있습니다.

빠른 AI 개발 환경 구축

표준화된 AI 개발 환경을 클릭 몇 번으로 생성할 수 있어 모델 개발, 테스트 및 검증에 필요한 환경 구축 시간을 크게 줄일 수 있습니다.

지능형 작업 스케줄링

배치 작업을 비업무 시간에 자동으로 실행하도록 설정해 낮 동안 사용되지 않는 유휴 컴퓨팅 자원을 효과적으로 활용할 수 있습니다.

활용 시나리오 | 세금 신고 기간의 AI 수요 급증, 추가 GPU 구매 없이 대응

매년 세금 신고 기간이 되면 지방정부의 세무 관련 부서는 단기간에 급증하는 AI 연산 수요에 대응해야 합니다.

종합소득세 신고를 비롯해 주택세, 토지세, 자동차세 등 다양한 지방세 관련 업무가 특정 기간에 집중되면서 신고 문서의 OCR 인식, 문서 요약, RAG 기반 지능형 서비스 등의 AI 워크로드가 수주 동안 급격히 증가할 수 있습니다.

기존 방식에서는 이러한 단기적인 피크 수요에 대비하기 위해 추가 GPU 구매를 검토해야 하는 경우가 많습니다.

하지만 AI-Stack의 자원 공유, 동적 스케줄링, 온디맨드 사용 구조를 활용하면 지방정부는 매년 반복되는 단기 수요를 위해 별도의 GPU를 지속적으로 추가 구매하지 않고도 기존 인프라의 활용률을 높일 수 있습니다.

이를 통해 AI 인프라 투자 비용을 절감하는 동시에 핵심 행정 서비스의 안정적인 운영을 지원할 수 있습니다.

도입 효과 | 컴퓨팅 자원 활용률을 높이고 AI 인프라 비용을 절감

AI-Stack의 실제 도입 사례에서는 공공 부문이 자원 풀링, 지능형 스케줄링, 자동화된 관리 기능을 통해 GPU 투자 효율을 크게 높일 수 있음을 확인했습니다.

GPU 사용률 30%에서 90%로 향상

GPU 자원 분할, 공유 스케줄링, 비업무 시간 배치 작업 관리 등을 통해 유휴 컴퓨팅 자원을 크게 줄이고 기존 하드웨어의 활용 효율을 높일 수 있습니다.

AI 개발 환경 구축 시간 2주에서 1분으로 단축

표준화된 컨테이너 환경과 자동화된 배포 프로세스를 활용해 AI 개발, 테스트 및 모델 검증에 필요한 환경 구축 시간을 크게 단축할 수 있습니다.

이를 통해 엔지니어링 조직은 인프라 환경 구성보다 실제 AI 애플리케이션 개발에 더 집중할 수 있습니다.

투자수익률(ROI) 10배 향상

부서 간 GPU 자원을 공유함으로써 중복 구매를 줄이고 하드웨어 투자 및 운영·유지보수 비용을 절감할 수 있습니다.

결과적으로 기존 AI 인프라의 가치를 극대화하고 전체 AI 투자 효율을 높일 수 있습니다.