台灣地方政府正在加速導入 AI，但算力管理沒跟上

國發會已將「主權 AI 及算力建設」與「智慧政府資料治理」皆列為政府 AI 發展核心框架，並透過「AI 新十大建設」加速地方政府的 AI 基礎建設投資。然而，大部分地方政府採購 GPU 時，仍延續「各自採購、各自管理」的模式。這種做法在 AI 應用規模還小時勉強撐得住，但隨著越來越多局處陸續導入 AI 服務，結構性的浪費就浮現了：

  • 資源孤島：各局處的 GPU 各自為政,無法互相調度,離峰時段大量算力閒置，但電費、機房折舊仍持續產生。
  • 專案排隊：同一組 GPU 常要「排隊」給不同任務使用，緊急業務無法優先取得算力。
  • 缺乏可視性：IT 管理人員說不出「GPU 現在被誰用、用了多少」，年度採購只能憑感覺決策。
  • 治理真空：沒有配額管理與權限隔離機制，敏感業務資料可能與一般業務混用同一運算環境。

AI-Stack：把分散的 GPU，整合成一座共用算力池

INFINITIX 的 AI-Stack 是一套專為地端環境打造的異構算力調度與管理平台，定位為 AI 基礎設施的中介層(Middleware)，可協助機關建構「全府 GPU 資源池」，實現算力資源統一納管、動態調度與最佳化配置。 

AI-Stack 作為 AI 基礎設施的中介層（Middleware），在底層算力資源與上層 AI 應用生態之間，扮演資源整合與服務串接的關鍵角色。於底層，AI-Stack 可統一納管 NVIDIA、AMD GPU、NPU 等異構運算資源，以及儲存與運算叢集；於上層，則提供標準化 API 與一致的開發環境，讓資料科學家、AI 工程師及各業務單位能夠快速存取各類 AI 工具與開源框架，加速 AI 應用的開發與部署。 

平台採管理者後台與使用者前台的雙層架構：

管理者後台｜集中治理 AI 資源，確保安全與效率
  • 資源配額管理：依專案或單位設定 GPU、vCPU、RAM 使用上限，實現精細化資源控管。
  • 智慧資源回收：透過閒置 GPU 自動回收、容器定時刪除等機制，避免資源長期被占用。
  • 即時監控分析：Dashboard 提供全機關 GPU 使用率、資源健康狀態與使用行為分析。
  • 完善資安治理：支援專案資料隔離、分層角色權限、操作稽核日誌與雙重驗證，符合政府機關資安管理需求。
使用者前台｜彈性調度算力，加速 AI 應用開發
  • 彈性 GPU 使用模式：
    • 共享模式：支援多個容器同時使用同一張 GPU，適合日常 AI 推論任務。
    • 獨占模式：提供完整 GPU 資源，滿足高效能運算需求。
    • 跨節點運算：整合多張 GPU 資源，支援大型模型與複雜 AI 工作負載。
  • 快速建立 AI 環境：一鍵建立標準化 AI 開發環境，加速模型開發與測試。
  • 智慧任務排程：批次任務可自動安排於離峰時段執行，活化閒置算力。

情境案例｜報稅旺季算力尖峰，不必靠新增採購支撐

每逢報稅季，地方政府稅務單位皆面臨短時間內大量 AI 運算需求湧入的挑戰。綜合所得稅結算申報，以及房屋稅、地價稅、使用牌照稅等地方稅務作業集中處理，使申報文件 OCR 辨識、文件摘要與 RAG 智慧服務等 AI 應用的算力需求在數週內快速攀升。

透過 AI-Stack 「資源共享、動態調度、按需使用」的 AI 基礎架構，地方政府無需為一年一度的短期需求額外採購 GPU，即可有效提升既有算力利用率，降低 AI 基礎建設成本，並確保關鍵服務穩定運行。

未導入 AI-Stack導入 AI-Stack
報稅旺季算力需求綜合所得稅、地方稅申報期間，OCR 辨識、文件摘要、RAG 服務需求暴增，容易造成系統負載壓力依 AI 工作負載動態調度 GPU 資源，彈性支援報稅期間大量 AI 任務
算力資源配置為應付短期尖峰需求，需額外採購 GPU，但非報稅期間設備長期閒置將各局處既有 GPU 整合為共享資源池，將閒置算力即時調度至稅務應用
跨單位資源共享各單位 GPU 資源獨立管理，高峰期間無法互相支援研考處、市民服務中心等單位閒置算力可支援稅務局高負載任務
旺季後資源運用報稅結束後，新增設備回復低使用率，造成資源浪費任務完成後自動回收算力，回歸共享池供其他 AI 應用使用

導入效益｜提升算力使用效率，降低 AI 基礎建設成本

根據 AI-Stack 實際導入成果，公部門可透過資源池化、智慧調度與自動化管理，有效提升 GPU 投資效益：

  • GPU 使用率由 30% 提升至 90%
    透過 GPU 資源切割、共享調度與離峰批次任務管理，大幅降低閒置算力，提升既有硬體使用效率。
  • AI 開發環境建置時間由兩週縮短至 1 分鐘
    透過標準化容器環境與自動化部署流程，加速 AI 開發、測試與模型驗證，讓工程團隊專注於應用開發。
  • 投資報酬率（ROI）提升 10 倍
    透過跨單位 GPU 資源共享，降低重複採購需求，減少硬體投資與維運成本，最大化既有 AI 基礎設施價值。