從自動駕駛汽車到文字、影像自動生成，AI技術正滲透到我們生活。而支撐這些AI技術運作的，就是AI基礎設施。
在接受外媒《連線雜誌》（Wired）專訪時，輝達（NVIDIA）執行長黃仁勳強調，「AI 已經演變為一項關鍵的基礎設施」。整場訪談中，他至少提到 23 次「基礎設施」這個詞，充分顯示出 AI 基礎建設在現代科技中的重要地位。
如果把AI應用比喻成跑車，那麼AI基礎設施就是提供跑車馳騁的高速公路和維修站。本文將帶您了解AI基礎設施，解析其關鍵組成部分。
什麼是AI基礎設施?
AI基礎設施(AI Infrastructure) 或稱為人工智慧基礎設施，亦可稱為AI Stack，是指支持人工智慧(AI) 應用程式開發、訓練、部署和運行的底層硬體、軟體和網路環境的總稱。
為了有效處理AI應用所需的大量數據和複雜計算，AI基礎設施必須具備高效能運算 (HPC) 的能力。它提供必要的資源，使AI系統能夠處理大量的數據、執行複雜的計算，並有效地進行模型訓練和推理。
AI基礎設施的關鍵組成部分
AI基礎設施的關鍵組成部分是構建、訓練、部署和維護AI 應用程式的基礎。它涵蓋了硬體、軟體和網路資源，這些資源協同工作以處理大量數據、執行複雜計算並支援 AI 模型生命週期。以下詳細介紹 AI 基礎設施的關鍵組成部分：
- 硬體資源打造AI數據中心
- 高性能計算單元：GPU（圖形處理器）、TPU（張量處理器）等專用芯片，為機器學習和深度學習模型提供強大的運算能力。
- 存儲系統：支援快速存取和管理大規模數據的高效存儲設備，例如 高速儲存(NVMe SSD)、分佈式存儲(Ceph、HDFS)。
- 網絡基礎設施：高帶寬網絡/低延遲通信協議，用於訓練大模型的集群間快速通信，並減少計算節點間的延遲。
- 軟體框架與工具
- 機器學習框架：深度學習框架(TensorFlow、PyTorch)，分散式訓練工具(Horovod)、MLOps工具(Kubeflow、MLflow)，用於建構訓練 AI 模型。
- 資料管理工具：進行資料管理與資料標註，如Apache Spark、Label Studio。
- 容器化與編排：如 Docker、Kubernetes，提升 AI 應用的部署效率和靈活性。
- 資源管理軟體：如 AI-Stack，可有效管理 GPU 資源，提升利用率。
- 數據管理
- 數據管道：實現數據的收集、處理、存儲和分發。
- 數據標註和清洗工具：確保數據質量，提升模型的準確性。
- 數據安全與隱私保護：確保 AI 應用符合法規要求，尤其是在涉及個人信息的領域。
- 雲端與混合架構
- 雲端 AI 平台：如 AWS、Azure、Google Cloud，為企業提供靈活且按需擴展的 AI 訓練與推論環境。
- 混合雲解決方案：如CloudFusion，結合地端與雲端資源，平衡成本與效能需求。
- AI 模型管理與優化
- MLOps（機器學習運營）：提供模型開發、部署、監控和更新的全生命周期管理。
- 模型壓縮與加速工具：確保 AI 模型能在資源受限的設備上高效運行。
AI基礎設施與傳統IT基礎設施的差別
AI基礎設施與傳統IT基礎設施雖然都屬於IT範疇，但由於服務的對象和目標不同，兩者在設計理念、硬體配置、軟體環境等方面存在顯著差異。以下詳細說明兩者的區別：
- 核心目標與應用場景：
- AI基礎設施： 著重於支援AI應用（如機器學習、深度學習），處理數據密集和計算密集的任務（如模型訓練、推理），因此對效能、擴展性和彈性要求更高。
- 傳統IT基礎設施： 著重於支援企業日常營運（如電子郵件、檔案共享），處理事務性工作，因此更強調穩定性、可靠性和安全性。
- 硬體配置：
- AI 基礎設施： 除了 CPU 之外，更大量使用 GPU、TPU 和 FPGA(現場可程式化邏輯閘陣列) 等加速器，以處理 AI 模型訓練和推理所需的大量平行運算。這些加速器在特定計算任務上效能遠勝 CPU。
- 傳統 IT 基礎設施： 主要依賴 CPU 進行運算，伺服器配置較標準化，著重通用性和成本效益。
- 軟體環境：
- AI 基礎設施： 除了傳統軟體外，還需要額外支援 機器學習框架 (例如 TensorFlow、PyTorch)、容器化技術 (例如 Docker、Kubernetes) 和 模型管理工具等專為 AI 開發和部署設計的軟體。
- 傳統 IT 基礎設施： 主要使用 作業系統、資料庫管理系統和應用程式伺服器 等通用軟體。
- 數據處理：
- AI基礎設施： 需要處理大量的結構化、半結構化和非結構化數據，例如圖像、影片、文字、語音等。數據量龐大，且數據類型多樣。
- 傳統IT基礎設施： 主要處理結構化數據，例如關聯式資料庫中的數據。數據量通常相對較小，且數據結構相對固定。
- 網路需求：
- AI基礎設施： 對網路頻寬和延遲的要求非常高，尤其是在分散式訓練和模型部署等場景下，需要高速、低延遲的網路連接，以確保數據的高效傳輸。
- 傳統IT基礎設施： 對網路頻寬和延遲的要求相對較低。
- 擴展性和彈性：
- AI基礎設施： 需要高度的擴展性和彈性，以應對不斷增長的數據量和計算需求。廣泛應用雲端運算和容器化技術，使其可以靈活地擴展或縮減資源。
- 傳統IT基礎設施： 擴展性相對有限，通常需要提前規劃和採購硬體資源。
- 管理和維護：
- AI基礎設施： 管理和維護更為複雜，需要專業的AI工程師和數據科學家進行操作和維護。
- 傳統IT基礎設施： 管理和維護相對成熟，有完善的工具和流程。
| 特性 | AI基礎設施 | 傳統IT基礎設施 |
|---|---|---|
| 核心目標 | 支持AI應用開發、訓練、部署和運行 | 支持企業日常營運 |
| 應用場景 | 模型訓練、推理、預測分析 | 事務性處理、數據儲存、網路連線 |
| 主要硬體 | CPU、GPU、TPU、FPGA | CPU |
| 主要軟體 | 機器學習框架、容器化技術、模型管理工具等 | 作業系統、資料庫管理系統、應用程式伺服器等 |
| 數據類型 | 結構化、半結構化和非結構化數據 | 結構化數據 |
| 網路需求 | 非常高 | 相對較低 |
| 擴展性和彈性 | 高 | 相對有限 |
| 管理和維護 | 更為複雜 | 相對成熟 |
AI基礎設施的重要性
AI基礎設施的重要性在於它是推動AI應用發展和普及的基石。沒有穩固且高效的AI基礎設施，再先進的AI演算法和模型也難以發揮其應有的效用。
- 提升效率與生產力： 加速模型訓練、優化資源利用、簡化部署流程，加速 AI 應用開發和迭代。
- 實現規模化和可擴展性： 應對數據爆炸、支持大規模部署、彈性調整資源，滿足不同場景需求。
- 降低成本： 減少硬體投資、優化資源利用、加速開發週期，降低 AI 導入和營運成本。
- 提升可靠性和穩定性： 採用高可用性架構、自動化監控和維護，確保系統穩定運行。
- 促進 AI 創新： 提供強大運算能力、降低開發門檻，推動 AI 技術和生態的發展。
結論
AI 基礎設施是現代人工智慧發展的基石，為 AI 應用程式的開發、訓練、部署和運行提供必要的支撐。其中，GPU 已成為 AI 工作負載的核心加速器，包含 GPU 的分配、調度、監控等技術，以確保資源的最佳利用率和效率，也因此數位無限的 AI-Stack GPU 資源管理平台，對正在打造AI基礎設施的企業來說是不不可或缺的。穩固的 AI 基礎設施不僅能提升 AI 開發效率、降低成本、確保系統穩定性，更能推動 AI 技術的創新與廣泛應用，進而加速各產業的數位轉型。因此，針對特定應用選擇合適的 AI 基礎設施，並妥善管理 GPU 資源，是成功部署 AI 解決方案的關鍵。
