隨著大型語言模型持續擴大,AI 訓練正從單機走向多節點、大規模的分散式架構。規模帶來算力,也帶來三大挑戰:資源排程、維運管理與故障韌性。AI-Stack Slurm on Kubernetes將 HPC 主流排程系統 Slurm 部署於 Kubernetes 容器平台,由 Slurm 負責作業排程、Kubernetes 負責容器化維運,是企業因應這些挑戰的關鍵架構。
趨勢:AI 訓練全面走向跨節點、大規模化
大型語言模型的參數量與訓練資料持續成長。以 Meta 的 Llama 3 405B 為例,訓練時最多同時使用 16,000 張 H100 GPU。當模型或資料超出單台伺服器的負荷,就需要整合多台伺服器的 GPU 共同執行同一個訓練作業,即跨節點分散式訓練。由於各節點須頻繁交換資料、進度高度相依,從單機擴展到多機,增加的不只是 GPU 數量,還有協調上的複雜度。
在平台層,Slurm 與 Kubernetes 是兩大主流。Slurm 是開源的叢集管理與作業排程系統,專為大型批次作業設計。根據 NVIDIA 的說法,全球 TOP500 超級電腦的前 10 名與前 100 名中,均有超過半數採用 Slurm。Kubernetes則是企業管理容器化服務的主流平台,社群也持續強化分散式作業的支援,原生的 Gang 排程已於 v1.37 進入 Beta 階段。
然而,平台成熟並不代表規模化訓練已無障礙。當訓練擴展到數十、數百張 GPU,企業將面臨三大挑戰。
挑戰:規模化 AI 訓練的三大挑戰
挑戰一:資源排程——分散式作業可能互相鎖死
單一訓練作業需要多個節點同時就緒,但 Kubernetes 的預設排程器會逐一為每個 Pod 尋找節點,而非將同一作業的所有 Pod 一併排程。假設叢集共有 4 張 GPU,任務 A 與任務 B 各需 4 張;若雙方各取得 2 張,兩個任務都無法啟動,已取得的 GPU 也不會釋放(見圖 1)。

解決方法是整組排程(Gang Scheduling):同一作業的所有 Pod 都取得資源後才一起啟動。Kubernetes 原生的 Gang 排程雖已進入 Beta,但預設並未啟用,評估平台時應確認所使用的版本與設定。
挑戰二:維運管理——傳統 Slurm 叢集仰賴人力
Slurm 擅長排程,但傳統 Slurm 叢集多直接部署於裸機,維運上有三項痛點:
- 環境仰賴人工維護:驅動程式、函式庫與軟體版本須手動管理,容易發生相依性衝突。
- 缺乏自我修復機制:元件或節點異常時,多半需要維運人員介入。
- 資源無法彈性共用:訓練叢集難以與推論服務、開發環境共用。
若改用 Kubernetes,雖可解決環境一致性與自我修復問題,但既有的 Slurm 指令與作業腳本無法直接移轉;對已有 Slurm 使用者的組織而言,轉換成本依然存在。
挑戰三:故障韌性——節點越多,中斷越頻繁
Meta 在 Llama 3 技術報告中揭露,訓練 Llama 3 405B 的 54 天內共發生 419 次非預期中斷,平均約每 3 小時一次,其中 GPU 問題占 58.7%,為最主要的中斷原因。企業叢集的規模雖小得多,原理卻相同:假設單一節點每日故障機率僅 0.1%,100 台機器連續運行 30 天,至少發生一次故障的機率就接近 95%(示範用假設,並假設各節點故障彼此獨立)。Meta 研究團隊對兩個大型機器學習叢集的分析也顯示,大型作業受故障的衝擊明顯更大。
為什麼 Checkpoint 與 Kubernetes 自我修復仍不足夠?
最常見的防護措施是 Checkpoint(檢查點):定期保存訓練進度、模型參數與優化器狀態,故障時從最近一次的存檔接續。存檔頻率需要權衡,太頻繁會壓縮訓練時間,太稀疏則每次故障損失更多進度。最佳存檔間隔取決於寫入成本與故障率:節點越多、故障越頻繁,間隔就應越短。
然而,Checkpoint 只能避免進度歸零,無法縮短恢復時間:故障後整個作業仍須重新排隊、分配資源並初始化環境,往往耗時數小時。Kubernetes 的自我修復也無法補上這個缺口,因為訓練恢復還須滿足三項條件:所有節點重新連線並載入同一份存檔、即時取得可用的替補節點,以及先隔離故障硬體以免工作再次落到同一節點。這些都需要專為訓練設計的恢復機制。
INFINITIX AI-Stack:企業級 Slurm on K8s 解決方案
AI-Stack 是以 Kubernetes 容器技術為核心的 AI 基礎設施管理平台, Slurm on K8s 是平台跨節點訓練功能的一環,針對前述三大挑戰,AI-Stack 提供對應的解法:
- 資源排程:以 Slurm 排程訓練作業,平台上其他分散式工作負載則預設採用整組排程,避免資源鎖死。
- 維運管理:Slurm 元件以容器形式自動部署,並提供圖形化管理介面與完整監控。
- 故障韌性:支援 Checkpoint 儲存掛載,並透過訓練中斷自動恢復,以溫備節點自動替換故障節點。
對研究人員而言,日常操作幾乎不變,同樣透過 SSH 連線並提交作業;對維運人員而言,Slurm 元件改以容器形式運行,可沿用 K8s 的方式部署與維護;對管理者而言,訓練不必再獨占專屬叢集,可與推論、開發共用同一個底層資源池。Slurm on K8s 從架構上解決了資源排程與維運管理的問題;故障韌性則搭配平台層的訓練中斷自恢復機制。
| 比較項目 | 傳統 Slurm 叢集 | 純 Kubernetes | Slurm on K8s |
|---|---|---|---|
| 作業排程 | 專為大規模批次作業設計 | 擅長線上服務,批次排程需另行補強 | 以 Slurm 排程訓練作業 |
| MPI/HPC 使用習慣 | 原生支援 | 需要額外適應 | 維持原有的作業提交習慣 |
| 環境一致性 | 靠人工維護,版本易衝突 | 容器化,環境一致可攜 | 以容器部署 Slurm 元件 |
| 維運 | 多靠人工介入 | 服務自癒、自動化維運 | 由 K8s 負責元件部署與維運 |
| 資源共用 | 通常專機專用 | 統一抽象網路與儲存 | 訓練、推論、開發共用資源池 |
內建整組排程,避免資源鎖死
除 Slurm 叢集外,平台上的其他分散式工作負載同樣受到排程保護:AI-Stack 內建批次排程機制,預設採用整組排程,所有 Pod 皆就緒後才同時啟動,避免死鎖;亦可依需求啟用集中放置策略,以減少資源碎片。因此,訓練、推論與開發工作得以在同一資源池中各自正確排程,實現 Slurm on K8s 資源共用的目標。
訓練中斷自動恢復:溫備節點自動替換,分鐘級恢復訓練
溫備(Warm Standby)是指預先完成準備、處於待命狀態的備用節點,可在故障發生時直接替換,省去等待資源與重建環境的時間。AI-Stack 的訓練中斷自動恢復功能即採用此機制,並以三個步驟涵蓋前述訓練恢復的三項條件:
- 故障偵測:平台透過 AlertManager 即時偵測 GPU 或設備失聯,並觸發自動恢復流程。
- 隔離與替換:平台自動隔離故障節點,並從資源池喚醒一台閒置的健康節點加入叢集。
- 從 Checkpoint 恢復訓練:新節點完成初始化後,作業從最近一次保存的 Checkpoint 恢復執行。
須特別說明的是,節點故障時,執行中的作業仍會中斷。自動恢復節省的是重新排隊、重新申請資源與重建叢集的時間,而非使作業完全不受影響。三種做法的恢復路徑與比較,如圖 3所示。

溫備機制的代價主要有兩項:
- 需預留閒置節點:這些節點平時不參與訓練,等同以部分運算資源換取恢復速度。預留數量應依叢集規模與故障損失評估。
- 存檔區間的進度仍須重算:自動恢復縮短的是恢復時間,無法減少兩次存檔之間損失的進度,因此存檔策略依然重要。
因此,Checkpoint 與訓練中斷自動恢復必須搭配運用:前者決定損失多少進度,後者決定多快恢復訓練。
AI-Stack Slurm on K8s 適用情境:哪些團隊最適合導入?
並非所有 AI 團隊都需要 Slurm on K8s。綜合前述的排程架構與故障恢復機制,以下四類情境的導入效益最為顯著。
情境一:已有 Slurm 使用者的學術研究與超算單位
大學、研究機構與國家級計算中心的研究人員多已熟悉 Slurm 指令,並累積大量作業腳本。這類單位希望將裸機 HPC 叢集升級為雲原生架構,同時避免使用者重新學習新工具。Slurm on K8s 讓研究人員延續既有的作業提交方式,維運則交由容器化平台負責。
情境二:大型語言模型的預訓練與持續訓練
LLM 預訓練、持續預訓練或大規模微調,通常需要數十張以上的 GPU,並連續執行數天至數週。訓練框架已預先整合,搭配 Checkpoint 與訓練中斷自動恢復,可有效降低長時間訓練中斷所造成的損失。
情境三:多團隊共用 GPU 的企業 AI 研發中心
半導體、製造、金融、醫療等產業的企業 AI 研發中心,常見的情況是少數團隊需要跨節點訓練,多數團隊則從事推論服務、開發測試或小規模訓練。與其為大型訓練另建專屬叢集,不如讓 Slurm 叢集與其他 AI 工作負載共用同一資源池,訓練完成後即可將資源釋放給其他用途。
情境四:對訓練中斷成本高度敏感的工作負載
GPU 每小時成本越高、作業執行時間越長,單次中斷造成的損失就越大。若團隊曾因單一 GPU 故障而損失數小時甚至數天的進度,Checkpoint 搭配訓練中斷自動恢復所帶來的效益最為直接。
適用硬體與網路:什麼樣的環境導入效益最大?
GPU 伺服器
- 多卡 GPU 伺服器、多台節點:典型配置是每台 8 張 GPU 的伺服器(例如 8 卡 H200),以多台組成訓練叢集。節點數越多,排程與故障恢復的價值越高。
- 預留空閒節點:若要啟用訓練中斷自動恢復功能,需規劃一定數量的備用空閒節點,作為故障時的替補來源。
高速網路
跨節點訓練每一步都要交換大量資料,網路往往是決定訓練效率的關鍵。
- InfiniBand 或 RoCE:建議節點之間採用 InfiniBand 或支援 RDMA 的 RoCE 高速網路。AI-Stack 在建立叢集時,即可啟用高性能網路。
- 以實測為準:網路規格不等於實際效能。叢集建立後,可先以 NCCL Benchmark 實測跨節點通訊頻寬,確認達標再開始正式訓練。
儲存
- 共享儲存:建議使用 GPFS、HDFS 等共享儲存,供 Jail(Slurm 使用者環境)、Checkpoint、訓練資料與工作區掛載。
- Checkpoint 寫入效能:大型模型的 Checkpoint 可達數百 GB 以上,儲存的寫入速度會直接影響存檔頻率與訓練效率。
| 資源 | 建議配置 | 為什麼重要 |
|---|---|---|
| GPU 節點 | 多台多卡伺服器(例如每台 8 卡),NVIDIA 或 AMD | 跨節點訓練的算力基礎 |
| 備用節點 | 依叢集規模預留空閒節點 | 訓練中斷自動恢復的替補來源 |
| 網路 | InfiniBand 或 RoCE | 決定節點間的通訊效率 |
| 儲存 | GPFS、HDFS 等共享儲存 | Jail 環境、Checkpoint 與訓練資料共用 |
結語:導入 Slurm on K8s 前的五項評估重點
在本文介紹的架構中,Slurm 負責資源排程,Kubernetes 負責維運管理,Checkpoint 與訓練中斷自動恢復則共同提升故障韌性。因此,企業評估跨節點訓練平台時,與其問「該選擇哪一套排程系統」,不如思考更根本的問題:
在現有的使用者習慣、GPU 規模與可接受的進度損失下,企業需要什麼樣的排程與維運架構?又願意為故障恢復預留多少資源?
在導入或調整架構之前,建議先從以下五個面向盤點現況:
- 使用者習慣:組織內是否已有 Slurm 使用者與既有作業腳本?這將決定保留 Slurm 的價值。
- 資源共用:訓練、推論與開發是否需要共用同一個 GPU 資源池?或者維持專屬叢集更為合適?
- 網路驗證:跨節點網路是否已透過 NCCL Benchmark 等工具實測,而非僅參考規格表?
- 存檔策略:Checkpoint 的存檔間隔與儲存效能,是否符合可接受的進度損失?是否曾實際演練從 Checkpoint 恢復?
- 備援成本:單次故障會造成多少損失?值得預留多少閒置節點?
技術會持續演進,叢集也會不斷擴充;但只要 GPU 仍可能故障、資源仍需分配,這五個面向就值得企業定期檢視。
常見問題(FAQ)
Q:Slurm on K8s 和直接使用 Kubernetes 有什麼不同?
Kubernetes 的預設排程器逐一為 Pod 分配節點,用於分散式訓練時可能發生資源死鎖,也無法沿用 Slurm 指令與既有作業腳本。Slurm on K8s 由 Slurm 負責作業排程,保留 HPC 使用者熟悉的操作方式,並由 Kubernetes 負責容器化部署與維運。
Q:什麼是整組排程(Gang Scheduling)?
整組排程將同一作業的所有 Pod 視為整體,只有在所需資源全數就緒時才同時啟動,可避免多個分散式作業各自占用部分 GPU 而互相等待的死鎖。Kubernetes 原生的 Gang 排程已於 v1.37 進入 Beta,但預設並未啟用。
Q:分散式訓練遇到 GPU 故障,需要多久才能恢復?
若僅依靠 Checkpoint,故障後整個作業須重新排隊與初始化,常見需要數小時;搭配 AI-Stack 的訓練中斷自動恢復,以溫備節點自動替換故障節點,恢復時間可縮短至分鐘級。兩種方式都需重新計算最近一次存檔後的進度。
Q:Checkpoint 的存檔頻率應該如何設定?
最佳存檔間隔取決於寫入 Checkpoint 的成本與故障率。存檔過於頻繁會壓縮訓練時間,間隔過長則每次故障損失的進度較多。一般而言,節點越多、故障越頻繁,存檔間隔就應越短。
Q:導入 AI-Satck Slurm on K8s 需要哪些硬體?
建議配置包括多台多卡 GPU 伺服器(NVIDIA 或 AMD)、InfiniBand 或 RoCE 高速網路,以及 GPFS、HDFS 等共享儲存。若要啟用訓練中斷自動恢復,另需預留閒置節點作為替補來源。