大規模言語モデルの拡大に伴い、AI学習は単一サーバーからマルチノードによる大規模な分散アーキテクチャへと移行しつつあります。規模の拡大は計算リソースをもたらす一方で、リソーススケジューリング、運用管理、障害耐性という3つの課題も生み出します。AI-Stack Slurm on Kubernetesは、HPC分野で主流のスケジューラーであるSlurmをKubernetesコンテナ基盤上に展開し、Slurmがジョブスケジューリングを、Kubernetesがコンテナによる運用管理を担います。これらの課題に対応するための重要なアーキテクチャです。
トレンド:AI学習は大規模化へ
大規模言語モデルのパラメータ数と学習データは増え続けています。MetaのLlama 3 405Bを例にとると、学習時には最大16,000基のH100 GPUが同時に使用されました。モデルやデータが1台のサーバーの処理能力を超えると、複数サーバーのGPUを統合して同じ学習ジョブを実行する必要があります。これがクロスノード分散学習です。各ノードは頻繁にデータをやり取りし、処理の進行も強く依存し合うため、単一サーバーから複数サーバーへ拡張すると、増えるのはGPUの数だけでなく、協調処理の複雑さも増していきます。
プラットフォーム層では、SlurmとKubernetesが二大主流です。Slurmはオープンソースのクラスター管理・ジョブスケジューリングシステムで、大規模なバッチジョブ向けに設計されています。NVIDIAによると、世界のスーパーコンピューターTOP500の上位10位と上位100位のいずれでも、半数以上がSlurmを採用しています。一方、Kubernetesは企業がコンテナ化されたサービスを管理する際の主流プラットフォームであり、コミュニティでも分散ジョブへの対応強化が続いています。ネイティブのGangスケジューリングは、v1.37でBeta段階に入りました。
しかし、プラットフォームが成熟したからといって、大規模学習の障壁がなくなったわけではありません。学習が数十基、数百基のGPUへと拡大すると、企業は3つの課題に直面します。
課題:大規模AI学習における3つの課題
課題1:リソーススケジューリング(分散ジョブがデッドロックに陥る可能性)
1つの学習ジョブでは複数のノードが同時に準備完了している必要がありますが、Kubernetesのデフォルトスケジューラーは、同じジョブのすべてのPodをまとめてスケジューリングするのではなく、Podごとに1つずつノードを割り当てます。たとえばクラスターに計4基のGPUがあり、ジョブAとジョブBがそれぞれ4基を必要とする場合、双方が2基ずつ確保すると、どちらのジョブも起動できず、確保済みのGPUも解放されません。

解決策はギャングスケジューリング(Gang Scheduling)です。同じジョブのすべてのPodがリソースを確保してから、一斉に起動します。KubernetesネイティブのGangスケジューリングはBeta段階に入ったものの、デフォルトでは有効になっていないため、プラットフォームを評価する際は、使用するバージョンと設定を確認する必要があります。
課題2:運用管理(従来型Slurmクラスターは人手に依存)
Slurmはスケジューリングに優れていますが、従来型のSlurmクラスターの多くはベアメタルに直接構築されており、運用面で次の3つの課題があります。
- 環境の維持が手作業頼み:ドライバー、ライブラリ、ソフトウェアのバージョンを手動で管理する必要があり、依存関係の競合が起こりやすくなります。
- 自己修復機能がない:コンポーネントやノードに異常が発生すると、多くの場合、運用担当者の対応が必要です。
- リソースを柔軟に共有できない:学習用クラスターを推論サービスや開発環境と共有することが困難です。
Kubernetesに移行すれば、環境の一貫性と自己修復の課題は解決できますが、既存のSlurmコマンドやジョブスクリプトをそのまま移行することはできません。すでにSlurmユーザーを抱える組織にとっては、移行コストが依然として残ります。
課題3:障害耐性(ノードが増えるほど中断も増える)
MetaはLlama 3の技術レポートで、Llama-3-405Bの学習期間54日間に計419回の予期せぬ中断が発生したと公表しています。平均すると約3時間に1回のペースで、そのうち58.7%がGPUに起因し、最大の中断要因となっていました。企業のクラスターは規模こそはるかに小さいものの、原理は同じです。仮に1ノードあたりの1日の故障率がわずか0.1%でも、100台のマシンを30日間連続稼働させると、少なくとも1回故障が発生する確率は約95%に達します(説明用の仮定であり、各ノードの故障は互いに独立と仮定)。Metaの研究チームによる2つの大規模機械学習クラスターの分析でも、大規模なジョブほど障害の影響が大きいことが示されています。
CheckpointやKubernetesの自己修復だけでは不十分な理由
最も一般的な対策はCheckpoint(チェックポイント)です。学習の進捗、モデルパラメータ、オプティマイザーの状態を定期的に保存し、障害発生時には直近の保存時点から再開します。保存頻度にはトレードオフがあり、頻繁すぎると学習時間を圧迫し、間隔が長すぎると障害のたびに失う進捗が増えます。最適な保存間隔は書き込みコストと故障率によって決まり、ノード数が多く障害が頻繁なほど、間隔を短くする必要があります。
ただし、Checkpointで防げるのは進捗がゼロに戻ることだけで、復旧時間は短縮できません。障害発生後は、ジョブ全体を再度キューに並べ、リソースを割り当て、環境を初期化し直す必要があり、数時間かかることも珍しくありません。Kubernetesの自己修復でもこのギャップは埋められません。学習を復旧するには、すべてのノードが再接続して同じCheckpointを読み込むこと、代替ノードを即座に確保すること、そして障害のあるハードウェアを先に隔離してジョブが同じノードに再配置されないようにすること、という3つの条件を満たす必要があるためです。いずれも、学習向けに設計された復旧メカニズムが必要です。
INFINITIX AI-Stack:企業向けSlurm on K8sソリューション
AI-Stackは、Kubernetesのコンテナ技術を中核としたAIインフラ管理プラットフォームです。Slurm on K8sはプラットフォームのマルチノード学習機能の一部であり、前述の3つの課題に対して、AI-Stackは次のような解決策を提供します。
- リソーススケジューリング:学習ジョブはSlurmでスケジューリングし、プラットフォーム上のその他の分散ワークロードにはデフォルトでギャングスケジューリングを適用して、リソースのデッドロックを防ぎます。
- 運用管理:Slurmのコンポーネントをコンテナとして自動デプロイし、GUIによる管理画面と包括的なモニタリングを提供します。
- 障害耐性:Checkpoint用ストレージのマウントに対応し、学習中断の自動復旧により、ウォームスタンバイノードで障害ノードを自動的に置き換えます。
研究者にとっては、SSHで接続してジョブを投入するという日常の操作はほとんど変わりません。運用担当者にとっては、Slurmのコンポーネントがコンテナとして稼働するため、K8sの手法でデプロイ・保守できます。管理者にとっては、学習のために専用クラスターを占有する必要がなくなり、推論や開発と同じ基盤リソースプールを共有できます。Slurm on K8sはアーキテクチャの面からリソーススケジューリングと運用管理の課題を解決し、障害耐性はプラットフォーム層の学習中断自動復旧機能が担います。
| 比較項目 | 従来型Slurmクラスター | Kubernetes単体 | Slurm on K8s |
| ジョブスケジューリング | 大規模バッチジョブ向けに設計 | オンラインサービスに強いが、バッチスケジューリングは別途補強が必要 | 学習ジョブをSlurmでスケジューリング |
| MPI/HPCの利用習慣 | ネイティブ対応 | 追加の慣れが必要 | 従来のジョブ投入方法を維持 |
| 環境の一貫性 | 手作業で維持、バージョン競合が起きやすい | コンテナ化により環境の一貫性と可搬性を確保 | Slurmコンポーネントをコンテナでデプロイ |
| 運用 | 人手による対応が中心 | サービスの自己修復、運用の自動化 | K8sがコンポーネントのデプロイと運用を担当 |
| リソース共有 | 通常は専用機 | ネットワークとストレージを統一的に抽象化 | 学習・推論・開発でリソースプールを共有 |
ギャングスケジューリングを標準搭載し、リソースのデッドロックを防止
Slurmクラスター以外にも、プラットフォーム上のその他の分散ワークロードはスケジューリングによって保護されます。AI-Stackはバッチスケジューリング機能を内蔵しており、デフォルトでギャングスケジューリングを採用しているため、すべてのPodの準備が整ってから一斉に起動し、デッドロックを防ぎます。また、必要に応じて集約配置ポリシーを有効にし、リソースの断片化を抑えることもできます。これにより、学習、推論、開発の各ワークロードが同じリソースプール内でそれぞれ適切にスケジューリングされ、Slurm on K8sによるリソース共有を実現します。
学習中断の自動復旧:ウォームスタンバイノードの自動置き換えで、分単位で学習を再開
ウォームスタンバイ(Warm Standby)とは、事前に準備を済ませて待機状態にある予備ノードのことで、障害発生時にそのまま置き換えられるため、リソースの確保や環境の再構築を待つ時間を省けます。AI-Stackの学習中断自動復旧機能はこの仕組みを採用し、次の3つのステップで前述の学習復旧に必要な3つの条件をカバーします。
- 障害検知:プラットフォームがAlertManagerを通じてGPUやデバイスの接続断をリアルタイムで検知し、自動復旧フローを起動します。
- 隔離と置き換え:プラットフォームが障害ノードを自動的に隔離し、リソースプールから待機中の正常なノードを起動してクラスターに追加します。
- Checkpointから学習を再開:新しいノードの初期化が完了すると、ジョブは直近に保存されたCheckpointから実行を再開します。
なお、ノード障害が発生した時点で、実行中のジョブは中断されます。自動復旧によって短縮されるのは、キューへの再登録、リソースの再申請、クラスターの再構築にかかる時間であり、ジョブへの影響を完全になくすものではありません。3つの手法の復旧パスの比較は、図2のとおりです。

ウォームスタンバイ方式には、主に2つのコストがあります。
- 待機ノードの確保が必要:これらのノードは通常時は学習に参加しないため、計算リソースの一部と引き換えに復旧スピードを得ることになります。確保する台数は、クラスター規模と障害による損失をもとに検討します。
- 保存間隔中の進捗は再計算が必要:自動復旧で短縮できるのは復旧時間であり、2回の保存の間に失われた進捗は減らせないため、保存戦略は引き続き重要です。
したがって、Checkpointと学習中断の自動復旧は組み合わせて活用する必要があります。前者は失う進捗の量を、後者は学習を再開するまでの速さを左右します。
AI-Stack Slurm on K8sの適用シナリオ:導入に最も適したチーム
すべてのAIチームにSlurm on K8sが必要なわけではありません。前述のスケジューリングアーキテクチャと障害復旧の仕組みを踏まえると、次の4つのシナリオで導入効果が最も大きくなります。
シナリオ1:Slurmユーザーを抱える学術研究機関・スパコンセンター
大学、研究機関、国の計算センターの研究者の多くはSlurmコマンドに習熟しており、大量のジョブスクリプトを蓄積しています。こうした組織では、ベアメタルのHPCクラスターをクラウドネイティブなアーキテクチャへ移行しつつ、ユーザーが新しいツールを学び直す負担は避けたいと考えています。Slurm on K8sなら、研究者は従来のジョブ投入方法をそのまま使い続けられ、運用はコンテナ化されたプラットフォームに任せられます。
シナリオ2:大規模言語モデルの事前学習・継続学習
LLMの事前学習、継続事前学習、大規模なファインチューニングでは、通常数十基以上のGPUを使い、数日から数週間にわたって連続実行します。学習フレームワークはあらかじめ統合されており、Checkpointと学習中断の自動復旧を組み合わせることで、長時間の学習中断による損失を効果的に抑えられます。
シナリオ3:複数チームでGPUを共有する企業のAI研究開発センター
半導体、製造、金融、医療などの業界の企業AI研究開発センターでは、マルチノード学習を必要とするのは一部のチームで、多くのチームは推論サービス、開発・テスト、小規模な学習に取り組んでいるケースがよく見られます。大規模学習のために専用クラスターを別途構築するよりも、SlurmクラスターをほかのAIワークロードと同じリソースプールで共有し、学習完了後はリソースを他の用途へ解放するほうが効率的です。
シナリオ4:学習中断のコストに非常に敏感なワークロード
GPUの時間あたりのコストが高く、ジョブの実行時間が長いほど、1回の中断による損失は大きくなります。GPU 1基の障害で数時間から数日分の進捗を失った経験があるチームにとって、Checkpointと学習中断の自動復旧を組み合わせる効果は最も直接的です。
対応ハードウェアとネットワーク:導入効果が最も大きい環境
GPUサーバー
- マルチGPUサーバー・マルチノード:典型的な構成は1台あたり8基のGPUを搭載したサーバー(例:8基構成のH200)を複数台組み合わせた学習クラスターです。ノード数が多いほど、スケジューリングと障害復旧の価値が高まります。
- 待機ノードの確保:学習中断の自動復旧機能を有効にする場合は、障害時の代替として一定数の待機ノードを計画しておく必要があります。
高速ネットワーク
マルチノード学習では各ステップで大量のデータをやり取りするため、ネットワークが学習効率を左右する重要な要素になることが少なくありません。
- InfiniBandまたはRoCE:ノード間にはInfiniBand、またはRDMAに対応したRoCEの高速ネットワークを推奨します。AI-Stackでは、クラスター作成時に高性能ネットワークを有効にできます。
- 実測値で判断:ネットワークの仕様と実際の性能は一致するとは限りません。クラスター構築後は、まずNCCL Benchmarkでノード間の通信帯域を実測し、基準を満たしていることを確認してから本番の学習を開始することをおすすめします。
ストレージ
- 共有ストレージ:Jail(Slurmのユーザー環境)、Checkpoint、学習データ、ワークスペースのマウント用に、GPFSやHDFSなどの共有ストレージの利用を推奨します。
- Checkpointの書き込み性能:大規模モデルのCheckpointは数百GB以上に達することもあり、ストレージの書き込み速度が保存頻度と学習効率に直接影響します。
| リソース | 推奨構成 | 重要な理由 |
| GPUノード | 複数台のマルチGPUサーバー(例:1台あたり8基)、NVIDIAまたはAMD | マルチノード学習の計算基盤 |
| 予備ノード | クラスター規模に応じて待機ノードを確保 | 学習中断自動復旧の代替リソース |
| ネットワーク | InfiniBandまたはRoCE | ノード間の通信効率を左右 |
| ストレージ | GPFS、HDFSなどの共有ストレージ | Jail環境、Checkpoint、学習データの共有 |
表2 Slurm on K8s導入時の推奨ハードウェア構成
まとめ:Slurm on K8s導入前に確認すべき5つのポイント
本記事でご紹介したアーキテクチャでは、Slurmがリソーススケジューリングを、Kubernetesが運用管理を担い、Checkpointと学習中断の自動復旧が連携して障害耐性を高めます。そのため、企業がマルチノード学習プラットフォームを評価する際は、「どのスケジューラーを選ぶべきか」を問うよりも、より根本的な問いを考えることが大切です。
現在のユーザーの利用習慣、GPUの規模、許容できる進捗の損失を踏まえて、どのようなスケジューリング・運用アーキテクチャが必要か。そして、障害復旧のためにどれだけのリソースを確保できるか。
アーキテクチャの導入や見直しの前に、まず次の5つの観点から現状を整理することをおすすめします。
- ユーザーの利用習慣:組織内にSlurmユーザーや既存のジョブスクリプトはあるか。これがSlurmを維持する価値を左右します。
- リソース共有:学習、推論、開発で同じGPUリソースプールを共有する必要があるか。それとも専用クラスターを維持するほうが適しているか。
- ネットワークの検証:マルチノード間のネットワークを、仕様書だけでなくNCCL Benchmarkなどのツールで実測しているか。
- 保存戦略:Checkpointの保存間隔とストレージ性能は、許容できる進捗の損失に見合っているか。Checkpointからの復旧を実際に試したことはあるか。
- 冗長化コスト:1回の障害でどれだけの損失が生じるか。待機ノードをどれだけ確保する価値があるか。
技術は進化を続け、クラスターも拡張され続けます。しかし、GPUが故障する可能性があり、リソースの配分が必要である限り、この5つの観点は定期的に見直す価値があります。
よくある質問(FAQ)
Q:Slurm on K8sとKubernetesを直接使う場合の違いは?
Kubernetesのデフォルトスケジューラーは、Podごとに1つずつノードを割り当てるため、分散学習ではリソースのデッドロックが発生する可能性があり、Slurmコマンドや既存のジョブスクリプトも使えません。Slurm on K8sでは、Slurmがジョブスケジューリングを担ってHPCユーザーが慣れ親しんだ操作方法を維持しつつ、Kubernetesがコンテナによるデプロイと運用を担います。
Q:ギャングスケジューリング(Gang Scheduling)とは?
ギャングスケジューリングは、同じジョブのすべてのPodをひとまとまりとして扱い、必要なリソースがすべてそろった時点で一斉に起動します。これにより、複数の分散ジョブがそれぞれGPUの一部を占有して互いに待ち合うデッドロックを防げます。KubernetesネイティブのGangスケジューリングはv1.37でBetaに入りましたが、デフォルトでは有効になっていません。
Q:分散学習でGPU障害が発生した場合、復旧にはどのくらいかかりますか?
Checkpointのみに頼る場合、障害後にジョブ全体を再度キューに並べて初期化し直す必要があり、数時間かかることが一般的です。AI-Stackの学習中断自動復旧を組み合わせれば、ウォームスタンバイノードで障害ノードを自動的に置き換え、復旧時間を分単位まで短縮できます。いずれの方法でも、直近の保存以降の進捗は再計算が必要です。
Q:Checkpointの保存頻度はどのように設定すべきですか?
最適な保存間隔は、Checkpointの書き込みコストと故障率によって決まります。保存が頻繁すぎると学習時間を圧迫し、間隔が長すぎると障害のたびに失う進捗が増えます。一般的には、ノード数が多く障害が頻繁なほど、保存間隔を短くする必要があります。
Q:AI-Stack Slurm on K8sの導入にはどのようなハードウェアが必要ですか?
推奨構成は、複数台のマルチGPUサーバー(NVIDIAまたはAMD)、InfiniBandまたはRoCEの高速ネットワーク、GPFSやHDFSなどの共有ストレージです。学習中断の自動復旧を有効にする場合は、代替用の待機ノードも別途確保する必要があります。