技術支援
AI-Stack 最新產品功能介紹與常見問題解答,全面了解產品特性與使用細節。
AI 訓練全面走向跨節點、大規模化,企業面臨資源排程、維運管理與 GPU 故障三大挑戰。本文解析產業趨勢與現有做法的侷限,說明 Slurm on K8s 架構,以及 INFINITIX AI-Stack 如何以訓練中斷自動恢復,將故障恢復時間縮短至分鐘級。
什麼是 LLM Benchmark? 「LLM benchmark」常見有兩種意思。能力評測 benchmark(例如 MMLU、HumanEval 等題庫)關心的是模型答得對不對,而不是在評估硬體效能;推論效能 benchmark則關心同一個模型部署在特定硬體與推論引擎後,回應速度有多快,以及可以同時服務多少使用者。本文討論的是後者,也就是大家真正想知道的事。
本篇文章將示範如何在 AI-Stack 上使用 RCS 功能搭配 vLLM 部署 google/gemma-3-1b-it 語言模型!
對於安全要求高的共享 AI 基礎架構,如何透過Network Policy 如何控制 Ingress / Egress來限制底層工作負載之間的網路連線?
數位無限將彈性分散式訓練無縫整合進 AI-Stack,支援 Horovod、DeepSpeed、Megatron-LM、Slurm 等主流框架,加速大規模 AI 模型訓練。本篇文章,我們會示範給大家看,如何在AI-Stack上使用Horovod來做彈性分佈式訓練!
不少開發者在使用 Kubeflow 時,仍碰上 GPU 資源無法切割的問題,這篇文章將手把手教大家,如何使用數位無限的 ixGPU 模組,做 Kubeflow GPU 切割。
Kubeflow 作為一個基於 Kubernetes 的開源機器學習平台,近年來在機器學習領域日益普及。數位無限的 ixGPU 模組可幫助開發者在 Kubeflow 上任意切割 GPU 資源
AI-Stack 是一個專為企業級 AI 應用打造的完整平台,提供高效開發環境、精確的資源管理,以及穩定的基礎設施。本文將深入剖析 AI-Stack架構,帶領您全面了解其核心功能和優勢。