業務挑戰
隨著金融科技快速發展，金融業面臨數據處理複雜性、通用語言模型（LLM）知識局限、市場快速變化及基礎設施挑戰。財務報表、即時分析、風險評估和市場資訊的多樣性對技術方案提出更高要求，而通用LLM在金融專業術語及高精度任務（如風險管理、市場預測）上表現不足。同時，市場變化迅速，模型需頻繁更新以維持準確性，且從邊緣設備到數據中心的計算需求亦帶來負載均衡和大規模運算的挑戰。
金融領域具備高複雜性與專業性，以下為智慧金融近幾年的挑戰：
- 多樣且複雜的金融數據處理：包括財務報表、即時數據判讀分析、風險評估，以及動態市場資訊等，由於動態市場資訊具覆蓋性，更需客製化系統進行調整。
- 通用大型語言模型（LLM）知識不足：通用模型無法準確理解金融專有術語與複雜的財務概念，導致在高精度需求任務上的性能不足，如風險管理、客群分析及經濟層面預測。
- 知識更新頻率不足：金融市場快速變化，AI模型需不斷更新以保持準確性。
- 技術基礎設施挑戰：從邊緣設備到數據中心的計算需求，包括模型負載均衡和大規模並行計算。
方案簡介
為應對這些挑戰，智慧金融AI解決方案與數位無限AI-Stack技術結合，提供了一套全面的技術框架。解決方案包含以下關鍵特點：
- AI模型優化與快速部署：
- 利用AI-Stack的GPU切割與多片聚合技術，實現高效模型訓練與推理。
- AI-Stack的分散式訓練技術可顯著縮短金融AI模型的訓練時間。
- 模組化應用支持：
- 結合金融專業術語資料庫進行訓練及學習，並能針對特定場景進行微調（如信用評估、理財建議、風險預測）。
- LLM技術層支持分層代理（AI Agent）與多媒體處理（語音、圖像、文本）。
- 智能資源管理：
- 利用AI-Stack進行GPU資源調度，達到GPU利用率90%，減少30%至10%的資源浪費。
- 整合多雲資源管理和MLOps，支持開發環境快速部署。
- 結合企業應用場景通過知識庫（Knowledge Base）和AI Gateway實現對內（HR、風控）及對外（保險、理財等）應用。
- 技術基礎設施：
方案價值
- 快速落地應用：縮短AI開發環境建置時間，由2週縮至1分鐘，提升部署效率；支持多樣化場景容器與鏡像的快速適配，加速AI模型訓練與推論。
- 高效資源利用：透過獨特GPU切割技術，提升投資效益達10倍，也能整合跨品牌GPU高效計算資源，實現穩定的大規模部署與高性能運行。
- 專業性能提升：因應企業需求所提供的金融模型將有更準確的風控、資料庫分析以及加強對未來市場的預測能力。
- 運維簡化：利用AI-Stack的平台整合能力，減少維運負擔，使本身團隊專注於模型開發與應用，模型也將持續更新，以應對金融市場的快速變化。
金融AI開發管理解決方案架構表
| 架構層 | 說明 | 舉例 |
| 應用層 | 金融特定應用層，覆蓋多場景金融應用，及AI管理模型負載平衡，API串接與流量管理及監控日誌。 | 投資模型建議、風控、信用評估、授信、資產管理、支付與結算、保險科技、區塊鏈、數字金融、企業金融、行為金融分析、智能貸款管理、教育與培訓、合規與反洗錢 |
| 技術層 | AI-Stack平台 模型訓練自動化排程及部屬應用 | 自然語言處理（NLP）、語音或語意辨識、圖像與信號處理技術、金融大數據、深度學習、時間序列分析與預測模型、多模態學習、知識圖譜（Knowledge Graphs）、強化學習（Reinforcement Learning）、隱私計算技術、邊緣計算與低延遲AI |
| 開發層 | AI-Stack平台 為開發者提供開發工具和AI人工智慧生態系統資源，簡化軟體開發流程協作，兼容多款鏡像與開發容器環境。 | 開源軟體(Open source software)、大語言模型(LLM)、AI生態系、模型微調、多模態處理、RAG檔案檢索 |
| 基礎設施 | AI-Stack 平台GPU管理控制與算力調度，及HPC分散式運算調度技術，支持多節點運行高效能訓練；提供資源監控、權限管理等功能。 | 銀行系統、智能設備、銀行數據庫、地端伺服器、AI晶片、GPU |
