在當前人工智慧發展迅速的環境下,企業在部署 AI 時往往面臨運算、散熱與資料傳輸等各種瓶頸。根據科技新報報導,全球高效能伺服器解決方案領導者神達控股股份有限公司子公司神雲科技(MiTAC Computing Technology),近期參與了 SC26 展會,並以「全棧基礎設施,擴展 AI 代理式應用」(Scaling Agentic AI. Built on Full-Stack Infrastructure)為主題,於第 4615 號攤位展出其全方位的 AI 基礎設施生態系。
掌握代理式 AI 浪潮的基礎設施關鍵
根據科技新報報導,隨著代理式 AI(Agentic AI)帶動推論工作負載呈現指數級暴增,擴展基礎設施所需的早已不僅是單純的 GPU 算力。神雲科技總經理黃承德指出,擴展代理式 AI 需要的是具備凝聚力的基礎設施,而非零散的系統。為此,神雲科技透過與 AMD、Canonical、DDN、Intel、NVIDIA 及 Rafay 等夥伴的戰略合作,提供具備高度擴充性的 AI 工廠(AI Factory)架構,完美結合高密度液冷、解耦推論(Disaggregated Inference)以及端到端(End-to-End)的資源調度管理。
開創解耦推論架構與軟體生態系整合
為了克服企業在運行超大型模型時的資源配置挑戰,根據科技新報報導,神雲科技與 Skymizer 攜手打造創新的推論架構。該架構將高度消耗算力的「Prefill」(預填)階段交由 GPU 處理,並將高度消耗記憶體的「Decode」(解碼)階段分配給 Skymizer 的 HTX301 加速卡:
- Prefill 階段:採用 8U 氣冷規格的 MiTAC G8825Z5,搭載 AMD EPYC 9575F 或 9755 處理器與 AMD Instinct MI350X GPU,專責處理 Prefill 運算,並透過高速網路將產生的 Key-Value(KV) Cache 傳輸至 Decode 伺服器。
- Decode 階段:採用 4U 氣冷規格的 MiTAC G4520G6,搭載 Intel Xeon 6 處理器,並配置 8 張 Skymizer HTX301-4S 加速卡,提供高達 2 TB 的聚合加速器記憶體空間,能在地端環境運行如 Kimi K3 等超大型模型。
在軟體生態系方面,神雲科技整合了 Canonical Ubuntu 提供作業系統層認證、DDN Infinia 解決方案確保海量資料流的超低 I/O 遲延,並與 Rafay 合作賦能動態的 GPU 即服務(GPUaaS)調度能力。同時,搭配神雲自主研發、具備深度遙測與監控數據的 MiCoreView 軟體,為整個資料中心帶來統一的視覺化監控能力。
機櫃級創新與多元伺服器平台展示
根據科技新報報導,神雲科技在展會現場同步展出多款機櫃級創新產品與全面的伺服器平台:
- Helion 代理式 AI 機櫃:與 AMD 合作開發的 ORv3 44OU Helion 解決方案,未來將能在開源軟體堆疊中擴展至高達 32,768 個 AMD Zen 6 CPU 核心。
- 52U 高密度 AI 液冷機櫃:整合 12 台 MiTAC G4826Z5 伺服器與 96 顆 AMD Instinct MI355X GPU,GPU 密度較傳統部署方式高出 50%。
- 先進液冷機櫃:與 ZutaCore 合作展示無水兩相直接液冷(Waterless Two-Phase DLC)技術概念驗證,支援超過 4,000W 的熱設計功耗(TDP)。
- 高效能儲存機櫃:搭載 DDN Infinia 智能 AI 資料平台,採用 7 台 1U 規格的 GC68C-B8056 儲存伺服器,提供超高吞吐量與低延遲效能。
此外,神雲科技也展出多款伺服器平台,包含模組化企業級 AI 伺服器 G4827Z6、緊湊型 2U 邊緣 GPU 伺服器 G2610Z6、雙插槽平台 TN85-B8261、1U 管理伺服器 R1917GC、1U 雲原生伺服器 R1610Z6、2U2N 多節點伺服器 M2810Z6,以及專為 OCP ORv3 機櫃設計的液冷多節點伺服器 C2611Z6,滿足企業客製化的部署需求。
參觀資訊與後續關注
對於關注全球高效能運算與 AI 基礎設施發展的讀者與業界人士,根據科技新報報導,SC26 展會於 11 月 17 日至 19 日在美國芝加哥 McCormick Place 會展中心舉行,神雲科技的攤位編號為第 4615 號。有意進一步了解全棧 AI 基礎設施、解耦推論架構或機櫃級液冷技術應用的讀者,建議後續可透過神雲科技官方發布的最新公告,追蹤這些創新解決方案在企業實際落地與推論工作負載上的最新應用進展。
參考資料
- 科技新報:神雲科技於 SC26 展出全棧基礎設施,擴展代理式 AI 應用(2026-11-17)
本文由全球展會報編輯部使用 AI 工具整理上列公開資料寫成,實際情況請以官方最新資訊為準。如發現錯誤,歡迎依更正政策回報。