Skip to Content Facebook Feature Image

新研究質疑以 GPU 使用率衡量推論基礎設施效能

商業事

新研究質疑以 GPU 使用率衡量推論基礎設施效能
商業事

商業事

新研究質疑以 GPU 使用率衡量推論基礎設施效能

2026年11月17日 06:00 最後更新:08:41

NAND Research 最新報告強調,GPU 繁忙程度不能準確反映有效產出,並提出全新的「推論經濟效益評分卡」,按實際完成的有效工作量衡量推論基礎設施。這套框架已應用於與 Nebius 合作進行、採用 NVIDIA HGX B300 GPU 及 WEKA NeuralMesh 的八小時基準測試。

芝加哥 2026年11月17日 /美通社/ -- 在 Supercomputing 2026 大會上,AI 數據及記憶體基礎設施公司 WEKA 聯同市場情報公司 NAND Research,今日推出「推論經濟效益評分卡」。這套全新通用框架按實際完成的有效工作量,衡量推論基礎設施的生產力及經濟價值,而非單看 GPU 有多繁忙。評分卡訂出九項指標,包括每瓦特的詞元產出、每次推論成本及上下文保留能力。評分卡亦訂立四項測試規則,包括每次運行至少八小時,以及只計算成功產出。這套框架已應用於與 AI 雲端服務公司 Nebius 合作進行的基準測試。與此同時,推論正佔據愈來愈大比例的 AI 基礎設施開支,而買家亦面對電力、記憶體及機架空間的限制。

新研究發現:買家已開始以不同方式看待推論 S&P Global 旗下 451 Research 的最新研究顯示,機構已開始作出調整。研究預計,推論佔 AI 基礎設施開支的比例,將由 2026 年的 34% 增至 2030 年的 46%;研究亦發現,在執行推論的機構中,41% 會為推論採購與其餘 IT 架構截然不同的基礎設施。

S&P Global 旗下 451 Research 高級分析師 Greg Macatee 表示:「AI 的價值最終透過推論實現,而我們的研究顯示,推論正重塑機構採購基礎設施的方式。AI 代理正帶動詞元數量呈指數級增長;記憶體、電力及供應方面的限制,令機構難以單靠增添 GPU 來追上需求。」

為何 GPU 使用率不足以衡量推論效能

多年來,訓練一直是主要的 AI 工作負載。訓練透過大型、可預測的運算任務,讓 GPU 持續忙碌,因此 GPU 使用率成為衡量 AI 基礎設施生產力的常用指標。推論,尤其是代理式推論,對 GPU 的要求卻截然不同。AI 代理並非只回應一個提示,而是透過多個步驟完成任務,並在每一步重新讀取先前建立的上下文。當 GPU 為其他用戶及工作階段騰出空間,而將這些上下文從記憶體移除後,便必須在任務恢復執行時重新計算。在這項工作完成之前,任務無法繼續推進。結果是 GPU 雖然滿負荷運作,卻因多次重算相同詞元而浪費運算週期,未能帶來有效產出。

推論經濟效益評分卡以生產環境規模衡量推論系統:觀察系統在大量用戶同時使用的情況下,持續數小時而非數分鐘所完成的請求。

WEKA 聯合創辦人兼行政總裁 Liran Zvibel 表示:「業界一直沿用訓練時代的成績表來評核推論。GPU 使用率只能告訴你晶片很繁忙。它卻無法說明工作究竟已經完成、被重複執行,還是最終遭到捨棄。對 AI 代理而言,大量工作其實都在重複進行。如今,電力、供應及機架空間與資金一樣,都是限制因素。推論基礎設施需要新的衡量方式:在符合用戶預期回應時間的前提下,每瓦特、每個機架及每美元能產生多少有效工作量。推論經濟效益評分卡將這套衡量方式具體化,而 WEKA 亦會與其他供應商一樣,接受同一標準的評核。」

從繁忙到高效:評分卡如何運作 推論經濟效益評分卡訂出九項推論效能及經濟效益指標:每瓦特的詞元產出、每個機架的詞元產出、每次推論成本、GPU 有效吞吐量、首個詞元回應時間及端到端延遲、記憶體使用效率、運作密度、AI 代理並行數,以及上下文保留能力。評分卡亦為各項指標訂立測試規範:

  • 所有受測系統採用相同工作負載及服務目標
  • 衡量整個推論服務堆疊
  • 每次測試運行至少八小時
  • 僅將成功產出計入成果

NAND Research 首席分析師兼創辦人 Steve McDowell 表示:「現時 AI 基礎設施最昂貴的錯誤,就是按峰值吞吐量採購,卻為重複工作付費。AI 代理工作負載令這個問題更容易被忽略,因為長時間任務的每一步,都會重新讀取上下文,而繁忙的 GPU 可能需要從頭重建這些上下文。我們設計這張評分卡,讓買家能以相同標準評核任何系統:以數小時為單位衡量已完成的工作,並記錄每次失敗。Nebius 的基準測試展示了這套規範能揭示甚麼,因為測試完整運行了八小時,並將每宗失敗或逾時的請求納入統計。」

實際驗證:真實 AI 代理負載,持續運行八小時 WEKA 與 Nebius 最近在 NVIDIA HGX B300 系統上進行聯合基準測試,採用評分卡的測試規則,並公佈多項指標的結果。測試使用一個配備八個 GPU 的節點,運行 DeepSeek-V4-Pro,為 512 個活躍工作階段提供服務。這些工作階段選自一個包含逾 5,000 個真實 AI 代理編程工作階段的資料集。每種配置均持續運行八小時,並將每宗失敗或逾時請求納入統計。

採用配備 Augmented Memory Grid 的 WEKA NeuralMesh 後,系統將叢集內的 NVMe 資源匯集成共享上下文儲存層。與同一批 GPU 僅使用高頻寬記憶體(HBM)提供服務相比,該節點每個 GPU 每小時的輸出詞元數達到 3.7 倍。在成功完成的請求中,97% 能在五秒內收到首個詞元,高於僅使用 HBM 時的 44%。僅使用 HBM 提供服務時,60% 的預填充運算,是重新計算叢集在同一工作階段中先前已處理過的上下文;採用 Augmented Memory Grid 後,這個比例降至 6.8%。按實測速率計算,僅使用 HBM 的節點約需 30 小時,才能達到 Augmented Memory Grid 在八小時內完成的產出。完整基準測試已刊載於 weka.io 及 nebius.com 的網誌。

Nebius 產品副總裁 Narek Tatevosyan 表示:「峰值吞吐量展示的是系統在幾分鐘內能做到甚麼,但我們的客戶會讓 AI 代理運行數小時、數天,甚至更長時間,因此真正重要的是持續完成有效工作。在完整工作時段內,隨著上下文被移出記憶體,以及逾時請求增加,僅使用 HBM 的配置表現逐漸落後;WEKA NeuralMesh 則在整個測試期間維持穩定的首個詞元回應時間。這改變了我們規劃容量的方式:我們按一個工作天內能完成的工作量配置資源,而非基準測試的峰值。推論經濟效益評分卡讓我們能以共同的衡量方式,向客戶展示這個數字。」

「代理式推論是塑造 AI 工廠的關鍵工作負載,對記憶體及上下文提出極高要求。在大規模運作下,問題已不再是 GPU 能容納多少上下文,而是在無需重新運算的情況下,能於整個叢集內將上下文容量擴展至多大規模。」NVIDIA 儲存技術副總裁 Jason Hardy 表示。「WEKA 及 Nebius 在 NVIDIA HGX B300 系統上的測試結果,展示了共用上下文層如何提升持續吞吐量及回應速度。隨著推論規模不斷擴大,採購者將需要更清晰的方法,根據各系統實際完成的工作量作比較。」

以可重現為設計原則:開放執行軌跡及工具 基準測試所用的執行軌跡及工具均已開源,任何人都可在自己的系統上運行相同工作負載,並在同等條件下比較結果。這些執行軌跡來自真實 AI 代理編程工作階段,而非合成負載,涵蓋實際工作中多變的時序及複雜度,為各團隊提供貼近實際生產情況的測試負載。其他機構亦已開始在此基礎上開發工具:SemiAnalysis 的 AgentX 基準測試以這些執行軌跡為基礎,而 NVIDIA AIPerf 基準測試工具亦提供相應的資料載入工具。

SemiAnalysis 創辦人兼行政總裁 Dylan Patel 表示:「代理式推論基準測試必須反映真實生產流量,包括長時間運行的 AI 代理、不斷增長的上下文、包含子代理的複雜多代理工作流程,以及實際部署中常見的突發、難以預測的流量模式。能達到這個標準的基準測試寥寥可數,而我們建立 AgentX,正是為了填補這個缺口。這亦是 AgentX 採用 WEKA 開放的 kvlab 執行軌跡格式,基於真實 AI 代理軌跡運行的原因,讓任何人都能重播相同的多輪工作流程,並在同等條件下比較結果。隨著 AI 代理成為主要推論工作負載,這種可重現的測量方式,將讓業界不再局限於峰值數字,而能看清基礎設施可持續維持的表現。」

SemiAnalysis 計劃隨著測試進展,分享 WEKA NeuralMesh 上的 AgentX 測試結果。如欲了解更多資訊,請瀏覽 https://inferencex.semianalysis.com/agentx。

更多資源

  • 推論經濟效益評分卡及 NAND Research 配套報告可於此處查閱。
  • 按此免費下載 S&P Global 旗下 451 Research 的報告《From inference to agentic AI》。
  • 閱讀 WEKA 行政總裁 Liran Zvibel 的網誌文章。 
  • 如欲了解資料擷取工具背後的工程設計,以及各項測量指標的定義,請按此瀏覽。
  • 歡迎於 11 月 16 至 20 日蒞臨芝加哥 SC26 大會的 WEKA 2519 號展位,進一步了解如何將推論經濟效益評分卡應用於您的推論工作負載。

關於 WEKA
WEKA 是一家 AI 數據及記憶體基礎設施公司,致力改變代理式 AI 的經濟效益。WEKA NeuralMesh 平台將高效能數據儲存與擴展 GPU 記憶體整合,為企業、AI 雲端服務供應商及 AI 開發者提供統一基礎,支援訓練、推論及 AI 代理工作負載。透過 Augmented Memory Grid,NeuralMesh 可將 GPU 記憶體容量擴展至原來的 1,000 倍,將首個詞元回應速度提升至最高 20 倍,並在相同 GPU 資源規模下,服務原來 10 倍的並行用戶。上述表現已在生產環境基準測試中得到驗證。WEKA 協助機構更快擴展生產環境中的 AI 規模,讓每個 GPU 完成更多有效工作,並降低每個輸出詞元的成本。如欲了解更多,請瀏覽 www.weka.io 或追蹤我們的 LinkedIn 和 X。

WEKA 及 WEKA 標誌為註冊商標,WEKA NeuralMesh 及 Augmented Memory Grid 為 WekaIO, Inc. 的商標。本文提及的其他商標均屬其各自擁有人所有。

** 本新聞稿由 PR Newswire 通過自動發布系统提供,內容由客戶承擔全部責任。**

芝加哥2026年11月17日 /美通社/ -- 全球高效能伺服器解決方案領導者神達控股股份有限公司(股票代號:3706)子公司神雲科技(MiTAC Computing Technology Corp.),今日於 SC26 展會中揭曉其全方位的 AI 基礎設施生態系。神雲科技位於第 4615 號攤位,以「全棧基礎設施,擴展AI代理式應用(Scaling Agentic AI. Built on Full-Stack Infrastructure)」為主題,展示全棧創新技術如何克服企業部署 AI 時所面臨的運算、散熱與資料傳輸瓶頸。隨著代理式 AI 帶動推論工作負載呈指數級暴增,擴展基礎設施所需的已不僅是單純的 GPU 算力。透過與 AMD、Canonical、DDN、Intel、NVIDIA 及 Rafay 等夥伴的戰略合作,神雲科技提供具備高度擴充性的 AI 工廠(AI Factory)架構,完美結合高密度液冷、解耦推論(Disaggregated Inference)以及端到端(End-to-End)的資源調度管理。

「擴展代理式 AI 需要的是具備凝聚力的基礎設施,而非零散的系統,」神雲科技總經理黃承德(Rick Hwang)表示。「神雲科技提供全棧基礎設施解方,實現永續發展的 AI 工廠。」

開創解耦 AI 推論引擎 (Disaggregated AI Inference Engine)

神雲科技與 Skymizer 攜手合作,共同打造一款創新的推論架構。該架構將高度消耗算力的「Prefill(預填)」階段交由 GPU 處理,並將高度消耗記憶體的「Decode(解碼)」階段分配給 Skymizer 的 HTX301 加速卡。此一架構旨在讓企業能針對不同階段的工作負載進行精準的資源配置,同時確保模型推論能維持在地端(On-premises)運行。

此提案配置結合了兩大伺服器平台:

  • Prefill 階段: 採用 8U 氣冷規格的 MiTAC G8825Z5,搭載 AMD EPYC™ 9575F 或 9755 處理器與 AMD Instinct™ MI350X GPU,專責處理 Prefill 運算,並透過高速網路將產生的 Key-Value (KV) Cache 傳輸至 Decode 伺服器。
  • Decode 階段: 採用 4U 氣冷規格的 MiTAC G4520G6,搭載 Intel® Xeon® 6 處理器,並配置 8 張 Skymizer HTX301-4S 加速卡。每張卡具備 256 GB 記憶體,透過 8 組 PCIe 插槽提供高達 2 TB 的聚合加速器記憶體空間。

透過上述協作,MiTAC G4520G6 Decode 伺服器旨在於地端環境運行如 Kimi K3(具備 2.8 兆參數的大型語言模型)這類超大型模型,進而驅動複雜且具備深度推理(Deep-reasoning)能力的代理式 AI 工作負載。歡迎造訪活動專頁以了解更多資訊。

統籌全棧軟體生態系

具備擴充性的 AI 工廠需要極具凝聚力的軟體生態系。在基礎安全性方面,Canonical Ubuntu 提供經過認證的作業系統層,確保無縫部署與企業級的穩定度。整合 DDN Infinia 解決方案,確保海量資料流能以超低 I/O 延遲進行處理,避免加速器陷入無資料可算的閒置窘境。在此基礎上,神雲與 Rafay 合作,賦能企業具備動態的 GPU 即服務(GPUaaS)調度能力,在分散式工作負載中高效分配 GPU 資源,消除閒置算力並將投資報酬率(ROI)最大化。而將整個生態系緊密結合的,是神雲科技自主研發的 MiCoreView™ 軟體,這是一款全方位的 POD 管理解決方案,可提供深度的遙測與監控數據(Telemetry),並為整個資料中心帶來統一的視覺化監控能力。

透過機櫃級創新展示多元化 AI 基礎設施

奠基於 AMD 董事長暨執行長蘇姿丰博士(Dr. Lisa Su)上個月在 OCP 全球高峰會上宣布的願景,神雲科技正與 AMD 合作開發 Helion 代理式 AI 機櫃(Helion Agentic AI Rack)。這款專為次世代機櫃級代理式架構打造、即將推出的 ORv3 44OU Helion 解決方案,將能在開源軟體堆疊中擴展至高達 32,768 個 AMD Zen 6 CPU 核心,賦能超大規模(Hyperscale)資料中心與企業環境智能地分配複雜工作負載,並將每瓦Agent運算效率(Agents-per-watt efficiency)推向極致。

在 SC26 展會現場,神雲科技亦同步展示三款專為現代工作負載打造的機櫃級創新產品:

  • 52U 高密度 AI 液冷機櫃: 整合 12 台 MiTAC G4826Z5 伺服器與 96 顆 AMD Instinct™ MI355X GPU,此解決方案的 GPU 密度較傳統部署方式高出 50%。
  • 先進液冷機櫃: 神雲科技與 ZutaCore 合作展示了一項概念驗證(PoC),將 G4826Z5 伺服器導入無水兩相直接液冷(Waterless Two-Phase DLC)技術。利用冷卻液在晶片表面直接氣化的特性,可支援超過 4,000W 的熱設計功耗(TDP)與大於 250W/cm² 的熱通量(Heat flux),實現低至 1.03 的年化部分電源使用效率(pPUE)。
  • 高效能儲存機櫃: 專為在無 I/O 瓶頸下供應 Agentic AI 資料所設計,神雲科技的儲存機櫃搭載 DDN Infinia 智能 AI 資料平台,採用 7 台 1U 規格的 GC68C-B8056 儲存伺服器,能為連續不斷的資料流提供超高吞吐量與低延遲效能。

以全面的伺服器平台擴充基礎設施

除了機櫃級架構外,神雲科技亦提供全面的伺服器平台,滿足企業客製化的部署需求:

AI 伺服器

  • G4827Z6: 4U 模組化企業級 AI 伺服器,採用 NVIDIA MGX 架構與 AMD EPYC™ 9006 SP7 處理器。可完美搭配 NVIDIA RTX PRO 4500 與 6000 Blackwell Server Edition GPU,因應多元的推論工作負載。
  • G2610Z6: 緊湊型 2U 邊緣 GPU 伺服器,搭載 AMD EPYC™ 9006 SP8 處理器。能與 NVIDIA RTX PRO 4500 及 6000 Blackwell Server Edition GPU 無縫整合,將強大的 AI 算力推向邊緣端。
  • TN85-B8261: 雙插槽平台,支援 AMD Instinct™ MI350P PCIe 加速卡,能為特定應用提供極致高效的 AI 加速。

企業級伺服器

  • R1917GC: 作為邊緣資料中心的調度大腦,這款 1U 管理伺服器無須內建 GPU,即能透過 NVIDIA Vera 與 NVIDIA Grace CPU 來協調複雜的叢集運算。
  • R1610Z6: 在高密度的 1U 機箱內搭載 AMD EPYC™ 9006 SP8 處理器,為雲原生(Cloud-native)工作負載提供毫不妥協的單插槽效能。

多節點伺服器

  • M2810Z6: 2U2N 多節點伺服器,搭載 AMD EPYC™ 9006 SP7 處理器,專為軟體定義超融合基礎設施(HCI)最佳化運算密度。
  • C2611Z6: 專為 OCP ORv3 機櫃設計的液冷多節點伺服器,搭載 AMD EPYC™ 9006 SP8 處理器。在小巧的 2OU 尺寸中整合了四個運算節點,每節點支援 16 組 DDR5-8000 RDIMM 插槽與 OCP 3.0 擴充,是高密度液冷基礎設施的理想選擇。

歡迎與會者於 11 月 17 日至 19 日期間,蒞臨美國芝加哥 McCormick Place 會展中心第 4615 號神雲科技攤位參觀。 了解更多:

關於神雲科技(MiTAC Computing Technology Corp.)

神雲科技股份有限公司(MiTAC Computing Technology Corp.)為神達控股集團(MiTAC Holdings)旗下子公司,憑藉自 1990 年代以來的深厚產業經驗,提供多元、節能高效的伺服器解決方案。專注於人工智慧(AI)、高效能運算(HPC)、雲端運算及邊緣計算,神雲科技採用嚴謹的方法,確保不僅在單機(Barebone)層級,更重要的是在系統與機櫃層級,皆能達到無與倫比的品質,充分發揮卓越效能與系統整合。這項對品質的承諾,使神雲科技在業界獨樹一幟。神雲科技為超大規模數據中心、HPC 及 AI 應用,提供量身打造的解決方案,確保最佳效能與高擴展性。

神雲科技擁有全球布局與端到端的服務能力,涵蓋研發、製造到全球技術支援,提供靈活且高品質的解決方案,以滿足企業的多元化需求。憑藉 AI 及液冷技術的最新發展,以及 Intel DSG 與 TYAN 伺服器產品的整合,神雲科技致力於打造兼具創新、效率與可靠性的伺服器技術與產品,助力企業迎接未來挑戰。

官方網站:https://www.mitaccomputing.com/

AMD、AMD 商標、EPYC™、AMD Instinct™ 及其組合,均為 Advanced Micro Devices, Inc. 的商標。

神雲科技於 SC26 展出全棧基礎設施,擴展代理式 AI應用

神雲科技於 SC26 展出全棧基礎設施,擴展代理式 AI應用

** 本新聞稿由 PR Newswire 通過自動發布系统提供,內容由客戶承擔全部責任。**

你 或 有 興 趣 的 文 章