Skip to Content Facebook Feature Image

Supermicro 攜手 IBM 及 NVIDIA 推出 KV Cache 解決方案,展現顯著推論效能優勢

商業事

Supermicro 攜手 IBM 及 NVIDIA 推出 KV Cache 解決方案,展現顯著推論效能優勢
商業事

商業事

Supermicro 攜手 IBM 及 NVIDIA 推出 KV Cache 解決方案,展現顯著推論效能優勢

2026年11月05日 22:05 最後更新:11月06日 00:11

  • 這套 KV(鍵值)cache 解決方案整合 Supermicro Petascale 儲存伺服器、IBM Storage Scale 軟件、NVIDIA Dynamo 推論軟件及 NVIDIA Spectrum-X 乙太網絡交換器
  • 效能測試顯示,相較未使用 KV cache 的系統,這套解決方案可縮短長上下文視窗下的首個詞元生成時間(TTFT)
  • 客戶可透過提升 GPU 使用率、吞吐量及基建擴展能力,大幅改善推論效率

加州聖荷西2026年11月5日 /美通社/ -- Supermicro, Inc.(納斯達克股票代碼:SMCI)今日宣佈,攜手 IBM 及 NVIDIA 推出全新的 KV cache 儲存解決方案。Supermicro 是一家涵蓋 AI、企業級運算、儲存及 5G/邊緣領域的整體 IT 解決方案供應商,提供 Data Center Building Block Solutions®(DCBBS)。這套聯合解決方案整合了採用 AMD EPYC 9005 系列處理器(「Turin」)的 Supermicro Petascale 全快閃儲存伺服器、IBM Storage Scale 軟件,以及 NVIDIA Dynamo 推論框架軟件和 Spectrum-X 乙太網絡。

這些技術相結合,可大幅縮短 AI 模型開始生成回應所需的時間。隨著企業採用代理式及長上下文 AI 工作流程,這項優勢尤其重要。利用本地 GPU 記憶體以外的儲存空間擴展 KV cache 容量,可提升 GPU 使用率及推論吞吐量,同時支援 KV cache 內容的高可用性,並在不中斷服務的情況下擴展 KV cache 容量。由此構建的推論架構更易擴展、更具韌性,帶來更快捷、回應更靈敏的 AI 體驗。

Supermicro 總裁兼行政總裁 Charles Liang 表示:「隨著 AI 工作負載由訓練延伸至推論,企業及新型雲端服務供應商在部署代理式 AI,以及長上下文、多輪互動生成式 AI 所需的高吞吐量推論工作負載時,需要消除瓶頸,提升 GPU 效率。我們與 IBM 及 NVIDIA 聯合推出的解決方案,清楚展示了這些效能優勢。」

如欲觀看本新聞稿的影片摘要,請按此。

推論工作負載分為兩個階段:預填充及解碼。在預填充階段,輸入文字會轉換為詞元(token),再由大型語言模型(LLM)處理,生成推論所需的中間鍵值(KV)狀態。透過將這些已計算的 KV 狀態儲存於持久化 KV cache,系統可重用這些狀態,毋須為後續請求重新計算相同的上下文。代理式工作流程、編程助手、長上下文檢索增強生成(RAG)、多模態 AI 及多輪互動應用,在處理大型程式碼庫、文件、對話、圖像及其他上下文時,可能產生大量 KV 狀態,迅速超出 GPU 及 CPU 的記憶體容量,因此需要將 KV cache 轉存至大容量共用網絡儲存空間。

Supermicro、IBM 及 NVIDIA 的 KV cache 解決方案提供了這個持久化儲存層,有助提升推論效率、吞吐量及擴展能力,同時減少重複運算。

這套 KV cache 解決方案為客戶帶來的主要優勢包括:

  • 聯合方案驗證:Supermicro、IBM 及 NVIDIA 進行了廣泛的叢集層面測試,以評估效能,測試涵蓋高併發,以及其他工作負載造成網絡流量干擾的情境。
  • 顯著提升推論速度及效能一致性:Supermicro 與 NVIDIA 使用一個擁有 1,200 億個參數的大型語言模型進行聯合測試。結果顯示,當提示輸入長度為 130,000 個詞元時,持久化 KV cache 使首個詞元生成時間(TTFT)比未使用 cache 時快達 56 倍。[1] 當輸入長度由 30,000 個詞元增加至 130,000 個詞元時,使用 KV cache 的系統,其 TTFT 僅增加 0.377 秒,未使用 cache 的系統則增加 29.55 秒,讓長上下文工作負載的效能更為一致。
  • 提升 GPU 使用率及吞吐量:透過將經常重用的上下文保存在 GPU 記憶體以外,並維持可供使用的狀態,這套解決方案有助減少 GPU 閒置時間、提升推論吞吐量,並在毋須按相同比例增加 GPU 資源的情況下,支援更高併發量。
  • 企業級韌性及可信 AI 營運:持久化、高可用的 KV cache 有助保護已快取的推論狀態,同時支援 GPU 節點及叢集之間的共用存取,提升大規模 AI 服務的韌性及儲存效率。
  • 經驗證、可直接部署的 AI 基建:Supermicro、IBM 及 NVIDIA 在高併發及工作負載互相干擾的情境下,聯合驗證了這套整合架構。架構結合 NVIDIA Dynamo、IBM Storage Scale 軟件、Supermicro Petascale 伺服器及 NVIDIA Spectrum-X 網絡。
  • 加快部署服務:Supermicro 的廠內機架整合及現場部署服務,可將這套解決方案的部署時間由數星期縮短至數天。

IBM 儲存業務總經理 Sam Werner 表示:「企業需要從根本上改善 AI 推論的擴展方式。IBM、Supermicro 及 NVIDIA 正攜手提供高效能、具韌性的 KV cache 解決方案,協助客戶充分發揮 GPU 投資價值,讓儲存容量獨立於運算資源擴展,並大幅提升基建效率。這次合作是推動企業 AI 推論變得更易擴展、更可靠及更具成本效益的重要一步。」

NVIDIA AI 推論產品主管 Shruti Koparkar 表示:「代理式 AI 及長上下文應用,需要在多個步驟之間有效重用上下文。NVIDIA Dynamo 有助協調分散式推論,讓企業從每個 GPU 獲得更多可用吞吐量。透過將 NVIDIA Dynamo 及 Spectrum-X 乙太網絡,與 Supermicro Petascale 儲存伺服器及 IBM Storage Scale 結合,這套 KV cache 解決方案建立了高效能共用儲存層,可減少重複運算、縮短首個詞元生成時間,並協助客戶擴展具韌性的 AI 推論服務。」

如欲了解更多 Supermicro 及 IBM 解決方案資訊,請按此;如欲閱讀 IBM Redbook《Context without Limits: A High-Performance KV Cache Platform for Large-Scale AI Inference》,請按此。

關於 Super Micro Computer, Inc.
Supermicro(納斯達克股票代碼:SMCI)是全球應用程式最佳化整體 IT 解決方案的領導者。Supermicro 在美國加州聖荷西成立和營運,致力為企業、雲端、AI 及 5G Telco/Edge IT 基礎架構提供率先上市的創新。我們是全方位 IT 解決方案供應商,提供伺服器、AI、儲存、物聯網、交換系統、軟件和支援服務。Supermicro 的主機板、電源和機箱設計專業知識進一步增強我們的發展和生產,並為我們的全球客戶提供從雲端到邊緣的新一代創新。我們的產品均由公司內部(在美國、亞洲和荷蘭)設計和製造,並利用全球營運實現規模、效率和最佳化,從而改善 TCO 和降低對環境的影響(綠色運算)。屢獲殊榮的 Server Building Block Solutions® 產品組合,允許客戶從由我們靈活兼可重複使用的構建塊構建的廣泛系統系列中進行選擇,而為客戶的確切工作負載和應用進行最佳化。這些構建塊支援廣泛外形尺寸、處理器、記憶體、GPU、儲存、網絡、電源和冷卻解決方案(空調、自然風冷或液體冷卻)。

Supermicro、Server Building Block Solutions 和 We Keep IT Green,均為 Super Micro Computer, Inc. 的商標及/或註冊商標。

全部其他品牌、名稱和商標均為其各自擁有者的財產。

1測試結果詳見 IBM Redbook:https://www.redbooks.ibm.com/docs/MD260021/MD260021.html 

Supermicro 攜手 IBM 及 NVIDIA 推出 KV Cache 解決方案,展現顯著推論效能優勢

Supermicro 攜手 IBM 及 NVIDIA 推出 KV Cache 解決方案,展現顯著推論效能優勢

** 本新聞稿由 PR Newswire 通過自動發布系统提供,內容由客戶承擔全部責任。**

香港2026年11月12日 /美通社/ -- 「AI負責廣度與效率,人負責深度與決策。」11月2日,在香港舉行的2026香港金融科技周(Hong Kong FinTech Week 2026)× StartmeupHK圓桌論壇上,平方和投資創始合夥人、總經理呂傑勇這樣概括人機協同在量化投研中的實踐經驗。

平方和投資成立於2015年,專注量化投資策略,目前資產管理規模約600億元人民幣,在北京、上海、香港三地設有辦公室,並於2025年取得香港證監會第4類(就證券提供意見)、第9類(提供資產管理)受規管活動牌照。

呂傑勇的核心判斷是,AI大模型正在顯著提升量化投研的效率,但並沒有改變Alpha的產生方式。工具越普惠,同質化的部分越擁擠;真正稀缺的,是由數據積澱、實盤檢驗與風控紀律共同淬煉出的差異化能力。

這一輪AI不一樣

呂傑勇把AI的發展分為幾個階段。最早是規則與專家系統階段,以1997年Deep Blue在國際象棋上戰勝人類為代表;2016至2017年前後,AlphaGo掀起新一輪熱潮,量化投資成為AI嘗試落地的方向之一;2022年底ChatGPT問世、2023年形成大模型浪潮,今天狹義的AI,多指大模型。

「AI在量化投資領域並不新鮮,機器學習我們已經用了很多年。」呂傑勇說,「但這一輪確實有一些不一樣。」

不一樣在哪裡?他的判斷是,大模型第一次讓「能力」變得可以按需調用。此前一項研究能否推進,很大程度上取決於團隊有多少工程師、多少算力;現在算力的需求沒變,對工程師的能力要求發生了變化,機構的競爭重心從「能不能做」轉向「做什麼、判斷什麼」

工具平權,不等於Alpha平權

在呂傑勇看來,大模型帶來的平權體現在兩個維度。

一是工具的平權。過去做一個實驗,尤其是編程類實驗,搭建環境、寫代碼的門檻很高;有了AI編程工具之後,寫代碼、處理數據的門檻大幅下降。

二是知識的平權。任何一位教授或科學家,其個人知識儲備都無法與大模型相比,大模型掌握的知識是個人知識的超集。哪怕身處偏遠山區,只要能連上AI,就能接觸到世界上最前沿的知識。

但在量化投資上,平權並不成立。

「量化投資有很強的研究屬性,很像高校和科研機構裏的科研探索。」呂傑勇表示,「AI確實帶來了巨大的改變,但很多本質的東西,尤其是人類獨有的洞見與認知,是機器無法替代的。」

他用一句話概括平方和的選擇:人機協同,各補其短。

落到具體做法上,平方和把AI用在擴大研究覆蓋面、提高迭代頻率上;而判斷一個信號是否有效、是否該進入組合的關鍵決策,仍然留在人手裏。風控環節不讓AI做決定,Agent也不獨立執行交易。

呂傑勇認為,量化模型裏,無論工具多麼發達,唯有做出和別人不一樣的東西,才有可能獲得超額;如果做出來的都是別人做過的東西,通常很難盈利。如果AI讓每家機構都變得更聰明,Alpha確實會更稀缺,策略也會更擁擠,但擁擠的是同質化的那一部分。真正有差異的能力反而更難被替代。

從2010到2026:一條被市場驗證的量化投資發展路徑

回顧內地量化投資的發展,呂傑勇把起點定在2010年4月。滬深300股指期貨上市,衍生品與對沖工具出現,那一年被行業稱為「量化元年」。

在更早之前,內地投資以主觀策略為主,缺乏豐富的投資工具,組合基本只能與市場同漲同跌。量化投資帶來的第一次改變,是讓「對標寬基指數、爭取超額收益」成為一條可複製的路徑;疊加對沖之後,還有可能獲得與市場漲跌相關性更低的收益。

十六年間,一個新興策略成長為規模化行業。呂傑勇對行業過往發展作出了複盤,認為支撐這一過程的有四個條件:

第一是方向清晰。量化是從海外引入的投資模式,同時也是內地投資者真實需要的模式。它讓內地投資者有了更豐富的選擇:希望爭取超額收益的,有了對標指數的路徑;希望降低波動的,有了對沖之後與市場漲跌相關性更低的方式。一個從海外成熟市場帶回來的模式,恰好接住了內地市場長期未被滿足的需求,這個方向從一開始就是正確的。

第二是工程基礎扎實。量化投資是一個對工程要求很高的行業,數據、回測、交易系統,每一環都建立在工程能力上。內地教育體系培養了大批理工科人才,互聯網行業多年發展又打磨出一支成熟的工程師隊伍;這支隊伍進入量化領域後,過去的工程經驗幾乎可以無縫複用,行業的根基因此越做越扎實。

第三是市場與人才形成正迴圈。投資者能賺到錢,財富效應就會吸引人才;越來越多在國際一線機構曆練過的頂尖人才選擇回國,把方法、工程和視野帶回來,行業的智力底座越來越厚;整體水準提升上去之後,又能為投資者提供更好的服務。這個迴圈一旦流轉起來,行業的成長是自我強化的。

第四是監管包容審慎。相比海外成熟市場,量化投資在內地仍是一個新鮮事物,監管部門對它的認識準確、跟蹤緊密:既在規範層面逐步適配行業的發展,也為創新留出了空間。一個新興行業能在清晰的規則裏成長,走得反而更穩、更遠。

展望未來,行業發展仍存有多重不確定性。「雖然大家對內地經濟環境有不同判斷,但我個人還是非常樂觀的。」呂傑勇表示,「在相對良好的大環境下,這個正迴圈還能繼續。」

香港:出海的第一個支點

談到香港的角色,呂傑勇的表述很直接:香港背靠內地,是內地量化機構走向國際的橋頭堡。在他看來,香港的價值集中在三個方面:

首先是資金通路。香港具備成熟開放的跨境資本環境,歐美等全球機構資金可以經由香港完成對接,這是進入國際市場的第一站。

其次是人才。香港的金融人才與國際人才密度有明顯優勢。參與國際化競爭,人才是第一位的,香港在這方面的協同空間很大。

最後是政策與合規。平方和投資於2025年取得香港證監會第4類(就證券提供意見)、第9類(提供資產管理)牌照,這是在港開展資產管理業務的基礎。有清晰的合規框架和法律體系支撐,機構的國際化之路才能走得遠。

「我們希望以香港作為長期發展的國際化平臺。」呂傑勇展望道,平方和將依託香港的跨境資金對接環境、人才儲備和合規制度,把內地多年沉澱的量化投研能力,在差異化定位與本地化適配中轉化為長期競爭力,紮根香港,參與全球資管競爭。

平方和投資呂傑勇:AI讓工具平權,但不改變Alpha的來源

平方和投資呂傑勇:AI讓工具平權,但不改變Alpha的來源

** 本新聞稿由 PR Newswire 通過自動發布系统提供,內容由客戶承擔全部責任。**

你 或 有 興 趣 的 文 章