Meta夥Panmnesia提CXL數據中心架構 整個數據中心如單一晶片運作

無晶圓半導體公司Panmnesia與全球超大規模數據中心營運商Meta，共同提出下一代人工智能數據中心架構，令整個數據中心能像單一晶片般運作。這項研究以特邀評論形式，刊登於自然出版集團旗下期刊《自然評論：電機工程》（NREE）。

人工智能運算單位正由單一晶片轉向整個數據中心。

Meta與Panmnesia在《自然評論：電機工程》中介紹的CXL單晶片式數據中心架構，展示將整個數據中心視為單一晶片運作的理念。 AP圖片

隨着人工智能模型發展至數萬億參數規模，單次訓練步驟可能涉及數百至數千個加速器，交換數TB數據。由於整體進度取決於最慢的參與者，增加加速器雖可提升運算能力，但亦令系統容易因瓶頸延遲而導致頻繁延誤及故障。當一個組件反應遲緩，其餘組件便會停下等候，而延遲範圍愈廣，便愈難預測工作何時完成。

收窄延遲範圍，從而建立更大、更穩定的運算單位，是業界的共同挑戰。在機架內部，裝置已透過專用高速連結緊密耦合。下一個挑戰在於機架以外的連接，即機架之間的連接。現時，該部分主要依賴以太網或InfiniBand等通用網絡，每個請求必須經過網絡介面及基於軟件的協調層，兩者均會擴大傳輸過程中的延遲範圍。這次研究旨在為這種跨機架連接帶來更高可預測性。

他們的基礎是開放行業標準CXL（運算快速連結）。CXL由半導體及基礎設施公司共同開發，因此可在整個行業採用，而不會受限於單一供應商的生態系統。Panmnesia與Meta提出的架構利用CXL，盡量減少機架以外的延遲變動。目標是令數據中心能像單一晶片般，具備可預測性。

CXL架構的核心：三個硬件元素及分層部署

建議的架構將中央處理器、加速器及記憶體置於單一CXL域內，將快取一致性維持範圍由機架內部擴展至整個數據中心。三個硬件元素，包括高扇出無阻塞交換器、連結加速單元（LAU）及結構控制器，可限制延遲變動。資源本身的佈局，亦採用與晶片內部區塊放置相同的原則。為克服電氣訊號的物理傳輸距離限制，該評論亦闡述光學連結（CXL光學傳輸）如何擴展CXL結構的傳輸範圍。

為評估該架構的效果，該評論以傳統機架規模配置，即一個中央處理器連接兩個加速器，作為參考點。相較於該基準，單一中央處理器協調的加速器數量增加八倍，由兩個增至16個。作為單一單元運作的一致性域，則可擴展至多達960個加速器，約為參考平台的13倍。過往需離開機架經網絡傳輸的存取，現時可循固定路徑進行，來回延遲由微秒級降至數百納秒，低一個數量級。故障後替換單位亦由整部伺服器縮小至單一裝置。將此規模的裝置耦合為一個運算環境，將可不間斷地訓練規模更大的單一人工智能模型，或在共享基礎設施上同時運行多項服務，而不會互相阻礙。

《自然評論：電機工程》的評論文章僅限受邀發表：該期刊會識別特定領域的少數領先研究人員或機構，並委託他們撰寫。自然出版集團選擇Panmnesia作為CXL數據中心架構文章的作者，反映其技術獲認可為該領域的代表。Panmnesia是全球首家主導《自然評論：電機工程》評論文章的半導體初創企業，而該文章亦是該期刊首篇探討CXL技術及人工智能數據中心架構的評論。

Panmnesia行政總裁鄭明洙表示，隨着人工智能系統持續擴展，快速高效地連接大量加速器及記憶體裝置的能力，正變得與個別加速器的性能同樣重要。這次研究為下一代人工智能基礎設施勾勒出方向，CXL將令整個數據中心能作為單一運算系統運作。

Panmnesia已將該架構的核心組件實現在晶片上，並完成驗證，現正準備將其投入商業供應。

（美聯社）

語音平台「顧華」（Guava）今日宣布，其生產語音代理現已透過CarrierX的電訊網絡，提供AMR-WB 16千赫寬頻音訊服務。這次合作旨在為醫療保健、金融服務、保險及其他受規管行業的企業提供服務。

語音通話必須在嚴格的延遲預算內運作。當人工智能代理回應過慢時，來電者可能會插話、重複自己或掛斷電話。通話音訊通常會經過多個網絡中介，才能到達人工智能系統，而每個跳轉都會增加延遲。

「顧華」與CarrierX將16千赫高清語音引入實時客戶通話 AP圖片

CarrierX擁有並營運其自身的電訊網絡基礎設施，具備直接發起及終止通話功能，因此通話能以較少跳轉及減少額外延遲，到達「顧華」的代理。

「顧華」將節省的延遲分配予更大的推理模型，從而提高代理在複雜通話中的可靠性，同時保持少於一秒的端到端通話延遲，以及少於200毫秒的輪流發言延遲。這些模型是根據受規管生產環境中，超過100億分鐘的實時代理通話訓練而成。

這種架構亦簡化了安全審查。較少中介意味著合規團隊首先提出的問題——通話數據流向何處——能得到更簡潔的答案。「顧華」已獲SOC 2 Type II 認證、HITRUST i1 認證及PCI DSS Level 1 合規，並可為醫療保健部署提供業務夥伴協議。CarrierX的網絡在超過160個國家，以99.99%的正常運行時間運作，每月處理超過20億次通話。

AMR-WB 16千赫標準提供的音訊頻寬，大約是傳統窄頻電話的兩倍。CarrierX的網絡專門為支援高清音訊而構建，包括為舊有系統轉碼。

「顧華」聯合創辦人安東尼·斯科達里表示，CarrierX透過其電訊網絡基礎設施實現的低延遲，為他們提供了用於推理模型的延遲預算。該預算直接轉化為可靠性，這對於受規管行業的通話而言是最重要的指標。

CarrierX創辦人兼行政總裁大衛·艾瑞克森指出，他一直倡導最高共通標準語音，「顧華」使用其網絡，正是這種價值所在的最佳例證。他們在最高質素訊號上實現了最低延遲，而直接連接使其最安全。在人工智能及運算領域，每毫秒都至關重要，這次合作證明了這一點。

「顧華」是為受規管行業而設的語音平台，專為必須準確無誤的通話而建。這是一個統一系統，涵蓋語音識別（ASR）、大型語言模型（LLM）、文字轉語音（TTS）、對話控制、合規引擎及監督代理，自2013年起已進行超過100個受規管部署，客戶可在啟動後14天內上線。該公司已獲SOC 2 Type II、HITRUST i1及PCI DSS Level 1認證。

CarrierX是一家雲端通訊及CPaaS電訊商，建基於其自身的全球網絡。該網絡讓開發人員可將高清語音、短訊、聊天、視像及進階路由直接嵌入其應用程式，而其電訊商交換平台則將大型電訊商及虛擬流動網絡營辦商（MVNOs）直接且安全地連接到這些應用程式。

（美聯社）