無晶圓半導體公司Panmnesia與全球超大規模數據中心營運商Meta，共同提出下一代人工智能數據中心架構，令整個數據中心能像單一晶片般運作。這項研究以特邀評論形式，刊登於自然出版集團旗下期刊《自然評論：電機工程》（NREE）。
人工智能運算單位正由單一晶片轉向整個數據中心。
Meta與Panmnesia在《自然評論：電機工程》中介紹的CXL單晶片式數據中心架構，展示將整個數據中心視為單一晶片運作的理念。 AP圖片
隨着人工智能模型發展至數萬億參數規模，單次訓練步驟可能涉及數百至數千個加速器，交換數TB數據。由於整體進度取決於最慢的參與者，增加加速器雖可提升運算能力，但亦令系統容易因瓶頸延遲而導致頻繁延誤及故障。當一個組件反應遲緩，其餘組件便會停下等候，而延遲範圍愈廣，便愈難預測工作何時完成。
收窄延遲範圍，從而建立更大、更穩定的運算單位，是業界的共同挑戰。在機架內部，裝置已透過專用高速連結緊密耦合。下一個挑戰在於機架以外的連接，即機架之間的連接。現時，該部分主要依賴以太網或InfiniBand等通用網絡，每個請求必須經過網絡介面及基於軟件的協調層，兩者均會擴大傳輸過程中的延遲範圍。這次研究旨在為這種跨機架連接帶來更高可預測性。
他們的基礎是開放行業標準CXL（運算快速連結）。CXL由半導體及基礎設施公司共同開發，因此可在整個行業採用，而不會受限於單一供應商的生態系統。Panmnesia與Meta提出的架構利用CXL，盡量減少機架以外的延遲變動。目標是令數據中心能像單一晶片般，具備可預測性。
CXL架構的核心：三個硬件元素及分層部署
建議的架構將中央處理器、加速器及記憶體置於單一CXL域內，將快取一致性維持範圍由機架內部擴展至整個數據中心。三個硬件元素，包括高扇出無阻塞交換器、連結加速單元（LAU）及結構控制器，可限制延遲變動。資源本身的佈局，亦採用與晶片內部區塊放置相同的原則。為克服電氣訊號的物理傳輸距離限制，該評論亦闡述光學連結（CXL光學傳輸）如何擴展CXL結構的傳輸範圍。
為評估該架構的效果，該評論以傳統機架規模配置，即一個中央處理器連接兩個加速器，作為參考點。相較於該基準，單一中央處理器協調的加速器數量增加八倍，由兩個增至16個。作為單一單元運作的一致性域，則可擴展至多達960個加速器，約為參考平台的13倍。過往需離開機架經網絡傳輸的存取，現時可循固定路徑進行，來回延遲由微秒級降至數百納秒，低一個數量級。故障後替換單位亦由整部伺服器縮小至單一裝置。將此規模的裝置耦合為一個運算環境，將可不間斷地訓練規模更大的單一人工智能模型，或在共享基礎設施上同時運行多項服務，而不會互相阻礙。
《自然評論：電機工程》的評論文章僅限受邀發表：該期刊會識別特定領域的少數領先研究人員或機構，並委託他們撰寫。自然出版集團選擇Panmnesia作為CXL數據中心架構文章的作者，反映其技術獲認可為該領域的代表。Panmnesia是全球首家主導《自然評論：電機工程》評論文章的半導體初創企業，而該文章亦是該期刊首篇探討CXL技術及人工智能數據中心架構的評論。
Panmnesia行政總裁鄭明洙表示，隨着人工智能系統持續擴展，快速高效地連接大量加速器及記憶體裝置的能力，正變得與個別加速器的性能同樣重要。這次研究為下一代人工智能基礎設施勾勒出方向，CXL將令整個數據中心能作為單一運算系統運作。
Panmnesia已將該架構的核心組件實現在晶片上，並完成驗證，現正準備將其投入商業供應。
（美聯社）
Infinity（Infinity人工智能研究院）這間致力開發令任何人工智能晶片具備推論能力的軟件層的自動化人工智能研究公司，今日宣布兩名重要工程師加入其工程團隊。前Meta超級智能實驗室（MSL）高級軟件工程師Aditya Om，加入Infinity擔任推論優化工程師；而Elliot Arledge，其CUDA及大型語言模型（LLM）編程課程已教授超二百萬人，則加入擔任技術人員。
Infinity創辦人兼行政總裁Jeremy Nixon表示：「我們正招聘工程師，以解決我們這一代最重大的工程挑戰。」他指出，Aditya曾在Meta超級智能實驗室的晶片項目中，建立推論堆疊；Elliot則教授數百萬工程師核心（kernel）的實際運作方式。他續指，兩人現正建立自動化人工智能研究系統，以創造比人類以往任何時候都更強大的人工智能模型及推論框架，令每塊晶片都能運行尖端人工智能。
Infinity（Infinity人工智能研究院）宣布兩名重要工程師加入：Aditya Om（左），前Meta超級智能實驗室（MSL）高級軟件工程師，加入Infinity擔任推論優化工程師；Elliot Arledge（右），其CUDA及大型語言模型（LLM）編程課程已教授超二百萬人，加入擔任技術人員。 AP圖片
Om及Arledge在關鍵時刻加入Infinity，該公司正擴展其自主人工智能代理Ignition，它能將數年的晶片軟件開發時間壓縮至數天。Ignition的編程代理控制器能自主啟動晶片軟件堆疊的每一層。
加入Infinity前，Om曾領導Meta超級智能實驗室內部訓練及推論晶片的軟件堆疊開發，為Lightmatter的Passage建立集體通訊軟件堆疊，並在《自然》雜誌發表了Envise。他亦曾擔任英特爾（Intel）的物聯網系統設計工程師。Om擁有密歇根大學安娜堡分校的電機工程及電腦科學碩士學位。
Om表示：「加入這個團隊是理所當然的決定。」他形容推論已席捲全球，指出我們正處於一個關鍵轉變期，它將觸及我們生活的各個領域，類似於九十年代中期的互聯網。他續指，Infinity的使命是自動化推論優化研究，令軟件層能適應定制硬件，這正是我熱衷的開創性工作。
Arledge是一名自學成才的核心工程師及CUDA專家，年僅22歲的他已開發編程課程，教授數百萬人從零開始訓練大型語言模型及優化CUDA核心。Arledge表示：「晶片是我們時代的核心瓶頸，這正是我希望加入Jeremy及Infinity的原因。」他續指：「這需要一支由高技能、高度協調及雄心勃勃的人組成的堅韌團隊才能實現。」
Infinity正積極擴展其工程團隊，尋求最優秀的人工智能基礎設施及工程人才，以構建遞歸式自我改進人工智能系統的未來。
Infinity開發令任何人工智能晶片具備推論能力的軟件層。其自主人工智能代理Ignition能在數天而非數年內，為新晶片生成及優化推論軟件。Ignition是Infinity的人工智能研究代理，它能自主編寫、測試及優化決定晶片運行人工智能模型效率的低級運算核心。它透過真實世界的回饋循環持續改進，無需人類核心工程師介入。
英偉達（NVIDIA）的CUDA生態系統代表了二十年的推論軟件開發成果，競爭對手晶片製造商難以迅速複製。Infinity透過自動化軟件開發本身來彌補這一差距。在與d-Matrix發布的案例研究中，Infinity在首次硬件存取後的10小時內，使新晶片達到其理論峰值性能的92%，並在10天內端到端運行了三個尖端模型。
Infinity目前正與多間主要晶片公司積極洽談合作。Infinity的首個實時設計合作夥伴是d-Matrix，其Corsair晶片透過Infinity d-Matrix雲端運行生產推論。Infinity最近亦宣布與惠普（HP Inc.）合作。兩間公司一直合作，利用Infinity Autoresearch優化在由英偉達GB300 Grace Blackwell Ultra桌面超級晶片驅動的惠普ZGX Fury上運行英偉達Nemotron 3 Super模型。
Jeremy Nixon創立了Infinity。他是前Google Brain研究員，亦是三藩市人工智能社區AGI House的聯合創辦人，該社區已孵化數百間初創企業。Infinity最近已將Aditya Om（前Meta超級智能實驗室）及Elliot Arledge（CUDA及大型語言模型教育者）納入其工程團隊。Infinity繼續招聘矽谷頂尖的研究及推論庫工程師，以構建遞歸式自我改進（RSI）的未來。
Infinity（Infinity人工智能研究院）是一間自動化人工智能研究公司，致力開發令任何人工智能晶片具備推論能力的軟件層。其人工智能研究代理Ignition能自動生成、測試及優化決定晶片運行人工智能模型效率的低級運算核心，將推論軟件開發時間從數年壓縮至數天。Infinity與d-Matrix的實時設計合作推動了Infinity d-Matrix雲端，該公司目前正與其他主要晶片公司積極洽談合作。
Infinity於2025年8月成立，總部設於三藩市，是一間私人公司，獲Touring Capital及知名天使投資者支持，包括主要晶片公司高層、OpenAI及Anthropic研究員，以及Infinity行政總裁兼創辦人Jeremy Nixon。
（美聯社）
