AI專用雲端服務供應商CoreWeave公司 (Nasdaq: CRWV) 今日宣布推出CoreWeave Sandboxes,這是一個執行層,為AI研究人員及平台團隊提供安全、獨立的環境,以運行強化學習 (RL)、代理工具應用及模型評估。這項新服務可於客戶自身的CoreWeave基礎設施上使用,或透過Weights & Biases (W&B) 作為無伺服器運行時提供。
隨著人工智能系統由生成輸出發展至採取行動,訓練它們所需的不僅是運算能力。進階AI工作流程,例如強化學習及評估,需要獨立的執行環境,以安全地運行代碼、在不同步驟中保持資訊,並擴展至並行工作負載。
CoreWeave Sandboxes推出,旨在加速強化學習、代理工具應用及模型評估。 AP圖片
此外,大多數機構缺乏統一的執行層來處理強化學習、代理工具應用及模型評估。相反,它們依賴自訂系統、鬆散整合的工具,或位於其核心基礎設施之外的第三方沙盒產品。隨著規模、並行性及工作流程複雜性增加,這些脫節的方法變得更難管理、可靠性降低,且更難以治理。
CoreWeave Sandboxes透過兩種存取模式提供統一的執行層:針對在CoreWeave Kubernetes服務 (CKS) 上運行訓練的平台團隊,提供叢集內模式;針對希望獲得企業級隔離而無需基礎設施開銷的研究人員及應用AI團隊,則透過W&B提供無伺服器模式。
CoreWeave Sandboxes專為規模、簡潔及控制而設計,現已透過雲端控制台及Python SDK提供,直接在客戶的CKS叢集內運行,讓團隊能夠在不增加獨立執行堆棧的情況下,將強化學習、代理工具應用及模型評估工作負載與其AI任務一同運行。推出時,它包含一個Python SDK,用於創建及管理獨立、安全的環境,可處理複雜的來回任務並同時運行多個作業。內置會話管理、儲存整合及監控工具協助團隊以更少的操作開銷運行這些工作流程。
對於沒有現有CoreWeave叢集的團隊,或希望擴展其現有運算能力的團隊,CoreWeave Sandboxes亦可透過Weights & Biases作為無伺服器運行時提供。研究人員可使用現有的W&B API金鑰進行身份驗證,安裝Python客戶端,並在數分鐘內開始運行沙盒,無需叢集配置或基礎設施決策。每個沙盒預設在其完全獨立的虛擬環境中運行——這意味著一個沙盒中的故障、記憶體峰值或失控進程不會影響其他沙盒。當出現問題時,團隊無需在不同系統中尋找原因:沙盒活動直接在與訓練指標相同的W&B運行視圖中捕獲,因此調試可在上下文中進行,而非跨工具進行。
IBM研究部AI/ML系統高級技術人員Brian Belgodere指出:「CoreWeave Sandboxes解決了我們AI研究堆棧中的一個真正空白:在我們現有運算中實現大規模安全、獨立的代碼執行。我們的強化學習工作流程在每個訓練步驟中並行啟動數千個沙盒,每個沙盒都有自己的容器映像和資源邊界。研究人員只需幾分鐘即可透過pip install cwsandbox運行沙盒,無需任何基礎設施知識。」
CoreWeave產品及工程執行副總裁Chen Goldberg表示:「隨著代理工具應用及評估邁向生產規模,團隊需要一個執行層,其行為方式與其餘基礎設施一致——受治理、可觀察,並貼近已在CoreWeave上運行的工作流程。CoreWeave Sandboxes彌補了強化學習及代理工作流程中的執行空白,無需團隊圍繞它們構建自訂執行系統。對於希望獲得這些功能而無需管理自身叢集的團隊,透過Weights & Biases的無伺服器路徑可在數分鐘內提供相同的執行層。」
Mistral人工智能科學家Roman Soletskyi形容:「管理獨立叢集並在不同節點類型上調度沙盒缺乏統一解決方案,耗費我們時間及資源。CoreWeave Sandboxes消除了這個問題。我們現在透過單一設置,在CPU節點上運行數百個並行沙盒,並與GPU節點上的Slurm訓練作業一同運行。Python SDK讓我們的研究人員能夠立即開始使用,而CoreWeave團隊亦與我們緊密合作,調整開源SDK以無縫融入我們的代碼庫。」
Constellation Research副總裁兼首席分析師Holger Mueller指出:「企業面臨盡快構建代理式AI自動化的壓力,因此他們正在尋求任何幫助,以加速從構思到實時代理的過程。隨著他們進入代理式AI自動化的下一階段,他們需要支援獎勵驗證及評估,而無需在其已運行的環境中添加自訂基礎設施。專用執行層保留在現有訓練基礎設施內,可減少操作擴展,並消除自建沙盒系統的脆弱性,這是通用及僅限CPU的沙盒供應商無法解決的空白。」
建基於經驗證的AI基礎設施,CoreWeave持續提供業界領先的基礎設施性能,透過破紀錄的MLPerf基準測試結果證明,其作為唯一在SemiAnalysis ClusterMAX™ 1.0及2.0中均獲得最高白金評級的AI雲端服務供應商,以及在Artificial Analysis進行的獨立推理基準測試中,其在Moonshot AI的Kimi K2.6推理速度及性價比方面排名第一。
關於CoreWeave:CoreWeave是AI專用雲端服務供應商。由先驅為先驅而建,CoreWeave提供一個技術、工具及團隊平台,使創新者能夠以創新速度前進,自信地構建及擴展AI。CoreWeave受到領先AI實驗室、初創企業及全球企業的信賴,透過結合卓越的基礎設施性能與深厚的技術專業知識,加速突破,發揮倍增效應。CoreWeave於2017年成立,並於2025年3月在納斯達克 (CRWV) 完成公開上市。
(美聯社)