Trossen Robotics與Ouster旗下Stereolabs SAS公司,今日宣布合作,將Stereolabs的ZED X Mini及ZED X Nano相機,整合至Trossen為機械人學習而設的全新實體人工智能硬件套件。該套件主要包括Trossen Workbench及Rivet,兩者均為固定及流動的雙臂操作平台。
實體人工智能模型表現,取決於其訓練所用的示範數據質素,而大部分數據均為視覺資訊。現時,團隊通常自行組裝機械臂及消費級USB相機,並依賴自訂驅動程式碼連接。這導致數據集出現低解像度圖像、校準不一致、動態模糊,以及不同視角和數據流之間的時間偏差。
Trossen及Stereolabs的Workbench Rivet平台,配備ZED X Mini及ZED X Nano相機。 AP圖片
Trossen Workbench及Rivet是統一開發平台,配備雙WidowX Pro六自由度機械臂,伸展範圍由70厘米至100厘米,負載能力為4至6公斤,重複定位精度達1毫米。每個平台均由內置的NVIDIA Jetson AGX Orin 64 GB計算單元驅動,並支援透過本地網絡及互聯網進行遙距操作。每個平台亦包含一個完全由Stereolabs硬件構建,並經廠方校準的三相機視覺系統。
Stereolabs與Trossen的聯合視覺架構,反映了最先進操作策略的訓練方式。中央安裝的Stereolabs ZED X Mini提供全局場景視圖及整個工作空間的立體深度資訊,而每個腕部安裝的ZED X Nano則提供夾持器及物件的近距離視圖,這正是模仿學習策略進行精細操作所依賴的。
Trossen及Stereolabs的Workbench機械臂近攝,配備ZED X Nano相機。 AP圖片
ZED X Nano專為此應用而設計。其雙2.3百萬像素(1920×1200)全局快門感應器,能以高達每秒60幀的速度捕捉影像,避免了捲簾快門USB相機的動態模糊問題。其神經深度引擎可解析近至3厘米的幾何形狀,這正是實際抓取操作發生的距離。GMSL2連接配合鎖定、抗電磁干擾的電纜,確保所有三個相機在Jetson上確定性同步,並採用零複製管道,使團隊能夠同時錄製、編碼及運行推斷,而不會在過程中無聲地丟失幀數。內置的抗震慣性測量單元(IMU)確保即使機械臂高速移動時,腕部視圖仍可使用。
每個在Workbench及Rivet上收集的遙距操作片段,均是清晰、同步、多視角、包含RGB及深度資訊的訓練樣本,透過原生支援ROS 2及NVIDIA Isaac Sim / Isaac Lab,可供模仿學習、強化學習及模擬到現實工作流程使用。
Trossen Robotics行政總裁Matt Trossen表示:「實體人工智能界正轉向GMSL2,因為USB無法處理真實機械人所需的,由末端執行器到計算單元的長電纜連接。Stereolabs ZED X Nano為我們提供信號穩定性、圖像質素及吞吐量,將實體人工智能從實驗室帶入堅固的工業部署。團隊應將時間用於收集示範及訓練策略,而非整合及校準相機設備。」
Stereolabs總裁Cecile Schmollgruber指出:「Trossen做到了其他人鮮有做到的事:將相機置於完整、經校準的數據收集系統核心。配備Stereolabs ZED X Mini及ZED X Nano的Workbench,將每個示範轉化為訓練級數據,這將推動實體人工智能向前發展。」
Workbench是Trossen更廣泛實體人工智能硬件套件的核心,該套件包括RIVET流動操作平台、GLIDE被動引導臂,以及用於可擴展遙距操作數據收集的COCKPIT操作站。該套件將於2026年8月12日至28日,在三藩市舉行的Trossen實體人工智能駐場活動中公開展示,同時亦會在2026年8月18日至19日,同樣於三藩市舉行的Actuate會議上,在Trossen的展位進行實時數據收集及策略評估示範。
Trossen Robotics開發易於使用、模組化的硬件及軟件平台,用於實體人工智能研究、數據收集及部署。其機械臂、流動操作器、遙距操作系統及開發工具,協助團隊收集高質素數據、訓練具體化人工智能模型,並將機械人應用從實驗室推向實際應用。
Stereolabs是Ouster公司(納斯達克:OUST)全資子公司,是實體人工智能三維視覺及深度感知領域的領導者。其ZED相機系列及ZED SDK平台,為機械人技術、工業自動化及智能空間提供實時深度感知、空間映射及人工智能驅動的物件理解功能。
(美聯社)