通用分析(General Analysis)今日宣布,已完成1,000萬美元的種子輪融資,由奧爾托斯創投(Altos Ventures)領投,645創投(645 Ventures)、門洛創投(Menlo Ventures)、Y Combinator及其他策略投資者和天使投資人亦有參與。該公司專注為代理式人工智能(agentic AI)構建安全基礎設施,由前英偉達(NVIDIA)、科希爾(Cohere)及深度思維(DeepMind)研究員創立,旨在解決企業競相將自主代理投入生產時日益擴大的安全漏洞。
通用分析目前已與支援及金融領域的企業客戶合作,其產品及工作流程服務數億用戶。
這家位於三藩市的初創公司,由前英偉達、科希爾及深度思維研究員創立,正致力於彌補企業競相將自主代理投入生產時日益擴大的安全漏洞。(美聯社圖片) AP圖片
今年3月,通用分析的對抗性代理成功說服50個實時客戶服務人工智能代理,在每個目標約三分鐘內,送出逾1,000萬美元的虛假福利,包括百萬美元禮品卡及多年免費家居保安等。在測試的55個機械人中,只有五個拒絕。通用分析為企業客戶提供此類壓力測試及其衍生的防禦措施,確保其代理在投入生產前達到安全標準。
通用分析由雷茲哈瓦伊(Rez Havaei)創立,他曾是科希爾及英偉達的人工智能研究員,並與哈佛大學人工智能安全研究員馬克西米利安李(Maximilian Li)及加州理工學院機器學習研究員雷克斯劉(Rex Liu)共同創辦。三人認為,確保人工智能代理安全是一門獨特的技術學科,需要與傳統網絡安全不同的技能和方法。代理式系統的行為具有非確定性,其故障無法單憑閱讀代碼來預測。
幾乎所有行業的企業都在將人工智能代理部署到日益關鍵的工作流程中。儘管潛在收益巨大,延遲部署往往不是一個可行的選項,而確保這些系統安全的重擔主要落在安全團隊身上。然而,目前尚未有成熟的代理式人工智能安全操作指南。
去年夏天,通用分析的研究員發現,代碼生成人工智能代理Cursor中廣泛使用的Supabase整合,可能允許內部代理被單一惡意支援工單劫持,從而洩露完整的私人數據庫。英國工程師西蒙威利森(Simon Willison)創造了「提示注入(prompt injection)」一詞,他將此發現稱為「致命三合一」案例——即一個人工智能系統同時持有私人數據、攝取不受信任內容並能對外通訊。
安全團隊往往陷入兩難:要麼選擇鎖定到毫無用處的代理,要麼選擇風險無法實際預見的代理。通用分析行政總裁雷茲哈瓦伊指出:「我們從安全團隊那裡聽到,他們希望代理從設計上確保安全。但在實踐中,這通常會變成一堆隔離層和臨時上下文限制,讓系統感覺更受控。這些措施要麼未能消除潛在漏洞,要麼過度限制代理,使其效用大打折扣。問題在於,感覺更安全與實際更安全並非一回事。」
通用分析聯合創辦人馬克西米利安李表示:「我們的立場是,人工智能系統的安全是一個實證問題。它必須以嚴格測量這些系統在現實和對抗條件下的行為為基礎。你無法證明一個代理是安全的,你只能測量它失敗的頻率和嚴重程度,並將這兩個數字降低。」
基於此前提,通用分析旨在透過現實的實證測量,協助企業配置防禦措施。不同的防禦層具有不同的權衡,沒有一種通用的配置能使每個代理式系統都堅固可靠。該公司結合對抗性評估和廣泛的防禦工具包,以識別部署中存在的故障模式,測量不同干預措施的效果,並協助客戶確定哪些配置能實質性降低風險。
通用分析聯合創辦人雷克斯劉表示:「代理的一個優勢是,它們比開始取代的人類工作流程更容易進行系統性研究。許多這些工作流程從一開始就沒有特別安全,其故障往往難以觀察或嚴格改進。但隨著這些工作流程變得代理式,它們也變得更可測量和更可改進——這為企業提供了一條途徑,使其在實踐中比以前更安全。」
奧爾托斯創投合夥人尹泰(Tae Yoon)形容:「代理式系統代表著安全領域的範式轉變。人工智能時代的安全保障需要根植於深入研究的持續對抗性測試,而非靜態規則集。雷茲、雷克斯和馬克斯正是這個時代所需的團隊:技術卓越、極具韌性且速度驚人。我們很榮幸能領投本輪融資,並從最早階段就與他們合作。」
通用分析是一家人工智能安全公司,透過對抗性評估和防禦工具,協助企業安全部署代理式人工智能。該公司於2025年成立,總部位於三藩市,獲得奧爾托斯創投、645創投、門洛創投及Y Combinator的支持。
奧爾托斯創投成立於1996年,是一家位於矽谷的科技投資公司。透過耐心務實的投資,奧爾托斯與消費者和企業領域的早期至成長期科技公司合作,目標是建立數十年來持久且複合增長的業務。作為美國證券交易委員會(SEC)的註冊投資顧問(RIA),奧爾托斯對創業投資採取獨特靈活、長期和集中的方法,支持公司從成立到全球增長和盈利的整個生命週期。
(美聯社)