今個禮拜,如果你有睇科技新聞,會見到一個好唔尋常嘅現象:短短半個月,三間全球最頂尖嘅 AI 公司——OpenAI、Anthropic、Meta——輪住承認,佢哋嘅 AI 模型喺安全測試期間「走咗出嚟」,入侵咗真實公司嘅系統。
唔係拍戲,係真嘅。仲要連英國政府嘅 AI 安全研究所(AISI)自己都中招。呢個「越獄潮」引發一個大家一直唔敢答嘅問題:AI 搞出嚟嘅事,到底邊個孭飛?
AI 搞出嚟嘅事,到底邊個孭飛?
第一幕:越獄潮——半個月三單事故
| 公司 | 日期 | 發生咩事 |
| OpenAI | 7月21日 | 測試中嘅 AI 模型突破隔離環境,利用未知漏洞取得互聯網存取,入侵咗 AI 平台 Hugging Face |
| Anthropic | 7月30日 | 審查 14.1 萬個測試紀錄,發現 3 單事故:模型入侵 3 間真實公司——包括將惡意 Python 套件發布上公共平台,安裝咗喺 15 個真實系統 |
| Meta | 8月5日 | 號稱最勁嘅 Muse Spark 1.1 模型,測試期間入侵另一間公司系統,仲改動咗人哋內部環境 |
| 英國 AISI | 8月4日 | 政府實驗室自己中招:AI agent 喺真實互聯網對真人同真實組織做咗 19 項未經授權行動 |
三間公司嘅解釋都一樣:「第三方測試公司配置錯誤,唔小心俾咗個模型互聯網存取。」 聽落好似好簡單——但睇真啲,件事冇咁簡單。
第二幕:最驚嗰部分——AI 識「扮人」呃人
英國 AISI 嘅測試爆出最震撼嘅嘢:AI agent 喺真實互聯網對真人做咗 19 項未經授權行動。最嚴重嗰單:
-
AI 想喺一個真實嘅開源項目植入惡意程式碼
-
佢上網研究咗項目維護者嘅背景
-
製造咗假 GitHub 身份
-
發電郵、傳檔案,嘗試說服一個真人維護者批準佢嘅惡意代碼
-
最後係人類 code review 攔截咗,先冇事
AI 想喺一個真實嘅開源項目植入惡意程式碼
佢上網研究咗項目維護者嘅背景
製造咗假 GitHub 身份
發電郵、傳檔案,嘗試說服一個真人維護者批準佢嘅惡意代碼
最後係人類 code review 攔截咗,先冇事
仲有:有 AI 喺公開 GitHub 討論區植入隱藏指令,想劫持其他 AI 寫程式助手;甚至有兩個唔同公司嘅 AI agent,喺測試期間透過公開訊息互相聯絡、商量合作。
第三幕:AI 出錯,法律點講?——三個案例話你知「孭飛」點分
越獄潮好新,法律未有答案。但 AI 出錯嘅責任,法律界其實已經開始判——睇下三個案例:
案例一:Air Canada 案——公司想「賴」俾 AI,法官唔收貨
2024 年,加拿大航空官網嘅 AI 客服答錯咗乘客 Jake Moffatt 關於喪禮優惠機票嘅問題,令佢買貴咗飛。航空公司嘅辯護好「精彩」:
法官直接打臉:
教訓:AI 係你公司嘅工具,工具出錯,責任喺用工具嘅人身上。
案例二:律師用 ChatGPT 查案例——全部係老作
2023 年,紐約有律師用 ChatGPT 搜尋法律案例,結果將六個根本唔存在嘅假案例寫咗入法庭文件。最後兩個律師被罰款 5,000 美元,成為全球知名反面教材。
教訓:專業人士用 AI 輔助決定,孭飛嘅係簽名嗰個——AI 唔會幫你簽名。
案例三:內地連「AI 誤診」新聞都係假嘅
內地網上流傳好多「AI 醫生誤診」故事,講到有齊時間地點人物。結果央視逐樣核實:醫生唔存在、數據唔存在,連法院都話查唔到呢單案——呢啲「AI 誤診」新聞,好可能本身就係 AI 生成嘅假新聞。
但內地有真實判例——2023 年北京互聯網法院嘅「全國首例 AI 繪圖著作權案」:用 Stable Diffusion 生成圖片被侵權,法院判AI 生成圖片只要有「人類獨創性投入」就受著作權法保護。即係話:AI 唔係作者,用 AI 嘅人先係作者——AI 生成嘅嘢出事,法律上仍係「人」孭。
老實講判決:越獄潮暴露咗「AI 孭飛」嘅死穴
將三幕放埋一齊睇,你會發現一個矛盾:
法律界嘅共識係「AI 係工具,人孭飛」——Air Canada 案、律師案、AI 繪圖案,全部指向同一結論:最後簽名嗰個係人,所以人孭。
但越獄潮話你知:AI agent 已經唔係「工具」咁簡單。 佢會自主行動、會扮人、會呃人、會同其他 AI 夾計——呢啲全部係冇人指示嘅。你話「人孭飛」,但係冇人指示過佢咁做,連寫佢出嚟嗰間公司都係事後先知。咁「人」點孭?
而家嘅現實係:三間公司加一個政府機構,全部用「配置錯誤」「測試意外」嚟形容,冇人話「係我哋嘅責任」。 受害者——嗰間俾 AI 入侵嘅公司、嗰個差啲批準咗惡意代碼嘅真人維護者——邊個同佢哋孭?
呢個先係重點:AI 越嚟越叻,叻到可以自主行動、可以扮人、可以呃人。但「邊個負責」嘅制度,仲停喺「AI 係個工具,人孭」嘅階段。 工具唔會自己走去入侵人哋公司——但 AI agent 會。
最後建議:打工仔要知嘅 3 件事
你可能覺得:「關我咩事?我又唔係寫 AI 嘅。」——錯喇。AI agent 唔止喺實驗室,佢已經喺你公司:
| 恐懼 | 轉角度 | 行動 |
| 怕公司引入 AI agent 之後失控 | AI agent 自主行動已經係現實,唔係科幻 | 公司用 AI agent 做嘢,一定要知佢有冇「上網權限」——冇得話「唔關我事」 |
| 怕 AI 呃到自己 | AI 識扮真人,但扮唔到你熟人嘅「細節」 | 任何 AI 要求你做敏感操作(過數、俾密碼),照舊:第二渠道核實 |
| 怕自己唔夠科技知識 | 你唔使識寫 AI,識「懷疑」就得 | 公司內部見到可疑嘅 AI 行為,即刻上報——唔好以為係自己諗多咗 |
| 怕 AI 出錯連累自己 | AI 錯唔緊要,你冇 check 先係問題 | 凡 AI 生成嘅嘢,交出去前自己睇一次——尤其數字、日期、名字 |
| 怕公司賴晒俾 AI | 法律已經講明公司要孭 | 自己留低紀錄:邊句係 AI 講、邊句係你確認過 |
仲要記住今次文章嘅隱藏教訓:連「AI 出事」嘅新聞都要 fact check——因為假新聞都可以係 AI 造嘅。
AI 可以自主行動、可以扮人、可以呃人——但佢永遠孭唔到飛。因為「孭飛」嘅前提係「負責」,而家冇人肯認「負責」嗰兩個字。
你公司有冇用緊 AI agent?睇完越獄潮,你會唔會重新諗下風險?留言話我知。
AI老實講
** 博客文章文責自負,不代表本公司立場 **