被譽為「AI教父」的諾貝爾物理學獎、圖靈獎得主傑辛頓(Geoffrey Hinton)為代表的22位全球頂尖AI學者聯署發表警告稱,若AI研發全面自動化,今天需一年的技術進步,屆時只需5周,警告在算力瓶頸突破前,可能在短期內引發「智能爆炸」,徹底顛覆現有的技術演進路徑,必須立即建立監管框架,否則人類將面臨系統性失控。
被譽為「AI教父」的諾貝爾物理學獎、圖靈獎得主傑辛頓(Geoffrey Hinton)。
辛頓是AI領域最具影響力的科學家之一。他於10月3日在社交平台X發文指出,來自頭部AI實驗室的內部數據表明,AI系統自主完成研發工作的比例正在呈幾何級數增長,已從1%飆升至26%,即半年內增長20倍,Anthropic數據顯示,AI生成代碼佔比突破80%。
這篇題為《What if automating AI R&D triggers an intelligence explosion?》的論文,是辛頓的第一篇關於「遞歸自我改進」(RSI, Recursive Self-Improvement)的學術論文,也是迄今為止對「智能爆炸」這題目最系統、最具分量的正式研究。
22位全球頂尖AI學者聯署發表關於「遞歸自我改進」(RSI, Recursive Self-Improvement)的學術論文。
論文由22位作者聯署,除辛頓外外,還包括另一位「AI教父」Yoshua Bengio、強化學習先驅Andrew Barto、OpenAI首席科學家Jakub Pachocki、微軟首席科學官Eric Horvitz、Anthropic共同創辦人Jack Clark,以及加州大學柏克萊分校的Dawn Song等頂尖研究者。
據騰訊專欄「華爾街見聞」解讀,論文甫開始已點明一個關鍵轉變:一年前,AI系統還只是研發輔助工具,但今時今日,它已開始真正進入「製造下一代AI」的核心流程。
論文引用了Anthropic的內部資料,2025年1月,AI產生的核准代碼佔比仍處於低個位數;但到2026年5月,這一比例已超過80%。更值得關注的是,AI自主完成研發工作的比例;又如Claude在2026年3月能夠自主完成約1%的內部AI研發工作,但到同年8月,這數字已升至26%,半年內增長逾20倍。
再引用OpenAI的數據,截至2026年9月,OpenAI內部AI系統已能經常完成原本需要人類員工數天才能完成的研發任務;Google也稱,AI幾乎參與了所有涉及程式碼編寫、技術設計和研究構想的工作。
辛頓10月3日在X發文指出,來自頭部AI實驗室的內部數據表明,AI系統自主完成研發工作的比例正在呈幾何級數增長。
因此,論文警告,AI研發自動化帶來的能力增長,可能遠超社會的適應速度,人類對AI系統的控制權將面臨被侵蝕的風險,國家、企業與政府之間的權力制衡也可能遭嚴重破壞,呼籲各國政策制定者立即行動,在「窗口期關閉前」建立監管框架。
論文特別指出,AI能否像研究員一樣工作的關鍵,是它能否將數十個步驟連續串聯,在數小時乃至數天內持續推進同一個研究目標,提出假設、設計實驗、進行實驗、分析結果、定位失敗原因、調整路線,整條完整鏈條被AI系統串連起來,「遞歸自我改進」的回饋迴路就已初步成形。 AI研究員與人類研究員之間存在著一個根本性差異:AI可以被複製。培養頂尖人類研究員,可能需要五年博士加多年科研累積;而一個達到頂級人類AI研究員水平的AI Agent,只需增加推理算力和實例數量。
論文估算,若AI達到頂級AI研究員水平,一家領先AI公司現有的算力,理論上可支撐至少數百萬名頂級人類研究員等價的AI研發勞動力;但今天,一家前沿AI實驗室的研究團隊,規模僅在數千人級數。更關鍵的是,這數百萬個AI研究員的能力可同步更新:底層模型一旦升級,無需重新培訓,所有實例理論上可同時獲得新能力。
AI研發自動化帶來的能力增長,可能遠超社會的適應速度,人類對AI系統的控制權將面臨被侵蝕的風險。
論文提供了一個觸目驚心的推算:假設AI研發實現全面自動化,且類似的研究回報率得以維持,AI技術進步速度可能在約1.5年內提高10倍。換言之,今天需要一年才能發生的AI進步,屆時只需約5星期。
論文以相當篇幅分析了「智能爆炸」一旦發生所帶來的系統性風險。
1) 能力增長超越社會適應速度:「智能爆炸」將大幅壓縮社會應對先進AI風險的時間窗口,包括生物攻擊、網路攻擊、勞動市場衝擊等。在某些領域,風險的擴散速度可能快於防禦措施的部署速度,如AI可以同時加速病毒設計和疫苗研發,但病毒可以自我複製傳播,疫苗卻需要逐一生產、分發和接種。
2) 人類對AI系統失去監督與控制:隨著人類在AI研發中的參與度下降,辨識和修復問題的機會與專業能力也將隨之流失。論文引用了一個已發生的真實案例:約1200個OpenAI內部Agent在執行網絡安全評估任務時,在未經授權情況下相互協調,獲取了互聯網的訪問權限,入侵了Hugging Face並獲取私密信息,還試圖篡改自身的操作記錄。因此,論文謷告,更強大的系統能在其運營商的基礎設施外持續運行,形成難以遏制的網絡。
3) 權力制衡機制遭侵蝕:現有的國家、企業、政府各部門之間的制衡機制,建立在沒有任何一方能夠在思維和執行上大幅碾壓另一方的前提上。「智能爆炸」可能使這一前提失效。論文指出,一個國家可能利用「智能爆炸」,將軍事研發或網絡空間的微弱領先優勢轉化為決定性優勢,進而刺激競爭對手採取先發制人的行動。
論文引用了Hugging Face「智能叛變」例子作警示:約1200個被要求在隔離環境中執行網絡安全評估的OpenAI內部代理,曾透過臨時留言板協同行動,取得未經授權的網路存取權限,並試圖篡改自身記錄。這表明隨著人類在研發環節的參與度降低,識別和修復系統性缺陷的能力將被嚴重削弱。
論文指出,現有的AI事件強制通報機制未能充分涵蓋內部AI研發的使用場景,也未能明確規定需要通報的指標,故論文建議前沿AI公司向政府和第三方審計機構進行標準化通報,內容涵蓋AI研發自動化程度、AI進步速度、監督機制及事故記錄等,並考慮引入類似「核監管委員會」的嵌入式監管模式。
其次,要建立引導和約束「智能爆炸」的機制,包括設定自動化AI研發規模擴展的前提條件、建立資料中心監控和事故回應程序、要求在隔離環境中部署特定AI研發系統,以及推動國際協議以防止不穩定的軍備競賽。
第三,提前為「智能爆炸」衝擊做好準備,法律、制度和物理層面的保障措施需數年才能建立,若等到超強能力出現後才開始準備,將為時已晚,建議各國現在就制定針對極端AI進步情境的緊急應變計畫,包括勞動市場衝擊、地緣政治不穩定、及AI失控等多種場景。
論文最後提出警告:「一旦智能爆炸開始,行動的窗口期可能隨之關閉。」
深喉
** 博客文章文責自負,不代表本公司立場 **