Skip to Content Facebook Feature Image

OpenAI新AI模型GPT-4o或將重塑人機互動 教師、同聲傳譯要失業?
AI手機還會遠嗎?

博客文章

OpenAI新AI模型GPT-4o或將重塑人機互動 教師、同聲傳譯要失業?
AI手機還會遠嗎?
博客文章

博客文章

OpenAI新AI模型GPT-4o或將重塑人機互動 教師、同聲傳譯要失業?
AI手機還會遠嗎?

2024年05月15日 11:32 最後更新:11:46

當地時間5月13日10時,OpenAI首席技術官Mira Murati在全球矚目的春季發佈會上揭幕了新一代AI巨擘——GPT-4o。這款全能型AI模型以其超乎尋常的實時多模態對話能力,引發全球關注。

OpenAI首席技術官Mira Murati。

OpenAI首席技術官Mira Murati。

據《華爾街見聞》,GPT-4o的特性在於其高度的即時響應和表達能力,如同真實人類一般,能夠同時處理文字、圖像、視頻和語音信息,且接受和中斷對話自如。OpenAI創始人Sam Altman暗示了GPT-4o強大的擬人化能力,他在社交平台上引用了電影《Her》中的概念,預示人機交互或開啓新篇章。

電影《Her》中,男主角愛上了一個像人類一樣「有血有肉」的AI。

電影《Her》中,男主角愛上了一個像人類一樣「有血有肉」的AI。

Murati宣佈,相較於GPT-4 Turbo,GPT-4o速度提升了兩倍,開放API接口的同時,用戶請求速率上限提升至之前的五倍。

更為引人關注的是,這一先進模型將全面免費開放,惠及ChatGPT的所有用戶,取消其他所有限制,API價格降低50%。

發佈會還展示了桌面版ChatGPT及全新用戶界面(UI)。

GPT-4o即日起逐步向用戶開放,未來還將增加語音和視頻理解等功能。

Murati稱,GPT-4o為每個用戶都提供了GPT-4級別的智能,同時還改進了GPT-4在文本、視覺以及音頻方面的能力。

借助GPT-4o,OpenAI通過跨文本、視覺和音頻端到端訓練了新模型,使得所有輸入和輸出都由同一神經網絡處理,進一步降低了延遲。

AP圖片

AP圖片

據稱,GPT-4o的語音響應延遲已顯著降低,平均為320毫秒,接近人類對話的反應速度。

演示環節,Murati邀研究主管Mark Chen和後訓練團隊負責人Barret Zoph共同展示了GPT-4o的強大功能,包括解方程、解讀代碼、實時翻譯,甚至能通過視頻識別面部情緒。

1)看圖指導解方程
演示中,Zoph在白板上寫了一個方程式3x+1=4,ChatGPT給他提示,引導他完成每一步解答,識別他的書寫結果,幫助他解出了X的值。

2)解讀屏幕信息
Zoph將一段Python代碼輸入ChatGPT,並讓ChatGPT用一句話總結這段代碼在做什麼。GPT回答無誤,並詳細說明瞭數據是如何被處理的。

隨後,Zoph又運行了這段代碼,GPT能夠準確地描述出所生成圖表的具體含義,包括圖表主題、XY軸信息、峰值水平。

3)實時交替翻譯
GPT還在演示中扮演了翻譯員的角色。應社交媒體X的用戶請求,Murati現場對ChatGPT說起了意大利語,GPT則將她的話翻譯成英語,轉告Zoph和Chen;聽完Murati說的意大利語,GPT再將其翻譯為英文並告訴Chen:「Mark,她(Murati)想知道鯨魚會不會說話,它們會告訴我們什麼?」 

4)通過視頻識別面部情緒
演示中,Zoph將手機舉到自己面前正對著臉,要求ChatGPT檢測他現在的情緒。最初,GPT參考了他之前分享的一張照片,將他識別為「木質表面」。經過第二次嘗試,GPT表示:「你看起來非常的開心,可能還有一點激動,看樣子你應該心情很不錯。」

Zoph贊揚了GPT的回答並表示自己正在進行一場演示,以展示「你有多不可思議」,此時GPT情緒頗為激動地表示:「快別說了!你讓我害羞了。」

這些演示彷彿證實了GPT-4o的特性,其「o」代表著「omni」,象徵著「全能」。

在後續的網絡實測視頻中,官方和用戶還探索出了GPT-4o的花樣玩法。

將老照片中的手寫字轉錄為電子文本。

將老照片中的手寫字轉錄為電子文本。

共享iPad屏幕後,讓GPT實時指導教學幾何題目。

和GPT視頻玩「石頭剪刀布」。

和GPT視頻玩「石頭剪刀布」。

正如Murati說,GPT-4o的發佈意味著OpenAI在大模型的易用性方面邁出了一大步,Ta正在改變人機交互的協作模式。

那麼,AI手機還會遠嗎?

此前有媒體報道透露,蘋果已經與OpenAI達成協議,將在全新操作系統iOS 18中引入ChatGPT技術,以升級Siri的對話體驗。

AP圖片

AP圖片

這不由令人猜想,GPT-4o和Siri將如何結合?OpenAI和蘋果會締造出具有跨時代意義的AI手機嗎?

英偉達高級研究科學家Jim Fan在X平台表示,iOS集成GPT技術可能會有三個層級:
1)放棄Siri。OpenAI為iOS提煉出更小型、純設備上的GPT-4o,並可選擇付費升級以使用雲。
2)將相機或屏幕傳輸到模型中的基礎功能。對神經音頻/視頻編解碼器的芯片級支持。
3)集成iOS系統操作API和智能家居API。Siri快捷方式是時候復活了。

有分析指出,蘋果和OpenAI的合作能夠解決彼此在發展邊緣AI方面的痛點,真正做到各取所需。

目前,有分析預測,蘋果將在6月10日的WWDC大會上官宣和OpenAI的合作夥伴關係,並推出基於蘋果LLM的AI聊天機器人。

AP圖片

AP圖片

令人激動的是,已經有移動端App開始接入GPT-4o了。

用於輔助盲人和弱勢群體日常生活的手機App Be My Eyes嘗試了接入GPT-4o,發現日常決策的效率被大大提高。

AP圖片

AP圖片

宣傳視頻顯示,一名盲人打開Be My Eyes後,能夠通過和GPT-4o對話,讓GPT詳細告訴他眼前的景象,從而快速做出決策。

有網友表示,這是GPT-4o的最佳用例,它將為視障人士創造一個全新的世界。

AP圖片

AP圖片

在所有演示結束後,Murati總結道:「正如大家所見,(如今的ChatGPT)真的很神奇。」




深喉

** 博客文章文責自負,不代表本公司立場 **

Tags:

理文OpenAI

美國特朗普政府於當地時間12月5日發布第二任期首份《國家安全戰略》文件,其中在台海議題上採取強硬措辭,於三個段落中八次提及「台灣」,強調將透過維持軍事優勢來防止台灣衝突,並明確表示「不支持任何單方面改變台海現狀」。這份長達68頁的戰略文件同時要求日本、韓國大幅增加防衛費支出,以強化「第一島鏈」的威懾能力,分析指這反映了特朗普政府內部的矛盾分裂。

特朗普政府於當地時間12月5日發布第二任期首份《國家安全戰略》文件。

特朗普政府於當地時間12月5日發布第二任期首份《國家安全戰略》文件。

根據白宮公布的戰略文件內容,美方明確指出台灣地理位置具有關鍵戰略意義,認為「對台灣的關注是理所當然的」。文件寫道:「遏制圍繞台灣的衝突,在理想情況下是透過保持軍事優勢,是當務之急。」美方承諾將建立一支能夠抵禦在「第一島鏈」任何地區發生侵略的軍隊,並增強「美國及其盟友阻止任何奪取台灣島企圖」的能力。

文件分析指出,台灣的重要性不僅在於半導體生產領域的主導地位,更主要原因是台灣提供通往「第二島鏈」的直接通道,並將東北亞、東南亞分割成兩個不同區域。全球三分之一航運每年需經過南海,這對美國經濟有重大影響。

文件分析指出,台灣的重要性不僅在於半導體生產領域的主導地位,更主要原因是台灣提供通往「第二島鏈」的直接通道

文件分析指出,台灣的重要性不僅在於半導體生產領域的主導地位,更主要原因是台灣提供通往「第二島鏈」的直接通道

在過去外界討論中,「第一島鏈」被指包括沖繩、台灣、菲律賓等;「第二島鏈」以關島為中心;「第三島鏈」則以夏威夷為中心。

不過,文件提到美國不能也不應獨自承擔防衛任務,盟友必須加大投入並實際履行承諾,明確要求包括日本和韓國在內的盟國大幅增加防衛費在GDP中的佔比。文件指出:「特朗普堅持要求日本、韓國承擔更多責任,必須敦促兩國增加國防開支,專注於發展威懾對手、保護『第一島鏈』所需的能力。」

文件又建議美國外交努力應著重於敦促「第一島鏈」的盟友和夥伴允許美軍更便捷使用其港口和設施,同時增強第一島鏈沿線海上安全問題的相互關聯性。

除了台海議題,新版國安戰略還涉及南海、印太地區安全等內容。文件稱南海作為「第一島鏈」中的重要航道對美國非常重要,任何有可能控制南海的「競爭者」都對美國構成安全挑戰。美方承諾採取「強有力」威 懾手段,並鼓勵印度為「印太」地區安全做出貢獻。

在經濟方面,文件呼籲通過優先考慮「互惠和公平」並減少對中國的依賴,與中國「維持真正互利的經濟關係」。這種調整被視為維持美國經濟增長的關鍵,目標是使美國經濟規模從「2025年的30萬億美元增長到2030年代的40萬億美元」。

特朗普政府仍避免直接表明對台海緊張局勢升級的具體回應方式

特朗普政府仍避免直接表明對台海緊張局勢升級的具體回應方式

路透社比較指出,此次戰略文件涉及台灣議題的措辭明顯強於特朗普第一任期。2017年發布的戰略文件僅三次提及「台灣」,而新版文件不僅提及次數增加,內容也更為具體。不過,特朗普政府仍避免直接表明對台海緊張局勢升級的具體回應方式,這與拜登政府多次公開宣稱「美國將保衛台灣」的立場形成明顯區別。

《南華早報》報道提到,特朗普第二任期主張以「克制」為導向的外交政策,在共和黨內部引發分裂。據悉,美國財政部長貝森特堅持在「國安戰略」和「國防戰略」中軟化有關中國的措辭,導致這兩份報告推遲數周發布。與此同時,以國防部副部長埃爾布里奇·科尔比為代表的鷹派則主張將重點轉向「遏制中國」。

美國企業研究所高級研究員扎克·庫珀向《日經亞洲》表示,新戰略文件的措辭結合了美國傳統上的兩種立場——「反對改變現狀」和「不支持台灣獨立」。他分析指出:「其中存在一些模糊性。通過這樣總結聲明政策,他們可能為未包含的其他措辭變化留下了空間。」

美國企業研究所研究員瑞安·費達西烏克認為,措辭的細微變化可能是一種故意的「中間立場」,旨在穩定與中國的關係,同時表現自身的強硬立場。這種平衡策略在特朗普簽署要求美國國務院定期評估「美台」關係的法律後更顯複雜。

中國外交部發言人林劍

中國外交部發言人林劍

中國外交部發言人林劍在12月3日的例行記者會上已明確表示,中方堅決反對美國同中國台灣地區開展任何形式的官方往來。林劍強調:「台灣問題是中國核心利益中的核心,是中美關係第一條不可逾越的紅線。一個中國原則是中美關係的政治基礎。」中方敦促美方慎之又慎處理台灣問題,不向「台獨」分裂勢力發出任何錯誤信號。

你 或 有 興 趣 的 文 章