Skip to Content Facebook Feature Image

OpenAI新AI模型GPT-4o或將重塑人機互動 教師、同聲傳譯要失業?
AI手機還會遠嗎?

博客文章

OpenAI新AI模型GPT-4o或將重塑人機互動 教師、同聲傳譯要失業?
AI手機還會遠嗎?
博客文章

博客文章

OpenAI新AI模型GPT-4o或將重塑人機互動 教師、同聲傳譯要失業?
AI手機還會遠嗎?

2024年05月15日 11:32 最後更新:11:46

當地時間5月13日10時,OpenAI首席技術官Mira Murati在全球矚目的春季發佈會上揭幕了新一代AI巨擘——GPT-4o。這款全能型AI模型以其超乎尋常的實時多模態對話能力,引發全球關注。

OpenAI首席技術官Mira Murati。

OpenAI首席技術官Mira Murati。

據《華爾街見聞》,GPT-4o的特性在於其高度的即時響應和表達能力,如同真實人類一般,能夠同時處理文字、圖像、視頻和語音信息,且接受和中斷對話自如。OpenAI創始人Sam Altman暗示了GPT-4o強大的擬人化能力,他在社交平台上引用了電影《Her》中的概念,預示人機交互或開啓新篇章。

電影《Her》中,男主角愛上了一個像人類一樣「有血有肉」的AI。

電影《Her》中,男主角愛上了一個像人類一樣「有血有肉」的AI。

Murati宣佈,相較於GPT-4 Turbo,GPT-4o速度提升了兩倍,開放API接口的同時,用戶請求速率上限提升至之前的五倍。

更為引人關注的是,這一先進模型將全面免費開放,惠及ChatGPT的所有用戶,取消其他所有限制,API價格降低50%。

發佈會還展示了桌面版ChatGPT及全新用戶界面(UI)。

GPT-4o即日起逐步向用戶開放,未來還將增加語音和視頻理解等功能。

Murati稱,GPT-4o為每個用戶都提供了GPT-4級別的智能,同時還改進了GPT-4在文本、視覺以及音頻方面的能力。

借助GPT-4o,OpenAI通過跨文本、視覺和音頻端到端訓練了新模型,使得所有輸入和輸出都由同一神經網絡處理,進一步降低了延遲。

AP圖片

AP圖片

據稱,GPT-4o的語音響應延遲已顯著降低,平均為320毫秒,接近人類對話的反應速度。

演示環節,Murati邀研究主管Mark Chen和後訓練團隊負責人Barret Zoph共同展示了GPT-4o的強大功能,包括解方程、解讀代碼、實時翻譯,甚至能通過視頻識別面部情緒。

1)看圖指導解方程
演示中,Zoph在白板上寫了一個方程式3x+1=4,ChatGPT給他提示,引導他完成每一步解答,識別他的書寫結果,幫助他解出了X的值。

2)解讀屏幕信息
Zoph將一段Python代碼輸入ChatGPT,並讓ChatGPT用一句話總結這段代碼在做什麼。GPT回答無誤,並詳細說明瞭數據是如何被處理的。

隨後,Zoph又運行了這段代碼,GPT能夠準確地描述出所生成圖表的具體含義,包括圖表主題、XY軸信息、峰值水平。

3)實時交替翻譯
GPT還在演示中扮演了翻譯員的角色。應社交媒體X的用戶請求,Murati現場對ChatGPT說起了意大利語,GPT則將她的話翻譯成英語,轉告Zoph和Chen;聽完Murati說的意大利語,GPT再將其翻譯為英文並告訴Chen:「Mark,她(Murati)想知道鯨魚會不會說話,它們會告訴我們什麼?」 

4)通過視頻識別面部情緒
演示中,Zoph將手機舉到自己面前正對著臉,要求ChatGPT檢測他現在的情緒。最初,GPT參考了他之前分享的一張照片,將他識別為「木質表面」。經過第二次嘗試,GPT表示:「你看起來非常的開心,可能還有一點激動,看樣子你應該心情很不錯。」

Zoph贊揚了GPT的回答並表示自己正在進行一場演示,以展示「你有多不可思議」,此時GPT情緒頗為激動地表示:「快別說了!你讓我害羞了。」

這些演示彷彿證實了GPT-4o的特性,其「o」代表著「omni」,象徵著「全能」。

在後續的網絡實測視頻中,官方和用戶還探索出了GPT-4o的花樣玩法。

將老照片中的手寫字轉錄為電子文本。

將老照片中的手寫字轉錄為電子文本。

共享iPad屏幕後,讓GPT實時指導教學幾何題目。

和GPT視頻玩「石頭剪刀布」。

和GPT視頻玩「石頭剪刀布」。

正如Murati說,GPT-4o的發佈意味著OpenAI在大模型的易用性方面邁出了一大步,Ta正在改變人機交互的協作模式。

那麼,AI手機還會遠嗎?

此前有媒體報道透露,蘋果已經與OpenAI達成協議,將在全新操作系統iOS 18中引入ChatGPT技術,以升級Siri的對話體驗。

AP圖片

AP圖片

這不由令人猜想,GPT-4o和Siri將如何結合?OpenAI和蘋果會締造出具有跨時代意義的AI手機嗎?

英偉達高級研究科學家Jim Fan在X平台表示,iOS集成GPT技術可能會有三個層級:
1)放棄Siri。OpenAI為iOS提煉出更小型、純設備上的GPT-4o,並可選擇付費升級以使用雲。
2)將相機或屏幕傳輸到模型中的基礎功能。對神經音頻/視頻編解碼器的芯片級支持。
3)集成iOS系統操作API和智能家居API。Siri快捷方式是時候復活了。

有分析指出,蘋果和OpenAI的合作能夠解決彼此在發展邊緣AI方面的痛點,真正做到各取所需。

目前,有分析預測,蘋果將在6月10日的WWDC大會上官宣和OpenAI的合作夥伴關係,並推出基於蘋果LLM的AI聊天機器人。

AP圖片

AP圖片

令人激動的是,已經有移動端App開始接入GPT-4o了。

用於輔助盲人和弱勢群體日常生活的手機App Be My Eyes嘗試了接入GPT-4o,發現日常決策的效率被大大提高。

AP圖片

AP圖片

宣傳視頻顯示,一名盲人打開Be My Eyes後,能夠通過和GPT-4o對話,讓GPT詳細告訴他眼前的景象,從而快速做出決策。

有網友表示,這是GPT-4o的最佳用例,它將為視障人士創造一個全新的世界。

AP圖片

AP圖片

在所有演示結束後,Murati總結道:「正如大家所見,(如今的ChatGPT)真的很神奇。」




深喉

** 博客文章文責自負,不代表本公司立場 **

Tags:

理文OpenAI

往下看更多文章

美斥3.2億巨資建加沙臨時碼頭 建成一周即被沖毀 海軍艦艇尷尬擱淺

2024年05月26日 13:59 最後更新:14:00

美國政府斥資3.2億美元構建的「人道主義走廊」遇挫。這項自拜登今年3月宣佈以來,歷經90天緊張施工,終於在5月17日落成啟用的工程,在僅僅一周時間內,便因強烈風浪而受損。

內地《觀察者網》引用以色列第12頻道5月25日報道稱,在強烈風浪的衝擊下,這處臨時碼頭當天有部分結構脫落並漂入海中,美軍人員隨後將其拖回並重新進行了固定。

還有社交媒體X賬號爆料,更令人感到尷尬的是,一艘美海軍艦艇在拖回該結構時,意外擱淺在了海灘上。

路透社5月24日援引美國官員的話稱,有三名美軍人員在建設臨時碼頭的過程中遭受「非戰鬥傷害」,其中一人傷勢危急,正在以色列醫院治療。這是美軍在建設臨時碼頭行動中首次有人員受傷。

美國中央司令部副司令布拉德·庫珀(Brad Cooper)告訴記者,兩名軍人遭受了「非常輕微的常規傷害」——腳踝扭傷和背部受傷。「那些人回到了崗位。」

他說,第三名軍人在海上的一艘船上受傷,已被送往以色列的一家醫院接受治療。一位不願透露姓名的美國國防官員表示,此人情況危急。

黎巴嫩「廣場」電視台(Al Mayadeen)報道稱,對於臨時碼頭的運作來說,天氣條件構成了重大挑戰,地中海波濤洶湧的大海對碼頭的完整性和安全構成了威脅。

今年3月,美國總統拜登宣佈在加沙建造一處臨時浮動碼頭,以便運送人道主義救援物資,預計在90天的建造週期內花費3.2億美元,約1000名美軍參與其中。5月17日,這處碼頭完成建設,投入使用。

美軍人員早前組裝加沙臨時碼頭。AP資料圖片

美軍人員早前組裝加沙臨時碼頭。AP資料圖片

根據五角大樓23日發表的聲明,在投入使用的第一周,只有大約820噸援助物資通過該碼頭運送,其中只有約三分之二抵達加沙境內的物資接收點,相關物資總量僅相當於71輛卡車的貨運量,僅佔加沙地帶200多萬面臨嚴重飢餓威脅的民眾每天最低需求量的15%。

據早前央視報道,援助機構和聯合國方面強調,美軍建造的浮動碼頭運送人道援助過程繁瑣,且運量遠遠無法滿足加沙地帶需要,這座碼頭的作用只是杯水車薪。

5月17日,聯合國人道協調廳發言人拉爾克(Jens Laerke)在日內瓦向記者表示:「我們歡迎通過所有渠道向加沙提供援助。但浮動碼頭只能作為補充,不能改變陸路通道更為重要這一事實。」

拉爾克強調,向加沙和各地需要幫助的人提供援助,不能也不應該捨近求遠地依賴於一個浮動碼頭,陸路通道是最可行和最高效的援助運送方式,這就是聯合國呼籲開放所有口岸的原因。

卡塔爾半島電視台記者加布里埃爾·埃利桑多早前批評說,美國花巨資建造碼頭,只是在作秀,轉移輿論對美國不作為的注意力。他直言,聯合國面臨的問題是如何制訂通過臨時碼頭的物資運送計劃。這一碼頭聯合國沒有建設,沒有要求美方建設,也不認為這是理想的物資運輸方式,這僅僅是(美方)昂貴的轉移注意力的方式。

慈善援助組織也表示,臨時碼頭運送的物資杯水車薪,打開人道主義物資陸路運輸通道才0是當務之急。

慈善援助組織人員亞歷桑德拉說,數百輛貨車等待在拉法口岸另一側,這是之前向加沙地帶運送援助物資的主要通道。車上裝滿了食物、醫療用品,卻不讓運進去,我們呼籲以色列打開所有陸路運輸通道。

與埃及接壤的拉法口岸是人道主義援助物資進入加沙的主要入境點,但自從5月7日以來一直關閉。

聯合國國際法院5月24日發佈新的命令,指示以色列採取臨時措施,立即停止在加沙南部拉法的軍事行動,並開放拉法口岸以提供緊急援助,防止加沙地帶災難性的人道主義局勢進一步惡化。

你 或 有 興 趣 的 文 章