Skip to Content Facebook Feature Image

OpenAI推多模態AI模型GPT-4 可支援圖片輸入及以文字解釋圖像等

大視野

OpenAI推多模態AI模型GPT-4 可支援圖片輸入及以文字解釋圖像等
大視野

大視野

OpenAI推多模態AI模型GPT-4 可支援圖片輸入及以文字解釋圖像等

2023年03月15日 16:19 最後更新:18:12

以開發出聊天機械人ChatGPT聞名的OpenAI,周二發布名為GPT-4的最新人工智能 (AI) 模型,除了準確度、創造力和協作性更高之外,GPT-4還可支援圖片輸入功能,並以文字來解釋圖像內容,甚至回答問題;甚至輸入一張手繪設計草圖就能自動產生對應的網頁程式碼。

GPT-4可以用來解釋組合圖,各圖的重點,該圖為「VGA轉接頭接上iPhone手機」。OpenAI

GPT-4可以用來解釋組合圖,各圖的重點,該圖為「VGA轉接頭接上iPhone手機」。OpenAI

更多相片
GPT-4可以用來解釋組合圖,各圖的重點,該圖為「VGA轉接頭接上iPhone手機」。OpenAI

GPT-4可以用來解釋組合圖,各圖的重點,該圖為「VGA轉接頭接上iPhone手機」。OpenAI

GPT-4可解讀分析圖表內容。OpenAI

GPT-4可解讀分析圖表內容。OpenAI

GPT-4可以看圖找出問題的答案。OpenAI

GPT-4可以看圖找出問題的答案。OpenAI

問及圖中異常之處,GPT-4也可以找出。

問及圖中異常之處,GPT-4也可以找出。

迷因圖片也難不到GPT-4,而且不失幽默。OpenAI

迷因圖片也難不到GPT-4,而且不失幽默。OpenAI

GPT-4可以分解解讀漫畫的重點。OpenAI

GPT-4可以分解解讀漫畫的重點。OpenAI

多模態AI模型GPT-4,可支援圖片輸入,可解釋還能生成網頁程式碼。OpenAI

多模態AI模型GPT-4,可支援圖片輸入,可解釋還能生成網頁程式碼。OpenAI

https://youtu.be/outcGtbnMuQ

報道指,現時的ChatGPT屬於GPT-3.5版本,其於文字及圖片上的表現已相當出色,吸引眾多科企將旗下產品加入該技術。而GPT-4是一個多模態的AI模型,除了文字輸入以外,還可透過圖像輸入來生成內容。

GPT-4會以文字來解釋圖片內容,並且符合文字任務的要求。輸入的圖片可以是照片、圖表或螢幕截圖。舉例來說,如果用家發送雪櫃內部的圖片,GPT-4不僅能正確識別有甚麼,還會調製可以用這些材料製成的東西。

未來,GPT-4還將持續強化解圖能力,例如可以輸入多組圖片範例,或是提供分解動作解釋的解圖能力。

GPT-4可解讀分析圖表內容。OpenAI

GPT-4可解讀分析圖表內容。OpenAI

OpenAI透過網誌表示,使用微軟的Azure訓練GPT-4模型,相較於前一版的GPT-3.5,GPT-4有了巨幅改進,又指新模型將產生更少的錯誤答案、減少偏離軌道和談論禁忌話題的頻率。

較早前,在與ChatGPT或Bing的的互動中,傳出許多用家被呈現謊言、侮辱或其他所謂的「幻覺」。OpenAI表示:「我們花了6個月的時間使GPT-4更安全、更一致。GPT-4回應不允許內容請求降低了82%,產生事實回應的可能性增加了40%」。

GPT-4可以看圖找出問題的答案。OpenAI

GPT-4可以看圖找出問題的答案。OpenAI

在模擬美國法學院畢業生參加律師考試的實測中,GPT-4的分數可達到前10%左右,GPT-3.5卻只能落在最底的10%。在SAT數學測驗或GRE測驗等30多項不同學科的主流檢定測驗上,GPT-4都大勝3.5版。

OpenAI宣稱,GPT-4英文答題的正確率達到80.5%,高於3.5版的70.1%,甚至也高於Google日前的PaLM模型英文答題的69.3%正確率。不過,PaLM答題正確率是OpenAI自行實測的結果,而非Google官方數據。值得注意的是,GPT-4對翻譯成中文版的MMLU答題正確率也達到了80.1%,日語和韓語版也都有70至80%的正確率。

問及圖中異常之處,GPT-4也可以找出。

問及圖中異常之處,GPT-4也可以找出。

迷因圖片也難不到GPT-4,而且不失幽默。OpenAI

迷因圖片也難不到GPT-4,而且不失幽默。OpenAI

OpenAI說,雖然在一般對話中,GPT-3.5和GPT-4兩種版本模型的生成內容相當類似,但是當任務的複雜度達到一定門檻時,差異就會浮現,GPT-4更有能力處理更細膩的指令。

根據OpenAI,摩根士丹利正在使用 GPT-4 來整理數據,電子支付商Stripe也在測試是否可利用GPT-4來杜絕詐騙,其他客戶還包含線上語言學習 App「Duolingo」、線上學習平台可汗學院 (Khan Academy) 以及冰島政府。

GPT-4目前先開放了文字輸入功能予ChatGPT Plus付費用戶,特定合作夥伴可優先排入試用新版。至於圖片輸入功能目前仍在預覽階段。

GPT-4可以分解解讀漫畫的重點。OpenAI

GPT-4可以分解解讀漫畫的重點。OpenAI

多模態AI模型GPT-4,可支援圖片輸入,可解釋還能生成網頁程式碼。OpenAI

多模態AI模型GPT-4,可支援圖片輸入,可解釋還能生成網頁程式碼。OpenAI

美國《時代》雜誌周四(12月11日)公布,由全球首富馬斯克(Elon Musk)、英偉達行政總裁黃仁勳、AMD行政總裁蘇姿丰等8位人工智能領域領軍人物的「AI設計師」群體,當選為2025年度風雲人物。

8名獲獎者被稱為AI設計師

《時代》雜誌在社交平台X發布的獲獎照片顯示,除了上述三人,Meta行政總裁朱克伯格、OpenAI行政總裁Sam Altman和美國科學家李飛等人共同坐在一根鋼梁上合影。這8位獲獎者被雜誌統稱為人工智能的「設計師」。

英偉達行政總裁黃仁勳當選為2025年度風雲人物。圖片來源:AP

英偉達行政總裁黃仁勳當選為2025年度風雲人物。圖片來源:AP

2025年是人工智能發展不可逆轉的一年

《時代》雜誌在評選說明中指出,2025年是人工智能潛力盡現的一年,也是人工智能發展不可逆轉的一年。這項技術開啟了思維機器的時代,令人類既驚艷又警醒,正在定義現在並超越可能,因此人工智能的「設計師」們當選為年度風雲人物。

AMD行政總裁蘇姿丰等8位人工智能領域領軍人物的「AI設計師」群體,當選為2025年度風雲人物。圖片來源:AP

AMD行政總裁蘇姿丰等8位人工智能領域領軍人物的「AI設計師」群體,當選為2025年度風雲人物。圖片來源:AP

以往多為政治人物或業界領袖

年度風雲人物的評選傳統源於「偉人理論」,旨在表彰對社會產生重大影響的個人,以往多為政治人物或業界領袖,且以男性為主。2024年該殊榮由美國總統特朗普獲得。

全球首富馬斯克(Elon Musk)等8位人工智能領域領軍人物的「AI設計師」群體,當選為2025年度風雲人物。圖片來源:AP

全球首富馬斯克(Elon Musk)等8位人工智能領域領軍人物的「AI設計師」群體,當選為2025年度風雲人物。圖片來源:AP

你 或 有 興 趣 的 文 章