Skip to Content Facebook Feature Image

OpenAI推多模態AI模型GPT-4 可支援圖片輸入及以文字解釋圖像等

大視野

OpenAI推多模態AI模型GPT-4 可支援圖片輸入及以文字解釋圖像等
大視野

大視野

OpenAI推多模態AI模型GPT-4 可支援圖片輸入及以文字解釋圖像等

2023年03月15日 16:19 最後更新:18:12

以開發出聊天機械人ChatGPT聞名的OpenAI,周二發布名為GPT-4的最新人工智能 (AI) 模型,除了準確度、創造力和協作性更高之外,GPT-4還可支援圖片輸入功能,並以文字來解釋圖像內容,甚至回答問題;甚至輸入一張手繪設計草圖就能自動產生對應的網頁程式碼。

GPT-4可以用來解釋組合圖,各圖的重點,該圖為「VGA轉接頭接上iPhone手機」。OpenAI

GPT-4可以用來解釋組合圖,各圖的重點,該圖為「VGA轉接頭接上iPhone手機」。OpenAI

更多相片
GPT-4可以用來解釋組合圖,各圖的重點,該圖為「VGA轉接頭接上iPhone手機」。OpenAI

以開發出聊天機械人ChatGPT聞名的OpenAI,周二發布名為GPT-4的最新人工智能 (AI) 模型,除了準確度、創造力和協作性更高之外,GPT-4還可支援圖片輸入功能,並以文字來解釋圖像內容,甚至回答問題;甚至輸入一張手繪設計草圖就能自動產生對應的網頁程式碼。

GPT-4可解讀分析圖表內容。OpenAI

https://youtu.be/outcGtbnMuQ

GPT-4可以看圖找出問題的答案。OpenAI

OpenAI透過網誌表示,使用微軟的Azure訓練GPT-4模型,相較於前一版的GPT-3.5,GPT-4有了巨幅改進,又指新模型將產生更少的錯誤答案、減少偏離軌道和談論禁忌話題的頻率。

問及圖中異常之處,GPT-4也可以找出。

在模擬美國法學院畢業生參加律師考試的實測中,GPT-4的分數可達到前10%左右,GPT-3.5卻只能落在最底的10%。在SAT數學測驗或GRE測驗等30多項不同學科的主流檢定測驗上,GPT-4都大勝3.5版。

迷因圖片也難不到GPT-4,而且不失幽默。OpenAI

迷因圖片也難不到GPT-4,而且不失幽默。OpenAI

GPT-4可以分解解讀漫畫的重點。OpenAI

OpenAI說,雖然在一般對話中,GPT-3.5和GPT-4兩種版本模型的生成內容相當類似,但是當任務的複雜度達到一定門檻時,差異就會浮現,GPT-4更有能力處理更細膩的指令。

多模態AI模型GPT-4,可支援圖片輸入,可解釋還能生成網頁程式碼。OpenAI

多模態AI模型GPT-4,可支援圖片輸入,可解釋還能生成網頁程式碼。OpenAI

https://youtu.be/outcGtbnMuQ

報道指,現時的ChatGPT屬於GPT-3.5版本,其於文字及圖片上的表現已相當出色,吸引眾多科企將旗下產品加入該技術。而GPT-4是一個多模態的AI模型,除了文字輸入以外,還可透過圖像輸入來生成內容。

GPT-4會以文字來解釋圖片內容,並且符合文字任務的要求。輸入的圖片可以是照片、圖表或螢幕截圖。舉例來說,如果用家發送雪櫃內部的圖片,GPT-4不僅能正確識別有甚麼,還會調製可以用這些材料製成的東西。

未來,GPT-4還將持續強化解圖能力,例如可以輸入多組圖片範例,或是提供分解動作解釋的解圖能力。

GPT-4可解讀分析圖表內容。OpenAI

GPT-4可解讀分析圖表內容。OpenAI

OpenAI透過網誌表示,使用微軟的Azure訓練GPT-4模型,相較於前一版的GPT-3.5,GPT-4有了巨幅改進,又指新模型將產生更少的錯誤答案、減少偏離軌道和談論禁忌話題的頻率。

較早前,在與ChatGPT或Bing的的互動中,傳出許多用家被呈現謊言、侮辱或其他所謂的「幻覺」。OpenAI表示:「我們花了6個月的時間使GPT-4更安全、更一致。GPT-4回應不允許內容請求降低了82%,產生事實回應的可能性增加了40%」。

GPT-4可以看圖找出問題的答案。OpenAI

GPT-4可以看圖找出問題的答案。OpenAI

在模擬美國法學院畢業生參加律師考試的實測中,GPT-4的分數可達到前10%左右,GPT-3.5卻只能落在最底的10%。在SAT數學測驗或GRE測驗等30多項不同學科的主流檢定測驗上,GPT-4都大勝3.5版。

OpenAI宣稱,GPT-4英文答題的正確率達到80.5%,高於3.5版的70.1%,甚至也高於Google日前的PaLM模型英文答題的69.3%正確率。不過,PaLM答題正確率是OpenAI自行實測的結果,而非Google官方數據。值得注意的是,GPT-4對翻譯成中文版的MMLU答題正確率也達到了80.1%,日語和韓語版也都有70至80%的正確率。

問及圖中異常之處,GPT-4也可以找出。

問及圖中異常之處,GPT-4也可以找出。

迷因圖片也難不到GPT-4,而且不失幽默。OpenAI

迷因圖片也難不到GPT-4,而且不失幽默。OpenAI

OpenAI說,雖然在一般對話中,GPT-3.5和GPT-4兩種版本模型的生成內容相當類似,但是當任務的複雜度達到一定門檻時,差異就會浮現,GPT-4更有能力處理更細膩的指令。

根據OpenAI,摩根士丹利正在使用 GPT-4 來整理數據,電子支付商Stripe也在測試是否可利用GPT-4來杜絕詐騙,其他客戶還包含線上語言學習 App「Duolingo」、線上學習平台可汗學院 (Khan Academy) 以及冰島政府。

GPT-4目前先開放了文字輸入功能予ChatGPT Plus付費用戶,特定合作夥伴可優先排入試用新版。至於圖片輸入功能目前仍在預覽階段。

GPT-4可以分解解讀漫畫的重點。OpenAI

GPT-4可以分解解讀漫畫的重點。OpenAI

多模態AI模型GPT-4,可支援圖片輸入,可解釋還能生成網頁程式碼。OpenAI

多模態AI模型GPT-4,可支援圖片輸入,可解釋還能生成網頁程式碼。OpenAI

往下看更多文章

AI技術超前診斷出患「極致命癌症」救62歲加婦一命

2024年04月27日 17:20 最後更新:04月28日 10:34

加拿大62歲婦巴隆(Dianne Balon)靠AI技術超前診斷出患上致命癌症,挽回了自己的生命。

加拿大62歲婦巴隆聽取新血液檢測方法

據《每日郵報》報導,加拿大62歲婦巴隆在2017年的一次健康會議上遇到了一種新的血液檢測方法。當時,她以加拿大一家健康保險公司副總裁的身份參加了這次會議。這種方法可以分析250多種生物標記物,而這些生物標記物通常是大多數醫院無法檢測到的複雜指標。

血液檢測使用經訓練人工智能程式  尋找免疫標記物和發炎等微小變化

這項血液檢測方法使用了經過訓練的人工智能程式,在資料庫中運行檢測結果,尋找免疫標記物和發炎等微小變化。巴隆對自己的健康狀況感到好奇,於是決定試一試。在2018年至2022年期間,她每年都進行這項血液檢查。

2022年發現體內發炎率「非常高」 活檢結果發現胰臟出現癌性病變

到了2022年,檢測結果顯示她體內的發炎率「非常高」,並且代謝物和蛋白質也發生了變化。儘管當時巴隆身材苗條,沒有症狀,飲食健康,但她將結果告訴了她的醫生。醫生使用傳統的方法對她進行了血液檢查,結果顯示「正常」。然而,巴隆還是說服她的醫生進行了活檢和掃描,結果發現她的胰臟真的出現了癌性病變。

Dianne Balon Twitter圖片

Dianne Balon Twitter圖片

這項檢測結果提供了關鍵的證據。根據巴隆的外科醫生所言,現年62歲的她接受了手術,移除了可能發展成「全面胰臟癌」的病變。

巴隆:AI救了我的命

巴隆表示「我非常感激。AI絕對救了我的命,我就像中了彩票一樣。「巴隆意識到,她提前多年發現了自己的病情。而對於大多數胰臟癌患者來說,發現疾病時已經太晚了。

Dianne Balon Twitter圖片

Dianne Balon Twitter圖片

你 或 有 興 趣 的 文 章