Skip to Content Facebook Feature Image

或危及人類安全? AI聊天機器人編造的醫學論文摘要 科學家難辨真假

博客文章

或危及人類安全?  AI聊天機器人編造的醫學論文摘要 科學家難辨真假
博客文章

博客文章

或危及人類安全? AI聊天機器人編造的醫學論文摘要 科學家難辨真假

2023年01月24日 11:02 最後更新:11:13

聊天機器人ChatGPT去年11月發佈後迅速爆紅,有科學家擔憂,其強大的功能不僅導致更難被發現的抄襲問題,更可能誤導基於科學研究的政策決定、影響社會和科學的進步,令人「細思極恐」。

聊天機器人ChatGPT去年11月發佈。AP圖片

聊天機器人ChatGPT去年11月發佈。AP圖片

ChatGPT是人工智能研究實驗室OpenAI在2022年11月30日發佈的全新聊天機器人模型——人工智能技術驅動的自然語言處理工具,埃隆·馬斯克有份創立這個實驗室。

ChatGPT掀起熱潮。

ChatGPT掀起熱潮。

據介紹,ChatGPT支援中文等多國語言,能夠通過學習和理解人類的語言來進行對話,還能根據聊天的上下文進行互動,真正像人類一樣來聊天交流,也能完成撰寫郵件、視頻腳本、文案、翻譯、代碼、論文等任務。

不過,ChatGPT在掀起熱潮的同時,也引發了科學家們的擔憂。

去年12月27日,美國西北大學的 Catherine Gao 等人在預印本 bioRxiv 上發表了題為:Comparing scientific abstracts generated by ChatGPT to original abstracts using an artificial intelligence output detector, plagiarism detector, and blinded human reviewers 的研究論文。

研究團隊使用AI聊天機器人 ChatGPT 寫出了令人信服的研究論文摘要,甚至人類科學家都難以分辨真假。

事實上,自從ChatGPT發佈以來,研究人員就一直在努力解決圍繞其使用的倫理問題,因為它的大部分輸出很難與人類自己所書寫的文本區分開來。在這篇發表於預印本論文中,Catherine Gao 領導的研究團隊使用 ChatGPT 來生成研究論文摘要,以測試科學家是否能發現它們。

研究團隊要求ChatGPT根據發表在 JAMA、NEJM、BMJ、Lancet 和 Nature Medicine 這5個頂級醫學期刊上精選的論文來撰寫50篇醫學研究摘要。然後,研究團隊通過論文剽竊檢測器和人工智能輸出檢測器將這些摘要與原始摘要進行比較,並要求一組醫學研究人員找出那些是ChatGPT所編造的摘要。

結果令人驚訝,ChatGPT所編寫的摘要順利通過了論文剽竊檢查,原創性得分為100%,也就是沒有檢測到抄襲。人工智能輸出檢測器發現了33篇(識別率66%)由ChatGPT所編造的摘要,但人類審稿人並沒有能做得更好,人類審稿人只正確地識別了34篇(識別率68%)由ChatGPT所編造的摘要和86%的真正的論文摘要。也就說是,人類審稿人把32%的ChatGPT所編造的摘要識別為真實的論文摘要,而將14%的真實論文摘要識別為ChatGPT所編造的摘要。這意味著,ChatGPT在編造研究論文摘要方面,達到了人類專家都難辨真假的程度。

Catherine Gao 表示,ChatGPT寫出了令人信服的研究論文摘要,使用大型語言模型來幫助科學寫作的道德和可接受的界限仍有待確定。

這將為我們帶來一個顯而易見的難題:如果科學家都不能判斷這些由ChatGPT所編造的研究論文的真假,可能會帶來「可怕的後果」。這不僅會給科研人員帶來麻煩,因為他們閱讀的研究論文可能是由ChatGPT編造的。這也可能對整個社會帶來麻煩,因為科學研究在社會中發揮重要作用,基於科學研究的政策決定可能會受到ChatGPT編造的研究所誤導。

還有人工智能研究專家為這種依賴大型語言模型進行科學思考的方式感到擔憂,因為這些模型是根據過去的已有信息進行訓練的,而社會和科學的進步往往來自與過去不同的思維或開放思維。

因此,這篇預印本論文作者建議,那些評估研究論文和學術會議紀錄的人,應當制定政策,杜絕使用人工智能來生成文本。如果允許在某些情況下使用這些技術,應當建立明確的規則,並披露具體使用情況。

據悉,將於今年7月在夏威夷舉行的第40屆國際機器學習大會,將會宣佈禁止使用ChatGPT和其他AI語言工具撰寫論文。

在虛假信息可能危及人類安全的領域,例如醫學領域,醫學學術期刊應當採取更嚴格的方法來驗證信息的準確性。

普林斯頓大學的計算機科學家 Arvind Narayanan 表示,任何嚴肅的科學家都不太可能使用ChatGPT來生成論文摘要,使用ChatGPT的好處是微乎其微,而缺點是顯著的。解決使用ChatGPT來編造論文這一問題的方案不應該聚焦在ChatGPT工具本身,而應該聚焦在導致這種行為的動機上,比如有些大學在招聘和晉升審核時,只看論文數量,而不考慮論文的質量或影響力。




深喉

** 博客文章文責自負,不代表本公司立場 **

歷經數月角力,克林頓夫婦同意就愛潑斯坦案的相關調查接受國會方面的問詢。

內地環球時報報道,作為民主黨的代表人物,克林頓的被迫讓步折射出美國黨爭的白熱化,而一位前總統被國會「強制傳喚」的案例在美國政治史上更是罕見。在輿論看來,愛潑斯坦事件本就是特朗普政府把持的一枚政治籌碼,如今事態的發展與真相已是漸行漸遠,「蘿莉島」真正的受害群體更加無人問津。

AP圖片

AP圖片

周一晚上,克林頓夫婦的代理律師向國會眾議院監督與問責委員會主席、共和黨人科默發送電子郵件,明確表示其委托人將會在「雙方商定的日期出面作證」,同時請求國會眾議院不要繼續推動針對二人原定於周三的「藐視國會」指控投票。報道引述美聯社稱,雖然克林頓一方已經「服軟」,但科默表示不會即刻撤銷對二人的指控,眾議院也只是在程序上暫緩了這一進程,因為雙方尚未達成任何書面協議。科默在一份聲明中強調,克林頓夫婦作出妥協的「唯一原因」就是針對二人的「藐視國會」指控。據了解,眾議院舉行全院投票前,有關該項指控的決議要接受眾議院規則委員會的審議,該委員會目前暫時中止了這一進程,但警告稱如果在短期內看不到克林頓一方的誠意,將繼續推動投票進程。

公開資料顯示,愛潑斯坦曾在克林頓任總統期間多次造訪白宮,而後者也曾多次乘坐前者的私人飛機出行。不過,克林頓堅決否認曾涉足惡名昭著的「蘿莉島」,已知的受害人也並未對他提出過任何涉性指控。克林頓妻子希拉里堅稱從未見過愛潑斯坦,也未與其通過話。

去年,國會啟動愛潑斯坦案的調查後,曾要求克林頓夫婦出面作證,但二人以不具合法性為由拒絕出席。於是在今年1月,眾議院監督委員會正式對二人發起指控。「藐視國會」情節一旦成立,二人不僅面臨巨額罰款,更有可能在司法部後續提出的刑事指控中鋃鐺入獄、身敗名裂。面對這種可能後果,克林頓夫婦逐步退讓,但仍就會晤時間、場合及提問範圍等細節與國會方面「扯皮」。報道稱,克林頓的律師上周六還在試圖將面談時間嚴格限制在4小時,遭到科默的斷然拒絕。科默表示克林頓「太能說」,4小時問不出什麼。

在《紐約時報》等媒體看來,克林頓方面周一的表態其實已經標誌著共和黨方面的勝利:在科默等人的努力下,共和黨成功將醜聞調查的重點從「特朗普與愛潑斯坦」轉移到了「民主黨政要與愛潑斯坦」上面。對於這一事態的發展,加州民主黨議員、監督與問責委員會成員加西亞表示,眾議院若繼續推動這項決議,無論是對「蘿莉島」的受害者、還是調查本身都是巨大的傷害,他批評科默只在意玩弄「政治把戲」。

諷刺的是,克林頓夫婦的重大危機與多名民主黨人「倒戈」也存在一定關聯。在監督與問責委員會1月的投票中,9名民主黨籍委員會成員支持推動克林頓「藐視國會」的指控,3名民主黨籍成員支持針對希拉里的指控。克林頓的長期顧問雷恩斯批評道,前者的境遇「就怪這些反水的民主黨人」。《紐約時報》稱,其實民主黨中很多人不願意維護與性侵犯有關聯的人物,遑論克林頓本就風評不佳。

美國前總統被迫出席國會聽證會在最近幾十年堪稱絕無僅有。前總統福特1983年現身國會是為了商討慶祝活動,與克林頓的遭遇全然不同。特朗普首個任期結束後曾因「國會山暴亂」事件受到過傳喚,但他最終「化險為夷」。

你 或 有 興 趣 的 文 章