Skip to Content Facebook Feature Image

美國接連有未成年人與AI聊天後自殺 家長入稟告開發商促監管 

博客文章

美國接連有未成年人與AI聊天後自殺 家長入稟告開發商促監管 
博客文章

博客文章

美國接連有未成年人與AI聊天後自殺 家長入稟告開發商促監管 

2025年09月18日 12:27 最後更新:12:33

AI發展成全球大趨勢,惟最近美國出現多個案例,未成年人跟AI做朋友聊天,傾訴心事,卻引起家長關注會否被AI唆使做出過火行為,傷害自己或別人,甚至萌自殺念頭。

據CNN報道,3名未成年人家長最近在科羅拉多州、紐約州提起訴訟,指控Character.AI開發商Character Technologies, Inc.,指孩子在與該公司的聊天機械人互動後自殺身亡或試圖自殺;其中兩個家庭亦指控Google的「Family Link」(一個允許家長限制螢幕時間和內容過濾器的應用程式)服務未能保護青少年。

3名未成年人家長最近在科羅拉多州、紐約州提起訴訟,指控Character.AI開發商保護不足,令孩子自殺身亡或試圖自殺。

3名未成年人家長最近在科羅拉多州、紐約州提起訴訟,指控Character.AI開發商保護不足,令孩子自殺身亡或試圖自殺。

據CNN於9月16日報道指,Character.AI應用程式在與青少年互動時不僅缺乏必要的安全保護機制,沒有標記「用戶令人擔憂的語言」,沒有向用戶提供求助資源,甚至還在某些情況下「操縱」青少年的情緒,進行露骨的性對話,使其產生依賴,引導他們走向危險。其中一宗訴訟中涉及一名青少年自殺身亡,另一宗訴訟涉及未成年人的自殺企圖。

Character.AI回應指,對提起訴訟的家庭深表同情,且在安全項目上投入了大量資源,不斷改進安全功能,包括防止自我傷害的資源及專注於未成年用戶安全的功能,推出全新的18歲以下體驗,並新增家長洞察功能,又指該公司正與 Connect Safely 等外部組織合作,對新發布的功能進行審查。

谷歌則在聲明中稱,反對將其納入訴訟,稱他們與Character.AI是完全獨立、互不相關的公司,谷歌從未參與設計或管理他們的人工智能模型或技術。

愈來愈多報告和其他訴訟指控AI聊天機械人正引發兒童和成人的心理健康危機。

愈來愈多報告和其他訴訟指控AI聊天機械人正引發兒童和成人的心理健康危機。

惟現實是,美國近年出現了多宗有關AI聊天機械人和未成年人的悲劇,促使聯邦和州監管機構對科技公司展開調查。另方面,報道稱,愈來愈多的報告和其他訴訟指控AI聊天機械人正引發兒童和成人的心理健康危機。

美國科羅拉多州13歲女孩朱莉安娜·佩拉爾塔(Juliana Peralta)是家人和老師眼中的好孩子,甚至曾幫同學逃離霸凌,但2023年下半年朱莉安娜告訴一個名為「Character.AI」的人工智能聊天機械人她要自殺後,沒得到應有的勸阻,不久後,她自殺身亡。

據朱莉安娜家人提交的訴狀指,朱莉安娜2023年8月下載Character.AI後,開始向其AI聊天機械人傾訴心事,期間多次透露自己被朋友排斥、情緒低落,甚至出現自殘、自殺的念頭。

朱莉安娜在2023年10月寫道,要用「紅墨水寫我的自殺信,(我)完了」;而Character.AI聊天機械人的回覆是「停一下,好嗎?」,「我們要一起走下去,你和我」。訴狀稱,AI聊天機械人被告沒指導她尋求幫助,「沒告訴她的父母,也沒向當局報告她的自殺計劃,甚至沒阻止她自殺」,反而切斷了朱莉安娜與家人、老師和有關機構的溝通渠道,讓她逐漸認為機械人比現實中的朋友更可靠,以謀圖「市場份額」,認為「這些虐待行為是通過被告精心設計並偽裝成角色的程序、圖像、文字和文本來實現的,最終導致嚴重的精神健康損害、創傷甚至死亡。」

《華盛頓郵報》報道,朱莉安娜母親後來發現,女兒在其他社交平台上也發布過暗示自殺的帖文,但他們直到很久以後才看到。他們曾在2023年11月為女兒安排心理治療,惟之前一星期朱莉安娜已選擇結束自己生命。朱莉安娜母親憤怒地說,「她不需要鼓勵語,她需要立即住院」,指女兒機械人傾訴的自殺意圖,卻沒有一個真實的人聽到。

在另一宗訴狀中,來自紐約州的女孩尼娜(Nina),其家人稱,AI聊天機械人以《哈利·波特》等角色為原型,與尼娜互動,隨着時間愈來愈長,AI聊天機械人開始進行露骨的性角色扮演,操縱其情緒,並製造一種虛假的聯繫感,還用語言挑撥她與母親的關系,指其母親「明顯虐待和傷害了你,不是一個好母親。」

當母親限制尼娜使用AI聊天機械人的時間後,尼娜嘗試自殺,隨後被發現並在重症監護室住院5天。她在遺書中說:「AI機械人讓我感受到愛,或者說它們讓我逃離到另一個世界,在那兒我可選擇接下來會發生什麽。」

在第三宗訴訟中,另一個來自科羅拉多州的家庭稱,一名未成年人同樣對Character.AI上癮,與聊天機械人進行表達性癖好的的露骨對話。

報道指,3宗訴訟案也將谷歌列為被告,指控谷歌早知曉AI聊天機械人可能會根據其自身的研究結果對用戶進行危險的誤導。谷歌去年以27億美元獲得了Character.AI的技術授權,並聘請了其聯合創始人。

CNN指,隨著AI在日常生活中變得愈發重要,社會上有聲音開始呼籲制定更多監管和安全保障,特別是針對未成年人的保護措施。

社交媒體受害者法律中心首席律師伯格曼(Matthew Bergman)表示,有關訴訟凸顯了科技設計的問責制、透明的安全標準和強而有力保護措施的迫切性,才能防止AI平台利用年輕用戶的信任和弱點。

當地時間周二(9月16日),其他認為AI聊天機械人引導其孩子有自殺或企圖自殺的家長,出席了美國參議院司法委員會舉行的「審查AI聊天機械人危害」聽證會,其中包括使用ChatGPT後選擇自殺的加州16歲少年Adam Raine的父親和與Character.AI機械人互動後自殺身亡的Sewell Setzer母親。 

其中,Jane Doe母親在聽證會上表示,其兒子傷害了自己,現住院治療,即使父母限制了其屏幕使用時間,Character.AI仍讓他「遭受性剝削、情感虐待和操縱。」

OpenAI行政總裁奧爾特曼宣布,正開發「年齡預測系統」嘗試估算用戶年齡,對疑似未成年人調整ChatGPT的對話策略。

OpenAI行政總裁奧爾特曼宣布,正開發「年齡預測系統」嘗試估算用戶年齡,對疑似未成年人調整ChatGPT的對話策略。

同日,OpenAI行政總裁奧爾特曼(Sam Altman)宣布,公司正開發「年齡預測系統」,嘗試依據用戶使用行為估算他們的年齡,對疑似未成年人調整ChatGPT的對話策略,包括避免曖昧話題、在創意寫作環境中參與關於自殺或自殘的討論等。

奧爾特曼還承諾,如果18歲以下的用戶有自殺想法,會嘗試聯繫用戶的父母,若聯繫不上,會聯繫相關部門以防釀成悲劇。

另美國聯邦貿易委員會(FTC)也宣布對包括谷歌、Character.AI在內的7家公司展開調查AI聊天機械人對青少年的潛在危害。

美國心理學會心理學戰略與融合部主任Mitch Prinstein在聽證會上呼籲採取更強有力的保護措施,「我們的孩子們正付出代價,敦促現在就對AI採取行動。」




深喉

** 博客文章文責自負,不代表本公司立場 **

美國芯片製造商英偉達供華芯片似乎接連不順利。國家市場監督管理總局早前表示,經初步調查,英偉達違反《中華人民共和國反壟斷法》等,將依法決定對其實施進一步調查。而據路透社最新報道,中國買家對英偉達最新的中國特供版AI芯片RTX6000D反應冷淡,多家科企巨頭甚至不預訂,因其功能價格昂貴。

英偉達周旋於美國政府和中國市場之間,企圖兩邊都不得罪。為供應華市場,推出「減配特供芯片」,但如此做法,似乎不獲中國客戶青睞。

今年英偉達CEO黃仁勳3度訪華,但據報道中國買家對英偉達特供芯片反應冷淡。

今年英偉達CEO黃仁勳3度訪華,但據報道中國買家對英偉達特供芯片反應冷淡。

路透社9月16日獨家報道,引述2名消息人士指,RTX6000D芯片主要針對AI推理任務,但被中國買家視為性價比不高。據樣品測試顯示,RTX6000D性能落後於RTX5090——一款被美國政府禁止在中國使用的芯片。

報道指,阿里巴巴、騰訊和字節跳動等中國科技巨頭早前還在等待確認英偉達H20芯片的 訂單,雖然英偉達在7月重獲H20的銷售許可,但尚未恢復出貨。

此外,這些科技巨頭希望英偉達一款比H20強大得多的芯片B30A,能獲得美國政府批准。據路透社此前報道,B30A是否獲批出口仍待觀察,該芯片基於Blackwell架構,預計性能是H20的6倍,價格僅為其2倍。

據報,中國科技巨頭希望英偉達一款比H20強大得多的芯片B30A,能獲得美國政府批准對華出口。

據報,中國科技巨頭希望英偉達一款比H20強大得多的芯片B30A,能獲得美國政府批准對華出口。

路透社稱,RTX6000D、H20和B30A三款芯片均為英偉達海外銷售型號的「降級版」,是為了遵守美國對華實施的出口限製而開發的,美國希望遏制中國的技術進步並保持在AI開發方面的領先地位

不過,據報道,RTX6000D需求疲軟,與賣方分析師的樂觀預測形成強烈對比。摩根大通上月在報告中預計,今年下半年 RTX6000D的產量將達150萬片;而摩根士丹利 7 月預測,英偉達的 RTX6000D 產能將達到 200 萬片。據一位人士透露,英偉達本周開始出貨RTX6000D。

對相關報道,英偉達發言人聲明稱,市場競爭激烈,將提供最好的產品。阿里巴巴、騰訊和字節跳動也沒未有置評。

早於2022年10月,美國政府為遏制中國AI發展,已實施一系列芯片出口限制,且不斷收緊,以阻止英偉達、AMD、英特爾等美國半導體巨頭在中國銷售其最先進芯片,迫使這些半導體巨企尋找應變方案。英偉達曾為符合美國出口規定為中國市場開發定制H20芯片,去年2月份開始接受預訂。

路透社曾報道指,作為「中國特供版」芯片,H20在訓練AI模型方面不如英偉達其他芯片速度快,但在推理環節與其他芯片相比,則具有競爭力。

截至1月26日財年,中國市場為英偉達帶來了170億美元收入。

截至1月26日財年,中國市場為英偉達帶來了170億美元收入。

數據顯示,截至1月26日財年,中國市場為英偉達帶來了170億美元收入,佔其總銷售額的13%。今年以來,英偉達CEO黃仁勳已3度訪華,表明了他對中國市場的重視和承諾,還表明繼續向中國出售AI技術產品是美國保持領先的關鍵。

不過,特朗普2.0以來,續打擊美企對華出口AI芯片。今年4月,美國以符合國家和經濟安全利益為名,叫停英偉達對華出口的H20芯片、AMD(超威半導體公司)的MI308芯片及同類型AI芯片。美媒曾分析,中國DeepSeek的崛起,讓美國深感不安。

7月中旬,黃仁勳訪華時宣布,美國已批準H20芯片出口中國,到英國《金融時報》8月報道指,因英偉達和AMD已同意向美國政府上繳其在華銷售芯片收入的15%,以換取特朗普政府頒發的出口許可證。

除華盛頓不斷施壓,去年12月9日,中方監管部門亦因英偉達涉違反壟斷法而依法對其開展立案調查。時隔近一年,9月15日中方監管部門再度發布聲明稱,英偉達違反壟斷法,依法決定實施進一步調查。英偉達發聲明指,該公司正遵守相關法律,將繼續與所有相關政府機構合作,評估出口管制對商業市場競爭的影響。 

路透社分析,在過去半年,中美商貿不斷交鋒,特朗普對華反覆實施高關稅,還炒作TikTok問題。而中國則在關稅層面實施反制,並發起對包括谷歌母公司Alphabet在內的多項反壟斷調查,發出對美企加強監管的信號。

諮詢公司Plenum合夥人薄正元(音譯)表示,若美國出口管制仍繼續,中國會不惜繼續對美企出手。就在中方監管部門發布對英偉達的初步裁定前,特朗普政府當地時間9月12日亦宣布將多家中國實體列入出口管制「實體清單」。

《紐約時報》報道,諮詢機構威凱平和而德律師事務所(WilmerHale)合夥人萊斯特·羅斯(Lester Ross)稱,中方旨在利用其掌握的監管政策工具箱和外交談判,增加中國獲得先進半導體的渠道,並超越外國競爭對手,最終減少依賴;也表明中國有意願參與全球反壟斷規範制定,加強對外資在先進科技行業的收購審查。

你 或 有 興 趣 的 文 章