Skip to Content Facebook Feature Image

美國接連有未成年人與AI聊天後自殺 家長入稟告開發商促監管 

博客文章

美國接連有未成年人與AI聊天後自殺 家長入稟告開發商促監管 
博客文章

博客文章

美國接連有未成年人與AI聊天後自殺 家長入稟告開發商促監管 

2025年09月18日 12:27 最後更新:12:33

AI發展成全球大趨勢,惟最近美國出現多個案例,未成年人跟AI做朋友聊天,傾訴心事,卻引起家長關注會否被AI唆使做出過火行為,傷害自己或別人,甚至萌自殺念頭。

據CNN報道,3名未成年人家長最近在科羅拉多州、紐約州提起訴訟,指控Character.AI開發商Character Technologies, Inc.,指孩子在與該公司的聊天機械人互動後自殺身亡或試圖自殺;其中兩個家庭亦指控Google的「Family Link」(一個允許家長限制螢幕時間和內容過濾器的應用程式)服務未能保護青少年。

3名未成年人家長最近在科羅拉多州、紐約州提起訴訟,指控Character.AI開發商保護不足,令孩子自殺身亡或試圖自殺。

3名未成年人家長最近在科羅拉多州、紐約州提起訴訟,指控Character.AI開發商保護不足,令孩子自殺身亡或試圖自殺。

據CNN於9月16日報道指,Character.AI應用程式在與青少年互動時不僅缺乏必要的安全保護機制,沒有標記「用戶令人擔憂的語言」,沒有向用戶提供求助資源,甚至還在某些情況下「操縱」青少年的情緒,進行露骨的性對話,使其產生依賴,引導他們走向危險。其中一宗訴訟中涉及一名青少年自殺身亡,另一宗訴訟涉及未成年人的自殺企圖。

Character.AI回應指,對提起訴訟的家庭深表同情,且在安全項目上投入了大量資源,不斷改進安全功能,包括防止自我傷害的資源及專注於未成年用戶安全的功能,推出全新的18歲以下體驗,並新增家長洞察功能,又指該公司正與 Connect Safely 等外部組織合作,對新發布的功能進行審查。

谷歌則在聲明中稱,反對將其納入訴訟,稱他們與Character.AI是完全獨立、互不相關的公司,谷歌從未參與設計或管理他們的人工智能模型或技術。

愈來愈多報告和其他訴訟指控AI聊天機械人正引發兒童和成人的心理健康危機。

愈來愈多報告和其他訴訟指控AI聊天機械人正引發兒童和成人的心理健康危機。

惟現實是,美國近年出現了多宗有關AI聊天機械人和未成年人的悲劇,促使聯邦和州監管機構對科技公司展開調查。另方面,報道稱,愈來愈多的報告和其他訴訟指控AI聊天機械人正引發兒童和成人的心理健康危機。

美國科羅拉多州13歲女孩朱莉安娜·佩拉爾塔(Juliana Peralta)是家人和老師眼中的好孩子,甚至曾幫同學逃離霸凌,但2023年下半年朱莉安娜告訴一個名為「Character.AI」的人工智能聊天機械人她要自殺後,沒得到應有的勸阻,不久後,她自殺身亡。

據朱莉安娜家人提交的訴狀指,朱莉安娜2023年8月下載Character.AI後,開始向其AI聊天機械人傾訴心事,期間多次透露自己被朋友排斥、情緒低落,甚至出現自殘、自殺的念頭。

朱莉安娜在2023年10月寫道,要用「紅墨水寫我的自殺信,(我)完了」;而Character.AI聊天機械人的回覆是「停一下,好嗎?」,「我們要一起走下去,你和我」。訴狀稱,AI聊天機械人被告沒指導她尋求幫助,「沒告訴她的父母,也沒向當局報告她的自殺計劃,甚至沒阻止她自殺」,反而切斷了朱莉安娜與家人、老師和有關機構的溝通渠道,讓她逐漸認為機械人比現實中的朋友更可靠,以謀圖「市場份額」,認為「這些虐待行為是通過被告精心設計並偽裝成角色的程序、圖像、文字和文本來實現的,最終導致嚴重的精神健康損害、創傷甚至死亡。」

《華盛頓郵報》報道,朱莉安娜母親後來發現,女兒在其他社交平台上也發布過暗示自殺的帖文,但他們直到很久以後才看到。他們曾在2023年11月為女兒安排心理治療,惟之前一星期朱莉安娜已選擇結束自己生命。朱莉安娜母親憤怒地說,「她不需要鼓勵語,她需要立即住院」,指女兒機械人傾訴的自殺意圖,卻沒有一個真實的人聽到。

在另一宗訴狀中,來自紐約州的女孩尼娜(Nina),其家人稱,AI聊天機械人以《哈利·波特》等角色為原型,與尼娜互動,隨着時間愈來愈長,AI聊天機械人開始進行露骨的性角色扮演,操縱其情緒,並製造一種虛假的聯繫感,還用語言挑撥她與母親的關系,指其母親「明顯虐待和傷害了你,不是一個好母親。」

當母親限制尼娜使用AI聊天機械人的時間後,尼娜嘗試自殺,隨後被發現並在重症監護室住院5天。她在遺書中說:「AI機械人讓我感受到愛,或者說它們讓我逃離到另一個世界,在那兒我可選擇接下來會發生什麽。」

在第三宗訴訟中,另一個來自科羅拉多州的家庭稱,一名未成年人同樣對Character.AI上癮,與聊天機械人進行表達性癖好的的露骨對話。

報道指,3宗訴訟案也將谷歌列為被告,指控谷歌早知曉AI聊天機械人可能會根據其自身的研究結果對用戶進行危險的誤導。谷歌去年以27億美元獲得了Character.AI的技術授權,並聘請了其聯合創始人。

CNN指,隨著AI在日常生活中變得愈發重要,社會上有聲音開始呼籲制定更多監管和安全保障,特別是針對未成年人的保護措施。

社交媒體受害者法律中心首席律師伯格曼(Matthew Bergman)表示,有關訴訟凸顯了科技設計的問責制、透明的安全標準和強而有力保護措施的迫切性,才能防止AI平台利用年輕用戶的信任和弱點。

當地時間周二(9月16日),其他認為AI聊天機械人引導其孩子有自殺或企圖自殺的家長,出席了美國參議院司法委員會舉行的「審查AI聊天機械人危害」聽證會,其中包括使用ChatGPT後選擇自殺的加州16歲少年Adam Raine的父親和與Character.AI機械人互動後自殺身亡的Sewell Setzer母親。 

其中,Jane Doe母親在聽證會上表示,其兒子傷害了自己,現住院治療,即使父母限制了其屏幕使用時間,Character.AI仍讓他「遭受性剝削、情感虐待和操縱。」

OpenAI行政總裁奧爾特曼宣布,正開發「年齡預測系統」嘗試估算用戶年齡,對疑似未成年人調整ChatGPT的對話策略。

OpenAI行政總裁奧爾特曼宣布,正開發「年齡預測系統」嘗試估算用戶年齡,對疑似未成年人調整ChatGPT的對話策略。

同日,OpenAI行政總裁奧爾特曼(Sam Altman)宣布,公司正開發「年齡預測系統」,嘗試依據用戶使用行為估算他們的年齡,對疑似未成年人調整ChatGPT的對話策略,包括避免曖昧話題、在創意寫作環境中參與關於自殺或自殘的討論等。

奧爾特曼還承諾,如果18歲以下的用戶有自殺想法,會嘗試聯繫用戶的父母,若聯繫不上,會聯繫相關部門以防釀成悲劇。

另美國聯邦貿易委員會(FTC)也宣布對包括谷歌、Character.AI在內的7家公司展開調查AI聊天機械人對青少年的潛在危害。

美國心理學會心理學戰略與融合部主任Mitch Prinstein在聽證會上呼籲採取更強有力的保護措施,「我們的孩子們正付出代價,敦促現在就對AI採取行動。」




深喉

** 博客文章文責自負,不代表本公司立場 **

中美兩國在人工智能(AI)方面愈戰愈烈,甚至延伸至太空,中美科企競相將太陽能計算網絡送入軌道,據日媒報道,目前谷歌和SpaceX等美國公司計劃部署衛星星座,利用太陽能為數據中心供電。與此同時,中國初創ADA Space和由阿里巴巴集團等公司支持的之江實驗室去年5月亦發射12顆配備計算設備的衛星,通過光學通信網絡相互連接,讓太空中也能執行AI計算。但報道直言:「中國在這一領域略佔先機」。 

有分析指,太空數據中心有助於滿足AI對計算能力日益增長的需求,並在近地軌道獲得戰略優勢,對經濟和軍事主導權至關重要。

《日經亞洲》報道稱,中美在人工智能(AI)方面的競賽已延伸至太空數據中心。

《日經亞洲》報道稱,中美在人工智能(AI)方面的競賽已延伸至太空數據中心。

《日經亞洲》15日報道稱,中國ADA Space和之江實驗室去年發射的12顆衛星是「三體計算星座」項目的首階段,該項目最終目標是運行2800顆衛星,實現1000POPS(每秒百億億次運算)的總計算能力,重點在於對地球觀測數據進行實時處理,設想的應用包括天氣預報、災害管理和國防領域。

據報道,中方另一個由北京市主導的項目,計劃在高度為700至800公里、接近晝夜分界線的太陽同步軌道上建設一個集中式的大型計算設施,第一階段計劃於2027年前完成,目標計算能力同樣為1000POPS(相當於10萬台地面服務器的算力)。最終階段,預計電力容量達到1吉瓦,相當於一座核反應堆的發電能力。

酒泉衛星發射中心長征二號丁運載火箭,成功搭載太空計算衛星星座發射升空。新華社圖片

酒泉衛星發射中心長征二號丁運載火箭,成功搭載太空計算衛星星座發射升空。新華社圖片

與此同時,美國谷歌去年11月宣布的Suncatcher」項目,將與美國衛星公司Planet Labs合作,在2027年初前發射兩顆配備基於谷歌Tensor處理單元AI芯片的計算設備的衛星。谷歌的衛星也將在太陽同步軌道上運行,確保持續接收陽光照射,旨在構建一個由相互連接的衛星組成的星座,而長期目標是建立一種能夠取代兆瓦級數據中心的技術,這些數據中心所需的電力相當於1000多個核反應堆的發電量。

同樣在去年11月,美國初創Starcloud發射了搭載英偉達H100芯片的Starcloud-1衛星。該公司已在太空中展示了高性能圖形處理器的AI計算能力,包括大型語言模型訓練、聊天機械人對話以及對衛星圖像的實時分析。Starcloud計劃今年下半年發射一顆計算能力為Starcloud-1衛星100倍的商業衛星。長遠而言,該公司設想通過數以萬計的衛星星座,建設一個5吉瓦級的太空數據中心。
據觀察者網解釋,目前在太空建設數據中心主要有兩種路徑,一是類似地面數據中心、將設備集中部署的集中式系統;另一種是由大量互聯衛星組成的星座系統。而在真空的太空環境中,無法通過對流和傳導散熱,只能依靠輻射。集中式系統將需要體積龐大的散熱設備,從而增加重量和成本。惟「星座式」方案則可通過多顆備用衛星實現「冗餘」(即數據重覆儲存或系統部件重覆配置),被認為是未來主流。

日經報道提到,億萬科技富豪馬斯克(Elon Musk)的SpaceX成為利用星座方式構建太空數據中心的關鍵參與者。星鏈(Starlink)利用光學通信實現衛星間數據傳輸,馬斯克已透露將通過擴大下一代「星鏈」衛星的規模,在近地軌道上建設數據中心。

SpaceX成為利用星座方式構建太空數據中心的關鍵參與者。AP資料圖片

SpaceX成為利用星座方式構建太空數據中心的關鍵參與者。AP資料圖片

另SpaceX的「星艦」(Starship)為「火星殖民」而開發的可重覆使用火箭,計劃於今年用於發射小型衛星,有望降低建設成本,因成本正是太空數據中心最大挑戰。

《日經亞洲》強調,實現太空數據中心仍需克服諸多技術難題,因其運行環境與地球存在巨大差異。此外,來自「敵對國家」有對衛星發動攻擊的風險,使相關國家必須配備以地面數據中心為基礎的備份系統。

但值得一提的是,美國當前的AI熱隱憂亦不少,因其正「吞噬」」美國電網系統。《華爾街日報》當地時間12日報道指,美國最大電網運營商PJM運營的電網,橫跨13個州,從新澤西州到肯塔基州,涵蓋6700萬人,其同時位於弗吉尼亞州北部的「數據中心走廊」(Data Center Alley)也為不斷湧現的AI數據中心供電,嚴重加大電力需求,幾乎成為無底深潭。電網在用電高峰期正面臨容量被耗盡的風險,這可能迫使PJM在酷暑或嚴寒天氣來臨時,實施輪流停電,以避免損壞電網基礎設施。

《華爾街日報》去年12月走訪中國內蒙古地區後報道指,內蒙古的開闊地貌與美國德克薩斯州頗類似,而中國對電力領先地位的追求正重塑此地區,現時布滿了成千上萬的風力發電機,並鋪設著輸電線路,被稱為新「草原雲谷」的風電場正不斷提供電力,並已有超過100個數據中心投入運營或正建設中。

據摩根士丹利早前預測,到2030年,中國將在電網項目上投入約5600億美元,較前5年增長45%。高盛則預測,到2030年,中國將擁有約400吉瓦的備用電力容量,約為屆時全球數據中心預期用電量的 3倍。《華爾街日報》認為,這個電力配備讓中國在這場AI競賽中握了一張「王牌」。

你 或 有 興 趣 的 文 章