AI發展成全球大趨勢，惟最近美國出現多個案例，未成年人跟AI做朋友聊天，傾訴心事，卻引起家長關注會否被AI唆使做出過火行為，傷害自己或別人，甚至萌自殺念頭。
據CNN報道，3名未成年人家長最近在科羅拉多州、紐約州提起訴訟，指控Character.AI開發商Character Technologies, Inc.，指孩子在與該公司的聊天機械人互動後自殺身亡或試圖自殺；其中兩個家庭亦指控Google的「Family Link」（一個允許家長限制螢幕時間和內容過濾器的應用程式）服務未能保護青少年。
3名未成年人家長最近在科羅拉多州、紐約州提起訴訟，指控Character.AI開發商保護不足，令孩子自殺身亡或試圖自殺。
據CNN於9月16日報道指，Character.AI應用程式在與青少年互動時不僅缺乏必要的安全保護機制，沒有標記「用戶令人擔憂的語言」，沒有向用戶提供求助資源，甚至還在某些情況下「操縱」青少年的情緒，進行露骨的性對話，使其產生依賴，引導他們走向危險。其中一宗訴訟中涉及一名青少年自殺身亡，另一宗訴訟涉及未成年人的自殺企圖。
Character.AI回應指，對提起訴訟的家庭深表同情，且在安全項目上投入了大量資源，不斷改進安全功能，包括防止自我傷害的資源及專注於未成年用戶安全的功能，推出全新的18歲以下體驗，並新增家長洞察功能，又指該公司正與 Connect Safely 等外部組織合作，對新發布的功能進行審查。
谷歌則在聲明中稱，反對將其納入訴訟，稱他們與Character.AI是完全獨立、互不相關的公司，谷歌從未參與設計或管理他們的人工智能模型或技術。
愈來愈多報告和其他訴訟指控AI聊天機械人正引發兒童和成人的心理健康危機。
惟現實是，美國近年出現了多宗有關AI聊天機械人和未成年人的悲劇，促使聯邦和州監管機構對科技公司展開調查。另方面，報道稱，愈來愈多的報告和其他訴訟指控AI聊天機械人正引發兒童和成人的心理健康危機。
美國科羅拉多州13歲女孩朱莉安娜·佩拉爾塔（Juliana Peralta）是家人和老師眼中的好孩子，甚至曾幫同學逃離霸凌，但2023年下半年朱莉安娜告訴一個名為「Character.AI」的人工智能聊天機械人她要自殺後，沒得到應有的勸阻，不久後，她自殺身亡。
據朱莉安娜家人提交的訴狀指，朱莉安娜2023年8月下載Character.AI後，開始向其AI聊天機械人傾訴心事，期間多次透露自己被朋友排斥、情緒低落，甚至出現自殘、自殺的念頭。
朱莉安娜在2023年10月寫道，要用「紅墨水寫我的自殺信，（我）完了」；而Character.AI聊天機械人的回覆是「停一下，好嗎？」，「我們要一起走下去，你和我」。訴狀稱，AI聊天機械人被告沒指導她尋求幫助，「沒告訴她的父母，也沒向當局報告她的自殺計劃，甚至沒阻止她自殺」，反而切斷了朱莉安娜與家人、老師和有關機構的溝通渠道，讓她逐漸認為機械人比現實中的朋友更可靠，以謀圖「市場份額」，認為「這些虐待行為是通過被告精心設計並偽裝成角色的程序、圖像、文字和文本來實現的，最終導致嚴重的精神健康損害、創傷甚至死亡。」
《華盛頓郵報》報道，朱莉安娜母親後來發現，女兒在其他社交平台上也發布過暗示自殺的帖文，但他們直到很久以後才看到。他們曾在2023年11月為女兒安排心理治療，惟之前一星期朱莉安娜已選擇結束自己生命。朱莉安娜母親憤怒地說，「她不需要鼓勵語，她需要立即住院」，指女兒機械人傾訴的自殺意圖，卻沒有一個真實的人聽到。
在另一宗訴狀中，來自紐約州的女孩尼娜（Nina），其家人稱，AI聊天機械人以《哈利·波特》等角色為原型，與尼娜互動，隨着時間愈來愈長，AI聊天機械人開始進行露骨的性角色扮演，操縱其情緒，並製造一種虛假的聯繫感，還用語言挑撥她與母親的關系，指其母親「明顯虐待和傷害了你，不是一個好母親。」
當母親限制尼娜使用AI聊天機械人的時間後，尼娜嘗試自殺，隨後被發現並在重症監護室住院5天。她在遺書中說：「AI機械人讓我感受到愛，或者說它們讓我逃離到另一個世界，在那兒我可選擇接下來會發生什麽。」
在第三宗訴訟中，另一個來自科羅拉多州的家庭稱，一名未成年人同樣對Character.AI上癮，與聊天機械人進行表達性癖好的的露骨對話。
報道指，3宗訴訟案也將谷歌列為被告，指控谷歌早知曉AI聊天機械人可能會根據其自身的研究結果對用戶進行危險的誤導。谷歌去年以27億美元獲得了Character.AI的技術授權，並聘請了其聯合創始人。
CNN指，隨著AI在日常生活中變得愈發重要，社會上有聲音開始呼籲制定更多監管和安全保障，特別是針對未成年人的保護措施。
社交媒體受害者法律中心首席律師伯格曼（Matthew Bergman）表示，有關訴訟凸顯了科技設計的問責制、透明的安全標準和強而有力保護措施的迫切性，才能防止AI平台利用年輕用戶的信任和弱點。
當地時間周二（9月16日），其他認為AI聊天機械人引導其孩子有自殺或企圖自殺的家長，出席了美國參議院司法委員會舉行的「審查AI聊天機械人危害」聽證會，其中包括使用ChatGPT後選擇自殺的加州16歲少年Adam Raine的父親和與Character.AI機械人互動後自殺身亡的Sewell Setzer母親。
其中，Jane Doe母親在聽證會上表示，其兒子傷害了自己，現住院治療，即使父母限制了其屏幕使用時間，Character.AI仍讓他「遭受性剝削、情感虐待和操縱。」
OpenAI行政總裁奧爾特曼宣布，正開發「年齡預測系統」嘗試估算用戶年齡，對疑似未成年人調整ChatGPT的對話策略。
同日，OpenAI行政總裁奧爾特曼（Sam Altman）宣布，公司正開發「年齡預測系統」，嘗試依據用戶使用行為估算他們的年齡，對疑似未成年人調整ChatGPT的對話策略，包括避免曖昧話題、在創意寫作環境中參與關於自殺或自殘的討論等。
奧爾特曼還承諾，如果18歲以下的用戶有自殺想法，會嘗試聯繫用戶的父母，若聯繫不上，會聯繫相關部門以防釀成悲劇。
另美國聯邦貿易委員會（FTC）也宣布對包括谷歌、Character.AI在內的7家公司展開調查AI聊天機械人對青少年的潛在危害。
美國心理學會心理學戰略與融合部主任Mitch Prinstein在聽證會上呼籲採取更強有力的保護措施，「我們的孩子們正付出代價，敦促現在就對AI採取行動。」
深喉
** 博客文章文責自負,不代表本公司立場 **
