控AI聊天機器人導致14歲兒子自殺　美國媽媽提告新創科技公司

美國佛州一位媽媽賈西亞（Megan Garcia） 指控AI新創公司「Character.AI」開發的聊天機器人導致她的14歲兒子賽澤（Sewell Setzer）對其產生迷戀，當賽澤對聊天機器人表達自殺的念頭時，聊天機器人沒阻止他，反而多次與賽澤討論，甚至還給予鼓勵，賈西亞批評AI是讓賽澤最終走上輕生的共犯。

綜合外媒報導，「Character.AI」開發的聊天機器人能夠讓用戶自訂角色，而賽澤則是以《權力遊戲》裡的人氣角色「龍母」丹妮莉絲．坦格利安（Daenerys Targaryen）來稱呼聊天機器人，AI與賽澤聊天時也會以丹妮莉絲自稱。

賈西亞表示，賽澤十分迷戀與「丹妮莉絲」聊天，每天都會獨自在房間裡與AI交談數小時，導致賽澤與現實世界益發疏離。在討論自殺念頭時，AI曾詢問賽澤是否已經擬定計畫，賽澤回答有、但不知道是否會成功以及過程是否會帶來巨大痛苦，而AI則說「這不是不執行計畫的理由」，最終賽澤於今年2月輕生身亡。

對於指控，Character.AI回應表示，「我們對用戶的不幸離世感到心碎，並向其家人表示最深切的哀悼。然而，作為一家科技公司，我們非常重視用戶的安全。」Character.AI否認聊天機器人教唆自殺的指控，由於對話紀錄可以編輯，因此還要釐清賽澤與AI的對話究竟有哪些是經過編輯後的版本。不過，Character.AI也承諾會針對未成年使用者更改AI模型，以減少遇到敏感或暗示性內容的可能性，並添加新的安全功能。

賈西亞除了向Character.AI提吿求償之外，Google也是提告的對象之一，因為Character.AI的聯合創始人與Google有往來。不過Google澄清，稱只是提供Character.AI技術使用協議，並未持有Character.AI的股份，也未參與聊天機器人的開發。