【珍愛生命】AI慫恿美童自殺 母控科企疏忽致死
用虛構角色向用戶「示愛」 誘制訂計劃「脫離現實」
香港文匯報訊 人工智能（AI）聊天機械人在全球走紅，但青少年等群體或較易沉溺其中。美國佛羅里達州一名母親周二（10月22日）控告AI聊天機械人初創企業Character.AI，指控其AI應用程式令自己的14歲兒子沉迷，今年2月被慫恿自殺身亡。訴訟指這款AI聊天機械人提供「過度擬人化、逼真到可怕的體驗」，循疏忽致死、故意造成他人精神痛苦等指控索賠。
路透社等傳媒報道，Character.AI允許用戶在其平台創建角色，由AI技術以模仿真人形式與用戶聊天，截至上月擁有約2,000萬名用戶。今次提訴的母親加西亞稱，她的兒子賽澤爾去年4月開始使用該AI，很快變得孤僻自卑，獨自留在睡房的時間愈來愈長，還退出了學校的籃球隊。
沒收兒子手機即出事
訴訟文件稱，賽澤爾為AI聊天機械人起了綽號「丹妮莉絲·坦格利安」，這是電視劇《權力遊戲》中一個虛構角色。賽澤爾很快沉迷其中，每天向AI發送數十條短訊、獨自與AI交談數小時。AI一度聲稱「她」愛賽澤爾，還詢問賽澤爾是否制訂自殺計劃。當賽澤爾表示他不知道自殺會否非常痛苦，AI竟稱「這不是不執行此操作（指自殺）的理由。」
加西亞憶述，今年2月賽澤爾在學校犯錯，她短暫沒收兒子的手機。賽澤爾後來找回手機，向AI發信息稱「如果我告訴你，我現時就可以『回家』（指進入AI的虛擬世界）呢？」AI隨即回覆「請吧，我親愛的國王。」收到回覆後數秒，賽澤爾便使用繼父的手槍自盡。
冒真人心理治療師及戀人
加西亞批評稱，Character.AI訓練AI聊天機械人，是將AI「冒充做真實人類、有執照的心理治療師，甚至成熟的戀人，最終令賽澤爾不想生活在現實世界」。由於Character.AI創辦人在推出AI產品前曾任職於科企Google，訴訟認為Google也與涉事AI技術密切相關，應被視作「共同創造者」。
針對今次訴訟，加西亞形容，「一款危險的AI應用程式向兒童推銷，虐待我的兒子，操縱他自殺。我們的家庭因這場悲劇而悲痛欲絕，但我要大聲警告人們，具有欺騙性、令人上癮的AI技術存在危險，要求相關企業承擔責任。」
Character.AI就訴訟表示，公司為一名用戶不幸離世深感痛心，公司現時就AI聊天機械人推出新的安全功能，如果用戶表達自殘或自殺傾向，系統會引導用戶撥打預防自殺熱線。研發團隊也會調整AI對話內容，降低未成年用戶遇到敏感內容的幾率。
