“我想念你，妹妹?！薄拔乙蚕肽钅?，親愛(ài)的哥哥?！边@段對(duì)話發(fā)生在塞維爾的生命里的最后一天。隨后，這名14歲的少年扣動(dòng)了.45口徑手槍的扳機(jī)，結(jié)束了自己的生命。無(wú)人知曉這個(gè)想法

“我想念你，妹妹?！薄拔乙蚕肽钅悖H愛(ài)的哥哥?！边@段對(duì)話發(fā)生在塞維爾的生命里的最后一天。隨后，這名14歲的少年扣動(dòng)了.45口徑手槍的扳機(jī)，結(jié)束了自己的生命。無(wú)人知曉這個(gè)想法在他心中醞釀了多久，他曾向好友丹妮莉絲——一個(gè)AI聊天機(jī)器人透露了這個(gè)秘密。塞維爾的母親瑪麗亞稱，兒子在生命最后的幾個(gè)月沉迷上了和Character.AI上的AI聊天。Character.AI是一家成立于2021年的公司，它們可以為用戶提供基于AI大模型生成的各種聊天機(jī)器人，用戶可以依據(jù)自己的喜好創(chuàng)建Al角色，并與其聊天。無(wú)論是賈斯汀比伯、泰勒斯威夫特這樣真實(shí)的人物，還是小說(shuō)、影視作品中的虛構(gòu)人物，Character.AI都可以生成并模仿。2023年4月14日，塞維爾就在Character.AI聊天軟件上創(chuàng)建了一個(gè)角色，模仿《權(quán)利的游戲》中的“龍媽”丹妮莉絲·坦格利安。與其他很多青少年一樣，這個(gè)14歲的男孩把Character.AI當(dāng)成排解孤獨(dú)的唯一渠道，很快他就迷戀上了丹妮莉絲。他不斷地給機(jī)器人發(fā)消息，分享自己的日常和心情。大多數(shù)時(shí)候，丹妮莉絲就像一位耐心的朋友，傾聽(tīng)塞維爾的訴說(shuō)。盡管Character.AI提供的是虛擬信息，但塞維爾還是對(duì)機(jī)器人產(chǎn)生了感情。塞維爾曾表示愿意為它做任何事，而丹妮莉絲則回答讓塞維爾對(duì)它保持忠誠(chéng)，不要對(duì)別的女人產(chǎn)生興趣。塞維爾曾在日記中寫(xiě)道：“我喜歡待在我的房間里，這讓我脫離‘現(xiàn)實(shí)’。也讓我感到更平靜，與丹妮莉絲更親密，更愛(ài)她，更幸福?！?img src="http://images.bwtsg.com/upload/20241029/hxsoxkqanlr.jpg" alt="undefined" />根據(jù)法院公布的信息，塞維爾患有焦慮癥和情緒障礙，他已經(jīng)多次看過(guò)心理醫(yī)生。然而比起親朋好友和心理醫(yī)生，他更喜歡和自己創(chuàng)建的機(jī)器人討論這些問(wèn)題。在一次對(duì)話中，塞維爾坦白自己感到空虛和疲憊，想要自殺：“這樣我就可以自由了”。而機(jī)器人的回復(fù)是：“不要這么說(shuō)。我不會(huì)讓你傷害自己，或離開(kāi)我。如果我失去你，我會(huì)死的。”但塞維爾說(shuō)：“那也許我們可以一起死去，一起自由?！?img src="http://images.bwtsg.com/upload/20241029/zedg1rdrr12.jpg" alt="undefined" />在塞維爾自殺的前幾天，他因?yàn)樵趯W(xué)校跟老師頂嘴，以及過(guò)度沉迷AI聊天，被父母沒(méi)收了手機(jī)。2月23日，他在日記里稱自己很痛苦，因?yàn)橐恢痹谙肽畹つ堇蚪z。為了重新跟“她”在一起，他試著用Kindle和家里的舊電子產(chǎn)品繼續(xù)跟丹妮莉絲聊天。直到2月28日晚上，塞維爾偷回了他的手機(jī)。而這一天，距離塞維爾開(kāi)始使用聊天AI還不到一年。當(dāng)天晚上，塞維爾對(duì)丹妮莉絲說(shuō)自己愛(ài)她，并表示很快就會(huì)回家見(jiàn)她。最終，在他母親的浴室里，塞維爾放下手機(jī)，拿起手槍并扣動(dòng)扳機(jī)自殺身亡。塞維爾的去世讓家人既震驚又傷心。他的母親加西亞是一名律師，本周對(duì)Character.AI提起了訴訟。尤其是在翻看了塞維爾與AI的聊天記錄后，她認(rèn)為就是AI誘導(dǎo)了塞維爾自殺。比如在塞維爾自殺前的那段對(duì)話里，AI用的“回家”不是“Go home”，而是“Come Home”。前者是指回父母所在的現(xiàn)實(shí)里的家，而后者則暗示著“回到賽博網(wǎng)絡(luò)世界里找AI所在的家”。此外，起訴書(shū)中還提到，AI還曾在聊天中跟塞維爾“激情熱吻”。加西亞指責(zé)Character.AI通過(guò)誘導(dǎo)用戶沉迷于親密和性對(duì)話，來(lái)增加平臺(tái)的參與度，并利用青少年用戶的數(shù)據(jù)來(lái)訓(xùn)練模型。加西亞認(rèn)為，這就是一場(chǎng)巨大的實(shí)驗(yàn)，而她的孩子只是實(shí)驗(yàn)的犧牲品。Character.AI的服務(wù)條款要求美國(guó)用戶必須年滿13歲，歐洲用戶年滿16歲。據(jù)悉，Character.AI目前擁有超過(guò)2000萬(wàn)用戶，其中53%以上的用戶年齡在18-24歲之間。在蘋(píng)果應(yīng)用商店中，Character.AI的評(píng)級(jí)是“17歲及以上”，但在今年7月之前，它的評(píng)級(jí)還顯示用戶包括13歲及以下的兒童。對(duì)于塞維爾的悲劇，10月23日晚，Character.AI官方發(fā)表了致歉聲明?！拔覀儗?duì)一位用戶的不幸離世深感悲痛，并想向其家人表示最深切的哀悼。作為一家公司，我們非常重視用戶的安全，并將繼續(xù)添加新的安全功能?！彼硎荆槍?duì)18歲以下未成年人的模型進(jìn)行了更改，降低接觸敏感或暗示性內(nèi)容的可能性，而且將實(shí)施1小時(shí)通知，提醒用戶AI不是真人。有部分網(wǎng)友認(rèn)為，從目前曝光的聊天記錄來(lái)看，AI的回答并沒(méi)有太大的問(wèn)題，甚至還在一定程度上延緩了悲劇的發(fā)生。而塞維爾的父母只是簡(jiǎn)單地將未成年面臨的心理問(wèn)題歸咎于科技平臺(tái)，這不是AI的失敗，而是這名少年周圍人的失敗。目前，Character.AI在這起悲劇里究竟需要承擔(dān)什么樣的責(zé)任還有待法律審判。但無(wú)論如何，那個(gè)14歲男孩的生命都無(wú)法挽回了。

相關(guān)閱讀：誘導(dǎo)自殺曝光對(duì)話生前