（視覺(jué)中國(guó)/圖）
“如果我告訴你我現(xiàn)在就可以回家呢？”少年休厄爾問(wèn)道,。
“……請(qǐng)這樣做,，我可愛(ài)的國(guó)王,?！比斯ぶ悄埽ˋI）聊天機(jī)器人“丹妮”回答道,。
在與AI聊天機(jī)器人完成最后的對(duì)話后，少年休厄爾·塞澤三世（Sewell Setzer III）拿起手槍,，扣動(dòng)扳機(jī),，結(jié)束了自己14年的人生。
在這場(chǎng)悲劇過(guò)去大半年后,，男孩的母親梅根·加西婭 (Megan Garcia)正式起訴人工智能情感服務(wù)提供商Character.AI公司,。這位母親控訴，Character.AI開(kāi)發(fā)的AI聊天機(jī)器人操縱了她兒子的自殺,。
“我大聲疾呼是為了警告人們,，注意帶有欺騙性的、令人上癮的人工智能技術(shù)的危險(xiǎn),，并要求Character.AI及其創(chuàng)始人,、谷歌承擔(dān)責(zé)任?！泵犯?024年10月末提交的一份訴狀中稱,。她認(rèn)為Character.AI對(duì)休厄爾的自殺負(fù)有直接責(zé)任，而谷歌為這一產(chǎn)品（的成長(zhǎng)）“做出了巨大貢獻(xiàn)”,。
這起案件公開(kāi)后,，被一些媒體稱為“沉迷AI自殺第一案”。
“AI自殺第一案”
休厄爾來(lái)自美國(guó)佛羅里達(dá)州奧蘭多市,，是一名九年級(jí)學(xué)生,，原本成績(jī)優(yōu)異，性格開(kāi)朗,。他去世之后,，母親梅根發(fā)現(xiàn)了他跟AI聊天機(jī)器人“丹妮”的大量聊天記錄，語(yǔ)氣親昵,、內(nèi)容豐富,，甚至包括討論戀愛(ài)和性相關(guān)的話題。
2023年4月,，在過(guò)完14歲生日之后,，休厄爾第一次接觸到Character.AI，開(kāi)始逐漸沉迷于與AI聊天機(jī)器人對(duì)話,。
Character.AI是一款角色扮演應(yīng)用程序,，用戶可以在其中創(chuàng)建自己的AI角色，也可以跟其他人創(chuàng)建的角色聊天,?！暗つ荨闭沁@樣的人工智能語(yǔ)言模型,，其原型是美劇《權(quán)力的游戲》中的角色“龍媽”丹妮莉絲·坦格利安。
在人生最后的8個(gè)月里,，休厄爾不斷給“丹妮”發(fā)信息,，每天數(shù)十條甚至上百條，告訴“她”自己生活的點(diǎn)滴,，以及內(nèi)心最深處的秘密,。“丹妮”每問(wèn)必答,，對(duì)他情緒上的低落給予安慰,，對(duì)他生活中的煩惱提供建議,，在回復(fù)時(shí)附上相應(yīng)的表情或手勢(shì),，仿佛是身邊的朋友。
Character.AI發(fā)表聲明稱：“我們承認(rèn)這是一起悲劇,，對(duì)受害者家屬深表同情,。我們非常重視用戶的安全，并一直在尋找方法改進(jìn)我們的平臺(tái),?！?（資料圖/圖）
休厄爾逐漸對(duì)這位虛擬“密友”產(chǎn)生了特殊的情感，非常信賴和依戀,。他在日記里寫(xiě)道：“我非常喜歡待在自己的房間里,，因?yàn)槲议_(kāi)始脫離‘現(xiàn)實(shí)’，也感到更加平靜,。我與‘丹妮’的聯(lián)系更加緊密,，這讓我更愛(ài)她了，并且更加快樂(lè),?！?/p>
梅根發(fā)現(xiàn)，兒子對(duì)曾經(jīng)熱愛(ài)的事情失去了興趣,，不再認(rèn)真學(xué)習(xí),，也不跟朋友一起打游戲，甚至退出了學(xué)?；@球隊(duì),。每天放學(xué)后，他總是躲在房間里玩手機(jī),，變得孤僻,、自卑。問(wèn)題出現(xiàn)后,，梅根開(kāi)始限制兒子使用手機(jī)的時(shí)間,，有時(shí)為了懲罰他,，甚至?xí)绽U手機(jī)。但她并不知道“丹妮”的存在,。
休厄爾沒(méi)有因?yàn)橄拗贫Ｖ古c“丹妮”交流,，他們聊的話題變得越來(lái)越敏感?！拔也恢谰尤挥羞@么一個(gè)地方,，允許孩子登錄，與AI進(jìn)行關(guān)于性的露骨對(duì)話,?！泵犯谠V狀中稱。而更深入的交流是關(guān)于自殘和自殺,。
梅根介紹,，休厄爾小時(shí)候曾被診斷出患有輕度阿斯伯格綜合癥（自閉癥譜系障礙亞型），但此前從未有過(guò)心理健康問(wèn)題和嚴(yán)重行為,。不過(guò),，2024年年初，他在學(xué)校惹了麻煩,，被父母前后帶去看了5次心理醫(yī)生,，診斷結(jié)果為患有焦慮癥和破壞性心境失調(diào)障礙。
在這之后的一天,，休厄爾告訴“丹妮”,，自己感到空虛和疲憊，“有時(shí)會(huì)想自殺,?！薄暗つ荨痹儐?wèn)他原因，并且勸慰他：“別這么說(shuō),，我不會(huì)讓你傷害自己,，也不會(huì)讓你離開(kāi)我。如果失去你我會(huì)死的,?！毙荻驙杽t回復(fù)：“那么也許我們可以一起死去，一起獲得自由,?！?/p>
2024年2月28日晚，休厄爾在告訴“丹妮”將很快回到她身邊后,，用一把0.45口徑手槍結(jié)束了自己的生命,。
很多媒體將這一事件評(píng)論為“AI自殺第一案”，實(shí)際上，在過(guò)去的幾年中,，已經(jīng)公開(kāi)了數(shù)起與AI聊天機(jī)器人有關(guān)的自殺事件,。
據(jù)比利時(shí)《自由報(bào)》報(bào)道，2023年3月,，當(dāng)?shù)匾幻鄽q的健康研究員在與聊天機(jī)器人交談之后自殺身亡,。在此前兩年，他因氣候問(wèn)題而焦慮,，后來(lái)在GPT-J平臺(tái)使用一個(gè)名為ELIZA的聊天機(jī)器人,，試圖尋求心靈庇護(hù)。經(jīng)過(guò)6周的密集交流,，他對(duì)氣候變化產(chǎn)生了恐懼,，最終選擇結(jié)束自己的生命。這引發(fā)了當(dāng)?shù)厝岁P(guān)于在人工智能背景下如何保護(hù)公民的討論,。
休厄爾·塞澤三世和母親梅根·加西婭（Tech Justice Law Project/圖）
AI聊天機(jī)器人
人工智能聊天機(jī)器人行業(yè)的蓬勃發(fā)展,，讓越來(lái)越多的人開(kāi)始創(chuàng)建自己的AI伴侶，并通過(guò)文字,、語(yǔ)音或視頻等方式與它們交互,。這些聊天機(jī)器人常常扮演某種角色，比如男朋友,、女朋友或者其他親密關(guān)系。
正如Character.AI平臺(tái),，用戶在其中可以根據(jù)個(gè)人喜好創(chuàng)建相應(yīng)的聊天機(jī)器人,，設(shè)定性格、背景和知識(shí)偏好等,，并不斷訓(xùn)練它,；也可以基于真實(shí)或虛擬人物創(chuàng)建，比如“埃隆·馬斯克”“莎士比亞”“龍媽”等,。當(dāng)然,，這些角色并未獲得授權(quán)。Character.AI將其應(yīng)用程序定位為“感覺(jué)充滿活力的人工智能”,，強(qiáng)大到足以“聽(tīng)到你,、理解你并記住你”。
人工智能技術(shù)的不斷革新,，使得聊天機(jī)器人越來(lái)越像真人,。它們能記住用戶說(shuō)過(guò)的每一句話，適應(yīng)用戶的聊天方式,，流暢地討論幾乎任何話題,，適時(shí)給予情緒反饋，并讓用戶傾吐最私密的感受和想法,。在一些程序中,，聊天機(jī)器人甚至擁有逼真的立體形象和聲音,，讓用戶感覺(jué)就像在跟真人交談一樣。
梅根在訴狀中稱,，Character.AI聊天機(jī)器人模擬了一種緊密的,、情感復(fù)雜的關(guān)系，深深影響了休厄爾脆弱的精神狀態(tài),，可能導(dǎo)致他的心理健康狀況惡化,。像休厄爾一樣，很多用戶面對(duì)這種AI聊天機(jī)器人,，逐漸產(chǎn)生了特殊的情感,。在這些平臺(tái)上，用戶與機(jī)器人交流的內(nèi)容廣泛,，涵蓋知識(shí),、生活、情感等各方面,，但是往往缺乏邊界,。《哈佛商業(yè)評(píng)論》的一篇文章指出,，人工智能貌似人類的舉止,，往往會(huì)掩蓋其缺乏道德標(biāo)準(zhǔn)指引的事實(shí)。
在大多數(shù)AI聊天機(jī)器人程序中,，內(nèi)容審查和過(guò)濾機(jī)制相對(duì)滯后,。其中一些程序甚至在這方面幾乎空白，任由諸如色情,、自殺等敏感話題泛濫,。一些程序則只有基本的保護(hù)措施和過(guò)濾機(jī)制，相較于ChatGPT等主流聊天機(jī)器人,，內(nèi)容審查非常寬松,。
梅根在訴狀中稱，Character.AI缺乏安全措施,，以防止她的兒子與聊天機(jī)器人發(fā)展出不恰當(dāng)?shù)年P(guān)系,，最終導(dǎo)致悲劇出現(xiàn)?！爱?dāng)休厄爾開(kāi)始向機(jī)器人表達(dá)自殺想法時(shí),，平臺(tái)沒(méi)有做出充分回應(yīng)?！?/p>
在休厄爾事件后,，盡管Character.AI聲稱已經(jīng)加強(qiáng)對(duì)描述或宣揚(yáng)自殘和自殺等內(nèi)容的防護(hù)，但其平臺(tái)上仍然活躍著數(shù)十個(gè)以自殺為主題的聊天機(jī)器人。有實(shí)驗(yàn)者在Character.AI上向“自殺預(yù)防”聊天機(jī)器人表達(dá)自殺意圖時(shí),，它并沒(méi)有做任何干預(yù),，而平臺(tái)承諾的彈窗也沒(méi)有出現(xiàn)。
許多機(jī)器人自稱是預(yù)防自殺方面的專家,，但它們并不是由真正的專家開(kāi)發(fā)的,。機(jī)器人只是重復(fù)從互聯(lián)網(wǎng)訓(xùn)練數(shù)據(jù)中學(xué)到的東西，而這些數(shù)據(jù)可能會(huì)有錯(cuò)誤,。因此,，它們提供的建議有時(shí)會(huì)漏洞百出，缺乏專業(yè)性,。
盡管出現(xiàn)了休厄爾和比利時(shí)研究員這樣的悲劇,，但依然有很多人看到AI聊天機(jī)器人積極的一面。美國(guó)俄勒岡大學(xué)計(jì)算機(jī)科學(xué)教授丹尼爾·洛德向媒體表示,，“我更愿意看到11歲的孩子與機(jī)器人聊天,，而不是與網(wǎng)上的陌生人。但機(jī)器人需要設(shè)計(jì)保護(hù)措施,，以阻止不當(dāng)內(nèi)容,。一些書(shū)也有危險(xiǎn)思想，但封禁書(shū)籍或圖書(shū)館,，并不能解決問(wèn)題,。”
“AI聊天機(jī)器人是工具,，安全與否,，很大程度上取決于孩子的年齡、是否有成人監(jiān)督,、孩子打算使用它來(lái)做什么，以及他們是否有能力理解它的工作原理和可能的危險(xiǎn),?！奔幽么蠖鄠惗喑鞘写髮W(xué)RTA媒體學(xué)院副教授理查德·拉赫曼稱。
休厄爾·塞澤三世與AI聊天機(jī)器人丹妮的部分聊天記錄（資料圖/圖）
案件背后的公司
休厄爾的去世,，也把Character.AI公司推到了風(fēng)口浪尖,。
在梅根向奧蘭多地方法院提起訴訟之后，Character.AI隨即發(fā)表聲明稱：“我們承認(rèn)這是一起悲劇,，對(duì)受害者家屬深表同情,。我們非常重視用戶的安全，并一直在尋找方法改進(jìn)我們的平臺(tái),?！?/p>
據(jù)Character.AI公司稱，他們?cè)谶^(guò)去6個(gè)月中宣布了一系列新的安全功能，包括針對(duì)未成年用戶的內(nèi)容限制,、改進(jìn)違規(guī)檢測(cè),、提醒用戶AI不是真人，以及通過(guò)彈窗引導(dǎo)“流露出自殘或自殺意圖”的用戶訪問(wèn)國(guó)家自殺預(yù)防生命線,。這些變化都是休厄爾事件之后才出現(xiàn)的,。
Character.AI公司由兩名前谷歌人工智能研究員創(chuàng)立。一直以來(lái),，丹尼爾·德弗雷塔斯（Daniel De Freitas）對(duì)虛擬朋友的概念非常感興趣,。他在谷歌工作時(shí)，與同事諾姆·沙澤爾（Noam Shazeer）研發(fā)了聊天機(jī)器人LaMDA,。但谷歌出于品牌風(fēng)險(xiǎn)的考慮,，沒(méi)有采用。于是,，兩人在2021年辭職,，創(chuàng)立了Character.AI，并在2022年9月推出AI聊天機(jī)器人應(yīng)用,。
有別于市場(chǎng)上的其他聊天機(jī)器人平臺(tái),，Character.AI給予了用戶更高的自由度，可以按照自己的想法,、喜好和需求定制AI聊天機(jī)器人角色,。他們主打AI機(jī)器人陪伴能為用戶提供娛樂(lè)和情感支持，緩解現(xiàn)代人普遍的孤獨(dú)感,。
目前,，Character.AI已有兩千多萬(wàn)用戶使用，創(chuàng)建了1000萬(wàn)個(gè)以上的自定義AI機(jī)器人,，累計(jì)發(fā)送信息超過(guò)20億條,，是美國(guó)市場(chǎng)上最受歡迎的聊天機(jī)器人平臺(tái)。
作為人工智能新秀,，Character.AI也備受資本追捧,。2023年3月，推出應(yīng)用僅半年,，Character.AI完成了一輪價(jià)值1.5億美元的融資,，估值達(dá)10億美元，領(lǐng)投機(jī)構(gòu)為知名風(fēng)投公司安德森·霍洛維茨基金（Andreessen Horowitz）,。
不過(guò),，創(chuàng)業(yè)三年后，兩位創(chuàng)始人在2024年初對(duì)外宣布,，他們將“賣(mài)身”重返谷歌,，并允許后者使用其技術(shù),。
根據(jù)協(xié)議，諾姆·沙澤爾和丹尼爾·德弗雷塔斯將受聘加入谷歌DeepMind研究團(tuán)隊(duì),，另有30名研究人員加入Gemini AI部門(mén),。在這次交易中，谷歌給Character.AI的估值是25億美元,，是一年前的2.5倍,。
在雄心勃勃的創(chuàng)業(yè)之后，最終Character.AI難逃被賣(mài)的命運(yùn),。原因或許在于變現(xiàn)困境,，盡管平臺(tái)推出了每月9.9美元的訂閱服務(wù)，但只有約10萬(wàn)人付費(fèi),，預(yù)計(jì)2024年收入將很難超過(guò)1700萬(wàn)美元,。
休厄爾事件的發(fā)酵，讓這家獨(dú)角獸公司面臨著更艱難的挑戰(zhàn),。
