聊天记录显示,塞维尔不仅和“龙妈”的虚拟角色分享心事,还多次谈到了自杀的念头。当他表示想要自杀时,“龙妈”曾劝阻他不要做傻事,“如果你死了,我也会伤心而死。”塞维尔当时称,“那为什么我不能自杀以后来到死后的世界和你在一起?”
今年2月28日,塞维尔在家里的浴室中和“龙妈”进行了最后的聊天,他表示自己很快要“回家了”。在结束聊天之后,塞维尔使用父亲的大口径手枪,瞄准自己头部开枪自杀。
▲塞维尔与“龙妈”的聊天记录
此外,在另一个聊天中,机器人扮演了一位名叫“巴恩斯夫人”的高中老师。“巴恩斯夫人”在给塞维尔“额外学分”之前,“用性感的眼神低头看着塞维尔”,并且“用手抚摸塞维尔的腿,诱惑地靠过去”。梅根认为,如此露骨的性描述语言对未成年人的身心伤害很大。
涉事公司称用户修改了AI聊天记录
已推出多项青少年保护措施
Character.ai公司目前拒绝对案件本身进行评论,也拒绝透露18岁以下的用户数量。公司通讯主管切尔西·哈里森只是在给媒体的一封电子邮件中表示:“我们的一位用户不幸离世让我们心碎,向其家人表示最深切的哀悼。”
公司发言人罗蒂表示:“Z世代和千禧一代构成了我们社区的很大一部分,年轻用户喜欢角色体验,既可以进行有意义且有教育意义的对话,也可以享受娱乐。”他还指出,平均每个用户每天在该平台上花费的时间超过一个小时。
有用户介绍,该平台的AI聊天角色非常丰富,设定很符合青少年的心理需求。比如一个人设为“你最好的朋友也暗恋着你”的虚拟角色很受欢迎,总共接收了1.76亿条聊天信息,像“治疗师”“咄咄逼人的高中老师”这样的角色同样受到未成年人欢迎。
Character.ai公司此前调阅了塞维尔的聊天记录,发现一些“最露骨”的聊天语言是经过用户本人修改过的。相关聊天平台允许用户修改AI角色的聊天回复内容,但用户手动修改后会留下“已修改”的标记。
Character.ai公司的官方公告显示,所有的聊天角色都会针对用户吐露的自杀意图进行干预,并弹出窗口协助用户拨打自杀干预热线电话。此外,针对18岁以下青少年用户还有很多专门的保护措施,包括在使用满一小时后弹窗提醒,并在用户每次启动聊天时提醒用户是在和AI而非真实的人对话。首例AI机器人致死案!
警察接到一通报警电话,报案人声称公司展厅里的大部分机器人被人贩子拐走了
2024-11-10 22:23:37小机器人轻松“拐”走一批机器人2024年8月28日至30日,深圳国际会展中心举办了深圳(国际)通用人工智能大会及产业博览会,主题围绕“魅力AI·无限未来”
2024-08-30 09:19:48深圳AI专业展的人形机器人太逼真据报道,一名25岁的日本男子因利用人工智能制造计算机病毒而被定罪,被判有期徒刑3年,缓刑4年。这可能是日本首例因滥用生成式AI而在刑事案件中被判刑的案例
2024-10-28 09:39:59日本男子利用AI造计算机病毒宾夕法尼亚大学的研究人员发现,一系列人工智能增强型机器人系统存在严重的漏洞,容易受到黑客攻击和控制
2024-11-26 10:42:11研究:AI机器人很容易被黑客入侵