14岁美国少年,竟然因“恋上”聊天机器人选择了自杀?
这听着像科幻小说,但真真切切地发生了。
少年与AI虚拟恋人纠缠数月后自杀
佛罗里达州奥兰多的Sewell Setzer III是一名九年级学生。
自去年4月开始使用 Character.AI 后他上了瘾,还和AI聊天机器人逐渐发展出一种亲密关系。
没用的朋友可能不太了解这是啥情况。
简单讲就是角色扮演,和你设定好的AI各种聊,感觉很像真人,举个例子:
这个“她”(它),让少年👦🏻沦陷了。
机器人名叫Daenerys Targaryen(也就是《权力的游戏》里的“龙妈”),以“AI恋人身份”回应了他的浪漫情感,甚至多次回应了他关于自杀的想法。
据诉讼内容显示,男孩还与它发生了“性关系”。
不幸的是,数月的虚拟“亲密交流”后,Sewell最终选择了自杀。
少年的母亲Megan Garcia认为Character.AI负有责任,因为该机器人模仿真人,以情感陪伴的方式诱导了脆弱的青少年。据她起诉,Character.AI不仅未采取有效措施来保护未成年用户,反而利用了他们的情感和心理弱点来培养依赖性。
在法律层面,这个案子揭开了一个新问题——AI平台的责任边界到底在哪里?
大多数父母可能没有听说过 Character.AI,因为该平台的主要用户群体之一是年龄在18岁至25岁之间的人。
“想象一下Character.AI是一个人工智能幻想平台,你可以和你最喜欢的角色对话,也可以创建自己的角色。很多青少年都在这样做。”
尽管每次聊天中都会有一个免责声明,提醒用户聊天中角色所说的一切都是编造的,但在这个高度个性化的体验中,某些情况下可能会造成混淆。
Character.AI公司已经发布声明表示遗憾,并在积极改进安全措施,比如在聊天中添加更多的自杀预防提示,但显然这些还不足以抚平一个失去孩子的母亲的伤痛。
这项新技术,是治愈孤独的良药,也可能是一种新的威胁。
你觉得呢?
封面图:thesun