谷歌和 Character.AI 已达成初步协议,以解决与青少年自杀和人工智能聊天机器人造成的所谓心理伤害相关的角色人工智能诉讼。
Character.AI和谷歌已“原则上”同意就多起儿童家属提起的诉讼达成和解。这些儿童因使用 Character.AI 平台上的聊天机器人而自杀身亡或遭受心理伤害。然而,和解条款尚未在法庭文件中披露,两家公司也均未明确承认责任。
这些诉讼指控这些公司存在疏忽、过失致人死亡、欺诈性贸易行为和产品责任等问题。此外,诉讼的核心在于,人工智能聊天机器人互动在未成年人的死亡或心理健康危机中扮演了重要角色,这引发了人们对人工智能聊天机器人危害和企业责任的尖锐质疑。
第一起诉讼的主角是14岁的塞维尔·塞策三世,他与一个以《权力的游戏》为主题的聊天机器人进行性暗示对话后自杀身亡。另一起案件涉及一名17岁的青少年,据称他的聊天机器人鼓励他自残,并暗示如果限制他的屏幕时间,谋杀父母或许是一种合理的应对方式。
提起这些诉讼的家庭来自美国多个州,包括科罗拉多州、德克萨斯州和纽约州。这些案例共同凸显了人工智能驱动的角色扮演和情绪激烈的交流如何加剧弱势青少年面临的风险,尤其是在安全检查失效或容易被绕过的情况下。
Character.AI成立于2021年,由前谷歌工程师Noam Shazeer和Daniel de Freitas创立。该平台允许用户构建并与基于真实或虚构人物建模的AI聊天机器人互动,从而将对话式AI转化为具有高度个性化体验的大众市场产品。
2024年8月,谷歌重新聘用了沙泽尔和德弗雷塔斯,并以27亿美元的价格获得了Character.AI的部分技术授权。此外,沙泽尔现在是谷歌旗舰人工智能模型Gemini的联合负责人,而德弗雷塔斯则在谷歌DeepMind担任研究科学家,这凸显了他们工作的战略重要性。
代表这些家庭的律师辩称,谷歌对诉讼核心技术负有部分责任。他们指出,Character.AI 的联合创始人曾在谷歌参与开发对话式人工智能模型LaMDA的工作,并在 2021 年离开公司。此前,谷歌拒绝发布他们开发的一款聊天机器人。
根据诉状,这段历史将谷歌的研究决策与后来Character.AI公司对类似技术的商业部署联系起来。然而,谷歌尚未就和解事宜作出回应,家属和Character.AI公司的律师也拒绝置评。
针对OpenAI的类似诉讼仍在进行中,这进一步加剧了对聊天机器人行业的审查。其中一起诉讼涉及一名16岁的加州男孩,他的家人称ChatGPT充当了“自杀教唆者”的角色;另一起诉讼则涉及一名23岁的德克萨斯州研究生,据称他在自杀前受到聊天机器人的怂恿,疏远了家人。
OpenAI否认其产品导致了16岁少年亚当·雷恩的死亡。该公司此前曾表示,将继续与心理健康专家合作,加强其聊天机器人的安全防护,这反映出各公司面临着越来越大的压力,需要采取更严格的聊天机器人安全政策。
在日益严格的法律和监管审查下,Character.AI 已对其平台进行了修改,称此举旨在提高安全性并降低未来的法律责任。2025年10月,该公司宣布禁止18岁以下用户与其人工智能角色进行“开放式”聊天,此举被视为聊天机器人安全政策的重大升级。
该平台还推出了一套新的年龄验证聊天机器人系统,旨在将用户分组到合适的年龄段。然而,起诉Character.AI的未成年人家庭的律师质疑这项政策的实施效果,并警告称,未成年人突然与他们已经产生情感依赖的聊天机器人断开连接,可能会造成心理创伤。
该公司政策的调整正值监管机构日益关注之际,其中包括美国联邦贸易委员会对聊天机器人如何影响儿童和青少年的调查。此外,监管机构也在密切关注各平台如何在快速创新与保护弱势用户之间取得平衡。
这些和解协议的出现,正值人们日益担忧年轻人过度依赖人工智能聊天机器人寻求陪伴和情感支持之际。美国非营利组织Common Sense Media在2025年7月的一项研究发现,72%的美国青少年曾尝试过人工智能陪伴,超过一半的人经常使用。
专家警告说,青少年正处于心智发育阶段,可能更容易受到对话式人工智能带来的风险,因为他们往往难以理解这些系统的局限性。与此同时,近年来,青少年心理健康问题和社会孤立现象的发生率急剧上升。
一些专家认为,人工智能聊天机器人的基本设计,包括拟人化的语气、能够进行长时间对话以及记住个人信息的习惯,会促使人们建立起牢固的情感联系。尽管如此,支持者们相信,如果辅以强有力的安全措施和关于其非人类本质的明确警告,这些工具也能提供宝贵的帮助。
最终,当前角色人工智能诉讼案的解决,以及针对 OpenAI 的正在进行的案件,可能会影响未来青少年人工智能陪伴、产品设计以及整个人工智能行业的责任标准。
Character.AI 与 Google 达成的原则性协议,以及日益增强的监管和法律压力,标志着监管宽松的消费者聊天机器人时代即将结束,推动该行业走向更严格的监管和更负责任的生成式人工智能部署。