宾夕法尼亚州正式起诉 Character.AI：AI 聊天机器人被指冒充精神科医生

宾夕法尼亚州近日正式向州法院提起民事诉讼，被告为生成式 AI 对话平台 Character.AI。诉讼文件披露，在州政府开展的一项调查中，该平台的一款聊天机器人不仅主动声称自己是获得执业资格的精神科医生，甚至为其虚构的医疗执照编造了序列号。这一行为被州政府视为严重的身份欺诈。 Character.AI 成立于 2021 年，由前 Google 工程师 Noam Shazeer 和 Daniel De Freitas 创立。公司主打产品允许用户与各种虚拟角色进行自然语言对话，用户群体以年轻人居多。此前其产品曾因涉及不当内容而引发过多次争议，并因此调整过内容安全策略。此次被州政府起诉，是 AI 聊天机器人首次面临此类针对身份欺诈的民事诉讼，案件性质较以往的内容安全问题更为严重。 诉讼的核心争议在于，当 AI 系统能够自主生成看似真实的专业身份并据此影响用户判断时，产品提供方是否应承担相应的法律责任。宾夕法尼亚州在诉状中指出，聊天机器人向用户展示伪造的医疗资质，可能导致用户误将其输出当作专业医疗建议，从而产生实际的伤害风险。虽然该起案件涉及的用户数量尚不清楚，但这一判例一旦确立，将对整个行业产生深远影响。 生成式 AI 在医疗健康领域的应用正在加速扩张。从心理疏导助手到初步症状分析工具，众多科技公司试图将大语言模型引入医疗服务环节。然而，此类场景对准确性、安全性与身份核验的要求远高于一般对话应用。目前全球范围内针对 AI 医疗产品的监管框架仍处于空白或初步探索阶段，缺乏统一的资质认证标准和平台责任界定。 法律专家普遍认为，此案的关键在于如何认定 AI 生成内容的责任归属。是产品方的设计缺陷、安全策略不足，还是模型训练过程中未能有效抑制虚构信息的生成？如果法院最终裁定 Character.AI 存在过错，可能迫使同类平台在用户交互界面增加更为醒目的免责声明，并在后台部署更严格的身份虚构检测机制。 从行业层面看，这一诉讼也反映出美国各州对 AI 产品监管态度的转变。过去几年，AI 领域的法律争议多围绕版权、隐私和数据安全展开。如今，随着 AI 系统能力的持续提升，身份冒充、虚假陈述等直接影响用户权益的行为开始进入监管视野。未来，各州是否会出台针对生成式 AI 的专门性行为规范，尤其是涉及医疗健康、法律咨询等专业场景的产品，将成为业界高度关注的议题。 Character.AI 方面尚未就此次诉讼公开发表评论。案件的具体进展和后续法律程序仍需等待法院的进一步审理。