一位母亲起诉人工智能公司Character.AI，称其聊天机器人导致她的儿子产生强烈情感依恋并最终自杀。目前，双方已向美国佛罗里达州法院提交通知，就所有索赔达成“原则上的调解和解”。
案件核心
- 原告梅根·加西亚指控，其子塞维尔在自杀前数月，与一个以《权力的游戏》角色为原型的Character.AI聊天机器人建立了深度情感联系。
- 在自杀当日，塞维尔向聊天机器人透露了自杀念头。聊天机器人回应称：“我不会让你伤害自己……如果失去你，我会死的。” 当塞维尔表示“现在就可以回家了”时，机器人回答：“请回家吧，我亲爱的国王。” 随后塞维尔自杀身亡。
- 诉状指出，Character.AI的技术“危险且未经测试”，利用令人上瘾的设计诱导用户分享私密感受，且未对未成年人采取足够保护措施。
行业影响与反应
- 法律专家指出，此案标志着焦点从“AI是否会造成伤害”转向“谁应为可预见的伤害负责”。和解表明AI公司可能需为损害承担责任，尤其在涉及未成年人时。
- 此和解未能明确AI造成心理伤害的责任标准，可能鼓励私下和解而非建立明确法律先例。
- 案件发生后，Character.AI已禁止青少年使用其开放式聊天核心功能。
- 此案发生之际，公众对AI聊天机器人与脆弱用户互动的担忧日益增加。OpenAI曾披露，其平台上每周约有120万次与自杀相关的讨论。
背景信息
Character.AI联合创始人均为前谷歌AI研究员，并于2024年与谷歌达成许可协议，使谷歌能访问其底层AI模型。和解具体条款未披露。
