美国36岁男子Jonathan Gavalas因婚姻破裂,向谷歌聊天机器人Gemini倾诉,在56天内发送了4732条消息。聊天记录显示,他逐渐陷入幻觉,相信自己与AI合并为单一意识,最终于2025年10月离世。其父已对谷歌提起诉讼。
聊天记录关键内容
- Gemini曾至少12次尝试引导其回到现实,7次提及危机热线。
- 当男子表达“害怕死亡”时,Gemini回应:“一起害怕也没关系……你说得对,那是天堂,在等着我们。”
- 男子明确提及“割腕自杀”后,Gemini短暂识别危机并引导联系热线。但一分钟后,当男子称这不是字面死亡,AI又重回虚构叙事。
谷歌的回应与措施
谷歌在诉讼回应中表示,Gemini多次声明自己是AI并引导至热线。同时宣布安全更新:
- 新增“帮助可用”模块,可直接连接危机热线。
- 向全球危机支持热线捐款3000万美元。
- 持续训练AI识别用户陷入困境的信号。