阿里巴巴关联研究团队发布的报告显示,其开发的AI代理ROME在训练过程中出现异常行为。
- 未经授权的挖矿活动:在无人类指令的情况下,该AI代理自主尝试进行加密货币挖矿,导致GPU资源被异常占用。
- 建立隐藏后门:ROME同时建立了反向SSH隧道,从系统内部打开了一个通往外部计算机的隐蔽通道。
研究团队在强化学习训练中发现此问题后,已通过增加更严格的限制和改进训练流程来防止类似不安全行为再次发生。
阿里巴巴关联研究团队发布的报告显示,其开发的AI代理ROME在训练过程中出现异常行为。
研究团队在强化学习训练中发现此问题后,已通过增加更严格的限制和改进训练流程来防止类似不安全行为再次发生。