英伟达发布开源框架 Lyra 2.0,能够从单张图片生成可探索的 3D 世界。生成的模型可直接导入游戏引擎和仿真器进行实时渲染。
核心功能
- 输入:单张照片。
- 输出:可探索的 3D 高斯溅射(Gaussian Splats)和网格模型。
- 许可:代码与模型权重基于 Apache 2.0 许可证开源,允许商用。
技术突破
Lyra 2.0 主要解决了长距离漫游中的两大难题:
- 空间遗忘:通过维护每帧的3D几何信息,并在镜头折返时检索历史帧,确保场景一致性。
- 时间漂移:采用自增强训练,让模型学会纠正而非累积生成误差。
应用场景
最直接的应用是机器人仿真。生成的3D场景可导入英伟达 Isaac Sim 等物理仿真器,为机器人导航与交互训练提供低成本、多样化的环境,缓解了具身智能(embodied AI)训练的数据瓶颈。
与仅支持短距离生成的 Lyra 1.0 相比,2.0 版本实现了长距离持续探索,是目前该方向最完整的开源方案。