架构革新:从堆叠到循环
OpenAI 新模型 Astra 将采用一种名为 recurrent depth(循环深度)的推理架构,即 looped transformer。与标准 Transformer 逐层穿透处理每个 Token 不同,该设计允许同一组网络层对信息进行多轮循环计算后再输出,以增加单次推理的计算量。
字节跳动早有布局
这一技术路线并非全新。字节跳动 Seed 团队去年发布的 Ouro 模型,即是一种 Looped Language Model。其核心思路相同:通过让 Transformer 层循环运行,将更多计算内化于模型之中,从而在不依赖更长思维链的情况下提升推理表现。实验表明,较小的模型可利用该机制逼近更大参数量模型的性能。
可解释性与安全权衡
循环架构也带来新的治理挑战。由于部分推理发生在模型的隐藏状态中,而非显式的文本记录里,外界通过检查思维链来审计模型合规性的难度增加。为此,OpenAI 据称已限制 Astra 对该架构的使用频率,确保保留部分可读思维链,并计划引入额外的思维链(CoT)监控机制以对冲安全风险。