腾讯混元Hy4震撼开源：7700亿参数MoE，百万级上下文

腾讯混元Hy4 preview 正式开源

新模型采用 MoE 架构，总参数达 770B，每次激活 49B，上下文窗口扩展至 1M。相比前代 Hy3（295B 总参数、21B 激活、256K 上下文），规模提升超两倍，长上下文能力扩大约4倍。

腾讯未只强调通用跑分，而是针对代码、办公、游戏和科研等场景深度优化。例如，模型可自主搭建 Three.js 3D 网站、在 Unity 中生成可玩 Demo，并支持一次性处理 72 份财务文件，检测重复报销与预算异常。Hy4 已与 WorkBuddy、CodeBuddy 等产品协同训练迭代。

Hy4 已开始参与自身研发，可辅助优化训练方法、数据策略与评测体系，自主提出方案并运行实验。其产出的代码、日志和反馈将进入下一轮训练，初步构建自我进化闭环。

目前，Hy4 preview 已接入 WorkBuddy、CodeBuddy、元宝、ima、腾讯云 TokenHub 及 OpenRouter。腾讯此前在财报中预告，Hy4 将基于真实产品反馈持续迭代，模型规模显著超越前代。