黄仁勋点赞！SN3分布式训练720亿大模型，月涨5倍背后

引言：一场播客引发的AI范式讨论

2026年3月，一场顶级创投播客中的对话，意外地将一个名为SN3的去中心化AI项目推至风口浪尖。当风投家Chamath Palihapitiya向英伟达CEO黄仁勋描述“有人用分布式算力在互联网上训练了一个大模型”时，黄仁勋将其比作“现代版的Folding@home”——那个曾汇聚全球闲置算力攻克蛋白质折叠难题的经典项目。

几乎同时，AI巨头Anthropic的联合创始人Jack Clark在一份行业报告中，也以显著篇幅分析了同一技术突破：Bittensor生态子网Templar（SN3）成功完成了720亿参数大模型Covenant-72B的完全分布式训练。市场随之剧烈反应：SN3代币价格一个月内飙升超过440%。

这究竟是一项怎样的成就？它如何挑战了AI训练的固有范式？其背后的价值与隐忧又是什么？

技术核心：Covenant-72B模型深度解析

成绩单：分布式训练的里程碑

2026年3月10日，Covenant AI团队发布技术报告，正式宣告Covenant-72B完成训练。其关键数据如下：

• 模型规模：720亿参数。
• 训练方式：由超过70个独立节点（每轮约20个节点同步）在完全去中心化的互联网环境下协同完成。
• 训练数据：在约1.1万亿tokens的语料上进行了预训练。
• 性能对标：在MMLU基准测试中获得67.1分，性能与Meta于2023年发布的LLaMA-2-70B模型（65.6分）大致相当。

需要客观看待的是，与2026年由数万块顶级GPU训练的千亿参数前沿模型相比，Covenant-72B在绝对能力上存在代差。然而，其革命性意义在于“如何实现”——它首次在无需许可、完全开放的网络中，协调异构算力训练出如此规模的模型。

横向比较：在去中心化赛道中的位置

将Covenant-72B置于分布式训练赛道中，其突破性更为清晰：

• INTELLECT-1（100亿参数）：MMLU得分32.7。
• Psyche Consilience（400亿参数）：MMLU得分24.2。
• Covenant-72B（720亿参数）：MMLU得分67.1。

显然，SN3不仅在参数规模上领先，在模型质量上也实现了跨越，证明了分布式训练路径的可扩展性。

机制揭秘：SN3如何实现“不可能的任务”

Bittensor子网：去中心化AI的乐高积木

要理解SN3，需先了解其底层平台Bittensor。Bittensor本质上是一个基于区块链的AI算力与模型市场，其上的每个“子网”（Subnet）都像一条独立的AI任务流水线。SN3（子网3）的任务目标非常硬核：直接进行大型语言模型的预训练，挑战AI产业链最核心、最昂贵的环节。

攻克两大核心挑战

在开放互联网上协调数十个互不信任的节点训练同一模型，面临两大天堑：

1. 通信效率：节点间网络带宽有限，传统梯度同步数据量巨大。
2. 激励相容：如何确保节点诚实工作，而非作弊或“摸鱼”？

SN3通过两个创新组件解决了这些问题：

SparseLoCo：极致的通信压缩

• 原理：节点在本地进行多步优化后，将产生的“伪梯度”进行Top-k稀疏化、误差反馈和2位量化处理。
• 效果：实现超过146倍的压缩比，使普通互联网带宽足以支持协同训练，计算利用率保持在94.5%的高位。

Gauntlet：链上验证与激励引擎

• 原理：运行在Bittensor链上，通过一小批数据验证每个节点提交的梯度对模型损失的改善程度（LossScore）。
• 机制：每轮仅选取评分最高的节点梯度进行聚合，淘汰贡献不佳者，并由新节点补位。这确保了奖励与实际贡献质量直接挂钩，而非单纯比拼算力。

价值与争议：范式转移的AB面

不可忽视的突破性意义

1. 打破规模预设：证明了分布式训练可扩展至百亿参数级别，拓宽了技术想象空间。
2. 实现无许可参与：任何符合算力要求的参与者均可自由加入，迈向了真正的“算力民主化”。
3. 验证经济模型：Bittensor的dTAO机制为子网成果提供了初步的价值发现与捕获路径。
4. 挑战权力结构：正如Jack Clark所言，这触及了“谁拥有AI未来”的政治经济学问题，为打破训练资源的寡头垄断提供了技术备选方案。

必须直视的现实挑战与隐忧

1. 基准与数据的局限性：
   • MMLU等公开基准可能存在数据泄露污染问题。
   • 模型能力的上限依赖高质量数据（代码、科学文献、对话数据），而这些资源目前仍高度集中于少数机构手中。“算力可分布式，数据却难民主化”是核心矛盾。
2. 安全与合规阴影：
   • 无许可参与意味着节点匿名，数据来源不可追溯。现有验证机制难以防御细微的数据投毒或行为偏移攻击，这在医疗、金融等高合规领域存在潜在风险。
3. 价值捕获的间接性：
   • 持有SN3代币，分享的是子网未来持续产出新模型所带来的网络激励，而非模型使用产生的直接收益。其价值高度依赖于团队持续的技术产出与整个Bittensor生态的健康度。

青岚个人视点

Covenant-72B的诞生，无疑是在AI巨塔的围墙外，炸开了一道裂缝。它用可验证的工程事实，证明了“分布式训练大模型”并非天方夜谭，其象征意义大于当前的实际性能。黄仁勋“现代Folding@home”的比喻极为精准——它开辟了一个有价值的补充路径，但短期内难以撼动中心化训练的主导地位。市场的狂热（月涨5倍）是叙事驱动与技术里程碑共振的典型表现。然而，狂欢之下，我们必须清醒：这项技术仍处于早期，其面临的数据质量、安全隐忧和可持续商业模式等核心问题，一个都未曾真正解决。SN3的价值，不在于它今天训练出了多强的模型，而在于它为我们探索AI发展的“另一条路”点亮了灯塔。这条路能否通向广阔的彼岸，取决于它能否在接下来穿越技术与商业的“深水区”。