据官方消息,Bittensor子网Templar(SN3)已于3月10日完成了史上最大规模去中心化大语言模型Covenant-72B的预训练。
关键信息
- 模型规格:Covenant-72B是一个拥有720亿参数的语言模型,完全基于通用互联网数据训练,无需集中式数据中心。
- 性能表现:在MMLU(零样本)测试中取得67.1分,超越了LLaMA-2-70B等集中式基线模型。
- 协作规模:超过70个不同节点贡献了计算资源,是迄今规模最大的完全无需许可协作语言模型。所有权重和检查点已根据Apache许可证发布。
市场影响
受此消息推动,Bittensor(TAO)及其子网代币普遍上涨。TAO近两周涨幅达54.8%,子网代币τemplar近7日涨幅194%。