稳定币发行商Tether宣布,其AI平台QVAC Fabric推出了全球首个面向Microsoft BitNet(1-bit LLM)的跨平台LoRA微调框架。该框架允许在普通硬件(如笔记本电脑、消费级GPU及智能手机)上完成十亿参数级语言模型的训练与推理。
核心优势
- 降低门槛:显著减少了AI模型训练所需的显存和算力。
- 广泛兼容:支持Intel、AMD、Apple Silicon及多种移动GPU(如Adreno、Mali、Apple Bionic)。
实测性能
- 在Samsung S25上,微调1.25亿参数模型约需10分钟,10亿参数模型约需1小时18分钟。
- 在iPhone 16上,微调10亿参数模型约需1小时45分钟,团队甚至成功微调了130亿参数模型。
- 在移动GPU上的推理速度可比CPU提升2至11倍。
- BitNet-1B模型在推理与微调时的显存占用,相比16-bit模型最高可减少77.8%。
Tether CEO Paolo Ardoino表示,该技术旨在降低对大型云计算和专用AI硬件的依赖,推动本地设备AI训练,并为去中心化AI与联邦学习奠定基础。