Tether 刚刚公布了一套新的AI训练框架,允许在智能手机和非Nvidia GPU等消费设备上微调大型语言模型。该系统属于QVAC平台,利用微软的BitNet架构结合LoRA技术,显著降低内存需求和计算成本。
据Tether介绍,该框架支持多平台,兼容AMD、Intel、Apple Silicon芯片以及高通的移动GPU。工程师可以在不到两小时内在智能手机上微调高达1亿参数的模型,甚至在移动设备上扩展到13亿参数。
BitNet技术帮助将VRAM减少多达77.8%,相较于16位模型,同时加快移动GPU上的推理速度。Tether还强调其在联邦学习等应用中的潜力,减少对云端的依赖。
此举反映出加密货币公司向AI和计算基础设施扩展的趋势,以及行业内AI代理的发展。