TetherのBitNet LoRAフレームワークは、スマートフォン、GPU、コンシューマーデバイス間でのAIモデルのトレーニングを可能にします。
このシステムはメモリ使用量を削減し、パフォーマンスを向上させ、VRAMの必要量を最大77.8％低減します。
ユーザーは最大13Bパラメータのモデルをモバイルデバイス上で微調整でき、エッジAIの能力を拡大します。
Tetherは、QVAC Fabricプラットフォームを通じて新しいAIフレームワークを発表し、コンシューマーデバイス上でのクロスプラットフォームのBitNet LoRAトレーニングを可能にしました。このアップデートにより、数十億パラメータのモデルがスマートフォンやGPU上で動作できるようになりました。CEOのパオロ・アルドイノは、この開発について、コスト削減とAIツールへのアクセス拡大を強調しました。
QVAC Fabricのアップデートは、BitNet LoRAの微調整におけるクロスプラットフォーム対応を導入します。これにより、異なるハードウェアやOS上でAIモデルを動作させることが可能になります。
特に、AMD、Intel、AppleのGPUやモバイルチップセットをサポートしています。また、VulkanとMetalのバックエンドを使用して互換性を確保しています。
Tetherによると、これはこれまでで初めて、BitNet LoRAがこれほど広範なデバイスで動作する例です。その結果、ユーザーは日常的なハードウェア上でモデルをトレーニングできるようになりました。
このシステムは、BitNetとLoRAの技術を組み合わせることで、メモリと計算リソースの必要量を削減します。BitNetはモデルの重みを簡素化された値に圧縮し、LoRAはトレーニング可能なパラメータを制限します。
これらの方法により、ハードウェアの要求が大幅に低減されます。例えば、GPU推論はモバイルデバイス上でCPUの2倍から11倍の速度で動作します。
また、メモリ使用量もフル精度モデルと比べて大きく削減され、ベンチマークでは最大77.8％のVRAM削減を示しています。
Tetherは、スマートフォン上での微調整も実証しました。サムスンS25などのデバイス上で、125百万パラメータのモデルを数分でトレーニングできることを確認しました。
このフレームワークにより、エッジデバイス上でより大きなモデルを動作させることが可能になりました。Tetherは、iPhone 16上で最大13億パラメータのモデルの微調整に成功したと報告しています。
さらに、Adreno、Mali、Apple BionicなどのモバイルGPUもサポートしており、AI開発の範囲を拡大しています。
パオロ・アルドイノは、AI開発は高価なインフラに依存しがちだと述べ、このフレームワークがローカルデバイスへの能力移行を促進すると述べました。
Tetherはまた、このシステムにより中央集権的プラットフォームへの依存を減らし、ユーザーが自分のデバイス上で直接トレーニングやデータ処理を行えるようになると付け加えました。
