Gradientは分散型強化学習フレームワークEcho-2をリリースし、RLaaSプラットフォームLogitsを展開する予定です。

Foresight Newsの報道によると、分散型AI実験室のGradientは、Echo-2分散強化学習フレームワークを発表し、AI研究とトレーニングの効率の壁を打破することを目指しています。このフレームワークは、アーキテクチャレベルでLearnerとActorを分離することで、大規模モデルの後トレーニングコストを削減することを目的としています。公式データによると、このフレームワークは30Bモデルの後トレーニングコストを4500ドルから425ドルに削減可能です。

Echo-2は、ストレージと計算の分離技術を用いた非同期訓練（Async RL）をサポートし、不安定なGPUインスタンスやParallaxベースの異種GPUにサンプリング計算能力をオフロードします。このフレームワークは、古さの制約、インスタンスのフォールトトレランススケジューリング、独自開発のLattica通信プロトコルなどの技術と組み合わせることで、モデルの精度を維持しつつ訓練効率を向上させています。

さらに、GradientはRLaaS（強化学習をサービスとして提供）プラットフォームLogitsの提供を計画しており、現在は学生や研究者向けに予約受付を開始しています。