LeapQuant：線形アテンション状態を8ビットに圧縮しAI推論を高速化

研究の背景

近年、LLMは従来のアテンションの代わりに、文脈を固定サイズのリカレント状態に圧縮する線形アテンション（Gated DeltaNet、Kimi Delta Attentionなど）をますます採用しています。この方式により長い文脈処理のコストは大幅に削減されますが、状態を繰り返し読み込んで更新するプロセスが依然として推論の主なボトルネックとなっています。量子化（数値をより少ないビットで表現する手法）はこのコストを削減する自然な方法ですが、丸め誤差の蓄積や状態内の極端な値の行・列により、モデルの品質が大幅に低下する可能性があります。

手法

LeapQuantは、複数のトークンで構成されるウィンドウ単位で状態を一度だけ量子化する「ウィンドウ単位量子化」により、誤差の蓄積を減らします。ウィンドウ内では、低ビットの固定状態と高精度で一時保存されたアップデートを組み合わせて出力を計算します。また、状態内の最も大きな極端な値の一部を高精度の「補償トークン（Compensator Token）」として別個に保管し、残りの残差は量子化前に平滑化（smoothing）することで、各量子化で生じる誤差を軽減します。

主な結果

Qwen、Kimi、GLM系モデルに対する実験において、メモリと計算コストが大幅に削減されたと報告されています。精度はFP32ベースラインと同等の水準を維持し、NVIDIA B200、RTX PRO 6000、RTX 5090 GPUにおいて、カーネルレベルで平均2.05〜3.70倍、エンドツーエンド（end-to-end）の推論で1.47倍の速度向上を示しました。

限界・確認すべき点

アブストラクトだけでは、精度低下の正確な数値、評価に使用された具体的なベンチマーク、モデルサイズ別の違いを確認することはできません。また、実験対象が提示されたモデルファミリーとGPUに限定されているため、他のハードウェアやモデルでの効果はアブストラクトからはわかりません。

用語解説

• LLM（大規模言語モデル） — 膨大なテキストを学習し、文章を理解・生成する大規模なAIモデルです。
• アテンション（Attention） — モデルが入力文のどの部分をどれだけ参考にするかを決定する計算方式です。
• 線形アテンション（Linear Attention） — 文脈が長くなっても計算量がほぼ線形に増加するように設計されたアテンション方式です。
• リカレント状態（Recurrent State） — これまでに読み込んだ文脈の要約を固定サイズで保持し、新しいトークンが来るたびに更新する保存領域です。
• 量子化（Quantization） — 数値をより少ないビットで表現し、メモリ使用量と計算コストを削減する手法です。
• 8ビット量子化 — 数値を1つあたり8ビット（256段階）で表現する方式で、元より少ないメモリを使用します。
• FP32 — 32ビット浮動小数点方式で、通常は精度の基準となる元の精度です。
• カーネル（Kernel） — GPU上で実行される1つの演算単位コードで、カーネルレベルの速度はこの単位の性能を意味します。
• エンドツーエンド推論（End-to-end inference） — 入力を受け取って最終的な回答を出すまでのプロセス全体の速度を測定したものです。
• トレーニング不要の手法（Training-free） — モデルを再学習させることなく、既存のモデルにすぐに適用できる手法です。