LeapQuant：将线性注意力状态压缩至8比特以加速AI推理

研究背景

近来，LLM越来越多地采用线性注意力（如Gated DeltaNet、Kimi Delta Attention等）来代替传统注意力，将上下文压缩为固定大小的循环状态。这种方法大大降低了长上下文的处理成本，但反复读取和更新状态的过程仍然是推理的主要瓶颈。量化（用更少比特表示数字的技术）是降低这种成本的自然方法，但舍入误差的累积以及状态内的极端值行列可能会导致模型质量大幅下降。

方法

LeapQuant通过“基于窗口的量化”减少误差累积，该方法以包含多个标记的窗口为单位对状态进行一次量化。在窗口内部，通过结合低比特固定状态与高精度临时存储的更新来计算输出。此外，它将状态中的部分最大极端值作为高精度的“补偿标记”单独保存，并在量化前对剩余残差进行平滑处理，以减少每次量化产生的误差。

主要结果

据报告，在对Qwen、Kimi和GLM系列模型的实验中，内存和计算成本显著降低。准确度保持在与FP32基准相似的水平，在NVIDIA B200、RTX PRO 6000和RTX 5090 GPU上，内核层面实现了平均2.05至3.70倍的加速，端到端推理速度提升了1.47倍。

局限与待确认之处

仅从摘要无法确认准确度下降的具体数值、评估所用的具体基准测试以及不同模型大小之间的差异。此外，实验对象仅限于所示的模型系列和GPU，因此无法从摘要中得知其在其他硬件或模型上的效果。

术语解释

• LLM（大型语言模型） — 通过学习海量文本来理解和生成文字的大规模AI模型。
• 注意力（Attention） — 决定模型在多大程度上参考输入句子中各个部分的计算方法。
• 线性注意力（Linear Attention） — 旨在确保即使上下文变长，计算量也几乎呈线性增长的注意力机制。
• 循环状态（Recurrent State） — 将迄今为止读取的上下文摘要保存在固定大小中，并在每个新标记到达时进行更新的存储空间。
• 量化（Quantization） — 用更少的比特表示数字，从而减少内存使用量和计算成本的技术。
• 8比特量化 — 用8比特（256个级别）表示一个数字的方法，使用的内存比原来少。
• FP32 — 32位浮点数格式，通常用作准确度标准的原始精度。
• 内核（Kernel） — 在GPU上运行的单个计算单元代码，内核级速度指该单位的性能。
• 端到端推理（End-to-end inference） — 测量从接收输入到输出最终回答的整个过程的速度。
• 无需训练的方法（Training-free） — 无需重新训练模型，即可直接应用于现有模型的方法。