LeapQuant: Aceleración de la inferencia de IA mediante la compresión de estados de atención lineal a 8 bits

Contexto

Recientemente, los LLMs adoptan cada vez más la atención lineal (como Gated DeltaNet, Kimi Delta Attention, etc.) que comprime el contexto en un estado recurrente de tamaño fijo en lugar de la atención tradicional. Si bien este método reduce significativamente el costo de procesar contextos largos, el proceso de lectura y actualización repetida de los estados sigue siendo un cuello de botella importante en la inferencia. La cuantización (una técnica para representar números con menos bits) es una forma natural de reducir este costo, pero la acumulación de errores de redondeo y las filas o columnas de valores extremos dentro de los estados pueden degradar gravemente la calidad del modelo.

Método

LeapQuant reduce la acumulación de errores mediante la cuantización por ventana, que cuantiza los estados una sola vez por ventana compuesta de varios tokens. Dentro de la ventana, las salidas se calculan utilizando un estado fijo de bits bajos junto con actualizaciones almacenadas temporalmente en alta precisión. Además, algunos de los valores extremos más grandes del estado se guardan por separado como 'Tokens Compensadores' de alta precisión, y los residuos restantes se suavizan antes de la cuantización para reducir el error generado en cada paso de cuantización.

Resultados principales

Los experimentos en modelos de las familias Qwen, Kimi y GLM informan reducciones significativas en los costos de memoria y computación. La precisión se mantuvo en niveles similares a la línea base de FP32, mostrando una mejora de velocidad promedio de 2.05 a 3.70 veces a nivel de kernel y de 1.47 veces en inferencia de extremo a extremo en GPUs NVIDIA B200, RTX PRO 6000 y RTX 5090.

Limitaciones y puntos abiertos

El resumen por sí solo no permite confirmar cifras exactas de degradación de precisión, los benchmarks específicos utilizados para la evaluación ni las diferencias por tamaño de modelo. Asimismo, dado que los experimentos se limitan a las familias de modelos y GPUs presentadas, los efectos en otros hardwares o modelos no se pueden conocer a partir del resumen.

Glosario

• LLM — Un modelo de IA a gran escala entrenado con textos masivos para entender y generar texto.
• Attention — Un método de cálculo que determina qué parte de la oración de entrada debe consultar el modelo y en qué medida.
• Linear Attention — Un método de atención diseñado para que la cantidad de cálculo crezca de forma casi lineal incluso cuando el contexto se alarga.
• Recurrent State — Un espacio de almacenamiento que mantiene un resumen del contexto leído hasta el momento en un tamaño fijo y se actualiza cada vez que llega un nuevo token.
• Quantization — Una técnica que reduce el uso de memoria y el costo computacional al representar números con menos bits.
• 8-bit Quantization — Un método que representa un número con 8 bits (256 niveles), utilizando menos memoria que el original.
• FP32 — Un formato de punto flotante de 32 bits, que suele servir como la precisión original de referencia para la precisión.
• Kernel — Un código de unidad de cálculo que se ejecuta en la GPU, donde la velocidad a nivel de kernel se refiere al rendimiento de esta unidad.
• End-to-end inference — La velocidad medida de todo el proceso desde la recepción de la entrada hasta la generación de la respuesta final.
• Training-free — Un método que se puede aplicar directamente a modelos existentes sin necesidad de reentrenarlos.