LeapQuant: Tăng tốc suy luận AI bằng cách nén trạng thái chú ý tuyến tính xuống 8 bit

Bối cảnh

Gần đây, các mô hình LLM ngày càng áp dụng chú ý tuyến tính (như Gated DeltaNet, Kimi Delta Attention, v.v.) nhằm nén ngữ cảnh thành một trạng thái hồi tiếp có kích thước cố định thay vì cơ chế chú ý truyền thống. Phương pháp này giúp giảm đáng kể chi phí xử lý ngữ cảnh dài, nhưng quá trình đọc và cập nhật trạng thái liên tục vẫn là điểm nghẽn chính trong suy luận. Lượng tử hóa (kỹ thuật biểu diễn số bằng ít bit hơn) là cách tự nhiên để giảm chi phí này, nhưng việc tích tụ sai số làm tròn và các hàng/cột giá trị cực trị trong trạng thái có thể làm giảm nghiêm trọng chất lượng mô hình.

Phương pháp

LeapQuant giảm sự tích tụ sai số thông qua kỹ thuật lượng tử hóa theo cửa sổ (window-wise quantization), thực hiện lượng tử hóa trạng thái đúng một lần cho mỗi cửa sổ gồm nhiều token. Trong cửa sổ, các đầu ra được tính toán bằng cách kết hợp trạng thái cố định số bit thấp với các cập nhật được lưu trữ tạm thời ở độ chính xác cao. Ngoài ra, một số giá trị cực trị lớn nhất trong trạng thái được lưu giữ riêng biệt dưới dạng 'Token bù' (Compensator Token) độ chính xác cao, và phần dư còn lại được làm phẳng (smoothing) trước khi lượng tử hóa để giảm sai số phát sinh ở mỗi bước lượng tử hóa.

Kết quả chính

Các thử nghiệm trên các dòng mô hình Qwen, Kimi và GLM báo cáo sự giảm đáng kể về chi phí bộ nhớ và tính toán. Độ chính xác được duy trì ở mức tương đương đường cơ sở FP32, cho thấy tốc độ cải thiện trung bình từ 2.05 đến 3.70 lần ở cấp độ nhân và 1.47 lần ở suy luận đầu cuối (end-to-end) trên các GPU NVIDIA B200, RTX PRO 6000 và RTX 5090.

Hạn chế & điểm cần xác minh

Chỉ riêng bản tóm tắt không thể xác định con số chính xác về mức độ suy giảm độ chính xác, các benchmark cụ thể được sử dụng để đánh giá, hay sự khác biệt theo kích thước mô hình. Hơn nữa, vì các thí nghiệm chỉ giới hạn ở các dòng mô hình và GPU được trình bày, hiệu quả trên phần cứng hoặc mô hình khác là chưa rõ từ bản tóm tắt.

Giải thích thuật ngữ

• LLM — Mô hình AI quy mô lớn được huấn luyện trên lượng văn bản khổng lồ để hiểu và tạo ra văn bản.
• Attention — Phương pháp tính toán quyết định mức độ tập trung của mô hình vào các phần khác nhau của câu đầu vào.
• Linear Attention — Phương pháp chú ý được thiết kế sao cho khối lượng tính toán tăng gần như tuyến tính ngay cả khi ngữ cảnh kéo dài.
• Recurrent State — Không gian lưu trữ giữ lại bản tóm tắt của ngữ cảnh đã đọc cho đến nay với kích thước cố định và được cập nhật mỗi khi có token mới đến.
• Quantization — Kỹ thuật biểu diễn các số bằng ít bit hơn để giảm dung lượng bộ nhớ và chi phí tính toán.
• 8-bit Quantization — Phương pháp biểu diễn một số bằng 8 bit (256 mức), sử dụng ít bộ nhớ hơn so với ban đầu.
• FP32 — Định dạng dấu phẩy động 32-bit, thường đóng vai trò là chuẩn độ chính xác ban đầu.
• Kernel — Mã đơn vị tính toán chạy trên GPU, trong đó tốc độ cấp độ nhân đề cập đến hiệu suất ở đơn vị này.
• End-to-end inference — Tốc độ đo được của toàn bộ quá trình từ khi nhận đầu vào đến khi tạo ra câu trả lời cuối cùng.
• Training-free — Phương pháp có thể được áp dụng trực tiếp cho các mô hình hiện có mà không cần huấn luyện lại.