LeapQuant: เร่งการอนุمان AI ด้วยการบีบอัดสถานะความสนใจแบบลิเนียร์เป็น 8 บิต

ที่มา

ล่าสุด LLM หันมาใช้ความสนใจแบบลิเนียร์ (เช่น Gated DeltaNet, Kimi Delta Attention ฯลฯ) มากขึ้นเพื่อบีบอัดบริบทให้เป็นสถานะวนซ้ำขนาดคงที่แทนความสนใจแบบเดิม แม้ว่าวิธีนี้จะช่วยลดต้นทุนการประมวลผลบริบทที่ยาวได้อย่างมาก แต่กระบวนการอ่านและอัปเดตสถานะซ้ำๆ ยังคงเป็นคอขวดหลักในการอนุมาน การควอนตัม (การแปลงตัวเลขให้แสดงผลด้วยบิตที่น้อยลง) เป็นวิธีธรรมชาติในการลดต้นทุนนี้ แต่ข้อผิดพลาดสะสมจากการปัดเศษและแถว/คอลัมน์ที่มีค่าสุดโต่งในสถานะอาจทำให้คุณภาพของโมเดลลดลงอย่างมาก

วิธีการ

LeapQuant ช่วยลดข้อผิดพลาดสะสมด้วย 'การควอนตัมตามหน้าต่าง' (window-wise quantization) ซึ่งควอนตัมสถานะหนึ่งครั้งต่อหน้าต่างที่ประกอบด้วยโทเค็นหลายตัว ภายในหน้าต่างจะคำนวณผลลัพธ์โดยใช้สถานะคงที่บิตต่ำร่วมกับการอัปเดตที่จัดเก็บไว้ชั่วคราวด้วยความแม่นยำสูง นอกจากนี้ ยังเก็บค่าสุดโต่งที่ใหญ่ที่สุดบางส่วนในสถานะไว้ต่างหากในฐานะ 'โทเค็นชดเชย' (Compensator Token) ที่มีความแม่นยำสูง และทำการปรับให้เรียบ (smoothing) กับเศษที่เหลือก่อนการควอนตัม เพื่อลดข้อผิดพลาดที่เกิดขึ้นในการควอนตัมแต่ละครั้ง

ผลลัพธ์หลัก

รายงานระบุว่า ในการทดลองกับโมเดลตระกูล Qwen, Kimi และ GLM ต้นทุนด้านหน่วยความจำและการคำนวณลดลงอย่างมาก ความแม่นยำยังคงอยู่ในระดับใกล้เคียงกับเกณฑ์มาตรฐาน FP32 และแสดงการเร่งความเร็วเฉลี่ย 2.05 ถึง 3.70 เท่าในระดับเคอร์เนล และ 1.47 เท่าในการอนุมานแบบ end-to-end บน GPU NVIDIA B200, RTX PRO 6000 และ RTX 5090

ข้อจำกัดและประเด็นที่ควรตรวจสอบ

จากบทคัดย่อเพียงอย่างเดียวไม่สามารถตรวจสอบตัวเลขที่แน่นอนของการลดลงของความแม่นยำ เกณฑ์มาตรฐานเฉพาะที่ใช้ในการประเมิน และความแตกต่างตามขนาดของโมเดลได้ นอกจากนี้เป้าหมายการทดลองยังจำกัดอยู่แค่ตระกูลโมเดลและ GPU ที่ระบุ จึงไม่สามารถทราบผลลัพธ์ในฮาร์ดแวร์หรือโมเดลอื่นได้จากบทคัดย่อ

อธิบายศัพท์

• LLM (대형 언어 모델) — โมเดล AI ขนาดใหญ่ที่เรียนรู้จากข้อความจำนวนมหาศาลเพื่อทำความเข้าใจและสร้างข้อความ
• 어텐션 (Attention) — วิธีการคำนวณที่กำหนดว่าโมเดลควรให้ความสำคัญกับส่วนใดของประโยคอินพุตมากน้อยเพียงใด
• 선형 어텐션 (Linear Attention) — วิธีการอ텐션ที่ออกแบบมาเพื่อให้ปริมาณการคำนวณเพิ่มขึ้นเกือบจะเป็นเส้นตรงแม้ว่าบริบทจะยาวขึ้น
• 재귀 상태 (Recurrent State) — พื้นที่จัดเก็บที่เก็บบรบทสรุปของบริบทที่อ่านมาจนถึงตอนนี้ไว้ในขนาดคงที่และอัปเดตทุกครั้งที่มีโทเค็นใหม่เข้ามา
• 양자화 (Quantization) — เทคนิคที่แสดงตัวเลขด้วยบิตที่น้อยลงเพื่อลดการใช้หน่วยความจำและต้นทุนการคำนวณ
• 8비트 양자화 — วิธีการแสดงตัวเลขหนึ่งตัวด้วย 8 บิต (256 ระดับ) ซึ่งใช้หน่วยความจำน้อยกว่าแบบเดิม
• FP32 — วิธีการใช้เลขทศนิยม 32 บิต ซึ่งมักจะเป็นความแม่นยำดั้งเดิมที่เป็นเกณฑ์มาตรฐานสำหรับความแม่นยำ
• 커널 (Kernel) — รหัสหน่วยการคำนวณเดี่ยวที่รันบน GPU ความเร็วระดับเคอร์เนลหมายถึงประสิทธิภาพของหน่วยนี้
• 종단간 추론 (End-to-end inference) — การวัดความเร็วของกระบวนการทั้งหมดตั้งแต่รับอินพุตจนถึงการสร้างคำตอบสุดท้าย
• 학습 없는 방법 (Training-free) — วิธีการที่สามารถนำไปใช้กับโมเดลที่มีอยู่ได้ทันทีโดยไม่ต้องฝึกโมเดลใหม่