เหอ ไข่หมิง Kaiming He

VISTA: งานวิจัยเกี่ยวกับการเพิ่มประสิทธิภาพของ AI เอเจนต์แบบหลายรูปแบบด้วยความทรงจำเชิงภาพ

ทำอะไร

นักวิจัยได้เสนอ 'วิชวลฮาร์เนส (visual harness)' ที่มีชื่อว่า VISTA ซึ่งช่วยให้โมเดล AI แบบหลายรูปแบบที่จัดการทั้งรูปภาพและข้อความสามารถแก้โจทย์ในสภาพแวดล้อมเชิงภาพแบบโต้ตอบได้ดียิ่งขึ้น

ผลลัพธ์หลัก

รายงานระบุว่าหลังจากนำ VISTA ไปใช้ใน ARC-AGI-3 คะแนนประสิทธิภาพการกระทำเทียบกับมนุษย์ (Relative Human Action Efficiency) เพิ่มขึ้นจาก 40.68 เป็น 100.00 และสามารถเคลียร์เกมสาธารณะทั้ง 25 เกมได้สำเร็จ โดยใช้จำนวนการกระทำน้อยกว่ามนุษย์กลุ่มแรกที่เข้าร่วมถึง 57.4%

ความสำคัญ

ผลงานนี้แสดงให้เห็นว่าวิธีการเพิ่มความทรงจำเชิงภาพและฟังก์ชันการค้นคืนให้กับโมเดลที่มีอยู่เดิมนั้นมีประสิทธิภาพในงานเกมเชิงภาพเฉพาะทาง อย่างไรก็ตาม เนื่องจากบทคัดย่องานวิจัยระบุผลลัพธ์เพียงแค่บางเบนช์มาร์ก จึงยังไม่สามารถสรุปได้ทันทีว่าจะสามารถนำไปประยุกต์ใช้กับหน้างานอุตสาหกรรมจริงได้ทั้งหมดสรุปโดย AI