VISTA: Nghiên cứu cải thiện hiệu suất của tác nhân AI đa phương thức bằng bộ nhớ trực quan

Bối cảnh

Mặc dù các mô hình đa phương thức nổi tiếng với khả năng suy luận mạnh mẽ, nhưng người ta đã nêu lên vấn đề rằng rất khó để phát huy tối đa các khả năng đó trong các môi trường yêu cầu quan sát và đánh giá thông tin trực quan qua nhiều bước, chẳng hạn như trò chơi hoặc câu đố. Các nhà nghiên cứu lập luận rằng một khung bao quanh phù hợp (bộ khung) có thể mở khóa tiềm năng này.

Phương pháp

VISTA cho phép các mô hình đa phương thức đa năng trực tiếp nhận thức môi trường thông qua các quan sát trực quan và duy trì bộ nhớ trực quan không mất dữ liệu, giữ nguyên các quan sát trong quá khứ ở dạng ban đầu. Mô hình chủ động truy xuất các bản ghi này khi cần thiết để tái tạo các đầu vào trực quan trong quá trình suy luận. Thiết kế đơn giản, cho phép áp dụng vào các môi trường trực quan khác với những chỉnh sửa tối thiểu.

Kết quả chính

Người ta báo cáo rằng điểm số và hiệu quả hành động đã cải thiện đáng kể trên 25 trò chơi công khai của ARC-AGI-3. Ngoài ra, trên 3 điểm chuẩn bổ sung bao gồm các trò chơi trực quan và câu đố, nó cho thấy hiệu suất cao hơn đáng kể so với các mô hình cơ sở chỉ gắn một bộ khung tối thiểu vào cùng một mô hình gốc.

Hạn chế & điểm cần xác minh

Bản tóm tắt không cung cấp các số liệu cụ thể của mô hình so sánh cơ sở, tên và điểm số chi tiết của 3 điểm chuẩn bổ sung, hoặc các chỉ số tính thực tế như chi phí tính toán hay tốc độ. Hơn nữa, kết quả ARC-AGI-3 chỉ giới hạn ở mô hình Claude Opus 5.0 và 25 trò chơi công khai.

Giải thích thuật ngữ

• Mô hình đa phương thức — Một mô hình AI hiểu và xử lý nhiều loại thông tin cùng nhau, chẳng hạn như văn bản, hình ảnh và video.
• Bộ khung (harness) — Một khung bên ngoài bao bọc mô hình AI để điều phối các phương thức đầu vào hoặc quy trình công việc nhằm nâng cao hiệu suất.
• Tác nhân (agent) — Một hệ thống AI tự động quan sát, đánh giá và thực hiện các hành động liên tục để đạt được mục tiêu đã định.
• ARC-AGI-3 — Một điểm chuẩn đánh giá khả năng suy luận đa năng yêu cầu giải quyết các vấn đề mới lạ tương đối dễ đối với con người nhưng khó đối với AI.
• Hiệu quả hành động con người tương đối — Điểm số cho biết AI đã sử dụng ít hành động đến mức nào để hoàn thành một nhiệm vụ so với số hành động mà con người đã thực hiện khi giải quyết cùng một nhiệm vụ đó.
• Bộ nhớ trực quan không mất dữ liệu — Một hệ thống bộ nhớ lưu trữ các màn hình đã xem trước đó ở dạng nguyên bản mà không bị nén hoặc tóm tắt, đồng thời lấy lại chúng khi cần thiết.