Khung RPG giúp robot tự nâng cao năng lực thông qua luyện tập mô phỏng

Bối cảnh

Việc tạo ra các robot có khả năng thực hiện đáng tin cậy nhiều tác vụ đòi hỏi nỗ lực đáng kể của con người để phát triển và duy trì công nghệ, thiết kế phần thưởng, và kết nối nhận thức với điều khiển. Nghiên cứu này giải quyết các cách để giảm bớt gánh nặng đó.

Phương pháp

RPG trích xuất khả năng thao tác của robot từ một tập dữ liệu ngoại tuyến và tạo ra các tác vụ luyện tập liên quan trong môi trường mô phỏng. Trong quá trình luyện tập, nó sử dụng phản hồi thực thi, trạng thái nội bộ của trình mô phỏng, và video từ tập dữ liệu để chẩn đoán nguyên nhân thất bại, tạo kỹ năng mới hoặc sửa chữa kỹ năng hiện có, đồng thời chỉnh sửa câu lệnh hệ thống (các hướng dẫn cơ bản dành cho AI). Các chỉnh sửa được lưu trữ sau khi được kiểm chứng trên các tác vụ khác, và trong quá trình thực thi thực tế, một mô hình ngôn ngữ lớn đa phương thức sẽ sử dụng các hướng dẫn này cùng danh sách kỹ năng để điều phối nhận thức và điều khiển robot.

Kết quả chính

Trên 22 tác vụ với các điều kiện ban đầu được giữ lại, RPG đạt tỷ lệ thành công 95,0% sau 15 vòng, vượt trội hơn so với các mục tiêu so sánh là ASPIRE (75.5%) và CaP-Agent0 (60.0%). Sau các thủ tục hiệu chỉnh chung và thích ứng phần cứng, hệ thống cố định đã hoàn thành thành công ba tác vụ trên robot thực mỗi tác vụ 10 lần, tổng cộng cả 30 lần đều thành công.

Hạn chế & điểm cần xác minh

Phần tóm tắt không nêu chi tiết loại robot được sử dụng, khoảng cách giữa môi trường mô phỏng và thực tế, chi tiết cụ thể về các trường hợp thất bại, hoặc điều kiện cấu hình của các mô hình so sánh. Tên mô hình 'GPT-6 Astra Pro' và các số liệu hiệu suất được liệt kê làm mục tiêu so sánh hoàn toàn giống như được viết trong phần tóm tắt và không thể được xác minh độc lập.

Giải thích thuật ngữ

• Embodied Agent — Hệ thống AI có thể chất trong thế giới thực để cảm nhận và hành động như một robot
• System Prompt — Các hướng dẫn cơ bản quyết định cách AI thực hiện các tác vụ
• Symbolic Skill — Các đơn vị hành động có thể tái sử dụng được định nghĩa theo dạng con người có thể hiểu được, như 'cầm' hoặc 'đặt'
• Simulator — Chương trình mô phỏng môi trường vật lý bên trong máy tính mà không cần robot thực tế
• Offline Dataset — Tập hợp các bản ghi tác vụ robot đã thu thập trước đó (video và dữ liệu) được sử dụng mà không cần thực hiện thí nghiệm mới
• Multimodal LLM — Mô hình ngôn ngữ lớn hiểu được nhiều dạng thông tin như video và hình ảnh bên cạnh văn bản
• Weight Update — Quá trình huấn luyện lại và thay đổi nhiều con số (trọng số) bên trong mô hình AI, mà RPG cải thiện mà không cần qua quá trình này