인공지능 로봇 행동 학습을 빠르게 돕는 알고리즘 개발

연구 배경

로봇 시연을 통해 행동 방식을 학습하는 흐름 정책이 널리 쓰이지만, 상호작용을 통해 이를 개선하거나 처음부터 학습하려면 강화학습이 여전히 중요합니다. 그러나 기존 방식은 학습 속도나 효율성 측면에서 한계가 있었습니다.

방법

큐에프쓰리는 흐름 매칭과 비평가 신경망의 행동기울기를 결합한 온라인 오프폴리시 강화학습 알고리즘입니다. 비평가와 예측의 신뢰성을 유지하기 위해 특정 행동 차원에만 기울기를 적용하는 방식을 사용했습니다.

주요 결과

인간형 로봇의 이동 정책을 처음부터 학습하여 실제 하드웨어에 곧바로 적용하는 데 성공했습니다. 또한 기존 방식 대비 약 10배 빠른 학습 속도를 기록했으며, 사전 학습된 조작 정책을 미세 조정하는 데도 활용될 수 있음을 보였습니다.

한계·확인할 점

초록에서는 구체적인 하드웨어 제약 사항이나 다양한 환경에서의 장기적인 안정성에 대한 상세한 정보는 확인할 수 없습니다.

용어 풀이

• 흐름 정책 — 로봇이 연속적인 행동을 부드럽게 수행하도록 돕는 인공지능 모델의 일종입니다.
• 강화학습 — 시행착오를 겪으며 가장 좋은 행동 양식을 찾아내는 인공지능 학습 방법입니다.
• 오프폴리시 — 과거에 수집한 데이터나 다른 정책의 경험을 활용하여 효율적으로 학습하는 방식입니다.