가상 로봇 영상을 실제처럼 바꿔주는 AI 기술

연구 배경

가상 환경은 로봇 데이터를 대규모로 저렴하게 만들 수 있지만, 가상과 현실 간의 시각적 차이 때문에 가상에서 학습한 로봇이 현실에서 잘 작동하지 않는 문제가 있었습니다. 기존 방식은 중간 표현을 사용하여 풍부한 의미 정보를 잃거나 추가적인 인식 모듈이 필요했습니다.

방법

연구진은 가상 궤도를 실제 같은 영상으로 변환하는 로보렌더라는 틀을 제안했습니다. 이 모델은 가상 깊이 영상, 언어 지시, 로봇 마스크 영상을 바탕으로 현실적인 질감과 배경을 합성합니다.

주요 결과

로보렌더로 생성된 영상 데이터로 학습한 로봇 정책은 물건 집기, 조작, 모바일 조작 등의 실제 환경 실험에서 71퍼센트의 평균 성공률을 기록했습니다. 이는 기존 시뮬레이션 렌더링이나 전통적인 시각적 도메인 무작위화 방식보다 각각 약 7.1배와 3.6배 높은 수치입니다.

한계·확인할 점

초록에서는 구체적인 하드웨어 비용이나 실시간 처리 속도 등 상용화에 필요한 세부적인 제약 사항을 확인할 수 없습니다.

용어 풀이

• sim-to-real — 가상 환경에서 학습한 기술이나 모델을 현실 세계의 로봇 등에 그대로 적용하는 것
• zero-shot — 추가적인 실제 데이터 학습 없이 가상에서 학습한 모델을 곧바로 현실에 적용하는 방식