인공지능 모델들이 서로 다른 정보 형태에서도 같은 세상을 학습함을 증명함

연구 배경

서로 다른 정보 형태로 학습된 모델들이 세상에 대해 동일한 표현으로 수렴하는지에 대한 가설은 인공지능 분야의 핵심 관심사였으나 증명이 없었다.

방법

연구진은 합동 임베딩 예측 아키텍처라는 구조를 활용해 수학적 정리를 증명하고, 다양한 웹 이미지와 텍스트 데이터셋을 이용해 이론을 검증했다.

주요 결과

좋은 관점을 활용하는 방식은 같은 데이터셋에서 다음 토큰 예측 방식보다 42배 적은 학습 표본으로도 동일한 정렬에 도달할 수 있음을 보였다.

한계·확인할 점

초록 내용만으로는 실제 산업 현장의 다양한 대규모 시스템에 적용했을 때의 실시간 구동 제약이나 추가 비용에 대한 구체적인 정보를 확인할 수 없다.

용어 풀이

• 합동 임베딩 예측 아키텍처 — 여러 데이터 간의 관계를 예측하며 학습하는 인공지능 구조의 일종
• 다음 토큰 예측 — 문맥 속에서 다음에 올 단어나 토큰을 맞추는 방식으로 언어 모델을 학습시키는 기법