AI가 미래 연구 아이디어를 얼마나 쉽게 떠올리는지 측정

연구 배경

AI 모델이 새로운 연구 아이디어를 낼 수 있는지는 중요한 질문이지만, 모델이 특정 아이디어를 떠올릴 확률은 매우 작을 수 있습니다. 이 확률을 직접 측정하려면 같은 질문을 수없이 반복해야 해서 비용이 많이 듭니다.

방법

연구진은 '압축 비용'이라는 개념을 썼습니다. 생성 모델(생성기)이 객관식 질문을 차례로 내고 각 답의 확률을 제시하면, 목표 아이디어를 알고 있는 가이드 모델이 답을 골라줍니다. 고른 답의 확률이 낮을수록 더 많은 정보(비트)가 필요하며, 이 누적 비용으로 힌트 없이 아이디어를 떠올릴 확률의 하한을 계산합니다. 평가에는 다섯 개 모델이 쓰였고, 아이디어가 맞는지는 다른 LLM이 판정했습니다.

주요 결과

가장 낮은 중간 압축 비용은 Fable 5.1 모델의 69.9비트였습니다. Fable 5.1, Opus 5, Astra 세 모델을 같은 비중으로 묶은 앙상블은 중간 비용을 55.8비트로 낮추고, 확률 하한을 18,000배 개선했다고 보고합니다.

한계·확인할 점

초록만으로는 논문 선정 기준, 판정에 쓰인 LLM 판정의 신뢰도, 실험 모델들의 세부 설정을 확인할 수 없습니다. 또한 압축 비용이 실제 연구 가치나 참신함을 얼마나 잘 반영하는지도 초록에서는 확인되지 않습니다.

용어 풀이

• 언어모델 — 대량의 글을 학습해 문장을 만들어 내는 AI 모델입니다.
• 압축 비용 — 어떤 내용을 알려주기 위해 추가로 보내야 하는 정보량을 말하며, 이 값이 작을수록 모델이 그 내용을 쉽게 떠올린다는 뜻입니다.
• 비트 — 정보의 양을 재는 가장 작은 단위로, 예/아니오 한 번의 선택이 1비트입니다.
• 하한 — 실제 값이 이보다는 적지 않다고 보장되는 최소 수준을 뜻합니다.
• gzip — 파일을 손실 없이 줄이는 널리 쓰이는 압축 도구로, 여기서는 비교 기준으로 쓰였습니다.
• LLM 판정(LLM-as-judge) — 사람 대신 다른 언어모델에게 두 결과가 같은지 평가하도록 맡기는 방식입니다.
• 앙상블 — 여러 모델의 결과를 함께 써서 성능을 높이는 방법입니다.