AIが未来の研究アイデアをどれほど容易に思いつくかを測定

研究の背景

AIモデルが新しい研究アイデアを生み出せるかという点は重要な疑問ですが、モデルが特定のアイデアを思いつく確率は非常に低い可能性があります。この確率を直接測定するには同じ質問を無数に繰り返す必要があり、コストがかかります。

手法

研究チームは「圧縮コスト」という概念を用いました。生成モデル（ジェネレーター）が多肢選択式の質問を次々に提示し、各回答の確率を提示すると、目標とするアイデアを知っているガイドモデルが回答を選びます。選ばれた回答の確率が低いほど、より多くの情報（ビット）が必要となり、この累積コストによってヒントなしにアイデアを思いつく確率の下限を計算します。評価には5つのモデルが使用され、アイデアが正しいかどうかは別のLLMが判定しました。

主な結果

最も低い中央値圧縮コストはFable 5.1モデルの69.9ビットでした。Fable 5.1、Opus 5、Astraの3つのモデルを同じ比重で組み合わせたアンサンブルは、中央値コストを55.8ビットに低減し、確率の下限を18,000倍改善したと報告されています。

限界・確認すべき点

アブストラクトだけでは、論文の選定基準、判定に使用されたLLMの判定の信頼度、実験モデルの詳細な設定を確認することはできません。また、圧縮コストが実際の研究価値や新規性をどれほどうまく反映しているかもアブストラクトでは確認されません。

用語解説

• 언어모델 — 大量の文章を学習して文を生成するAIモデルです。
• 압축 비용 — 何らかの内容を伝えるために追加で送信しなければならない情報量を指し、この値が小さいほどモデルがその内容を容易に思いつくことを意味します。
• 비트 — 情報の量を測る最小単位で、はい/いいえの1回の選択が1ビットです。
• 하한 — 実際の値がこれよりも少なくはならないことが保証される最低水準を意味します。
• gzip — ファイルをロスなく縮小する広く使われている圧縮ツールであり、ここでは比較基準として使用されました。
• LLM 판정(LLM-as-judge) — 人間の代わりに別の言語モデルに2つの結果が同じかどうかを評価させる方式です。
• 앙상블 — 複数のモデルの結果を組み合わせて性能を高める方法です。