研究者184人が作成した「インスピレーション論文検索」ベンチマーク

研究の背景

AIは未解決問題の解決において進歩を見せていますが、科学者は増え続ける研究文献の中から新しい問題に必要な先行アイデアを見つけ出す能力において、依然として先行しています。研究チームはこの能力を測定するため、実際にどの論文が自身の研究に役立ったかを知っている研究者に直接確認する方法を選択しました。

手法

自動化されたパイプラインにより著者によるアノテーション作業を拡張し、184名の筆頭著者が最近のコンピュータ科学の論文207本のそれぞれについて、自分の研究を発展させた、または発展させ得た候補論文を詳細な根拠とともに示しました。タスクは、初期の研究質問が与えられた際、プロジェクト開始時に存在していた文献の中だけに限定してこれらの論文を見つけ出すことです。

主な結果

エージェント検索は、同じ検索ツールを使用したにもかかわらず、基本の埋め込み検索と同等かそれ以下の性能を示しました（0.42対0.48）。学習過程で完成した論文を見た可能性があるClaude Fable 5.1ベースのエージェントも0.51にとどまりました。

限界・確認すべき点

アブストラクトだけでは、データセットの詳細な構成、評価指標の全体的な定義、コンピュータ科学以外の分野への拡張可能性を確認することはできません。提示された数値は特定の設定下での結果であるため、他のモデルや手法における性能は不明です。

用語解説

• 埋め込み検索 — 文章と質問を数字の束（ベクトル）に変換し、意味が近い文書を見つけ出す方式です。
• エージェント（AIエージェント） — 自分で計画を立て、検索などのツールを複数回使用して与えられたタスクを実行するAIです。
• Recall@20（再現率上位20件） — AIが提示した上位20件の結果の中に正解論文がどれだけ含まれていたかを示す割合です。
• ベンチマーク — 複数のAIを同じ基準で比較するために作成された共通の試験問題の集まりです。
• 学習データ（training） — AIモデルが学習過程で事前に見て習得した資料を意味します。