論文
研究者184人が作成した「インスピレーション論文検索」ベンチマーク
ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research
- 何を
- コンピュータ科学分野の最近の論文207本の筆頭著者184名が、どの過去の論文が自身の研究に実際に役立ったかを示したデータセット「ScholarCatalyst」を作成し、それを発見する検索タスクを提案しました。
- 主な結果
- エージェント(自ら検索を繰り返してタスクを実行するAI)検索は、基本の検索手法よりも優れた性能を示しませんでした(上位20件の結果に基づく再現率で0.42対0.48)。「Claude Fable 5.1」ベースのエージェントも0.51にとどまりました。
- 意味
- 現在のAIには、膨大な研究文献から必要な先行アイデアを見つけ出す専門家の直感がまだ不足しており、そのための新しい学習方法が必要であるという方向性を示しています。科学研究を支援するAI研究の一歩と見なすことはできますが、実際の商用化や産業的効果はアブストラクトから確認することはできません。AI要約