论文
由184名研究人员打造的“寻找灵感论文”基准
ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research
- 做了什么
- 构建了ScholarCatalyst数据集,由计算机科学领域近期207篇论文的184名第一作者指出哪些之前的论文对他们的研究真正起到了帮助,并提出了检索这一关联的任务。
- 核心结果
- 智能体(自主重复搜索以完成任务的AI)搜索的表现并未优于基础检索方式(基于前20个结果的召回率,智能体为0.42,基础检索为0.48)。基于Claude Fable 5.1的智能体也仅达到0.51。
- 意义
- 这表明当前的AI在海量研究文献中识别所需先前创意的专家直觉方面仍有欠缺,并指出了需要为此开发新学习方法的发展方向。虽然这可以看作是辅助科学研究的AI研究迈出的一步,但其实际商业化或产业效果无法从摘要中确认。AI 摘要