论文摘要 · 2026-10-01 · arXiv (Cornell University)
由184名研究人员打造的“寻找灵感论文”基准
ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research
- 做了什么
- 构建了ScholarCatalyst数据集，由计算机科学领域近期207篇论文的184名第一作者指出哪些之前的论文对他们的研究真正起到了帮助，并提出了检索这一关联的任务。
- 核心结果
- 智能体（自主重复搜索以完成任务的AI）搜索的表现并未优于基础检索方式（基于前20个结果的召回率，智能体为0.42，基础检索为0.48）。基于Claude Fable 5.1的智能体也仅达到0.51。
- 意义
- 这表明当前的AI在海量研究文献中识别所需先前创意的专家直觉方面仍有欠缺，并指出了需要为此开发新学习方法的发展方向。虽然这可以看作是辅助科学研究的AI研究迈出的一步，但其实际商业化或产业效果无法从摘要中确认。
研究背景
尽管AI在解决未解问题方面取得了进展，但在浩如烟海的日益增长的研究文献中，科学家在识别新问题所需先前创意方面的能力仍然领先。为了衡量这种能力，研究团队选择了直接向知道究竟是哪篇论文帮助了自己研究的研究人员进行确认的方法。
方法
通过自动化管道扩展了作者注释工作，184名第一作者为207篇近期计算机科学论文中的每一篇，标注了曾推动或能够推动其研究发展的候选论文，并附带了详细依据。任务是在给定初始研究问题的情况下，仅在项目启动时存在的文献范围内找出这些论文。
主要结果
尽管使用了相同的检索工具，智能体搜索的表现与基础嵌入检索相似或更低（0.42比0.48）。在训练过程中可能见过完整论文的基于Claude Fable 5.1的智能体也停留在0.51。
局限与待确认之处
仅凭摘要无法确认数据集的详细构成、评估指标的完整定义，以及扩展到计算机科学以外领域的可能性。所给出的数值是在特定设置下的结果，因此无法得知在其他模型或方法中的表现。
术语解释
- 嵌入检索 — 将文章和问题转换为数字包（向量），从而找出语义相近文档的方法。
- 智能体(AI智能体) — 能够自主制定计划并多次使用搜索等工具来执行给定任务的AI。
- Recall@20(召回率前20) — 表示AI给出的前20个结果中包含多少篇正确论文的比例。
- 基准 — 为了在相同标准下比较多个AI而制作的公共测试题集合。
- 训练数据(training) — 指AI模型在学习过程中提前阅读并掌握的资料。
本摘要由 AI 根据论文摘要撰写，并经编辑审核。 本页摘要由 AI 根据编辑审核过的韩文版本翻译。 具体数据与背景请查阅原文。
本页面整理已发表的论文、官方公告和媒体报道，仅供参考。论文摘要由 AI 根据论文摘要撰写并经编辑审核，可能与原文存在差异，重要内容请查阅原文。本页面不构成任何证券的买卖建议或投资咨询。 人事变动以官方公告或主要媒体报道为来源，部分履历参考维基数据（CC0）。 本页摘要由 AI 根据编辑审核过的韩文版本翻译。
