Artículo
Un punto de referencia de 'búsqueda de artículos inspiradores' creado por 184 investigadores
ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research
- Qué
- Creamos ScholarCatalyst, un conjunto de datos donde los primeros autores de 207 artículos recientes de informática indicaron qué artículos anteriores ayudaron realmente a su investigación, y presentamos una tarea de recuperación para encontrarlos.
- Resultado clave
- La búsqueda basada en agentes (IA que realiza tareas de forma iterativa por sí misma) no mostró un rendimiento superior al de los métodos de búsqueda básicos (una recuperación de 0.42 frente a 0.48 basada en los primeros 20 resultados). Los agentes basados en Claude Fable 5.1 solo alcanzaron 0.51.
- Por qué importa
- Esto indica que la IA actual aún carece de la intuición experta necesaria para identificar ideas previas necesarias a partir de la vasta literatura de investigación, lo que señala la necesidad de nuevos métodos de entrenamiento. Si bien esto puede verse como un paso adelante para la asistencia de la IA en la investigación científica, la comercialización real o los efectos industriales no se pueden confirmar a partir del resumen.Resumen IA
