Midiendo con qué facilidad la IA genera futuras ideas de investigación

Contexto

Si los modelos de IA pueden producir nuevas ideas de investigación es una pregunta importante, pero la probabilidad de que un modelo conciba una idea específica puede ser extremadamente pequeña. Medir directamente esta probabilidad requiere repetir la misma pregunta innumerables veces, lo cual es costoso.

Método

Los investigadores utilizaron el concepto de 'costo de compresión'. Un modelo generativo (generador) plantea preguntas de opción múltiple secuencialmente y presenta la probabilidad de cada respuesta, mientras que un modelo guía que conoce la idea objetivo selecciona la respuesta. Cuanto menor sea la probabilidad de la respuesta seleccionada, más información (bits) se requiere, y este costo acumulado se utiliza para calcular el límite inferior de la probabilidad de generar la idea sin pistas. Se utilizaron cinco modelos para la evaluación, y la corrección de las ideas fue juzgada por otro LLM.

Resultados principales

El costo de compresión mediano más bajo fue de 69.9 bits por el modelo Fable 5.1. Se informa que un conjunto (ensemble) que combina tres modelos, Fable 5.1, Opus 5 y Astra con el mismo peso, redujo el costo mediano a 55.8 bits y mejoró el límite inferior de probabilidad en 18,000 veces.

Limitaciones y puntos abiertos

Solo con el resumen no es posible verificar los criterios de selección de los artículos, la confiabilidad de los juicios de LLM utilizados para la evaluación, ni la configuración detallada de los modelos experimentales. Además, el resumen no confirma qué tan bien el costo de compresión refleja el valor real o la novedad de la investigación.

Glosario

• Modelo de lenguaje — Un modelo de IA que aprende de grandes cantidades de texto para generar oraciones.
• Costo de compresión — La cantidad de información adicional que debe enviarse para transmitir cierto contenido; un valor más pequeño significa que el modelo concibe ese contenido más fácilmente.
• Bit — La unidad más pequeña para medir la cantidad de información, donde una elección de sí/no equivale a 1 bit.
• Límite inferior — El nivel mínimo garantizado que no es menor que el valor real.
• gzip — Una herramienta de compresión de archivos sin pérdida ampliamente utilizada, utilizada aquí como punto de referencia de comparación.
• Juez LLM (LLM-as-judge) — Un enfoque en el que otro modelo de lenguaje, en lugar de un humano, evalúa si dos resultados son equivalentes.
• Ensamblaje (Ensemble) — Un método para mejorar el rendimiento combinando los resultados de múltiples modelos.