Laboratorios punteros

Alexandr Wang

Lider de Meta Superintelligence Labs

Por qué lo seguimos: Organizacion de Meta AI y contratacion de talento

Fichajes

No hay fichajes publicados.

Artículos

Artículo2026-06-10 · arXiv.org

Desarrollo de un método de evaluación para identificar con precisión errores en agentes de IA

Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness

Alexandr Wang y 2 más

Qué: Los investigadores desarrollaron un sistema de evaluación que divide la estructura de los agentes de IA en múltiples capas para inspeccionar de forma independiente y rápida los errores en cada capa.
Resultado clave: Se confirmó que, incluso cuando la tasa de éxito general apenas cambia, la puntuación de una capa específica con problemas cae drásticamente, lo que permite identificar con precisión la causa raíz.
Por qué importa: Esto puede contribuir a mejorar la estabilidad de los sistemas de IA y a encontrar rápidamente la causa cuando ocurren problemas.Resumen IA

Agentes y programación Seguridad y regulación

Resumen completo Leer artículo ↗ PDF ↗

Artículo2026-06-09 · arXiv.org

Análisis de las limitaciones en la evaluación de agentes conversacionales por jueces LLM

Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents

Alexandr Wang y 2 más

Qué: Utilizando agentes conversacionales de pedidos de comida en producción, medimos qué tan efectivamente los jueces basados en modelos de lenguaje grande detectan defectos reales en comparación con una inspección humana exhaustiva.
Resultado clave: Los jueces LLM no lograron detectar ni siquiera una cuarta parte de los problemas sistemáticos identificados por humanos, y en ciertos lotes registraron cero detecciones.
Por qué importa: Esto sugiere que los métodos de evaluación automatizados sirven meramente como una línea base mínima y no pueden reemplazar completamente la revisión humana.Resumen IA

Agentes y programación

Resumen completo Leer artículo ↗ PDF ↗

Esta página recopila artículos publicados, anuncios oficiales e informaciones de prensa solo con fines informativos. Los resúmenes los redacta una IA a partir del resumen del artículo y los revisa el editor; pueden diferir del original, así que consulte el artículo para lo importante. Nada de esto es una recomendación de compra o venta ni asesoramiento de inversión. Los cambios de puesto citan anuncios oficiales o prensa relevante; parte de las trayectorias proviene de Wikidata (CC0). Los resúmenes de esta página se tradujeron con IA a partir de la versión coreana revisada por el editor.