Investigación que mejora el entrenamiento de modelos de lenguaje de difusión por bloques incorporando contexto futuro

Contexto

Los grandes modelos de lenguaje suelen generar tokens de uno en uno de forma secuencial, mientras que los modelos de lenguaje de difusión por bloques pueden aumentar la velocidad generando múltiples tokens en paralelo por unidades de bloques. En lugar de entrenar estos modelos desde cero, hay una investigación creciente para convertir modelos autorregresivos existentes y de rendimiento validado mediante destilación (un método para transferir el conocimiento de un modelo grande a uno pequeño). Sin embargo, el resumen señala que existe un problema de desalineación en las señales de entrenamiento porque ambos modelos observan y predicen información diferente bajo las mismas condiciones.

Método

d-OPD se basa en la destilación en política (OPD), donde el modelo estudiante se entrena en un estado generado por sí mismo. Explica que la distribución de predicción del modelo profesor se calibra para reflejar la información de los tokens futuros que el estudiante puede ver dentro de cada bloque, adaptándola a la información que el estudiante utiliza realmente.

Resultados principales

Se realizaron experimentos en varios tamaños de modelos desde Qwen3 0.6B hasta 8B, informando que el promedio de seis puntos de referencia fue hasta 4.0 puntos más alto que el OPDLM existente. Se informa que el tiempo requerido para el mismo entrenamiento se redujo de 1.35 a 1.58 veces.

Limitaciones y puntos abiertos

El resumen no presenta puntuaciones detalladas de los puntos de referencia individuales, medidas de velocidad de generación de texto real, ni los nombres de los puntos de referencia utilizados. Dado que 'hasta 4.0 puntos' es un valor máximo bajo condiciones específicas, no se puede asegurar que se obtenga la misma mejora en todas las situaciones.

Glosario

• Modelo autorregresivo (AR) — Un modelo de lenguaje que crea oraciones prediciendo tokens (fragmentos de palabras) uno por uno en orden desde el principio.
• Modelo de lenguaje de difusión por bloques (dLLM) — Un modelo que divide las oraciones en unidades de múltiples tokens (bloques) y genera los tokens dentro de cada bloque simultáneamente a través de múltiples refinamientos.
• Destilación — Una técnica en la que se entrena a otro modelo (estudiante) imitando los métodos de salida de un modelo grande de alto rendimiento (profesor).
• Destilación en política (OPD) — Un método de entrenamiento en el que el profesor da señales de respuesta correcta mientras el modelo estudiante se encuentra en una situación generada por sí mismo, lo que reduce la diferencia entre el entrenamiento y la generación real.
• Token — La unidad mínima que manejan los modelos de lenguaje, refiriéndose a una palabra completa o a un fragmento dividido de una palabra.
• Denoising (Eliminación de ruido) — Proceso que comienza en un estado inicialmente incompleto u oculto y se va refinando gradualmente hacia un resultado preciso.
• Punto de referencia (Benchmark) — Un conjunto de problemas de prueba establecidos para comparar el rendimiento de los modelos bajo los mismos criterios.