Artículo
Investigación que mejora el entrenamiento de modelos de lenguaje de difusión por bloques incorporando contexto futuro
d-OPD: Future-Aware On-Policy Distillation for Block Diffusion Language Models
- Qué
- Se propone d-OPD, un método de entrenamiento por destilación que convierte los modelos de lenguaje autorregresivos convencionales (que generan un token a la vez) en modelos de lenguaje de difusión por bloques que generan múltiples tokens en paralelo.
- Resultado clave
- En experimentos con modelos Qwen3 (0.6B a 8B), se informó que d-OPD mejoró la puntuación promedio en seis puntos de referencia hasta en 4.0 puntos en comparación con el método existente OPDLM, y redujo el tiempo de entrenamiento de 1.35 a 1.58 veces.
- Por qué importa
- El resumen indica que el método de generar múltiples tokens simultáneamente en bloques tiene el potencial de aumentar la velocidad de generación de texto, y este estudio demuestra que se puede mejorar la eficiencia del proceso de entrenamiento para crear dichos modelos.Resumen IA
