Se propone un nuevo método para entrenar modelos de IA equilibrando múltiples valores

Contexto

Los modelos de lenguaje de IA deben alinearse con los valores humanos, pero valores como la utilidad, la inofensividad y el humor pueden entrar en conflicto, y diferentes usuarios desean diferentes equilibrios. Los métodos existentes construían modelos separados para cada combinación de preferencias, mezclaban varios modelos a posteriori o entrenaban un solo modelo sin considerar adecuadamente en qué preferencias entrenar.

Método

Los investigadores plantearon el problema de seleccionar múltiples combinaciones de preferencias como un problema minimax que minimiza el peor escenario posible. Actualizaron en línea la distribución de preferencias para dar más peso a las combinaciones de preferencias que el modelo actual maneja peor, y utilizaron esta distribución adversarial con aprendizaje por refuerzo para entrenar de extremo a extremo un modelo único condicionado por indicaciones.

Resultados principales

Se realizaron experimentos en los conjuntos de datos HH-RLHF y BeaverTails y en una tarea de resumen, y se informó que las mayores brechas de rendimiento ocurrieron en regiones de preferencias difíciles donde el entrenamiento con una distribución de preferencias fija se quedaba corto. El resumen afirma que confirmó que un único modelo condicionado por indicaciones puede abarcar por sí mismo los compromisos de valor.

Limitaciones y puntos abiertos

El resumen no proporciona cifras de rendimiento específicas, la magnitud de las diferencias entre los métodos comparados o cifras cuantitativas de los costos reales de entrenamiento. Además, los resultados al escalar más allá de tres objetivos y si el trabajo ha pasado por revisión por pares no se pueden confirmar solo con el resumen.

Glosario

• Alineación Multi-Objetivo (MOA) — Alinear una IA para que considere múltiples objetivos simultáneamente.
• Frente de Pareto — Una curva que conecta los mejores puntos de compromiso donde mejorar una cosa requiere necesariamente sacrificar otra.
• Distribución de Preferencias — Una asignación probabilística de cuánto peso colocar en cada uno de múltiples valores.
• Problema Minimax — Un enfoque para encontrar una solución que minimice las pérdidas incluso en las situaciones más desfavorables.
• Distribución de Dirichlet — Una distribución de probabilidad que muestrea aleatoriamente los pesos de múltiples elementos de modo que su suma sea igual a 1.
• Descenso Espejo en Línea — Un método de optimización que ajusta incrementalmente una distribución de probabilidad en función de las condiciones mientras observa los resultados.
• Aprendizaje por Refuerzo (RL) — Un método de entrenamiento en el que una IA aprende mejores comportamientos mediante prueba y error basados en recompensas.
• Política Condicionada por Indicaciones — Un modelo diseñado para cambiar su estilo de respuesta en función de las instrucciones ingresadas por el usuario.