提出一种用单个AI模型平衡多种价值的新训练方法

研究背景

AI语言模型需要根据人类的价值进行对齐，但有用性、无害性、幽默感等价值可能会相互冲突，且不同用户所期望的平衡也各不相同。传统方法要么为每种偏好组合单独训练模型，要么在事后混合几个模型，要么在没有充分考虑应该使用哪些偏好进行训练的情况下训练单一模型。

方法

研究团队将选择多种偏好组合的问题转化为一个旨在最小化最坏情况的minimax问题。通过在线更新偏好分布，使之对当前模型处理得最不好的偏好组合赋予更高权重，并利用这种对抗性分布，通过强化学习端到端地训练一个提示词条件化的单一模型。

主要结果

在HH-RLHF、BeaverTails数据集和摘要任务上进行了实验，据报告，最大的性能差异出现在依靠固定偏好分布无法得到充分训练的困难偏好区域。摘要指出，这证实了单个提示词条件化模型能够自行涵盖价值平衡。

局限与待确认之处

摘要中并未给出具体的性能数值、比较方法之间的差距大小以及实际训练成本的定量数据。此外，仅凭摘要也无法确认扩展到三个以上目标时的结果以及是否通过了同行评议。

术语解释

• 多目标对齐(MOA) — 指调整AI以使其同时兼顾多个目标。
• 帕累托前沿 — 由一组最优平衡点连成的曲线，要使其中一个指标更好，就必须牺牲另一个指标。
• 偏好分布 — 对各种价值各自应分配多少权重的概率分配。
• 极小化极大(minimax)问题 — 在最不利的情况下也能使损失降到最低的求解方式。
• 狄利克雷分布 — 随机抽取各项权重使得总和为1的概率分布。
• 在线镜像下降 — 根据结果边看条件边逐步调整概率分布的优化方法。
• 强化学习(RL) — 以奖励为基准通过试错让AI学习更好行为的训练方法。
• 提示词条件化策略 — 旨在根据用户输入的指令改变AI响应方式的模型。