複数の価値のバランスを1つのAIモデルで学習する新しい手法を提案

研究の背景

AI言語モデルは人間の価値観に合わせて調整される必要がありますが、有用性、無害性、ユーモアなどの価値は互いに衝突することがあり、ユーザーが求めるバランスも異なります。従来の方法は、好みごとにモデルを個別に作成するか、いくつかのモデルを事後的に混ぜ合わせるか、どのような好みで学習させるかを十分に考慮せずに1つのモデルを学習させる方式でした。

手法

研究チームは、複数の好みの組み合わせを選ぶ問題を最悪の場合を最小化するminimax問題に変換しました。現在のモデルが最も処理しきれていない好みの組み合わせに多くの重みを与えるよう好み分布をオンラインで更新し、この敵対的分布を用いて強化学習によりプロンプト条件付きの単一モデルをエンドツーエンドで学習させます。

主な結果

HH-RLHF、BeaverTailsデータセットおよび要約課題で実験を行い、最も大きな性能差は固定された好み分布では学習が不足していた困難な好みの領域で現れたと報告されています。抄録は、単一のプロンプト条件付きモデルが価値のバランスを自ら包含できることを確認したと述べています。

限界・確認すべき点

抄録には、具体的な性能数値、比較手法ごとの差の大きさ、実際の学習コストの定量的数値が記載されていません。また、3つ以上の目標に拡張した場合の結果や、査読を経たかどうかも抄録だけでは確認できません。

用語解説

• 多目的アライメント(MOA) — AIが複数の目標を同時に考慮するように調整することを指します。
• パレートフロント — 一方を良くするためには他方を必ず犠牲にしなければならない最良のバランス点を結んだ曲線です。
• 好み分布 — 複数の価値にそれぞれどれくらいの重みを置くかについての確率的配分です。
• ミニマックス(minimax)問題 — 最も不利な状況でも損害を最小限に抑えるように解決策を見出す方式です。
• ディリクレ分布 — 複数の項目の重みの合計が1になるようにランダムに抽出する確率分布です。
• オンラインミラーディセント — 結果を見ながら条件に応じて確率分布を少しずつ調整していく最適化手法です。
• 強化学習(RL) — 報酬を基準に試行錯誤を重ねながら、AIがより良い行動を学ぶようにする学習方法です。
• プロンプト条件付きポリシー — ユーザーが入力した指示文に応じてAIの応答方法を変えるように設計されたモデルです。