여러 가치의 균형을 하나의 AI 모델로 학습하는 새 방법 제안

연구 배경

AI 언어모델은 사람의 가치에 맞게 조정되어야 하는데, 도움됨, 무해함, 유머 같은 가치는 서로 충돌할 수 있고 사용자마다 원하는 균형도 다릅니다. 기존 방법은 선호 조합마다 모델을 따로 만들거나, 몇 개의 모델을 사후에 섞거나, 어떤 선호로 학습할지 충분히 고려하지 않은 채 하나의 모델을 학습시키는 방식이었습니다.

방법

연구진은 여러 선호 조합을 고르는 문제를 최악의 경우를 최소화하는 minimax 문제로 바꾸었습니다. 현재 모델이 가장 잘 처리하지 못하는 선호 조합에 더 많은 비중을 두도록 선호 분포를 온라인으로 갱신하고, 이 적대적 분포를 사용해 강화학습으로 프롬프트 조건부 단일 모델을 끝까지 학습시킵니다.

주요 결과

HH-RLHF, BeaverTails 데이터셋과 요약 과제에서 실험했으며, 가장 큰 성능 차이는 고정된 선호 분포로는 학습이 부족했던 어려운 선호 영역에서 나타났다고 보고되었습니다. 초록은 단일 프롬프트 조건부 모델이 가치 균형을 스스로 포괄할 수 있음을 확인했다고 밝힙니다.

한계·확인할 점

초록에는 구체적인 성능 수치, 비교 방법별 차이의 크기, 실제 학습 비용의 정량 수치가 나와 있지 않습니다. 또한 세 가지 목표 이상으로 확장했을 때의 결과와 동료 심사를 거쳤는지 여부도 초록만으로는 확인할 수 없습니다.

용어 풀이

• 다목적 정렬(MOA) — AI가 여러 가지 목표를 동시에 고려하도록 맞추는 것을 말합니다.
• 파레토 프론트 — 한 가지를 더 좋게 하려면 다른 것을 반드시 희생해야 하는 최선의 균형점들을 이은 곡선입니다.
• 선호 분포 — 여러 가치에 각각 얼마만큼의 비중을 둘지에 대한 확률적 배분입니다.
• 미니맥스(minimax) 문제 — 가장 불리한 상황에서도 손해를 최소화하도록 해결책을 찾는 방식입니다.
• 디리클레 분포 — 여러 항목의 비중을 합이 1이 되도록 무작위로 뽑는 확률 분포입니다.
• 온라인 미러 디센트 — 결과를 보면서 조건에 따라 확률 분포를 조금씩 조정해 가는 최적화 방법입니다.
• 강화학습(RL) — 보상을 기준으로 시행착오를 거치며 AI가 더 나은 행동을 배우도록 하는 학습 방법입니다.
• 프롬프트 조건부 정책 — 사용자가 입력한 지시문에 따라 AI의 응답 방식을 바꾸도록 설계된 모델입니다.