Đề xuất phương pháp mới huấn luyện mô hình AI cân bằng nhiều giá trị

Bối cảnh

Các mô hình ngôn ngữ AI cần được căn chỉnh theo giá trị của con người, nhưng các giá trị như tính hữu ích, tính vô hại và tính hài hước có thể mâu thuẫn với nhau và mỗi người dùng lại mong muốn một mức cân bằng khác nhau. Các phương pháp hiện có hoặc tạo các mô hình riêng biệt cho từng tổ hợp sở thích, hoặc trộn nhiều mô hình sau đó, hoặc huấn luyện một mô hình duy nhất mà không cân nhắc đầy đủ nên huấn luyện dựa trên sở thích nào.

Phương pháp

Các nhà nghiên cứu đã chuyển đổi bài toán lựa chọn nhiều tổ hợp sở thích thành một bài toán minimax nhằm tối thiểu hóa trường hợp tồi tệ nhất. Họ cập nhật trực tuyến phân phối sở thích để đặt trọng số lớn hơn cho các tổ hợp sở thích mà mô hình hiện tại xử lý kém nhất, và sử dụng phân phối đối kháng này cùng với học tăng cường để huấn luyện đầu cuối một mô hình đơn điều kiện hóa theo prompt.

Kết quả chính

Các thí nghiệm được thực hiện trên tập dữ liệu HH-RLHF, BeaverTails và tác vụ tóm tắt, và khoảng cách hiệu suất lớn nhất được ghi nhận ở các vùng sở thích khó, nơi việc huấn luyện với phân phối sở thích cố định là chưa đủ. Bản tóm tắt cho biết họ đã xác nhận một mô hình đơn điều kiện hóa theo prompt có thể tự bao quát các sự đánh đổi giá trị.

Hạn chế & điểm cần xác minh

Bản tóm tắt không cung cấp các số liệu hiệu suất cụ thể, mức độ chênh lệch giữa các phương pháp được so sánh hoặc số liệu định lượng về chi phí huấn luyện thực tế. Hơn nữa, kết quả khi mở rộng vượt quá ba mục tiêu và liệu công trình đã trải qua bình duyệt hay chưa không thể xác định được chỉ từ bản tóm tắt.

Giải thích thuật ngữ

• Căn chỉnh đa mục tiêu (MOA) — Việc điều chỉnh AI để xem xét đồng thời nhiều mục tiêu.
• Mặt trận Pareto — Đường cong nối các điểm cân bằng tốt nhất mà ở đó muốn làm cho một thứ tốt hơn thì bắt buộc phải đánh đổi thứ khác.
• Phân phối sở thích — Sự phân bổ xác suất về mức trọng số cần đặt cho từng giá trị trong số nhiều giá trị.
• Bài toán minimax — Cách tiếp cận tìm kiếm giải pháp để thiểu hóa tổn thất ngay cả trong các tình huống bất lợi nhất.
• Phân phối Dirichlet — Một phân phối xác suất lấy mẫu ngẫu nhiên trọng số của nhiều mục sao cho tổng của chúng bằng 1.
• Hạ bậc gương trực tuyến — Một phương pháp tối ưu hóa điều chỉnh dần dần phân phối xác suất dựa trên các điều kiện trong khi quan sát kết quả.
• Học tăng cường (RL) — Phương pháp huấn luyện trong đó AI học các hành vi tốt hơn thông qua thử và sai dựa trên phần thưởng.
• Chính sách điều kiện hóa theo prompt — Mô hình được thiết kế để thay đổi cách phản hồi của AI dựa trên các chỉ dẫn do người dùng nhập vào.