Phân tích hiện tượng quá khớp ở các mô hình Hỗn hợp chuyên gia khi lặp lại dữ liệu huấn luyện trí tuệ nhân tạo

Bối cảnh

Khi văn bản do con người viết cạn kiệt, việc sử dụng lặp lại dữ liệu huấn luyện mô hình ngôn ngữ đã trở nên phổ biến. Tuy nhiên, tác động của việc lặp lại dữ liệu đối với kiến trúc 'Hỗn hợp chuyên gia' có hiệu quả cao vẫn chưa được nghiên cứu kỹ lưỡng.

Phương pháp

Các nhà nghiên cứu đã tiến hành thí nghiệm bằng cách thay đổi các cài đặt như tỷ lệ lặp lại dữ liệu khác nhau, hỗn hợp dữ liệu đơn miền và đa miền, cùng số lượng chuyên gia. Họ cũng thử nghiệm khả năng áp dụng các phương pháp điều tiết hiện có như dropout để giải quyết hiện tượng quá khớp.

Kết quả chính

Kết quả thí nghiệm trên các mô hình có từ 80M đến 1B tham số hoạt động cho thấy các mô hình Hỗn hợp chuyên gia suy giảm hiệu suất nhanh hơn các mô hình dày đặc khi dữ liệu bị lặp lại. Việc sử dụng điều tiết dựa trên che giấu mạnh mẽ có thể làm giảm phần nào hiện tượng quá khớp, nhưng không đạt được hiệu suất bằng việc sử dụng toàn bộ dữ liệu độc nhất.

Hạn chế & điểm cần xác minh

Tóm tắt không cung cấp các con số cụ thể về tác động diện rộng đối với các mô hình quy mô lớn trong môi trường công nghiệp thực tế hoặc hiệu quả chi phí.

Giải thích thuật ngữ

• Mixture-of-Experts (MoE) — Một kiến trúc mô hình trí tuệ nhân tạo giúp nâng cao hiệu quả bằng cách chỉ kích hoạt một số chuyên gia (mạng con) phù hợp nhất dựa trên dữ liệu đầu vào.
• Transformer — Một kiến trúc mạng thần kinh trí tuệ nhân tạo đóng vai trò là nền tảng cho các mô hình ngôn ngữ lớn đang được sử dụng rộng rãi hiện nay.
• 과적합(Overfitting) — Hiện tượng mô hình quá khớp với dữ liệu huấn luyện khiến hiệu suất dự đoán trên dữ liệu mới bị suy giảm.