Đã tìm ra quy luật nâng cao hiệusuất bằng dữ liệu giả lập do trí tuệ nhân tạo tạo ra

Bối cảnh

Mặc dù dữ liệu giả lập chuyển đổi các tài liệu ngôn ngữ tự nhiên thành các phong cách khác nhau được sử dụng rộng rãi khi huấn luyện các mô hình AI, nhưng việc cần đầu tư bao nhiêu khả năng tính toán hay liệu một mô hình có thể vượt trội hơn mô hình đã dạy nó hay không vẫn chưa được biết rõ.

Phương pháp

Các nhà nghiên cứu đã đề xuất luật tỷ lệ viết lại dự đoán tổn thất dựa trên kích thước mô hình, số lượng token huấn luyện, tỷ lệ dữ liệu giả lập và số lần huấn luyện dữ liệu gốc, đồng thời kiểm chứng điều này trong hai điều kiện giới hạn tính toán và giới hạn dữ liệu.

Kết quả chính

Đã xác nhận rằng khi khối lượng tính toán tăng lên, tỷ lệ dữ liệu giả lập tối ưu sẽ tăng lên và các mô hình có từ 3 tỷ tham số trở xuống được huấn luyện bằng dữ liệu giả lập do chính chúng tạo ra đã ghi nhận hiệu suất tốt hơn so với trường hợp chỉ sử dụng dữ liệu gốc.

Hạn chế & điểm cần xác minh

Các tác động dài hạn trong các kiến trúc khác nhau không được đề cập trong phần tóm tắt hoặc trong các môi trường ứng dụng công nghiệp phức tạp không thể được xác định chỉ từ phần tóm tắt.

Giải thích thuật ngữ

• Pre-training — Giai đoạn học tập ban đầu trong đó mô hình AI phát triển các kỹ năng ngôn ngữ cơ bản thông qua lượng dữ liệu khổng lồ trước khi thực hiện các tác vụ toàn diện.
• Token — Đơn vị ngôn ngữ tối thiểu được chia ra để AI hiểu và xử lý các câu.
• Parameter — Các giá trị đóng vai trò như mạng lưới kết nối tế bào thần kinh trong mô hình AI và được điều chỉnh thông qua quá trình học tập.