Phát triển công cụ chẩn đoán để theo dõi sự chuyển đổi giữa việc ghi nhớ và tổng quát hóa trong quá trình huấn luyện trí tuệ nhân tạo

Bối cảnh

Điều quan trọng là phải hiểu liệu mô hình AI có đang đơn thuần ghi nhớ dữ liệu hay có được khả năng áp dụng vào dữ liệu mới. Nghiên cứu này đã xem xét lại Tỷ lệ Căn chỉnh Lô-garit (LAR) được đề xuất trong lý thuyết tham số hóa và nhằm mục đích sử dụng nó cho việc chẩn đoán.

Phương pháp

Các nhà nghiên cứu đã tái cấu trúc LAR thành sự chồng chéo giữa phổ trọng số và phổ kích hoạt, đồng thời phân tích độ phân tán của các giá trị này trong quá trình huấn luyện. Điều này có thể được tính toán gần như không tốn chi phí trong quá trình truyền xuôi, mà không cần dữ liệu xác thực bổ sung.

Kết quả chính

Trong hiện tượng grokking, LAR đã dự đoán chiều hiệu quả của các hàm đã học, và trong quá trình tiền huấn luyện mô hình ngôn ngữ với 3 tỷ tham số, sự khác biệt so với đường cơ sở quá khớp đã theo dõi khoảng cách tổng quát hóa và cho thấy tốc độ giảm tăng nhanh khi tiến gần đến quá khớp.

Hạn chế & điểm cần xác minh

Chỉ dựa vào phần tóm tắt, rất khó để nắm bắt đầy đủ chi tiết về hiệu quả thực tế của phương pháp chẩn đoán này đối với tất cả các tối ưu hóa mô hình trong môi trường công nghiệp quy mô lớn thực tế.

Giải thích thuật ngữ

• Tỷ lệ Căn chỉnh Lô-garit (LAR) — Chỉ số đo lường mức độ căn chỉnh tốt giữa các tham số bên trong trí tuệ nhân tạo và các phản hồi đối với dữ liệu đầu vào.
• Tổng quát hóa — Khả năng đưa ra phán đoán chính xác của trí tuệ nhân tạo ngay cả trên dữ liệu mới chưa được sử dụng trong huấn luyện.
• Quá khớp — Hiện tượng trí tuệ nhân tạo khớp quá mức với dữ liệu huấn luyện, dẫn đến hiệu suất kém hơn trên dữ liệu mới.