Nghiên cứu cải thiện quá trình huấn luyện mô hình ngôn ngữ khuếch tán khối bằng cách kết hợp ngữ cảnh tương lai

Bối cảnh

Các mô hình ngôn ngữ lớn thường tạo ra các token tuần tự từng cái một, trong khi mô hình ngôn ngữ khuếch tán khối có thể tăng tốc độ bằng cách tạo ra nhiều token song song theo đơn vị khối. Thay vì huấn luyện các mô hình này từ đầu, ngày càng có nhiều nghiên cứu chuyển đổi các mô hình tự hồi quy hiện có đã được kiểm chứng hiệu suất thông qua quá trình chưng cất (phương pháp truyền đạt kiến thức từ mô hình lớn sang mô hình nhỏ). Tuy nhiên, phần tóm tắt chỉ ra rằng có vấn đề lệch tín hiệu huấn luyện do hai mô hình quan sát và dự đoán các thông tin khác nhau trong cùng một điều kiện.

Phương pháp

d-OPD dựa trên phương pháp chưng cất theo chính sách (OPD), trong đó mô hình học sinh tự huấn luyện ở trạng thái do chính nó tạo ra. Phương pháp này giải thích rằng phân phối dự đoán của mô hình giáo viên được hiệu chỉnh để phản ánh thông tin token tương lai mà học sinh có thể thấy trong mỗi khối, qua đó khớp với thông tin mà học sinh thực sự sử dụng.

Kết quả chính

Thí nghiệm được thực hiện trên các mô hình có kích thước từ Qwen3 0.6B đến 8B, báo cáo rằng điểm trung bình của sáu tiêu chuẩn đánh giá cao hơn tới 4.0 điểm so với OPDLM truyền thống. Thời gian cần thiết cho cùng một quá trình huấn luyện đã giảm 1.35 đến 1.58 lần.

Hạn chế & điểm cần xác minh

Bản tóm tắt không cung cấp điểm chi tiết của từng tiêu chuẩn đánh giá, số liệu đo lường tốc độ sinh văn bản thực tế, hay tên của các tiêu chuẩn đánh giá được sử dụng. Vì 'tối đa 4.0 điểm' là giá trị lớn nhất trong điều kiện cụ thể, nên không thể coi là mọi tình huống đều đạt được mức cải thiện tương tự.

Giải thích thuật ngữ

• Mô hình tự hồi quy (AR) — Mô hình ngôn ngữ tạo câu bằng cách dự đoán tuần tự các token (mảnh từ) từng cái một từ phần đầu.
• Mô hình ngôn ngữ khuếch tán khối (dLLM) — Mô hình chia câu thành các bó nhiều token (khối) và tạo ra các token trong mỗi khối đồng thời qua nhiều bước tinh chỉnh.
• Chưng cất (distillation) — Kỹ thuật huấn luyện một mô hình khác (học sinh) bằng cách mô phỏng phương thức đầu ra của một mô hình lớn có hiệu suất tốt (giáo viên).
• Chưng cất theo chính sách (OPD) — Phương pháp huấn luyện trong đó mô hình giáo viên đưa ra tín hiệu đáp án khi mô hình học sinh ở trong tình huống do chính nó tạo ra, giúp giảm bớt sự khác biệt giữa lúc huấn luyện và lúc sinh văn bản thực tế.
• Token — Đơn vị nhỏ nhất mà mô hình ngôn ngữ xử lý, chỉ toàn bộ một từ hoặc một mảnh được tách ra từ từ.
• Khử nhiễu (denoising) — Quá trình bắt đầu từ trạng thái ban đầu chưa hoàn thiện hoặc bị che khuất và dần dần tinh chỉnh thành kết quả chính xác.
• Tiêu chuẩn đánh giá (Benchmark) — Tập hợp các bài toán kiểm tra được ấn định để so sánh hiệu suất của các mô hình theo cùng một tiêu chí.