SoL-Refiner nâng video độ phân giải thấp lên mức 4K chỉ trong một bước xử lý

Bối cảnh

Video độ phân giải cao có số lượng token trải dài trong không gian và thời gian rất lớn, khiến chi phí tạo ra tăng nhanh chóng. Do đó, việc tạo video ở độ phân giải thấp trước rồi mới nâng cao chất lượng được sử dụng như một giải pháp thay thế thực tế, nhưng các phương pháp cải thiện chất lượng nhiều bước truyền thống lại tự trở thành nút thắt cổ chai về thời gian xử lý.

Phương pháp

Nhóm nghiên cứu đã sử dụng quy trình huấn luyện gồm ba giai đoạn: tiếp tục huấn luyện trên dữ liệu độ phân giải cao, điều chỉnh hậu kỳ bằng học tăng cường (phương pháp huấn luyện tinh chỉnh mô hình dựa trên phần thưởng), và cuối cùng là giai đoạn chưng cất để nén các tác vụ nhiều bước thành một bước duy nhất. Họ cũng xây dựng một benchmark có tên là Refiner-Bench được tạo từ đầu ra của nhiều trình tạo video khác nhau để đánh giá bằng cách cung cấp cùng một đầu vào để so sánh.

Kết quả chính

Ở độ phân giải 2K, SoL-Refiner một bước đã vượt qua tất cả các mô hình tinh chỉnh bên ngoài đối chứng về điểm số trung bình của VBench và UniPercept. Ở độ phân giải 3840x2176, mô hình cũng đạt điểm cao hơn ở cả hai chỉ số so với bộ tinh chỉnh LTX-2.3 3 bước, và khi áp dụng toàn bộ các kỹ thuật tăng tốc trong cài đặt độ trễ 2K, nó cho thấy tốc độ nhanh hơn 8.91 lần so với cùng một cơ sở.

Hạn chế & điểm cần xác minh

Bản tóm tắt không đề cập đến tài nguyên tính toán hoặc chi phí cần thiết cho việc huấn luyện, cũng như hiệu năng trong môi trường dịch vụ thực tế. Do việc đo lường benchmark và tốc độ được thực hiện trong các điều kiện do nhóm tác giả cấu hình và cài đặt độ trễ 2K, các kết quả trong những môi trường khác chưa thể được xác thực.

Giải thích thuật ngữ

• token — Đơn vị dữ liệu được chia nhỏ để mô hình có thể xử lý video hoặc văn bản. Video có rất nhiều token theo hướng không gian và thời gian, làm tăng khối lượng tính toán.
• refiner — Mô hình hậu kỳ giúp tinh chỉnh chất lượng hình ảnh của video đã được tạo sẵn để trở nên sắc nét và tự nhiên hơn.
• bước khử nhiễu — Quá trình tính toán đơn lẻ giúp chuyển dần trạng thái lẫn nhiễu thành video sạch sẽ. Số bước càng nhiều thì thông thường thời gian càng lâu.
• chưng cất — Kỹ thuật huấn luyện mô hình để đạt được kết quả gần với mức tương đương bằng cách sử dụng ít bước hơn thay vì phải qua nhiều giai đoạn.
• học tăng cường (RL) — Phương pháp học tập trong đó mô hình nhận điểm số (phần thưởng) cho kết quả tạo ra và được điều chỉnh theo hướng làm tăng điểm số đó.
• độ trễ — Khoảng thời gian tính từ lúc đưa đầu vào cho đến khi nhận được kết quả. Giá trị càng nhỏ nghĩa là xử lý càng nhanh.