Đề xuất kỹ thuật giảm tốc độ và mức sử dụng bộ nhớ trong AI tạo video

Bối cảnh

Mặc dù các mô hình khuếch tán dùng trong việc tạo video đang cải thiện hiệu suất nhanh chóng, quá trình tạo video bằng cách loại bỏ nhiễu theo từng bước đòi hỏi lượng tính toán rất lớn. Bản tóm tắt giải thích rằng điều này gây ra độ trễ tạo trên đám mây và giới hạn bộ nhớ nghiêm ngặt trên các thiết bị nhỏ như DGX Spark.

Phương pháp

Nhóm nghiên cứu đã tiếp cận theo hai hướng. Đầu tiên, họ thiết kế một bộ lập lịch tạo hai giai đoạn, thiết lập bố cục tổng thể ở độ phân giải thấp ban đầu và tinh chỉnh các chi tiết ở độ phân giải cao sau đó, loại bỏ các bước giải mã và mã hóa lại VAE (thiết bị nén và khôi phục video) tốn kém bằng cách xử lý việc chuyển đổi giữa các giai đoạn có độ phân giải khác nhau bằng một mô-đun ánh xạ không gian ẩn đã học. Thự hai, thông qua vòng lặp tự cải thiện đệ quy (RSI), họ tự động khám phá các phương pháp hợp nhất kernel và bố trí bộ nhớ kết hợp nhiều thao tác thành một, đồng thời đánh giá độ trễ và độ nhất quán số.

Kết quả chính

Bản tóm tắt báo cáo việc áp dụng đồng thời cả hai phép tối ưu hóa giúp tăng tốc độ end-to-end lên tới 30 lần và giảm khoảng 20% bộ nhớ. Bản tóm tắt cũng cho biết trên 8 nút GB200, video dài 5 giây có âm thanh được tạo nhanh hơn 3.5 lần thời gian thực, và trên một thiết bị DGX Spark duy nhất, nó được tạo ra trong khi nằm gọn trong bộ nhớ dưới một phút.

Hạn chế & điểm cần xác minh

B bản tóm tắt không cung cấp các chỉ số chất lượng về các điểm chuẩn so sánh và cài đặt nào đã tạo ra mức cải thiện 30 lần, hoặc chất lượng hình ảnh của video được tạo khác biệt thế nào so với mô hình gốc. Cụm từ 'tối đa' và việc đây là kết quả dưới các cấu hình phần cứng cụ thể cũng cần được xem xét cùng nhau.

Giải thích thuật ngữ

• Diffusion model — Một phương pháp AI bắt đầu từ nhiễu ngẫu nhiên và dần dần loại bỏ nhiễu qua nhiều bước để tạo ra hình ảnh hoặc video.
• Inference — Quá trình đưa đầu vào vào một mô hình AI đã được huấn luyện để tạo ra kết quả thực tế.
• VAE — Một thiết bị chuyển đổi video hoặc hình ảnh thành dạng nén dễ tính toán rồi khôi phục chúng về dạng ban đầu.
• Latent space — Không gian biểu diễn bên trong nén và chỉ chứa thông tin cốt lõi của video, nơi việc tính toán giúp giảm chi phí.
• Kernel fusion — Kỹ thuật tối ưu hóa kết hợp nhiều tác vụ tính toán thành một để giảm số lần GPU truy cập bộ nhớ.
• Recursive Self-Improvement (RSI) — Phương pháp trong đó một chương trình liên tục kiểm tra các phương thức thực thi của chính nó và tự tìm kiếm, cải thiện các phương pháp tốt hơn.
• End-to-end speed — Tốc độ dựa trên tổng thời gian tính từ khoảnh khắc cung cấp đầu vào cho đến khi tạo ra kết quả cuối cùng.