Ra mắt AI 'SheetSage2' chuyển đổi âm nhạc thành bản nhạc

Bối cảnh

Để chuyển đổi âm nhạc thành bản nhạc, cần phải hiểu rõ đồng thời nhịp điệu, hòa âm, giai điệu và cấu trúc của bài hát. Tuy nhiên, dữ liệu thu âm có chú thích dùng cho việc học tập còn thiếu, và ngay cả khi dự đoán chính xác từng phân đoạn riêng lẻ, kết quả tổng thể vẫn có thể mang lại cảm giác không tự nhiên về mặt âm nhạc.

Phương pháp

Các nhà nghiên cứu đã kết xuất các tệp MIDI được chú thích tự động thành âm thanh để tạo ra lượng lớn dữ liệu huấn luyện. Ngoài ra, bộ giải mã cấu trúc theo từng tác vụ đã xem xét đồng thời nhiều manh mối âm nhạc và mối tương quan thời gian để tạo ra bản nhạc tự nhiên, cùng với kỹ thuật gọi là chưng cất tự hồi quy giúp duy trì độ chính xác trong quá trình suy luận mà không cần lập trình động riêng biệt.

Kết quả chính

Được đánh giá trên tám tập dữ liệu chuẩn, mô hình đơn lẻ SheetSage2-AR đã vượt qua các hệ thống hiện có được liệt kê ở 12 trong tổng số 15 cặp tiêu chuẩn và chỉ số. Đây là sự cải thiện rõ rệt so với phiên bản trước SheetSage1 và cho thấy kết quả tốt hơn các mô hình chuyên biệt theo tác vụ ở một số tiêu chuẩn.

Hạn chế & điểm cần xác minh

Phần tóm tắt không nêu rõ tên cụ thể của các hệ thống hiện có dùng để so sánh, các con số cụ thể về mức độ cải thiện, hay hiệu suất trong môi trường dịch vụ thực tế. Hơn nữa, chỉ dựa vào tóm tắt thì không thể xác định độ chệch của dữ liệu huấn luyện hoặc sự khác biệt giữa các thể loại đã ảnh hưởng đến kết quả như thế nào.

Giải thích thuật ngữ

• ký âm (transcription) — Quá trình nghe nhạc đã thu âm và chuyển đổi nốt nhạc, nhịp độ, hòa âm, v.v. thành dạng bản nhạc.
• lead-sheet — Bản nhạc ghi chép ngắn gọn các thông tin cốt lõi của bài hát như giai điệu, ký hiệu hợp âm và nhịp độ.
• MIDI — Định dạng tiêu chuẩn dành cho nhạc cụ điện tử ghi lại cao độ, độ dài và thời điểm bắt đầu của nốt nhạc dưới dạng dữ liệu số.
• dữ liệu tổng hợp (synthetic data) — Dữ liệu được tạo ra bằng máy tính thay vì bản thu âm thực tế; ở đây dùng để chỉ âm thanh chuyển đổi từ MIDI.
• giải mã có cấu trúc (structured decoding) — Phương pháp AI xem xét đồng thời các quy tắc và thứ tự âm nhạc khi tạo kết quả để chỉ chọn ra những kết quả hợp lý.
• chưng cất tự hồi quy (autoregressive distillation) — Phương pháp học tập chuyển giao kiến thức của mô hình dự đoán tuần tự dựa vào các bước trước đó sang một mô hình nhẹ hơn và nhanh hơn.
• lập trình động (dynamic programming) — Kỹ thuật thuật toán chia bài toán lớn thành các bài toán nhỏ hơn để tìm ra lộ trình tối ưu.