音楽を楽譜に変換するAI「SheetSage2」が公開

研究の背景

音楽を楽譜に移すには、リズム、ハーモニー、メロディ、曲の構造を一緒に理解する必要があります。しかし、学習に使用できるアノテーション付きの録音データが不足しており、個々の区間を正確に予測しても全体としては音楽的に不自然な結果になるという問題があります。

手法

研究チームは、自動アノテーションされたMIDIファイルをオーディオにレンダリングして学習データを大量に作成しました。また、タスク別構造化デコーダーが複数の音楽的手がかりと時間的関連性を同時に考慮して自然な楽譜が出力されるようにし、自己回帰蒸留という手法で推論時に別途の動的計画法なしでも精度を維持できるようにしました。

主な結果

8つのベンチマークデータセットで評価され、単一モデル「SheetSage2-AR」が15のベンチマーク・指標ペアのうち12個で列挙された既存システムを凌駕しました。これは前バージョン「SheetSage1」に比べ明確な改善であり、複数のベンチマークでタスク専用モデルよりも良好な結果を示しました。

限界・確認すべき点

要約には、比較対象となった既存システムの具体的な名前、改善幅の数値、実際のサービス環境での性能が記載されていません。また、要約だけでは学習データの偏りやジャンル別の違いが結果にどのような影響を与えたかを確認することはできません。

用語解説

• 채보(전사, transcription) — 録音された音楽を聴いて音符、拍子、ハーモニーなどを楽譜の形に書き起こす作業です。
• 리드시트(lead-sheet) — メロディとコード（ハーモニー）記号、拍子など曲の核心情報を簡略に記した楽譜です。
• MIDI — 音符の高さ、長さ、開始時点などを数値データとして記録する電子楽器用の標準形式です。
• 합성 데이터(synthetic data) — 実際の録音の代わりにコンピュータで生成したデータを指し、ここではMIDIを音声に変えたものを意味します。
• 구조화 디코딩(structured decoding) — AIが結果を出す際、音楽の規則と順序を一緒に考慮し、筋の通る結果のみを選ぶようにする方式です。
• 자기회귀 증류(autoregressive distillation) — 前の段階の結果を参考にしながら順番に予測するモデルの知識を、より軽くて速いモデルに移す学習方法です。
• 동적 계획법(dynamic programming) — 大きな問題を小さな問題に分けて最適な経路を見つけるアルゴリズム技法です。