推出将音乐转换为乐谱的AI 'SheetSage2'

研究背景

要将音乐转换成乐谱，必须同时理解节奏、和声、旋律和曲式结构。然而，缺乏用于训练的带注释的录音数据，并且即使准确预测了各个区段，整体上也可能产生音乐上不自然的转录结果的问题。

方法

研究人员通过将自动注释的 MIDI 文件渲染成音频，大规模生成了训练数据。此外，带有特定任务结构化解码器能够同时考虑多种音乐线索和时间相关性，从而输出自然的乐谱；并采用了一种称为自回归蒸馏的技术，使推理过程中无需单独的动态规划即可保持准确性。

主要结果

在八个基准数据集上进行了评估，单一模型 SheetSage2-AR 在 15 个基准和指标对中的 12 个上超越了列出的现有系统。这比前一版本 SheetSage1 有了显着改进，并在多个基准测试中表现出比特定任务专用模型更好的结果。

局限与待确认之处

摘要中并未提供所比较的现有系统的具体名称、改进幅度的数值以及在实际服务环境中的性能。此外，仅凭摘要无法确认训练数据的偏差或流派差异对结果有何影响。

术语解释

• 채보(전사, transcription) — 听录制的音乐并将其音符、拍子、和声等转录成乐谱形式的工作。
• 리드시트(lead-sheet) — 简要记录旋律、和弦符号、拍子等歌曲核心信息的乐谱。
• MIDI — 将音符的高度、长度、起始时间等记录为数字数据的电子乐器标准格式。
• 합성 데이터(synthetic data) — 指计算机生成而非实际录制的数据，此处指将 MIDI 转换为声音的内容。
• 구조화 디코딩(structured decoding) — AI 在产生结果时同时考虑音乐规则和顺序，从而只选择合乎逻辑的结果的方法。
• 자기회귀 증류(autoregressive distillation) — 一种学习方法，将参考前一步骤结果按顺序进行预测的模型知识转移到更轻、更快的模型中。
• 동적 계획법(dynamic programming) — 将大问题分解为小问题来寻找最佳路径的算法技术。