Se presenta 'SheetSage2', una IA para transcribir música en partituras

Contexto

Para convertir la música en partituras es necesario comprender simultáneamente el ritmo, la armonía, la melodía y la estructura de la canción. Sin embargo, escasean los datos de grabación anotados para el entrenamiento, y aunque las secciones individuales se predigan con precisión, el resultado general puede sonar musicalmente extraño.

Método

Los investigadores convirtieron archivos MIDI anotados automáticamente en audio para generar grandes cantidades de datos de entrenamiento. Además, un decodificador estructurado específico para cada tarea consideró múltiples indicios musicales y correlaciones temporales para producir partituras naturales, y una técnica llamada destilación autorregresiva mantuvo la precisión durante la inferencia sin necesidad de programación dinámica independiente.

Resultados principales

Evaluado en ocho colecciones de datos de referencia, el modelo único SheetSage2-AR superó a los sistemas existentes enumerados en 12 de los 15 pares de métricas y puntos de referencia. Esto representa una clara mejora en comparación con la versión anterior SheetSage1 y mostró mejores resultados que los modelos dedicados a tareas específicas en varios puntos de referencia.

Limitaciones y puntos abiertos

El resumen no especifica los nombres de los sistemas existentes de comparación, las cifras numéricas del margen de mejora ni el rendimiento en entornos de servicio reales. Tampoco es posible verificar cómo afectaron los sesgos en los datos de entrenamiento o las diferencias entre géneros a los resultados basándose únicamente en el resumen.

Glosario

• transcripción — El proceso de escuchar música grabada y trasladar notas, ritmo, armonía, etc., en forma de partitura.
• lead-sheet — Una partitura que anota brevemente la información esencial de una canción, como melodía, símbolos de acordes y tempo.
• MIDI — Un formato estándar para instrumentos electrónicos que registra la altura, duración y momento de inicio de las notas como datos numéricos.
• datos sintéticos — Datos generados por computadora en lugar de grabaciones reales; aquí se refiere a sonidos MIDI convertidos.
• decodificación estructurada — Un método en el que la IA considera las reglas musicales y las secuencias juntas al generar resultados para seleccionar solo resultados lógicos.
• destilación autorregresiva — Un método de aprendizaje que transfiere el conocimiento de un modelo que predice secuencialmente consultando los pasos anteriores a un modelo más ligero y rápido.
• programación dinámica — Una técnica algorítmica que divide problemas grandes en problemas más pequeños para encontrar la ruta óptima.