MiMo-Audio 7B: Conversión de voz y edición por IA. SOTA con 100 millones de horas

Descubre MiMo-Audio, el innovador modelo de lenguaje de audio (Audio Language Model, ALM) desarrollado por Xiaomi que marca un "momento GPT-3" para el dominio del habla. Este avance se logra al escalar el preentrenamiento a una cifra sin precedentes de más de cien millones de horas de datos de voz, lo que impulsa capacidades de generalización robustas. MiMo-Audio-7B-Base demuestra un potente few-shot learning, logrando generalizar a tareas complejas ausentes de sus datos de entrenamiento, como la conversión de voz, la transferencia de estilo y la edición de voz con solo unos pocos ejemplos en contexto. La versión instructiva, MiMo-Audio-7B-Instruct, logra un rendimiento SOTA (State-of-the-Art) entre los modelos de código abierto en benchmarks de inteligencia del habla y comprensión de audio (como MMSU, MMAU y Big Bench Audio), incluso acercándose o superando a modelos de código cerrado. Además de la comprensión, el modelo muestra capacidades de continuación de voz altamente realistas, generando talk shows, debates y recitaciones coherentes y expresivas. Este informe presenta la metodología, la arquitectura escalable y los resultados que posicionan a MiMo-Audio como un sistema fundamental para la IA de voz generativa.https://github.com/XiaomiMiMo/MiMo-Audio/blob/main/MiMo-Audio-Technical-Report.pdf?s=08