VIBEVOICE: La revolución de 90 minutos para conversaciones Multi-Speaker hiperrealistas

Presentamos VIBEVOICE, un modelo innovador diseñado para revolucionar la síntesis de voz, permitiendo generar discursos de larga duración (hasta 90 minutos) con múltiples oradores (hasta 4), capturando la auténtica "vibra" conversacional. Este sistema se basa en la difusión de próximo token y un novedoso tokenizador de voz continuo que logra una compresión de datos 80 veces mayor que Encodec, manteniendo una fidelidad de audio excepcional y una eficiencia computacional superior. Impulsado por un Large Language Model (LLM) y tokenizadores acústicos y semánticos especializados, VIBEVOICE supera a los modelos líderes en evaluaciones subjetivas de preferencia, realismo y riqueza, ofreciendo un timbre más rico, una entonación más natural y capacidades de transferencia mejoradas. Aunque su rendimiento es sobresaliente en la generación de audio escalable y de alta calidad, VIBEVOICE está destinado únicamente a fines de investigación y desarrollo, con limitaciones actuales para idiomas distintos al inglés y chino, y no maneja audio no verbal ni superposición de habla.https://arxiv.org/pdf/2508.19205