La carrera por la síntesis de voz realista acaba de recibir un nuevo y potente contendiente de código abierto. Edge0 liberó Audio8-TTS-Realistic, un modelo de texto-a-voz (TTS) de 601 millones de parámetros especializado en clonación de voz zero-shot. Bajo la licencia Apache 2.0, este desarrollo no solo ofrece los pesos preentrenados, sino que pone sobre la mesa una arquitectura diseñada para ser económica de ajustar y servir, compitiendo en precisión multilingüe con modelos mucho más grandes.
¿Qué trae de nuevo este clonador de voces?
Audio8-TTS-Realistic es la segunda versión de 0.6B en la familia Audio8 de Edge0. Su gran salto es el soporte para 23 idiomas, 12 más que su predecesor (Audio8-TTS-Preview-0.6b). Los nuevos idiomas incluyen árabe, finés, hindi, indonesio, malayo, noruego, portugués, ruso, sueco, tailandés, turco y vietnamita. Para clonar una voz, solo requiere un clip de referencia y su transcripción exacta, aunque también puede generar habla sin una voz de referencia.
La arquitectura detrás del realismo
El modelo utiliza un diseño dual-autoregresivo (DualAR) inspirado en Fish Audio S2 Pro. La rama “lenta”, basada en Qwen2.5 de 0.5B, opera a nivel de fotograma y predice tokens de texto más el primer codebook de audio. Una rama “rápida” superficial de 4 capas predice en paralelo los 9 codebooks restantes. Esta separación permite que el cómputo secuencial, el más costoso, ocurra solo a nivel de fotograma, optimizando la eficiencia.
Entrenamiento con un “crítico de realismo”
El equipo de Edge0 identificó que métricas tradicionales como la tasa de error de palabras (WER) y la similitud del hablante (SIM) no capturan completamente la naturalidad del ritmo, las pausas y la temporalidad. Para superar esto, implementaron una tercera etapa de entrenamiento por política de gradientes con recompensa (GRPO) guiada por un “crítico de realismo” aprendido.
Este crítico, de aproximadamente 3 millones de parámetros, se entrenó sobre una “escala de calidad” construida a partir de 6 sistemas TTS de código abierto, rankeados en un estudio de escucha ciega privado, con grabaciones humanas en la cima. Incluso se añadieron síntesis con compresión de pausas para crear peldaños más finos en la escala. Una penalización por duración evita que el modelo “haga trampa” hablando más lento para obtener mejor puntuación.
Rendimiento en benchmarks: ¿le gana a los grandes?
Los números auto-reportados muestran un desempeño sólido para su tamaño:
- Seed-TTS (inglés/chino): 1.25% de error promedio, SIM 0.704.
- CV3 (9 idiomas): 4.86% de error promedio, SIM 0.661.
- MiniMax (24 idiomas): 5.89% de error promedio, SIM 0.754.
En la evaluación CV3 de 9 idiomas, Audio8-TTS-Realistic (4.86%) supera a VoxCPM2 (5.35%), CosyVoice3-1.5B (6.89%) y, de manera destacada, a Qwen3-TTS-1.7B (7.73%). Sin embargo, los modelos de clase 4B, como Higgs TTS 3, aún lideran con un 4.41% en CV3 y un 2.74% en MiniMax.
La otra cara: idiomas de baja recurso siguen siendo un desafío
El rendimiento no es uniforme en todos los idiomas soportados. El modelo muestra puntos débiles en lenguas de menor recurso, con tasas de error alarmantes en tailandés (48.57% WER en CV3) y cantonés (31.35% CER en MiniMax). Esto subraya la brecha que aún existe en la cobertura multilingüe equitativa dentro de la síntesis de voz.
¿Cómo se despliega?
Para los desarrolladores, el despliegue requiere PyTorch 2.5+ y Transformers 4.57+, cargando el modelo con trust_remote_code=True. El repositorio de GitHub incluye una CLI, scripts para procesamiento por lotes (batching) y ajuste fino supervisado. Para servir en GPU, un adaptador SGLang Omni ofrece atención paginada, lotes dinámicos y una API compatible con OpenAI (/v1/audio/speech). También hay un Playground gratuito disponible en Hugging Face Spaces que funciona con ZeroGPU.
Comparación con otros modelos TTS abiertos
La ventaja de Audio8-TTS-Realistic reside en su balance entre tamaño, rendimiento y licencia permisiva. Con 0.6B de parámetros (excluyendo el codec), es significativamente más pequeño que Qwen3-TTS-1.7B (1.7B), VoxCPM2 (2B) y Higgs TTS 3 (~4B), lo que se traduce en costos de inferencia y ajuste fino potencialmente más bajos, manteniendo una precisión competitiva en varios benchmarks.
