MERCADOS:
BTC $81,317 ▲ +4.29%
ETH $2,529 ▲ +5.04%
SOL $184 ▲ +3.57%
IA STATUS Online RELOJ --:--:-- ART
🗓️ Congresos y Eventos

LiquidCodec de Liquid AI: el códec que vence a Mimi y corre en un solo hilo de CPU

¡Adiós, clips cortos! Gemini Omni 1.2 Flash: Video IA de 15 seg a menos de 10 centavos

El ecosistema de modelos multimodales sigue su carrera hacia la eficiencia extrema. Liquid AI acaba de liberar LiquidCodec, el motor de tokenización de audio que da vida a sus modelos LFM3-Audio-2B y LFM3-Omni-2B. Con apenas 74 millones de parámetros, este códec de streaming promete convertir la voz en tokens predecibles para los LLM y devolverlos al mundo real a una velocidad que deja en pañales a sus competidores directos.

¿Qué hace diferente a LiquidCodec?

A diferencia de su predecesor, el Mimi de Kyutai (con 96.2M de parámetros), LiquidCodec comprime audio de 24 kHz en 12 flujos de tokens a una tasa de 12.5 Hz. Cada frame de 80 milisegundos se transforma en 12 tokens discretos. La magia técnica reside en su arquitectura simétrica basada en bloques de LFM3, con un codificador totalmente causal, ideal para aplicaciones de streaming en tiempo real.

El cambio de paradigma más fuerte está en la cuantización. En lugar del clásico RVQ (donde cada codebook codifica el error del anterior), LiquidCodec utiliza GFSQ (Grouped Finite Scalar Quantization). Al ser grupos independientes, los 12 codebooks pueden predecirse en paralelo mediante transformers estilo MaskGIT, acelerando dramáticamente el proceso.

Velocidad y rendimiento: la bestia de la CPU

Para los que trabajamos optimizando flujos de trabajo en el borde, los números son una locura. Medido en un solo hilo de CPU de un Apple M4 Max (en FP32), LiquidCodec logra una codificación a ~361x tiempo real y decodificación a ~87x tiempo real. Su factor de tiempo real (RTF) de codificación es de 0.0028, frente al 0.0361 de Mimi.

  • Parámetros: 73.6M (frente a 96.2M de Mimi o 62M de NanoCodec).
  • Calidad: Mejor ViSQOL y menor distancia mel en los 8 sets de prueba frente a X-Codec 2, NanoCodec y Mimi.
  • TTS: En modelos de texto a voz idénticos, LiquidCodec obtuvo el UTMOSv2 más alto en todos los sets y el mejor WER/CER en 4 de 8.

¿Dónde pierde? NanoCodec sigue liderando en PESQ (WB) en 7 de 8 sets y en similitud de hablante en LibriSpeech.

Entrenamiento y despliegue en producción

El modelo se entrenó en dos etapas: 264,000 horas de voz en 107 idiomas para la base, y un fine-tuning con 55,000 horas de audio full-band (24 kHz o superior) usando críticas adversariales para eliminar artefactos metálicos. Un paso final de QAT (Quantization-Aware Training) apunta directamente a la inferencia en el borde.

Para los desarrolladores, la integración es directa. Los pesos están disponibles en Hugging Face y se cargan vía Transformers con trust_remote_code=True. Lo más interesante para el ecosistema open source es la disponibilidad de builds GGUF (Q4_0, Q4_K_M y Q8_0) para llama.cpp. Usar Q4_0 con QAT reduce el footprint del decodificador 3.5 veces, con una caída de calidad mínima (ViSQOL baja de 4.319 a 4.292).

Si estás armando pipelines de audio en local o buscando correr modelos multimodales sin depender de una granja de GPUs, LiquidCodec se posiciona como una herramienta de cabecera. La combinación de velocidad en CPU, licenciamiento abierto y calidad de reconstrucción lo convierten en un release que vale la pena probar hoy mismo.

Fuente: MarkTechPost (Open Source, GitHub & Agentes)

MP

Sobre Valeria Rossi

Cronista de Congresos, Webinars & Comunidad

Especialista en herramientas de IA aplicada, automatización de flujos de trabajo, prompting y productividad empresarial para Tecno Saberes.

🚀 Potenciá tu criterio digital y habilidades en IA

Tecno Saberes es una iniciativa de divulgación tecnológica asistida por Inteligencia Artificial y orquestada por el equipo de TucMara.com.

←
→