Baidu ha presentado ERNIE 5.5 Flash Base, el punto de partida crudo para su nuevo modelo de lenguaje de expertos mixtos (MoE) disperso. Este coloso de 280 mil millones de parámetros, que activa 14 mil millones por token, se ofrece como una base limpia para que los equipos experimenten con afinamiento, ajuste de instrucciones o métodos de aprendizaje por refuerzo.
ERNIE 5.5 Flash Base: Características Clave
La arquitectura de ERNIE 5.5 Flash Base es notable por su enfoque en la eficiencia y la capacidad de contexto:
- Tamaño: 280B parámetros totales, con 14B activos por token.
- Contexto: Soporta 128K tokens durante el entrenamiento y hasta 1M para afinamiento e inferencia.
- Hardware: Diseñado para servidores multi-GPU, con pesos en FP8 y BF16.
- Atención Híbrida: Combina Heavily Compressed Attention (HCA) en 37 capas (con caché cada 128 tokens) y Multi-head Latent Attention con atención dispersa (MLA + DSA) en las 6 restantes, asegurando acceso a contexto completo en 1 de cada 7 capas.
- MoE Multi-Router Latent: Cada capa MoE cuenta con 512 expertos enrutados (top-10) más 1 experto compartido, utilizando múltiples routers sigmoides independientes.
- ECHO: Reutiliza la capa final del backbone para predecir tokens futuros y actúa como modelo de borrador para decodificación especulativa, añadiendo 0.36B parámetros adicionales.
Rendimiento y Comparativa
Según Baidu, ERNIE 5.5 Flash Base lidera en 24 de 30 benchmarks de modelos base en su pipeline unificado. Destaca especialmente en MMLU-Pro con un puntaje de 78.4, superando al DeepSeek-V4-Flash-Base (69.2). Sin embargo, en HELMET-Rerank obtiene 56.2, quedando por detrás del DeepSeek-V4-Flash-Base (60.0).
En comparativa directa con otros modelos de vanguardia:
- Parámetros Totales: 280B (ERNIE) vs 284B (DeepSeek) vs 295B (Hy3) vs 310B (MiMo).
- Parámetros Activos: 14B (ERNIE) vs 13B (DeepSeek) vs 21B (Hy3) vs 15B (MiMo).
- Contexto: 1M (ERNIE) vs 1M (DeepSeek) vs 256K (Hy3) vs 256K (MiMo).
Despliegue y Licencia
Los pesos de ERNIE 5.5 Flash Base están disponibles en Hugging Face y ModelScope. Baidu recomienda su servicio con SGLang y vLLM, ambos compatibles con hasta 1,048,576 tokens. La licencia permite su uso gratuito para ingresos inferiores a 50 millones de dólares estadounidenses, con exclusiones para la Unión Europea, Reino Unido y Corea del Sur.
