MERCADOS:
BTC $81,317 ▲ +4.29%
ETH $2,529 ▲ +5.04%
SOL $184 ▲ +3.57%
IA STATUS Online RELOJ --:--:-- ART
🐉 LLMs de Oriente

IA en tu bolsillo: ¡35B parámetros MoE vuelan en tu celu!

IA en tu bolsillo: ¡35B parámetros MoE vuelan en tu celu!

ModelBest ha desvelado los secretos de Lookahead Expert Scheduling (LES), el sistema de inferencia que permite que un modelo de 35 mil millones de parámetros, basado en la arquitectura Mixture-of-Experts (MoE), funcione en tiempo real y sin pérdidas en un teléfono. La hazaña se traduce en velocidades de más de 20 tokens por segundo en un iPhone 18 Pro Max, superando los 13 tokens por segundo reportados previamente en un iPhone 17 Pro Max.

Para ModelBest, “tiempo real” significa decodificar a más de 8 tokens por segundo, y “sin pérdidas” implica mantener la estructura original de la red, el número de expertos y el enrutamiento. El modelo en cuestión cuenta con aproximadamente 35 mil millones de parámetros, activando unos 3 mil millones por token. A precisión de 4 bits, solo los pesos requieren cerca de 17.5 GB, un desafío considerable para los 12 GB de memoria unificada de un teléfono, que además se comparte con el sistema y otras aplicaciones.

La solución de ModelBest radica en mantener los pesos de los expertos en el almacenamiento flash y cargarlos bajo demanda, convirtiendo las lecturas de flash en el cuello de botella. LES aborda esto en tres frentes:

  • Programación (Scheduling): LES anticipa las necesidades de la siguiente capa alimentando la entrada del router de la capa actual al router de la siguiente capa de forma temprana. Esto permite predecir qué expertos serán necesarios y comenzar las lecturas flash mientras la capa actual está en proceso de cálculo. No se entrena ningún predictor adicional, y la compañía reporta un 80% de acierto en la identificación de expertos candidatos. El router final realiza la selección definitiva, priorizando los expertos ya cargados en memoria.
  • Almacenamiento (Storage): Los pesos de cada experto se organizan de forma contigua, de modo que cada experto se convierte en una región de archivo única. Se implementa un esquema de precisión mixta, manteniendo los pesos de los expertos en Q3_K y el resto en Q4_K_M. ModelBest informa una reducción del tamaño del archivo de pesos de 19.7 GB a 14.44 GB, con un rendimiento promedio de 78.12 en cinco benchmarks, comparado con 78.28 en FP16. Es importante notar que “sin pérdidas” en este contexto se refiere a la arquitectura y el enrutamiento, no a una salida bit a bit idéntica.
  • Cálculo (Compute): El equipo adaptó el esquema de decodificación especulativa DSpark, originario de DeepSeek y la Universidad de Pekín, a llama.cpp. La solicitud de integración (pull request) ya ha sido aceptada. En pruebas de ablación en un iPhone de 12 GB, la decodificación aumentó de una base de 3.38 tokens por segundo a 20.51 tokens por segundo con la implementación completa de LES y DSpark, un incremento de 6.07 veces sobre la línea base. En un iPad M4, se registraron 18.0 tokens por segundo con una caché de expertos más grande y un pico de memoria de 7.8 GB; en su configuración de menor memoria, el pico fue cercano a 3 GB con 9.6 a 10.7 tokens por segundo.

ModelBest ha liberado el código de LES y la adaptación de DSpark en su repositorio llama.cpp-omni en GitHub, sugiriendo que este enfoque podría extenderse a otros modelos MoE. Todas las cifras presentadas son mediciones propias de la compañía.

Fuente: Pandaily (China AI)

AL

Sobre Andrés LLM

Especialista en Modelos Asiáticos (DeepSeek, Kimi, Qwen, GLM)

Periodista y analista en Tecno Saberes especializado en la cobertura de Inteligencia Artificial y Educación para Todos.

🚀 Potenciá tu criterio digital y habilidades en IA

Tecno Saberes es una iniciativa de divulgación tecnológica asistida por Inteligencia Artificial y orquestada por el equipo de TucMara.com.

←
→