La carrera por la supremacía en inteligencia artificial se intensifica, y desde el gigante asiático llegan noticias que sacuden el panorama. La Beijing Academy of Artificial Intelligence (BAAI) y Qingmao Intelligence han unido fuerzas para lanzar una solución integral de optimización de inferencia basada en FlagOS, marcando un hito en el despliegue comercial de estas tecnologías.
Acelerando el Futuro con Ascend 910C
Esta nueva propuesta se enfoca en potenciar modelos de lenguaje de gran escala (LLMs) como el Zhipu AI GLM-5.3 y su variante GLM-5.3-Flash. La clave reside en un trabajo minucioso sobre el sistema de servicio y los núcleos de procesamiento, específicamente diseñados para los clústeres Huawei Ascend 910C y los ya existentes 910B. La optimización aborda los cuellos de botella tanto en el procesamiento de prompts (prefill) como en la generación de tokens (decode).
Resultados que Hablan por Sí Solos
Las cifras presentadas son contundentes. En el hardware Ascend 910C, la reorganización de los cálculos de atención híbrida ha permitido reducir el movimiento de datos intermedios. Con una longitud de entrada de 81.920 tokens y 16 solicitudes concurrentes, el rendimiento medido experimentó un aumento del 3,41%. Pero la verdadera revolución se observa en la latencia: con una entrada de 256.000 tokens, el tiempo mediano para el primer token se redujo un 4,94%.
Para la fase de decodificación, el equipo ha logrado fusionar la cuantización dinámica, la conversión de escala y la escritura en memoria de alto ancho de banda en un único núcleo. Esto se tradujo en una mejora espectacular: un microbenchmark en el 910C pasó de 18,03 microsegundos a tan solo 2,04 microsegundos, lo que representa una aceleración de casi nueve veces a nivel de núcleo.
Eficiencia en Cargas de Trabajo Reales
Si bien la mejora a nivel de núcleo es impresionante, la solución también demuestra su valía en escenarios comerciales. Los socios informan una caída de más del 10% en la latencia inter-token de extremo a extremo y una disminución de más del 8% en el tiempo por token de salida. Estos avances son cruciales para aplicaciones que requieren respuestas rápidas y fluidas.
Escalabilidad y Resiliencia
La arquitectura implementada también destaca por su escalabilidad. En el BAAI Token Hub, se despliega una configuración de 48 tarjetas Ascend 910B, donde 32 se dedican al prefill y 16 al decode. El servicio GLM-5.3-Flash, capaz de soportar un contexto de hasta 1 millón de tokens, ha operado continuamente durante dos semanas, manteniendo tiempos medianos de producción de aproximadamente 2,3 segundos para el primer token y 22 milisegundos por token de salida.
Además, las mediciones de reutilización de caché revelan una mejora significativa: la tasa de aciertos del prefijo de caché aumentó del 82,65% al 94,15%, un incremento de 11,5 puntos porcentuales. Esto se tradujo en una caída drástica en la latencia del primer token durante la reutilización, pasando de 16,63 segundos a 3,10 segundos, una reducción del 81,4%.
Es importante destacar que todas estas métricas provienen de las presentaciones de los socios y fueron reportadas por Leiphone, no de pruebas independientes. Los resultados se basan en hardware, modelos y cargas de trabajo específicas, lo que subraya la importancia de la personalización y la optimización para cada despliegue de FlagOS.
Fuente: Pandaily (China AI)
