La competencia en el universo de los Modelos de Lenguaje Grandes (LLMs) se intensifica y China no se queda atrás. Moore Threads, un actor clave en el desarrollo de hardware de IA en el gigante asiático, ha anunciado la adaptación ‘day-zero’ de su tarjeta de entrenamiento e inferencia MTT S5000 y su pila de software MUSA para el modelo Kimi K3.1 Pro de Moonshot AI. Esta integración permite la carga del modelo, el inicio del servicio y la inferencia básica de texto e imágenes directamente en su hardware.
Un Salto Tecnológico con Implicancias Geopolíticas
Si bien el anuncio se centra en la funcionalidad y la adaptación técnica, sin ofrecer comparativas de rendimiento detalladas como latencia o consumo energético, representa un paso significativo. La migración de las rutas de inferencia clave y la habilitación de una ejecución estable en el MTT S5000 demuestran la capacidad de Moore Threads para integrar rápidamente modelos de vanguardia. La adopción ‘day-zero’ se refiere a la adaptación realizada inmediatamente después de que Moonshot AI liberara los pesos completos del modelo el 4 de noviembre, evidenciando la agilidad del ecosistema tecnológico chino.
Detalles Técnicos de la Integración
La implementación se basó en SGLang-MUSA, construyendo sobre la base del modelo original. La migración también involucró la biblioteca de operadores MATE, Triton-MUSA, TileLang-MUSA y el compilador MTCC. La pila MUSA abarca la ejecución del framework, la compilación de operadores, el runtime del dispositivo y la comunicación entre múltiples tarjetas, facilitando a los desarrolladores la adaptación de nuevas rutas de cómputo sin desechar interfaces existentes.
Los desafíos específicos incluyeron el manejo de la atención y la memoria. Para la atención dispersa DSA, la pila adapta la selección de índices, la disposición de la caché de clave-valor y tanto el prefill como la decodificación. Los operadores de atención dispersa de MATE trabajan en conjunto con la gestión de estado Kimi Delta Attention, conexiones residuales entre capas y atención visual para formar la cadena de ejecución.
La gestión de los pesos expertos MXFP4 del modelo Kimi K3.1 Pro presentó otro punto de interés. En lugar de generar una copia completa offline en FP8 antes de servir, el equipo optó por la conversión de pesos en línea y la reutilización de un espacio de trabajo FP8 entre capas para el cómputo de expertos. Esta estrategia permite poner en servicio el modelo, a pesar de su gran tamaño, sin la necesidad de preparar un conjunto separado de pesos convertidos.
Kimi K3.1 Pro: Potencia y Versatilidad
El modelo Kimi K3.1 Pro se destaca por su capacidad para manejar una ventana de contexto de aproximadamente un millón de tokens, apuntando a tareas de codificación, comprensión visual y agentes de larga duración. Esta nueva adaptación por parte de Moore Threads amplía las opciones de hardware disponibles para desplegar sus pesos abiertos, aunque los detalles sobre la capacidad de servicio medida y la configuración de producción permanecen sin revelar.
Este avance se suma a otras integraciones recientes, como las de Huawei Ascend y Alibaba Cloud Lingjun Zhenwu, que también han anunciado soporte ‘day-zero’ para Kimi K3.1 Pro en sus respectivas plataformas, subrayando la rápida evolución y el creciente protagonismo de los LLMs desarrollados en Oriente.
Fuente: Pandaily (China AI)
