MERCADOS:
BTC $81,317 ▲ +4.29%
ETH $2,529 ▲ +5.04%
SOL $184 ▲ +3.57%
IA STATUS Online RELOJ --:--:-- ART
🐉 LLMs de Oriente

40MB que tumban al gigantismo: GPUWorks se hace open source y mezcla Ascend, NVIDIA y Hygon en un solo clúster

40MB que tumban al gigantismo: GPUWorks se hace open source y mezcla Ascend, NVIDIA y Hygon en un solo clúster

El debate sobre la inferencia de IA suele girar alrededor de clústeres gigantescos y software que exige un equipo dedicado sólo para mantenerlo vivo. GPUWorks viene a romper ese guion: la plataforma china de inferencia empresarial se liberó este 4 de noviembre bajo licencia Apache-2.0, según publicó IT Home, y su instalador pesa apenas algo más de 40MB.

Un solo clúster para chips que no se hablan entre sí

La idea central es simple de enunciar y ambiciosa de ejecutar: reunir aceleradores de distintos fabricantes en un único pool administrado. El sistema empareja modelos con hardware, estima la memoria de GPU necesaria y despliega los modelos desde plantillas, exponiéndolos después mediante una API compatible con OpenAI.

La lista de chips soportados es una fotografía del tablero geopolítico actual:

  • NVIDIA y AMD, el Occidente clásico.
  • Huawei Ascend, la apuesta soberana china.
  • T-Head PPU, el diseño del brazo chip de Alibaba.
  • Hygon DCU, el acelerador doméstico de línea nacional.

Además, servidores bare-metal, máquinas virtuales y contenedores en la nube —ya sea en data centers propios, nubes privadas o públicas— pueden convivir en el mismo clúster.

Liviano a propósito: sin Kubernetes y con instalación en 60 segundos

El equipo de desarrollo hace bandera del tamaño. El instalador de 40MB se despliega con un solo comando en unos 60 segundos y no requiere Kubernetes. Para entornos de intranet aislados, permite importar el instalador, los archivos de modelo y las imágenes de runtime en modo offline.

El catálogo incluye más de 1.000 configuraciones de lanzamiento para cerca de 400 modelos, con la imagen, el motor de inferencia, la versión de pesos y los flags de arranque ya resueltos para cada combinación de modelo y chip. Un asistente de IA integrado ayuda a diagnosticar fallas, y el planificador explica cada decisión de colocación.

Los números que la industria va a discutir

Según las pruebas propias del equipo —conviene subrayarlo, son cifras autoreportadas—, los resultados llaman la atención:

  • Un único servidor GPUWorks gestionó 1.003 servidores con GPU y levantó más de 500 réplicas de inferencia en cuatro minutos.
  • El output llegó a 69.000 tokens por segundo, con el servidor usando apenas nueve núcleos de CPU y 1,6GB de memoria.
  • Despertar un despliegue dormido de DeepSeek-V4.1-Flash tomó tan sólo 3,6 segundos.

Esa función de despertar permite que varios modelos grandes compartan las mismas GPUs por turnos. En el modo de sueño de nivel uno, los pesos del modelo permanecen en la memoria del host, así que el motor no se reinicia ni recarga pesos desde el almacenamiento.

La comparación más elocuente: en una prueba con ocho tarjetas NVIDIA H20 ejecutando tres modelos grandes —cada uno repartido en las ocho tarjetas—, un arranque en frío desde almacenamiento NFS tomó 16 a 17,5 minutos, mientras que despertar desde memoria restableció el servicio en unos cuatro segundos: una mejora de aproximadamente 200 veces.

Operación seria para cargas grandes

Más allá del demo técnico, la plataforma apunta a producción. Los administradores pueden definir políticas de prioridad, liberación por inactividad o rotación programada. Para cargas mayores soporta paralelismo multi-nodo, múltiples réplicas y desagregación prefill-decode, configurando redes RDMA o enlaces HCCS de Ascend, con pruebas de carga integradas para verificar throughput y latencia antes de escalar.

El monitoreo también está pensado para el negocio: registra el uso de tokens y los aciertos de caché por clave de API, modelo y despliegue, las horas de tarjeta por millón de tokens generados y las GPUs ociosas. Durante el mantenimiento de nodos, añade réplicas antes de drenar las viejas, y si una máquina se cae, restaura el servicio automáticamente en otro nodo elegible.

El código es de todos (por ahora)

El código está alojado en GitHub, bajo la organización FlitAI. Empresas y desarrolladores pueden usarlo, modificarlo y también contribuir plantillas de inferencia y adaptaciones de chips. En un ecosistema donde 4Paradigm y RiseUnion ya habían liberado ModelSphere para serving heterogéneo de LLMs, y donde el primer superclúster Ascend 950DT con 1.024 NPUs se puso en marcha en Wuhan en un mes, GPUWorks refuerza una tendencia clara: la capa de software de la inferencia china se está abriendo, y apunta a que la heterogeneidad de hardware deje de ser un problema para convertirse en la configuración por defecto.

Fuente: Pandaily (China AI)

AL

Sobre Andrés LLM

Especialista en Modelos Asiáticos (DeepSeek, Kimi, Qwen, GLM)

Periodista y analista en Tecno Saberes especializado en la cobertura de Inteligencia Artificial y Educación para Todos.

🚀 Potenciá tu criterio digital y habilidades en IA

Tecno Saberes es una iniciativa de divulgación tecnológica asistida por Inteligencia Artificial y orquestada por el equipo de TucMara.com.

←
→