Durante la reciente PyTorch Conference North America, el ecosistema open source dio un paso decisivo para la infraestructura de inteligencia artificial. Google Cloud, junto a Red Hat, IBM y NVIDIA, liberó la versión 1.0 de llm-d, un stack de inferencia distribuida nativo de Kubernetes. Esta herramienta transforma servidores de modelos como vLLM o SGLang en un pool coordinado, atacando de frente los cuellos de botella que sufren los workloads de agentes autónomos y aprendizaje por refuerzo (RL) cuando el balanceo round-robin tradicional colapsa.
Arquitectura y flujo de trabajo
Para entender el salto de productividad que propone llm-d, hay que mirar su diseño interno. El router construye sobre la Inference Extension de Kubernetes Gateway API, rastreando qué réplicas contienen cada prefijo en caché. Luego, pondera la carga y la latencia predicha antes de derivar la petición. Si la memoria del acelerador se satura, la caché KV migra a la memoria del host, luego al SSD o a Managed Lustre. Además, separa los pools de prefill (intensivo en cómputo) y decode (limitado por memoria), una disagregación clave para la eficiencia operativa.
Rendimiento y benchmarks en producción
Los benchmarks autoinformados por Google y los adoptantes tempranos son contundentes. En un despliegue multi-región de 17.000 nodos en GKE, el throughput escaló 2.9x con un 99.9% de éxito. Sobre los nuevos Ironwood TPU, el enrutamiento consciente del prefijo recortó el Time To First Token (TTFT) en más de un 85% y duplicó el throughput. En la plataforma Gemini, la tasa de aciertos de caché saltó del 35% al 70%, mientras que empresas como Snap reportan tasas de hasta el 80% y Zenteiq multiplicó por cuatro sus tokens diarios procesados por cada 1.000 chips TPU v6e.
Comparativa y despliegue
A la hora de comparar opciones, llm-d no busca eliminar a NVIDIA Dynamo o AIBrix. De hecho, CoreWeave ejecuta llm-d junto a Dynamo, y NVIDIA aporta componentes de Dynamo a este proyecto. La diferencia radica en el enfoque: llm-d 1.0 brilla en su soporte ampliado para TPUs y GPUs heterogéneas (NVIDIA, AMD, Intel), su control de flujo multi-tenant que evita que los agentes ráfagos ahoguen las peticiones sensibles a latencia, y sus actualizaciones sin downtime mediante DisaggregatedSet.
El flujo de trabajo para el despliegue es metódico. En Google Cloud, el GKE Inference Gateway ejecuta el router de llm-d como servicio gestionado, permitiendo failover global. Los equipos de ingeniería pueden empezar con el enrutamiento prefix-aware frente a un despliegue vLLM existente, y luego sumar offload de caché y disagregación. Con Helm charts verificados y escalado vía KEDA y HPA basado en la profundidad de la cola, llm-d 1.0 se posiciona como la capa de orquestación madura que la infraestructura de IA estaba esperando para sus operaciones de producción de día 2.