MERCADOS:
BTC $81,317 ▲ +4.29%
ETH $2,529 ▲ +5.04%
SOL $184 ▲ +3.57%
IA STATUS Online RELOJ --:--:-- ART
🗓️ Congresos y Eventos

ZHA: 82.000 parámetros que amenazan a la atención densa en modelos de 35B

ZHA: 82.000 parámetros que amenazan a la atención densa en modelos de 35B

El cuello de botella de la atención dispersa siempre fue el mismo: aunque el cómputo final sea escaso, el indexer que decide qué tokens leer sigue escaneando todo el contexto. Cerca de un millón de tokens, ese indexer consume entre el 60% y el 90% del tiempo de cada capa. Zyphra acaba de publicar Zyphra Hierarchical Attention (ZHA), un método que convierte la búsqueda misma en un proceso disperso usando un árbol de claves comprimidas. La promesa es audaz, pero los números hay que leerlos con lupa.

Cómo funciona el árbol de ZHA

ZHA parte de una idea elegante: en lugar de puntuar cada token pasado, construye una jerarquía. Las claves se agrupan en chunks contiguos y cada chunk se comprime en una summary key. Esas sumarias se vuelven a agrupar y comprimir, nivel por nivel. Con chunk size 4 y 6 niveles, cada nodo superior cubre 4.096 tokens.

Las sumarias se generan a partir de un conjunto pequeño de reference queries aprendidas. Cada una produce una estimación en plano tangente de la masa de atención del chunk. El máximo sobre esos planos aproxima cuánta atención recibiría ese chunk ante cualquier query futura.

Top-p routing: presupuesto adaptativo

En decode, una query puntúa los nodos del nivel superior y conserva el conjunto más pequeño que acumula una fracción p de la masa de atención estimada. Luego expande solo esos hijos, repitiendo hasta llegar a las entradas KV crudas. El primer token siempre se conserva como attention sink.

La consecuencia práctica: el presupuesto es adaptativo. Una búsqueda de hecho único toca pocas ramas; una query que necesita hechos dispersos se expande más. No hay un número fijo de tokens a leer: el árbol decide sobre la marcha.

Los números: cerca de la densa, pero con matices

Zyphra convirtió Qwen3.6-35B-A3B con dos configuraciones: deep (chunk 4, 6 niveles) y wide (chunk 256, 1 nivel). Ambas usan 16 reference queries y p = 0,95. También entrenó un indexer MiniMax Sparse Attention (MSA) con 40B tokens, 10 veces el presupuesto de ZHA.

Los resultados sobre Qwen3.6-35B-A3B muestran que ZHA se mantiene a pocos puntos de la atención densa en la mayoría de los benchmarks:

  • AIME 2026: Dense 93,1 | ZHA deep 91,2 | ZHA wide 90,8 | MSA 91,7
  • SWE-bench Verified: Dense 67,4 | ZHA deep 67,4 | ZHA wide 68,4 | MSA 63,6
  • Terminal-Bench 2.1: Dense 49,9 | ZHA deep 46,7 | ZHA wide 53,3 | MSA 46,1
  • MMLU-Pro: Dense 84,9 | ZHA deep 85,3 | ZHA wide 85,2 | MSA 85,3
  • GPQA Diamond: Dense 84,8 | ZHA deep 85,0 | ZHA wide 85,0 | MSA 83,1
  • RULER-13 (256K): Dense 96,0 | ZHA deep 93,3 | ZHA wide 96,2 | MSA 77,1
  • LongBench v2 (thinking): Dense 58,0 | ZHA deep 63,4 | ZHA wide 62,4 | MSA 49,3

El punto más fuerte de ZHA es la recuperación. MSA colapsa a 77,1% en RULER-13, mientras ambos árboles de ZHA se mantienen sobre 93%. En LongBench v2, el árbol profundo y MSA leen una fracción similar de claves (1,1% vs 1%), pero el árbol profundo puntúa 14,1 puntos más alto.

La trampa: speedups proyectados, no medidos

Zyphra no liberó kernels optimizados. Los speedups son modelados sobre un roofline de H100 BF16 para una capa con batch size 1. En esa proyección, ZHA supera a la atención densa cerca de 48K tokens y a MSA cerca de 0,48M. A 1B tokens, las proyecciones alcanzan 373x-417x sobre densa y 52x-58x sobre MSA. A 10M tokens, 32x-35x y 4,7x-5,1x respectivamente.

Pero a 256K —el contexto máximo testeado con benchmarks reales— las ganancias modeladas son modestas: 1,93x a 2,28x sobre densa, con 92,7% a 96,4% en RULER-13. El routing y la selección suman su propio costo.

Entrenamiento: el modelo base queda congelado

El modelo base permanece congelado. Solo se entrenan las reference queries: 81.920 parámetros adicionales sobre Qwen3.6-35B-A3B, aproximadamente el 0,00024% del total. Una pérdida KL empareja la masa de atención densa por chunk en cada nivel. Las corridas de Qwen y Nemotron usaron 3,98B tokens durante 1.900 pasos a 32K de contexto.

Una limitación importante: los modelos con menos de 1B parámetros tuvieron dificultades durante la conversión. Los resultados mejoraron notablemente a partir de 4B. En Nemotron-3.5-Lightning-30B-A3B, el peor escenario, el árbol profundo cayó 25,3 puntos por debajo de la densa en RULER-13.

ZHA vs MSA, DSA y NSA: comparativa

  • ZHA (Zyphra): indexer de árbol multinivel; top-p adaptativo por nivel; costo sublineal por query (afirmado); retrofit sobre modelo congelado con ~4B tokens; modelo más grande mostrado: 35B MoE; speedup solo modelado.
  • MSA (MiniMax): indexer plano por bloque por grupo GQA; top-16 bloques de 128 tokens; 14,2x prefill y 7,6x decode a 1M en H800; 109B MoE, 6B activos; 400B tokens de CPT.
  • DSA (DeepSeek): indexer tipo Lightning a nivel token; top-2.048 tokens; costo cuadrático del index branch; 685B MoE; continuó entrenamiento de V3.1-Terminus.
  • NSA (DeepSeek): compresión + selección + sliding window; 16 bloques de 64 tokens, ventana 512; pretraining nativo; 27B MoE, ~3B activos; speedups a 64K solo en figura.

Conclusión práctica

ZHA propone algo genuinamente distinto: buscar el KV cache con un árbol en lugar de un escaneo plano. Con apenas 82.000 parámetros entrenables sobre un modelo de 35B congelado, logra resultados competitivos e incluso supera a la atención densa en LongBench v2. La sombra es clara: sin kernels liberados y con speedups puramente proyectados, la adopción práctica depende de que alguien implemente y mida en hardware real. Para equipos que ya trabajan con Qwen o arquitecturas MoE y necesitan escalar contexto, vale la pena seguir el paper (arXiv 2610.42112), pero no es hora de migrar producción todavía.

Fuente: MarkTechPost (Open Source, GitHub & Agentes)

MP

Sobre Valeria Rossi

Cronista de Congresos, Webinars & Comunidad

Especialista en herramientas de IA aplicada, automatización de flujos de trabajo, prompting y productividad empresarial para Tecno Saberes.

🚀 Potenciá tu criterio digital y habilidades en IA

Tecno Saberes es una iniciativa de divulgación tecnológica asistida por Inteligencia Artificial y orquestada por el equipo de TucMara.com.

←
→