La carrera por optimizar la velocidad de los Modelos de Lenguaje Grandes (LLMs) suma un nuevo contendiente de peso. Investigadores de Polymathic AI, junto a la Universidad de Princeton, USC ISI, NYU y el Flatiron Institute, han presentado FlashMap, una innovadora técnica de decodificación especulativa que promete revolucionar la eficiencia en el procesamiento de texto.
FlashMap: Un Salto Cuántico en la Decodificación
La clave de FlashMap reside en su enfoque disruptivo: reemplaza el método tradicional de “drafter” de difusión discreta por un “mapa de flujo” continuo. Esto permite que FlashMap genere un bloque completo de 16 tokens en una sola pasada, asegurando la coherencia entre ellos. Los resultados preliminares son contundentes: en pruebas con el modelo Qwen3-8B sobre el benchmark GSM8K, se reportó una aceleración de hasta 6.14x, y lo más importante, sin ninguna pérdida de información.
¿Cómo Funciona y Qué lo Hace Único?
FlashMap opera como un “drafter” que propone un bloque de tokens (K). El modelo principal evalúa estos K tokens en paralelo y conserva el prefijo más largo que coincida. A diferencia de otros métodos que predicen cada token de forma independiente, lo que puede llevar a errores de coherencia, FlashMap mapea el ruido gaussiano a un bloque de tokens de manera conjunta. Esto se logra mediante un transformer de difusión (DiT) que lee estados ocultos de capas específicas del modelo objetivo. Los pesos del drafter para Qwen3-8B y Qwen3-4B ya están disponibles en Hugging Face, con plugins para vLLM y SGLang, facilitando su implementación.
Comparativa y Rendimiento
En las pruebas comparativas, FlashMap se posiciona como el drafter más rápido en todas las tareas para Qwen3-8B, superando a DFlash en un 7% en promedio. Si bien la mayor ganancia se observa en tareas de chat y matemáticas con temperatura 0 (hasta 6.14x en GSM8K), incluso en escenarios de mayor temperatura, como Alpaca con T=1, se logra una aceleración de 2.28x. El modo de 2 pasos de FlashMap, que sacrifica una pequeña porción de velocidad, mejora la tasa de aceptación de tokens en un 10% en comparación con DFlash.
Implementación Sencilla
La adopción de FlashMap es sorprendentemente accesible. El paquete requiere solo PyTorch y Transformers. Para la implementación en producción, se ofrecen dos vías principales:
- vLLM 0.31: Configurar el drafter con el parámetro
--speculative-configy establecernum_speculative_tokensa 16. - SGLang 0.5.20: Utilizar el algoritmo
DSPARKjunto con la ruta de draft de FlashMap.
Los pesos del modelo tienen licencia Apache-2.0 y el código es MIT, lo que fomenta su uso y desarrollo en la comunidad open source.
