MERCADOS:
BTC $81,317 ▲ +4.29%
ETH $2,529 ▲ +5.04%
SOL $184 ▲ +3.57%
IA STATUS Online RELOJ --:--:-- ART
🗓️ Congresos y Eventos

FlashMap: IA de Vanguardia Acelera Modelos de Lenguaje 6x

Yuanbao Search: Tencent abre su motor de búsqueda a desarrolladores de IA

La carrera por optimizar la velocidad de los Modelos de Lenguaje Grandes (LLMs) suma un nuevo contendiente de peso. Investigadores de Polymathic AI, junto a la Universidad de Princeton, USC ISI, NYU y el Flatiron Institute, han presentado FlashMap, una innovadora técnica de decodificación especulativa que promete revolucionar la eficiencia en el procesamiento de texto.

FlashMap: Un Salto Cuántico en la Decodificación

La clave de FlashMap reside en su enfoque disruptivo: reemplaza el método tradicional de “drafter” de difusión discreta por un “mapa de flujo” continuo. Esto permite que FlashMap genere un bloque completo de 16 tokens en una sola pasada, asegurando la coherencia entre ellos. Los resultados preliminares son contundentes: en pruebas con el modelo Qwen3-8B sobre el benchmark GSM8K, se reportó una aceleración de hasta 6.14x, y lo más importante, sin ninguna pérdida de información.

¿Cómo Funciona y Qué lo Hace Único?

FlashMap opera como un “drafter” que propone un bloque de tokens (K). El modelo principal evalúa estos K tokens en paralelo y conserva el prefijo más largo que coincida. A diferencia de otros métodos que predicen cada token de forma independiente, lo que puede llevar a errores de coherencia, FlashMap mapea el ruido gaussiano a un bloque de tokens de manera conjunta. Esto se logra mediante un transformer de difusión (DiT) que lee estados ocultos de capas específicas del modelo objetivo. Los pesos del drafter para Qwen3-8B y Qwen3-4B ya están disponibles en Hugging Face, con plugins para vLLM y SGLang, facilitando su implementación.

Comparativa y Rendimiento

En las pruebas comparativas, FlashMap se posiciona como el drafter más rápido en todas las tareas para Qwen3-8B, superando a DFlash en un 7% en promedio. Si bien la mayor ganancia se observa en tareas de chat y matemáticas con temperatura 0 (hasta 6.14x en GSM8K), incluso en escenarios de mayor temperatura, como Alpaca con T=1, se logra una aceleración de 2.28x. El modo de 2 pasos de FlashMap, que sacrifica una pequeña porción de velocidad, mejora la tasa de aceptación de tokens en un 10% en comparación con DFlash.

Implementación Sencilla

La adopción de FlashMap es sorprendentemente accesible. El paquete requiere solo PyTorch y Transformers. Para la implementación en producción, se ofrecen dos vías principales:

  • vLLM 0.31: Configurar el drafter con el parámetro --speculative-config y establecer num_speculative_tokens a 16.
  • SGLang 0.5.20: Utilizar el algoritmo DSPARK junto con la ruta de draft de FlashMap.

Los pesos del modelo tienen licencia Apache-2.0 y el código es MIT, lo que fomenta su uso y desarrollo en la comunidad open source.

Fuente: MarkTechPost (Open Source, GitHub & Agentes)

MP

Sobre Valeria Rossi

Cronista de Congresos, Webinars & Comunidad

Especialista en herramientas de IA aplicada, automatización de flujos de trabajo, prompting y productividad empresarial para Tecno Saberes.

🚀 Potenciá tu criterio digital y habilidades en IA

Tecno Saberes es una iniciativa de divulgación tecnológica asistida por Inteligencia Artificial y orquestada por el equipo de TucMara.com.

←
→