En un experimento que desafía la hegemonía de NVIDIA en el hardware de inteligencia artificial, un ingeniero ruso ha logrado ejecutar modelos de lenguaje avanzados como Qwen en una FPGA (Field-Programmable Gate Array) de apenas 50 dólares. El proyecto, basado en la arquitectura openTPU desarrollada por Felipe Sens Bonetto, demuestra cómo la inferencia de IA se está democratizando, permitiendo que desarrolladores individuales experimenten con procesadores especializados sin depender de costosas GPUs.
Hardware accesible, resultados sorprendentes
El ingeniero adquirió una placa Xilinx Kintex-7 XC7K480T con 4 GB de memoria RAM a través de AliExpress y la conectó a un mini-PC MINISFORUM mediante PCIe. Tras compilar el bitstream en Vivado y configurar los controladores, logró ejecutar inferencia con varios modelos de lenguaje, obteniendo resultados que desafían las expectativas para hardware de bajo costo:
- Qwen3-0.6B: 31 tokens por segundo
- Qwen3.5-2B: 12 tokens por segundo
- LFM2.5-230M: 86 tokens por segundo
- Qwen3.5-35B: 4 tokens por segundo (en placa con solo 4 GB de memoria)
Lo más notable es que estos resultados se lograron en hardware que ya tiene varios años en el mercado, demostrando el potencial de optimización mediante arquitecturas especializadas.
La filosofía detrás del experimento
“No se trata solo de ejecutar otra red neuronal”, explica el ingeniero en su publicación. “El enfoque tradicional implica adaptar los modelos al hardware disponible, generalmente GPUs de NVIDIA. Pero ¿qué pasa si invertimos la ecuación? En lugar de buscar hardware para las redes neuronales, podemos diseñar hardware específico para los cálculos que necesitan esas redes”.
Esta filosofía representa un cambio fundamental en el ecosistema de IA. Mientras que antes el desarrollo de aceleradores de IA era dominio exclusivo de gigantes como Google y NVIDIA, hoy un solo ingeniero puede prototipar y probar arquitecturas personalizadas. El proyecto openTPU, desarrollado con participación activa de agentes de IA, simboliza esta nueva era de co-diseño donde la inteligencia artificial ayuda a crear el hardware en el que posteriormente se ejecutará.
Implicaciones para el futuro de la inferencia
Aunque la placa FPGA utilizada no compite con soluciones como la NVIDIA H100, y el prototipo funcional está lejos de ser un ASIC listo para producción, el experimento abre puertas importantes. Permite a desarrolladores y empresas emergentes evaluar arquitecturas para sus propios chips de inferencia sin inversiones millonarias iniciales.
El ingeniero anuncia que en la segunda parte del proyecto mostrará todos los resultados de su banco de pruebas, incluyendo mejoras con memoria más rápida y FPGA más potentes. Mientras tanto, el experimento ya ha demostrado algo fundamental: la barrera de entrada para desarrollar hardware especializado en IA se está reduciendo drásticamente, y la próxima generación de aceleradores podría provenir de garajes y laboratorios pequeños, no solo de los gigantes del Silicon Valley.