En un mundo dominado por las soluciones en la nube, un ingeniero ha decidido tomar el control de su propia inteligencia artificial. Con un servidor casero equipado con dos GPUs Tesla P100, un procesador Intel Xeon de 28 hilos y 64 GB de RAM, este proyecto no solo desafía la dependencia de los servicios cloud, sino que también ofrece una alternativa viable para tareas específicas.
El hardware detrás del desafío
El servidor, aunque modesto en comparación con los centros de datos corporativos, es una máquina poderosa. Las Tesla P100, aunque son de 2016, ofrecen 32 GB de memoria HBM2, suficiente para manejar modelos como Qwen y Gemma hasta 32B. El procesador Xeon E5-2680 v4 y la memoria DDR4 de 64 GB completan un sistema diseñado para la eficiencia y la autonomía.
Benchmarks y resultados
En pruebas reales, el servidor local alcanza entre 10 y 50 tokens por segundo, dependiendo del modelo utilizado. Aunque DeepSeek en la nube es tres veces más rápido, la ventaja de tener un sistema siempre disponible y sin límites de uso es invaluable. Además, el servidor local ha demostrado ser superior en tareas específicas como la programación de microcontroladores y el procesamiento de datos en tiempo real.
El ingeniero detrás de este proyecto ha realizado 14 pruebas específicas, donde el servidor local ha superado a la nube en tareas como la gestión de watchdog en ESP32 y la implementación de filtros de Kalman. Estos resultados sugieren que, aunque la nube sigue siendo líder en velocidad y capacidad de procesamiento masivo, los sistemas locales tienen un nicho importante en aplicaciones especializadas.
En términos de costos, el servidor local consume alrededor de 600 vatios bajo carga, lo que se traduce en un gasto de electricidad de aproximadamente 6 rublos por dos horas de uso. Comparado con los 4 rublos que cuesta generar 300,000 tokens en la nube, la diferencia no es significativa, especialmente cuando se considera la ventaja de la privacidad y la independencia que ofrece el sistema local.