Fusionar varios modelos de IA entrenados por separado en uno solo, sin volver a entrenar desde cero, siempre fue la promesa tentadora del open source: ahorro de recursos, cobertura multilingüe y eficiencia. Pero un nuevo estudio publicado en arXiv acaba de tirar un balde de agua fría sobre esa fantasía, al menos en el terreno de la traducción automática. La investigación demuestra que la fusión de pesos funciona solo en escenarios muy específicos y falla estrepitosamente en el resto.
Una asimetría que lo cambia todo
El equipo de investigadores sometió a prueba rigurosa las principales estrategias de fusión (model merging) sobre modelos de lenguaje fine-tuneados con grandes corpus bilingües. El hallazgo central es contundente: existe una fuerte asimetría direccional. Cuando los modelos fusionados comparten el mismo idioma destino, la técnica mejora la cobertura multilingüe respecto del modelo base. Pero cuando los idiomas destino difieren, el rendimiento se desploma, sobre todo en configuraciones de fuente compartida y bidireccionales.
Traducido al cristiano: no vas a poder combinar un modelo afinado para traducir al español con otro afinado para traducir al japonés y esperar que el resultado haga ambas cosas bien. Peor aún, ni siquiera en el escenario favorable la fusión alcanza el rendimiento pico de los checkpoints especializados individuales.
La geometría traicionera de las neuronas
Lo más interesante del trabajo es el porqué. Al analizar las representaciones internas, los investigadores descubrieron que el fine-tuning no crea sub-redes aisladas por idioma, como se asumía. Los modelos independientes activan, en gran parte, las mismas neuronas. El conflicto surge más arriba: cada modelo especializado remodela las representaciones de generación en las capas superiores en geometrías incompatibles entre sí. Es como si dos escultores trabajaran sobre el mismo bloque de mármol con planos que no coinciden: el resultado es una escultura rota.
Este descubrimiento desafía los supuestos fundamentales del weight-space merging aplicado a traducción multilingüe y abre una línea de investigación nueva: alinear las geometrías de generación en el lado destino antes de fusionar.
Qué significa para el ecosistema occidental
Para quienes trabajamos con modelos abiertos de occidente, la lección es clara: la fusión de modelos sigue siendo valiosa para tareas múltiples dentro de un mismo idioma, pero no es un atajo mágico hacia un traductor universal. Mientras los laboratorios resuelven el problema de alineación geométrica, la recomendación práctica sigue siendo usar los checkpoints especializados por par de idiomas, o recurrir a los modelos multilingües nativos de OpenAI, Gemini o Meta, entrenados desde el inicio para convivir con decenas de lenguas.
El código del estudio está disponible públicamente en GitHub, así que cualquier desarrollador puede replicar los experimentos y verificar por sí mismo que, por ahora, no existe un anillo único para gobernarlos a todos.