Google DeepMind presentó oficialmente su nueva arquitectura para modelos de lenguaje a gran escala (LLMs), denominada Mixture-of-Recursions (MoR), que se posiciona como una alternativa más eficiente a los tradicionales Transformers. Con una combinación de procesamiento adaptativo y gestión inteligente de memoria, MoR busca democratizar el acceso a modelos potentes sin necesidad de costosa infraestructura en la nube o hardware de alto rendimiento.
¿Cómo funciona?
A diferencia de los Transformers, que procesan todos los tokens con la misma carga computacional, MoR utiliza un sistema de enrutamiento dinámico que evalúa cada token individualmente. De este modo, las entradas más simples se procesan rápidamente, mientras que las más complejas reciben múltiples pasadas según lo necesiten. Esto se complementa con una caché selectiva y compartida que reduce el uso de memoria hasta un 50%, ya que solo almacena tokens activos.
Entre sus principales beneficios, MoR logra hasta el doble de velocidad de inferencia y consume significativamente menos recursos, manteniendo —e incluso superando— la precisión de modelos más grandes. Por ejemplo, en pruebas few-shot, un modelo MoR con 118 millones de parámetros superó ampliamente a un Transformer estándar de 315 millones, demostrando que el rendimiento no siempre depende del tamaño.
Esta eficiencia no solo permite acelerar procesos de entrenamiento y despliegue, sino que también facilita la adopción de IA avanzada en empresas, startups y dispositivos con recursos limitados. Así, MoR habilita nuevos casos de uso en campos como la robótica, el razonamiento, la planificación automatizada y el edge computing, donde la velocidad y el consumo energético son determinantes.
Expertos consideran que MoR marca el inicio de una nueva etapa en el desarrollo de inteligencia artificial, donde la optimización arquitectónica reemplaza la lógica de “cuanto más grande, mejor”. Al reducir drásticamente la necesidad de cómputo homogéneo, MoR impulsa la creación de modelos más adaptables, sostenibles y listos para operar en el mundo real.
En síntesis, Mixture-of-Recursions no solo mejora el rendimiento, sino que redefine el paradigma de desarrollo en IA. Con esta arquitectura, Google DeepMind demuestra que el futuro no está solo en escalar modelos, sino en repensar la forma en que se construyen, con eficiencia, flexibilidad y propósito.
Leer más
Palo Alto Networks anuncia un acuerdo para adquirir CyberArk, líder en seguridad de identidad
Mark Zuckerberg apuesta por la “superinteligencia personal”: así será el futuro de la IA según Meta
Compartir nota:
