El algoritmo TurboQuant de Google, implementado en el framework MLX por Anton Rozanov con núcleos Metal personalizados, ha logrado una compresión del caché KV de 4.6 veces en LLM sin comprometer la calidad ni la velocidad (0.98x FP16). Este avance, demostrado con el modelo Qwen2.5-32B en un M4 Pro 48GB al reducir 4.2 GB a 897 MB, supera desafíos de rendimiento y abre nuevas posibilidades para modelos de IA más eficientes y accesibles, incluso con una capacidad de compresión de hasta 6x.
Una proeza ingenieril ha redefinido la eficiencia de los modelos de lenguaje: TurboQuant, el algoritmo de Google, ahora en MLX, comprime el caché KV 4.6 veces sin sacrificar calidad ni velocidad.
Desde su concepción en Google, TurboQuant ha sido la respuesta a una de las limitaciones más persistentes de los Modelos de Lenguaje Grandes (LLM): el consumo voraz de memoria, especialmente crítico en contextos largos. Este algoritmo, diseñado para optimizar el uso del caché KV (Key-Value), es fundamental para que los LLM puedan procesar y recordar secuencias extensas de información sin colapsar los recursos computacionales. Su desarrollo ha sido validado por rigurosas evaluaciones que demuestran su capacidad para minimizar la distorsión del producto punto y el recuerdo, al tiempo que reduce drásticamente la huella de memoria.
La implementación de TurboQuant en el framework MLX por Anton Rozanov, utilizando núcleos Metal personalizados, ha cristalizado estas promesas en resultados tangibles y extraordinarios. Los datos son contundentes: se ha logrado una compresión del caché KV de 4.6 veces, manteniendo una velocidad de procesamiento de punto flotante de 16 bits (FP16) del 0.98x respecto al rendimiento original. Lo más notable es que esta drástica reducción de memoria no ha comprometido la calidad del texto generado, que permanece idéntica. El experimento, realizado con el modelo Qwen2.5-32B en un M4 Pro de 48GB, es ilustrativo: un caché KV de 4.2 GB para un contexto de 16K se redujo a unos asombrosos 897 MB.
El camino hacia esta eficiencia no estuvo exento de desafíos. La optimización del rendimiento fue el principal escollo, con una velocidad inicial de apenas 0.28x FP16. Sin embargo, la perseverancia y el ingenio técnico de Rozanov, a través de la implementación de núcleos Metal personalizados para las operaciones de cuantificación y des-cuantificación, junto con un búfer incremental de decodificación, elevaron el rendimiento hasta el impresionante 0.98x FP16. Esta mejora no es trivial; representa la diferencia entre una promesa teórica y una solución práctica y escalable para la computación de IA en dispositivos con recursos limitados o para la gestión de contextos masivos.
La capacidad de TurboQuant para reducir la memoria KV en un factor de 6x o más, manteniendo la precisión, tal como se ha demostrado en pruebas adicionales, tiene implicaciones profundas. Esta tecnología no solo democratiza el acceso a modelos de lenguaje más grandes y complejos al permitir su ejecución en hardware de consumo, sino que también abre nuevas avenidas para aplicaciones que requieren contextos conversacionales o analíticos extremadamente largos. Estamos ante un hito que no solo optimiza la infraestructura actual, sino que redefine lo que es posible en el futuro de la inteligencia artificial, impulsando la eficiencia y la accesibilidad de los LLM hacia un horizonte sin precedentes.
Compartir
Los astronautas de la misión Artemis II han llegado al Centro Espacial Kennedy en Florida, preparándose para el primer viaje tripulado a la Luna en 53 años, desde el Apollo 17 en 1972. La misión, programada para abril de 2026, incluye a Reid Wiseman, Victor Glover, Christina Koch y Jeremy Hansen, y ha enfrentado retrasos técnicos.
Investigadores de Drexel University han descubierto que los líquidos pueden fracturarse como sólidos bajo ciertas condiciones, un hallazgo publicado en 'Physical Review Letters' el 28 de marzo de 2026. Este estudio redefine el papel de la viscosidad en las propiedades mecánicas de los líquidos y tiene implicaciones significativas para la hidráulica, la impresión 3D y la medicina.
Investigadores de la UCSF han descubierto el mecanismo molecular por el cual el intestino comunica con el cerebro para suprimir el apetito durante una infección. Las células tuft detectan parásitos y, a través de la liberación de acetilcolina y serotonina por las células EC, activan las fibras nerviosas vagales que envían señales al cerebro. Este hallazgo, publicado en Nature, no solo explica la pérdida de apetito, sino que también abre nuevas vías para entender y tratar trastornos digestivos como las intolerancias alimentarias y el SII.