TurboQuant de Google divise par six la RAM des LLM

Google Research présente TurboQuant, une technique de compression algorithmique pensée pour un véritable goulot d’étranglement des LLM : le KV Cache. À mesure que les fenêtres de contexte s’allongent, la mémoire vive (RAM) explose et l’exécution devient coûteuse et lente. L’objectif affiché : réduire fortement les besoins en RAM tout en maintenant un raisonnement très proche du modèle d’origine.

À retenir

• TurboQuant vise le KV Cache des LLM.
• La quantification peut aller jusqu’à 2 bits par valeur.
• Les tests annoncent jusqu’à 6× moins de RAM pour certains modèles.
• L’objectif est d’améliorer l’inférence en réduisant les transferts mémoire-processeur.
• Le gain ouvre la voie à de l’Edge AI plus réaliste.

TurboQuant cible donc le principal point faible des grands modèles de langage : la RAM occupée par le KV Cache quand la fenêtre de contexte s’élargit. L’enjeu concerne surtout ceux qui veulent faire tourner des IA plus compactes sur des appareils courants, sans passer systématiquement par le cloud. Avec la promesse de moins de mémoire et plus de vitesse, la question devient très concrète pour les usages quotidiens.

Le problème réel : le KV Cache et la fenêtre de contexte

Google Research part d’un constat simple : le coût d’un LLM ne dépend pas seulement du nombre de paramètres, mais aussi de tout ce qu’il doit conserver en mémoire pendant l’inférence.

Le goulot d’étranglement qui s’amplifie

Dans un LLM (Large Language Model), le KV Cache stocke les informations utiles sur les tokens déjà traités. Plus la fenêtre de contexte grandit, plus ce cache enfle et occupe de la place. Résultat : la mémoire vive (RAM) requise augmente fortement et l’exécution ralentit. Dans son billet, Google parle d’un « goulot d’étranglement majeur » : quand la mémoire ne suit plus, toute la chaîne d’inférence se grippe.

Pourquoi la RAM finit par dominer le coût

Quand le cache devient trop volumineux, le système doit échanger davantage de données entre la mémoire et le processeur. Cette étape repose sur la bande passante mémoire, c’est‑à‑dire la capacité du matériel à transférer rapidement les données. Google rappelle que la hausse des besoins en RAM rend l’exécution « coûteuse et lente ». Autrement dit, même si le modèle reste identique, le confort d’usage se dégrade à mesure que le contexte augmente.

TurboQuant : compresser en quantification, sans perdre la précision

TurboQuant s’attaque au stockage du cache via une quantification, une méthode qui remplace les valeurs d’origine par une représentation plus compacte.

Du 16 bits au sub-byte : 2 bits par valeur

Les méthodes classiques utilisent souvent 16 bits ou 8 bits pour stocker les données internes. Ici, TurboQuant va plus loin : jusqu’à 2 bits par valeur. Cette approche repose sur une quantification extrême, donc une compression très agressive. Google précise que l’objectif n’est pas de « faire moins de calcul », mais de réduire la taille des informations qui circulent et se stockent.

Le rôle clé des outliers (valeurs aberrantes)

Une compression mal contrôlée peut dégrader la précision si elle altère des valeurs rares mais importantes. C’est précisément là que TurboQuant se distingue : Google Research identifie et isole les outliers (valeurs aberrantes), décrites comme des données rares mais déterminantes pour conserver la qualité du modèle. Le principe est pragmatique : compresser fortement les données courantes et préserver les points qui font la différence. Selon Google, cette approche permet de garder une précision très proche du modèle original.

« TurboQuant isole les outliers pour compresser le reste sans sacrifier le raisonnement. »

Formulation synthétique issue des éléments décrits par Google Research.

Moins de RAM, plus de vitesse : l’impact mesuré sur des modèles concrets

Les gains annoncés ne restent pas théoriques : Google indique avoir testé TurboQuant sur plusieurs modèles populaires.

Jusqu’à 6× moins de mémoire vive pour Llama-3 et Gemma

Selon Google, TurboQuant peut diviser par six les besoins en RAM pour des modèles comme Llama-3 ou Gemma. Un ordre de grandeur est aussi donné : un modèle qui demandait « des dizaines de gigaoctets » peut ensuite fonctionner sur du matériel grand public. Pour l’utilisateur, la conséquence est concrète : l’IA dépend moins de configurations très musclées et reste moins limitée par la mémoire disponible.

Pourquoi l’inférence accélère quand on bouge moins de données

Google relie directement les économies de mémoire à la vitesse d’inférence. Quand la taille des structures de données diminue, moins d’informations doivent être lues, déplacées et recomposées en mémoire pendant l’exécution. L’étude évoque une accélération liée à la disparition de goulots d’étranglement dus à la bande passante mémoire. En clair, si le système déplace moins de données, il peut répondre plus vite, à matériel comparable.

De l’IA distante vers l’exécution locale : Edge AI

Le volet industriel est direct : si le logiciel compresse efficacement le cache, le marché n’a plus autant intérêt à augmenter sans cesse la quantité de RAM. Google mentionne une possible stabilisation d’un segment où les fabricants poussaient vers des configurations toujours plus lourdes (32 Go, 64 Go). Dans ce scénario, exécuter une IA sur smartphone ou sur PC portable devient beaucoup plus réaliste. Et côté usages, la dépendance au cloud diminue, ce qui améliore la confidentialité et peut réduire la pression énergétique sur les centres de données.

Contrepoint : la quantification “à 2 bits” ne risque-t-elle pas de dégrader le modèle ?

La réponse de TurboQuant passe par une nuance : oui, la compression peut créer des erreurs, mais la méthode intègre un garde-fou.

Le point faible potentiel des méthodes extrêmes

En descendant à 2 bits, on réduit drastiquement la granularité des valeurs stockées. En théorie, cette perte de finesse peut provoquer des écarts de calcul. Le risque classique d’une quantification très agressive est de dégrader la précision sur des cas limites, ceux qui dépendent de détails numériques rares.

Pourquoi la stratégie des outliers vise juste

Google affirme que TurboQuant limite ce risque en isolant les outliers (valeurs aberrantes). Le mécanisme est simple : compresser très fortement ce qui est fréquent, puis conserver le niveau d’information nécessaire pour les valeurs critiques. Cette combinaison — compression massive plus protection des éléments rares — est présentée comme la condition pour rester au plus près de la précision initiale.

TurboQuant vise le point précis où les LLM consomment le plus de ressources : le KV Cache. En réduisant fortement la mémoire nécessaire, Google Research rend l’IA plus proche du matériel courant.