Plusieurs modèles de langage ouverts récents intègrent des tables d'embeddings n-gramme, qui stockent des représentations apprises de courtes séquences de tokens (paires ou triplets consécutifs) consultées par le modèle durant son fonctionnement. Ce mécanisme améliore les performances, mais à un coût mémoire considérable : le modèle DeepSeek-V4.1-Flash consacre par exemple 196 milliards de paramètres à sa mémoire n-gramme baptisée Engram.
Une nouvelle étude s'attaque à ce problème en examinant si ce coût mémoire peut être réduit sans sacrifier les gains de performance associés. Les auteurs proposent de stocker ces embeddings à basse précision et testent systématiquement différentes méthodes de quantification ainsi que différentes allocations de bits selon les tables. Les expériences, menées sur des modèles entraînés depuis zéro dans les familles nanochat, Llama et GPT-2, montrent qu'un encodage sur quatre bits permet d'économiser environ 75% de la mémoire occupée par les tables, tout en conservant plus de 99% de l'amélioration de la perte de validation apportée par ces tables.
Réduire davantage le nombre de bits entraîne une dégradation plus marquée des performances, mais une courte phase de fine-tuning permet de récupérer une partie significative de cette perte. Plus intéressant encore, les auteurs montrent que la mémoire économisée peut être réinvestie dans des tables plus grandes, ce qui permet de dépasser les performances des tables originales en pleine précision, tout en consommant moins de mémoire au total.
Les chercheurs valident également cette approche sur des modèles existants de grande taille, DeepSeek-V4.1-Flash et Qwen3.8-Flash-Next, où les tables basse précision permettent d'économiser entre 47% et 55% de la mémoire, avec une hausse de la perplexité inférieure à 1,2% et des performances en aval largement préservées. Ce travail suggère que la quantification basse précision constitue une voie concrète pour alléger l'empreinte mémoire croissante des architectures intégrant une mémoire n-gramme, un enjeu de plus en plus pertinent à mesure que ces tables grossissent dans les modèles de production.