La prédiction multi-tokens (MTP) permet d'accélérer le décodage des grands modèles de langage en générant plusieurs tokens candidats en une seule passe, puis en les vérifiant d'un coup avec le modèle cible. Le défi principal tient au choix de l'horizon de spéculation : un horizon trop long risque de voir une bonne partie du brouillon rejetée et donc gaspillée, tandis qu'un horizon trop court limite les gains de vitesse. Contrairement au décodage autorégressif classique, où l'on peut arrêter la génération token par token, la MTP impose de fixer cet horizon avant même de générer, puisque toutes les têtes de prédiction s'activent simultanément.
Des chercheurs proposent de traiter ce choix d'horizon comme un problème de contrôle en ligne. Leur méthode, baptisée Adaptive Multi-Token Prediction (AMTP), est un contrôleur léger qui exploite les retours de vérification pour apprendre, contexte par contexte, jusqu'où le brouillon peut être jugé fiable. L'approche ne nécessite aucun réentraînement du modèle et laisse intact le mécanisme de vérification exact. Avant chaque cycle de génération, AMTP estime la probabilité qu'un préfixe de brouillon soit entièrement accepté, puis sélectionne l'horizon qui maximise le nombre de tokens produits par seconde.
Les auteurs apportent également une justification théorique : ils montrent que l'erreur de prédiction d'un apprenant en ligne se traduit directement en perte de débit par rapport à l'horizon optimal pour chaque contexte, et in fine en un temps d'exécution borné. En utilisant une descente de gradient en ligne, cette perte de performance croît de façon sous-linéaire, ce qui garantit une convergence progressive vers un comportement quasi optimal.
Sur le plan expérimental, AMTP a été testé sur cinq combinaisons de modèles de brouillon et de modèles cibles, incluant Llama-3.1-8B-Instruct avec des têtes Medusa, des modèles MTP de Meta, et Qwen3-4B-Inst-2507-MTP, évalués sur les benchmarks AIME 2025 et GSM8K. Les résultats montrent une accélération du décodage pouvant atteindre 4,1 fois par rapport au décodage standard, et une amélioration du débit allant jusqu'à 10 % par rapport à une fenêtre de spéculation fixe, avec des performances égales ou supérieures dans huit configurations sur dix. Ce travail illustre une tendance de fond dans la recherche sur l'inférence des LLM : optimiser le compromis vitesse-fiabilité sans toucher à l'architecture des modèles, une approche pragmatique qui pourrait rapidement trouver sa place dans les pipelines de production.