Une nouvelle étude s'attaque à une question pratique pour l'entraînement des grands modèles de langage : la distillation on-policy (OPD), où un élève apprend à partir de ses propres générations guidées token par token par un professeur figé, permet-elle réellement d'économiser du calcul par rapport à l'apprentissage par renforcement, en l'occurrence GRPO (Group Relative Policy Optimization) ? Les chercheurs comparent les deux approches sur plusieurs axes : difficulté de la tâche, taille du modèle élève et professeur, domaine applicatif, et choix d'optimisation, en mesurant la précision obtenue pour un budget de calcul donné.
Le résultat principal est nuancé. Lorsque le professeur est un modèle externe déjà post-entraîné, l'OPD perd généralement face à GRPO en termes de précision par unité de calcul, même si ce professeur a lui-même été amélioré via GRPO. L'OPD souffre en outre d'un phénomène d'inflation de la longueur des réponses, qui pénalise son efficacité réelle. Ce constat contredit l'intuition selon laquelle un signal dense, fourni à chaque token, devrait automatiquement accélérer l'apprentissage.
Le tableau change radicalement lorsque le professeur n'est autre que le propre checkpoint GRPO de l'élève. Dans ce cas, l'OPD parvient à reproduire la précision de ce checkpoint sur des tâches mathématiques avec environ 50 fois moins de calcul que n'en nécessiterait GRPO pour atteindre le même niveau. Cette efficacité se confirme avec un élève plus grand, sur des tâches de code, et dans une seconde famille de modèles, suggérant un phénomène robuste plutôt qu'un artefact isolé.
L'étude pousse l'analyse vers un scénario multi-domaines réaliste : lorsque différents checkpoints GRPO excellent chacun dans un domaine spécifique sans qu'aucun ne couvre tous les cas, une distillation multi-professeurs permet de consolider ces experts en un seul modèle élève. Ce modèle unique parvient à égaler la précision de chaque expert, pour un coût de distillation ne représentant que 5,2 % (sur deux domaines) à 8 % (sur quatre domaines) du calcul nécessaire pour entraîner les spécialistes. En comptabilisant l'entraînement des spécialistes et la distillation ensemble, le pipeline complet atteint les performances d'un GRPO joint avec 42 % de calcul total en moins.
Ces résultats apportent une contribution utile pour les équipes qui conçoivent des pipelines d'entraînement à grande échelle : l'OPD n'est pas une alternative universellement plus économe que l'apprentissage par renforcement, mais devient particulièrement pertinente comme étape de consolidation après un entraînement spécialisé par domaine, plutôt que comme substitut direct à GRPO.