Les moteurs d'échecs actuels atteignent un niveau surhumain mais ne fournissent aucune justification de leurs choix, tandis que les modèles de langage produisent des explications convaincantes mais jouent faiblement. Une équipe de recherche propose Queen, un modèle de 4 milliards de paramètres conçu pour réconcilier ces deux approches : jouer aux échecs à un niveau de Grand Maître tout en expliquant ses coups et ses plans de jeu.
L'architecture repose sur une structure encodeur-décodeur où un encodeur d'échecs spécialisé, silencieux mais performant, est relié à un modèle de langage instruction-tuned via des mécanismes d'attention croisée. Cette connexion est entraînée à l'aide d'un curriculum de questions-réponses destiné à extraire les concepts échiquéens contenus dans les représentations internes de l'encodeur, permettant au modèle de verbaliser une connaissance qui existait déjà sous forme implicite.
L'innovation principale concerne la méthode d'amélioration itérative des explications, décrite comme un analogue en langage naturel de la mise à jour de Bellman utilisée en apprentissage par renforcement. Le modèle analyse les positions résultant de ses meilleurs coups candidats, synthétise ces analyses en une explication de la position courante, puis réinjecte cette synthèse dans son propre entraînement par distillation. Répétée sur sept itérations, cette boucle fait progresser le modèle de 1782 à 2697 points Elo, soit un gain de plus de 900 points.
Selon les auteurs, ce niveau dépasse celui de tous les modèles de référence actuels, aussi bien sur la force de jeu que sur la résolution de puzzles tactiques, alors que Queen compte environ mille fois moins de paramètres que ces modèles généralistes. Des évaluations menées par d'autres modèles de langage jugent par ailleurs la qualité et la cohérence des explications produites proches de celles d'un modèle de référence avancé.
Les auteurs suggèrent que cette architecture, associant un expert silencieux spécialisé à un modèle de langage via distillation itérative, pourrait se généraliser à d'autres domaines disposant d'encodeurs experts équivalents, comme les jeux, la robotique ou l'utilisation d'ordinateurs. L'intérêt de ce travail dépasse donc le cas des échecs : il propose une méthode concrète pour rendre interprétables des systèmes experts qui restent aujourd'hui des boîtes noires performantes.