Les chercheurs à l'origine de XStack partent d'un constat simple : le code de machine learning reste aujourd'hui largement prisonnier de l'écosystème dans lequel il a été écrit, principalement PyTorch sur GPU NVIDIA ou JAX sur TPU Google. Porter un dépôt d'un environnement à l'autre exige de réécrire et de valider le code sur un framework et un matériel différents, une tâche longue et exigeante même pour des équipes expérimentées.
Les auteurs transforment cette contrainte pratique en benchmark. Dans XStack, un agent reçoit un dépôt PyTorch ainsi qu'une machine TPU vierge, et doit produire une version fonctionnelle en JAX. La réussite est jugée selon des critères de notation construits à partir des résultats publiés du dépôt source, que les auteurs ont vérifiés et calibrés eux-mêmes. L'exercice couvre des dépôts entiers plutôt que de simples extraits de code, ce qui en fait un test de bout en bout sur un horizon long.
Les résultats montrent que cette tâche reste difficile pour les agents actuels. Claude Opus 5 obtient le meilleur score avec 75 % de réussite, suivi de GPT-5.6-sol à 45 %, tandis que tous les autres agents testés plafonnent à 40 % ou moins. Cet écart important entre le modèle en tête et le reste du panel souligne que la migration inter-frameworks sollicite des capacités de raisonnement et de débogage logiciel que peu de systèmes maîtrisent encore de façon fiable.
En publiant XStack, les auteurs cherchent moins à célébrer les performances actuelles qu'à fournir un outil de mesure pour suivre les progrès futurs. Le benchmark s'inscrit dans une tendance plus large consistant à tester les agents IA sur des tâches d'ingénierie logicielle réalistes et de grande ampleur, plutôt que sur des problèmes isolés. Si la portabilité du code ML entre écosystèmes matériels devient un enjeu stratégique, pouvoir mesurer objectivement cette capacité constitue un prérequis utile, même si les scores actuels montrent qu'elle reste largement non résolue.