Un rapport technique publié sur arXiv s'intéresse à une question centrale pour la robotique embarquée par IA : les grands modèles de langage multimodaux (MLLM), capables de piloter des robots sans entraînement spécifique, se comparent-ils réellement aux politiques robotiques entraînées sur mesure, comme les modèles vision-langage-action (VLA) ou les modèles d'action du monde (WAM) ? Pour répondre, les chercheurs ont conçu EBench, un protocole d'évaluation qui place un agent nommé GPT-6-Astra dans les mêmes conditions d'observation visuelle et proprioceptive que les politiques post-entraînées classiques.
L'étude distingue deux configurations. Dans la première, dite de contrôle direct, l'agent génère lui-même les commandes de trajectoire du robot. Dans la seconde, baptisée harnais avec politique, l'agent conserve la possibilité d'invoquer une politique VLA ou WAM externe pour exécuter certaines actions. Cette architecture hybride permet de mesurer dans quelle mesure un agent généraliste peut s'appuyer sur des composants spécialisés plutôt que de tout gérer lui-même.
Les résultats montrent qu'en contrôle direct, l'agent MLLM obtient des performances globalement comparables à celles des politiques entraînées, avec un avantage net sur les tâches à court horizon et une stabilité supérieure face aux variations de généralisation. En revanche, il reste en retrait sur les tâches longues, la manipulation d'objets sur table et les gestes de précision nécessitant un contact fin, des domaines où l'expertise spécialisée des politiques post-entraînées demeure décisive.
Lorsque l'agent peut invoquer une politique externe, les performances globales rejoignent celles des meilleures politiques spécialisées, tout en réduisant nettement le coût en tokens de calcul. Les auteurs notent toutefois que ce gain reste inférieur au potentiel maximal de chaque composant pris isolément, en raison d'une invocation sous-optimale des politiques, de l'absence de sous-objectifs intermédiaires et de perturbations de la prise d'objet lorsque l'agent reprend le contrôle. L'étude propose ainsi une cartographie précise des limites actuelles des agents MLLM appliqués à la robotique, et esquisse des pistes concrètes pour améliorer la conception des architectures hybrides agent-politique à l'avenir.