Un nouvel article de recherche présente Zero-real Agent Policy (ZAP), une méthode permettant d'entraîner un robot à effectuer des tâches de manipulation sans jamais utiliser de données robotiques réelles pendant l'apprentissage. L'approche part d'un modèle vision-langage préentraîné de 27 milliards de paramètres, qui possède déjà une compréhension générale du monde et des capacités de raisonnement. Les chercheurs appliquent ensuite un ajustement supervisé puis un apprentissage par renforcement (GRPO) sur des tâches simulées simples pour enseigner au modèle comment déplacer concrètement un bras robotique, via un harnais logiciel léger reliant les sorties du modèle aux actions physiques.
Le système obtiendrait un taux de réussite de 96,7 % sur des tâches réelles d'évaluation, un chiffre que les auteurs disent équivalent à celui d'un système de référence nommé GPT-6 Astra testé dans le même cadre, tout en surpassant nettement un modèle vision-langage-action comparatif, MolmoAct2, qui obtient 33,3 %. ZAP serait également trois fois plus rapide et dix-sept fois moins coûteux à exécuter que GPT-6 Astra, ce qui, si confirmé, en ferait une option nettement plus pratique pour un déploiement réel.
Au-delà des taux de réussite bruts, l'article insiste sur la généralisation. ZAP est capable de traiter des tâches et des objets absents de ses données d'entraînement : placer un tube à essai dans un trou précis d'un portoir sur demande, faire passer un tube à essai entre deux bras robotiques en l'air, tracer un X sur une grille de morpion, ou encore jouer aux échecs. Aucun de ces scénarios ne figurait dans le programme d'entraînement simulé, ce qui suggère que le raisonnement préentraîné du modèle se transfère à des contextes physiques et linguistiques inédits plutôt que de simplement reproduire des comportements mémorisés.
Le système se transfère aussi à une configuration robotique jamais rencontrée à l'entraînement. Testé sur un bras unique Franka, ZAP atteint 55,9 % de réussite sur le benchmark RoboLab-120, devançant de 4,9 points de pourcentage la meilleure référence concurrente parmi les modèles vision-langage-action ou monde-action. Ce transfert entre configurations matérielles figure parmi les tests les plus exigeants pour les politiques robotiques généralistes, les stratégies de contrôle ne se transposant généralement pas facilement d'un matériel à un autre.
L'apport conceptuel principal tient à la séparation entre le « quoi », confié à un grand modèle préentraîné, et le « comment », appris à moindre coût en simulation. Cette approche pourrait constituer une voie plus économe en données pour entraîner des politiques robotiques généralistes, comparée à la collecte massive de données réelles. Si les résultats rapportés se confirment sous un examen indépendant, cette stratégie d'entraînement scindé pourrait réduire le coût et le délai nécessaires pour déployer des robots capables sur de nouvelles tâches et de nouveaux matériels.