Des chercheurs présentent RoboJEPA, un modèle du monde latent conçu pour la robotique et fondé sur l'architecture JEPA (Joint Embedding Predictive Architecture). Entraîné sur un jeu de données à grande échelle couvrant douze types d'embodiments robotiques différents, ce modèle s'attaque à un problème méthodologique resté largement ouvert jusqu'ici : comment prédire de façon fiable l'évolution des capacités d'un modèle du monde en fonction de sa taille, du volume de données et de la puissance de calcul utilisée.
La contribution centrale de l'étude est la mise en évidence d'une loi de puissance de second ordre reliant l'erreur d'imagination du modèle, c'est-à-dire l'erreur commise lors de ses simulations latentes de trajectoires futures, à la quantité de calcul investie dans l'entraînement. Cette relation permet d'extrapoler la qualité du modèle bien au-delà de l'échelle à laquelle la loi a été calibrée, un outil précieux pour planifier les investissements de calcul futurs sans avoir à entraîner systématiquement des modèles toujours plus grands pour vérifier les gains.
Les auteurs montrent également que cette erreur d'imagination est fortement corrélée aux performances réelles de planification robotique, ce qui en fait un indicateur fiable pouvant se substituer à des évaluations coûteuses sur du matériel physique. Autre résultat notable : le modèle peut être déployé sans réglage spécifique (zero-shot) comme agent robotique autonome, capable de planifier une séquence d'actions vers un objectif défini par une simple image, y compris pour des tâches nécessitant une planification sur un horizon temporel long, testées sur du matériel réel.
Avec 8 milliards de paramètres, RoboJEPA serait le plus grand modèle prédictif de type JEPA entraîné à ce jour. Les chercheurs publient l'ensemble des points de contrôle du modèle ainsi que le code d'entraînement et de déploiement sur robot, un geste d'ouverture qui devrait faciliter la reproduction et l'extension de ces résultats par la communauté. Ce travail constitue, selon les auteurs, la première démonstration de lois d'échelle pour des modèles du monde robotiques multi-embodiments entraînés sur des données réelles, un jalon méthodologique pour un domaine où la rareté et le coût des données physiques compliquent habituellement ce type d'analyse.