Un nouvel article de recherche s'attaque à l'un des freins persistants à l'entraînement d'agents IA autonomes : le manque de données et de signaux de récompense pour les tâches qui se déroulent sur de longues séquences d'étapes. Les agents capables de travailler de manière indépendante pendant des heures, voire des jours, sont considérés comme une condition préalable à la découverte scientifique automatisée et à l'auto-amélioration récursive, mais les modèles open-source accusent un retard, notamment parce que ces tâches sont difficiles à constituer, difficiles à vérifier, et ne récompensent généralement l'agent qu'une fois la tâche entièrement achevée.
Les auteurs répondent à ce problème avec Tev-Gym, présenté comme le premier jeu de données d'entraînement à grande échelle conçu spécifiquement pour les agents à long horizon avec des récompenses denses et vérifiables. Il comprend 1 170 environnements de tâches vérifiés répartis sur sept domaines, construits selon une méthode que l'équipe qualifie de « monde latent d'abord ». Plutôt que de concevoir les tâches directement, les chercheurs définissent d'abord une spécification cachée complète d'un domaine, incluant le flux de travail attendu et l'état attendu après chaque étape, puis traduisent progressivement cette spécification en un environnement avec lequel l'agent peut interagir. Cette approche permet d'ajuster délibérément la difficulté des tâches et fournit une métrique intégrée mesurant la progression de l'agent à tout moment.
Cette métrique de progression est ensuite transformée en un signal d'entraînement exploitable grâce à une méthode baptisée progress-potential reward shaping (PPRS). Au lieu de ne fournir un retour qu'à la toute fin d'une tâche, PPRS attribue une récompense dense, à chaque étape, liée à la progression incrémentale, ce qui, selon les auteurs, rend entraînable des tâches longues autrement intraitables tout en améliorant l'efficacité de l'entraînement.
L'application de cette méthode donne naissance à un modèle de 27 milliards de paramètres, Tev-27B, qui obtiendrait selon les chercheurs des gains notables sur les sous-ensembles informatique et sciences mathématiques du benchmark Agents' Last Exam, atteignant des performances comparables à des systèmes de pointe plus importants cités dans l'article, dans un cadre d'évaluation Pass@5. Bien qu'entraîné uniquement sur des données liées à ce benchmark, le modèle généralise également à des évaluations distinctes de Terminal-Bench, dépassant certains systèmes concurrents sur les sous-ensembles les plus difficiles et approchant des performances de pointe sur des tâches à horizon intermédiaire.
Ce travail rappelle que les progrès en matière d'IA agentique dépendent de moins en moins de l'architecture des modèles et de plus en plus de la qualité des environnements d'entraînement et de la conception des récompenses. Si les résultats de généralisation se confirment sous un examen indépendant, les récompenses de progression denses issues de spécifications de tâches latentes structurées pourraient devenir un ingrédient standard pour entraîner des agents capables d'opérer de manière fiable sur des flux de travail étendus et multi-étapes.