Pour limiter la taille du contexte, de nombreux harnais d'agents LLM évitent désormais d'injecter directement les sorties longues d'outils externes : celles-ci sont enregistrées dans des fichiers que l'agent consulte à la demande via une recherche ou un index. Une nouvelle étude teste les conséquences de ce choix d'architecture sur un cas réel : PHREEQC, un simulateur géochimique de l'USGS largement utilisé, dont les rapports peuvent atteindre 846 800 caractères et dont le caractère déterministe permet de tracer chaque valeur affichée.
Les chercheurs ont soumis à plusieurs agents 158 questions à choix multiples validées par exécution du simulateur. Résultat : lorsque l'agent doit passer par un index de sections plutôt que de lire le rapport directement en contexte, GPT-5.1 et GPT-5.2 perdent respectivement 11,3 et 7,9 points de précision, tandis que Claude Opus 4.6 et Claude Sonnet 4.6 ne montrent aucune perte mesurable. En réexaminant les 11 007 appels au simulateur enregistrés, les auteurs constatent que les modèles GPT calculent la bonne valeur à peu près aussi souvent qu'auparavant : ce qui change, c'est la source sur laquelle ils fondent leur réponse.
Sous contrainte de recherche, les modèles GPT ont tendance à ignorer le rapport officiel et à répondre à partir de leurs propres fichiers de sortie, plus précis en apparence, mais qu'ils arrondissent ensuite mal vers une option voisine incorrecte. Les auteurs nomment ce phénomène la « substitution de preuve » (evidence substitution). Même en figeant la simulation sous-jacente pour isoler l'effet, la récupération fait encore perdre 9,4 points à GPT-5.2. Pour GPT-5.4, des simulations correctes plus fréquentes masquent une perte d'environ dix points dans l'utilisation de la preuve, si bien que le changement net paraît quasiment nul.
Les chercheurs testent aussi des correctifs simples : nommer explicitement la sortie faisant autorité améliore la précision de 6,3 à 7,9 points par rapport à une simple recherche, pour les trois modèles GPT testés. Pour GPT-5.1 et GPT-5.2, intégrer directement les sorties lorsque leur taille le permet fonctionne tout aussi bien, alors que demander explicitement un arrondi correct n'apporte aucun bénéfice. L'étude plaide pour évaluer les choix de gestion du contexte des harnais d'agents non seulement sur la précision finale, mais sur l'endroit précis où cette précision se perd — une distinction utile pour quiconque conçoit des systèmes d'agents appelés à manipuler des sorties d'outils volumineuses.