Un nouveau cadre de recherche baptisé OpenVLHarness s'attaque à une limite bien connue des grands modèles multimodaux (MLLM) : leur difficulté à traiter des tâches nécessitant une perception ancrée, des connaissances externes ou des mesures numériques précises, difficilement obtenables par le seul raisonnement interne. Les auteurs montrent que le simple fait d'augmenter le budget de calcul alloué à l'inférence n'apporte que des gains modestes sur 22 benchmarks, ce qui suggère que des chaînes de raisonnement plus longues ne remplacent pas un véritable accès à des preuves externes.
Le système proposé repose sur deux composantes principales. Une couche de capacités standardise l'accès à des outils externes hétérogènes et convertit leurs sorties brutes en un format interprétable par le modèle, transformant ainsi des back-ends disparates en observations exploitables. Une mémoire multimodale persistante conserve ensuite images, données structurées et références web comme des artefacts adressables, disponibles tout au long d'une requête plutôt qu'effacés après chaque étape de raisonnement. Une interface de programmation permet enfin au modèle d'écrire et d'exécuter du code sur ces données stockées, afin de combiner les résultats de plusieurs outils dans un même calcul.
Selon l'article, cette architecture a été testée sur 22 benchmarks avec huit modèles de base différents, open source et propriétaires. Le harnais améliore les scores moyens de 9,7 à 12,6 points par rapport aux modèles équivalents sans accès à des outils, avec des gains de 11,2 points pour Qwen3-VL-8B, 9,7 points pour Kimi K3 et 9,9 points pour un modèle désigné GPT-6 Astra. Les auteurs indiquent également qu'une configuration à effort de raisonnement moyen, utilisant une autre variante appelée GPT-6 Luna, surpasse le modèle de base ainsi que des approches concurrentes comme Codex et Visual Sketchpad poussées à leur effort maximal, tout en consommant au plus 37 % de leur coût en tokens.
Ce travail s'inscrit dans une tendance plus large de la recherche en IA : dépasser le simple raisonnement en chaîne pour aller vers des systèmes agentiques capables d'aller chercher, de stocker et de manipuler activement des preuves externes. Si les gains d'efficacité annoncés se confirment sous un examen indépendant, ce type de cadre pourrait rendre le raisonnement visuel augmenté par des outils plus viable en production, la réduction de la consommation de tokens ayant un impact direct sur les coûts d'inférence. Comme souvent pour les articles centrés sur les benchmarks, la vraie question reste de savoir si ces gains se généralisent au-delà des modèles et tâches spécifiquement évalués ici.