Une équipe de recherche a testé six modèles de langage de pointe — Claude Opus 5, GLM-5.3, GPT-5.6 Sol, Grok 4.6, Gemini 3.8 Flash et Kimi K3 — dans un jeu à deux agents où un « questionneur » doit identifier, parmi un ensemble de N paragraphes introductifs Wikipédia, une cible connue seulement d'un « répondeur », en posant exactement log2(N) questions fermées. Les deux rôles étant tenus par le même modèle, le protocole mesure la capacité d'un système à communiquer avec lui-même à travers une asymétrie d'information. Au total, 408 parties ont été jouées sur des ensembles allant de 4 à 1024 documents, pour un coût cumulé d'API de 363 dollars.
Les résultats montrent un net décrochage de Claude Opus 5, qui ne remporte que 28 de ses 68 parties, contre 45 à 56 pour les cinq autres modèles, dont les performances restent proches les unes des autres. En regroupant ces cinq modèles, le taux de victoire décline avec la taille de l'ensemble selon une corrélation quasi parfaite (r = -0,973), suivant une loi simple où le taux de succès équivaut à p élevé à la puissance log2(N), avec p estimé à 0,928 par question.
L'analyse des échecs distingue deux causes à parts égales : des erreurs de réponse et des échecs de discrimination lors du choix final. Un examen détaillé des erreurs unanimes du modèle le plus faible montre que 32 cas sur 34 concernent des réponses « non » erronées portant sur des propriétés énoncées dès la première phrase du document, alors même que la consigne mettait en garde contre ce biais par défaut. En revanche, les modèles évitent presque toujours de désigner un document que leurs propres réponses excluaient.
L'efficacité informationnelle, mesurée par l'équilibre des réponses, est fortement corrélée au taux de victoire (r = +0,88). Seuls deux modèles parviennent à extraire un bit complet d'information par question, en adoptant une stratégie de partition fondée sur les titres des documents — une approche absente en dessous de 32 candidats mais utilisée dans un quart des questions au-delà. Enfin, la quantité de tokens de raisonnement varie d'un facteur 4,5 selon les modèles, sans lien clair avec la réussite : le raisonnement s'allonge à mesure que l'ensemble de candidats se réduit, sans gain de fiabilité correspondant. Cette étude illustre bien que l'aptitude à raisonner longuement ne garantit pas une communication efficace sous contrainte d'asymétrie d'information, un enjeu central pour la conception de systèmes multi-agents.