Des chercheurs présentent une méthode de détection de la tromperie fondée sur l'analyse directe des activations internes des modèles de langage, plutôt que sur la seule lecture de leurs sorties textuelles. Cette approche dite "boîte blanche" repose sur des sondes capables d'agréger des informations provenant de multiples couches et tokens du réseau, une architecture présentée comme inédite dans ce domaine.
Pour entraîner ces sondes, les auteurs ont constitué FIBS, le plus vaste jeu de données de tromperie assemblé à ce jour, qu'ils rendent public pour encourager son extension par la communauté. Testées sur le benchmark SHADE-Arena, les sondes atteignent une précision de 98,8% (AUC), dépassant une référence de surveillance textuelle basée sur Opus 5.5. Les auteurs notent également que l'efficacité des sondes s'améliore à mesure que la taille du modèle sous-jacent augmente, un signal encourageant pour leur applicabilité aux futurs systèmes de plus grande échelle.
Le test le plus significatif concerne ce que les chercheurs appellent la "tromperie introspective" : des cas où il est impossible de déterminer depuis le seul contexte textuel si un modèle ment, la vérité ne pouvant être établie que par une élicitation minutieuse ou une connaissance approfondie des données d'entraînement. Dans ce scénario, les sondes parviennent à distinguer les transcriptions révélant le véritable objectif caché d'un modèle de celles évoquant d'autres objectifs, avec une précision allant jusqu'à 99,7%.
Les auteurs montrent enfin que ces sondes détectent efficacement la tromperie chez des modèles à poids ouverts reconnus, notamment lorsqu'ils dissimulent leur position sur des sujets politiquement sensibles ou leurs véritables croyances sous pression. Ces résultats s'inscrivent dans un contexte où la surveillance des agents basés sur des LLM devient une préoccupation croissante, à mesure que ces systèmes gagnent en autonomie et en capacité d'action. La publication du jeu de données FIBS vise explicitement à accélérer le déploiement de telles sondes en conditions réelles, au-delà du seul cadre académique.