Un article publié par R. Thomas McCoy, Paul Soulos, Tal Linzen et Paul Smolensky s'attaque à une question ancienne en sciences cognitives : comment des réseaux de neurones, qui manipulent des vecteurs continus, parviennent-ils à exceller dans des tâches traditionnellement associées au raisonnement symbolique, comme la logique ou le calcul ? Les auteurs proposent une hypothèse simple mais audacieuse : les réseaux construiraient, sans y être explicitement contraints, des représentations internes qui approximent fidèlement des structures symboliques.
Pour tester cette idée, l'équipe a développé une méthode permettant de remplacer entièrement le processus de génération des représentations d'un réseau par une équation fermée qui instancie une structure symbolique. Fait notable, cette substitution laisse le comportement du modèle largement inchangé. Le résultat tient aussi bien pour de petits réseaux entraînés à manipuler des listes que pour des grands modèles de langage testés sur quatre domaines emblématiques de la tradition symbolique : l'arithmétique, la logique, le code informatique et le langage naturel.
Au-delà de la simple approximation, les chercheurs montrent que cette lecture symbolique permet d'intervenir de façon ciblée sur le comportement d'un LLM, en modifiant précisément les structures identifiées dans ses représentations internes. Ces interventions produisent des changements de comportement cohérents avec l'hypothèse selon laquelle le modèle s'appuie effectivement sur ces structures pour opérer, et non simplement sur des corrélations statistiques opaques.
Ce travail s'inscrit dans un effort plus large de recherche en interprétabilité visant à ouvrir la boîte noire des réseaux de neurones. S'il ne prouve pas que les LLM "pensent" symboliquement au sens strict, il fournit un outil méthodologique concret pour relier les traditions symboliques de l'intelligence artificielle, longtemps opposées au connexionnisme, aux systèmes vectoriels qui dominent aujourd'hui le domaine. Les implications pourraient toucher aussi bien la conception de modèles plus contrôlables que la compréhension théorique de ce que ces systèmes apprennent réellement.