La découverte scientifique commence souvent par une observation inattendue qui soulève une question nouvelle. Des chercheurs ont voulu savoir si les grands modèles de langage, livrés à eux-mêmes dans un monde où certaines lois physiques diffèrent de la réalité, seraient capables de remarquer un comportement anormal, par exemple un objet lourd qui tombe plus lentement qu'un objet léger, puis d'en identifier la règle sous-jacente par l'expérimentation, sans qu'on leur indique quoi chercher.
Pour tester cette capacité, les auteurs introduisent LongChang, un framework automatisé qui génère des mondes simulés comportant une ou plusieurs lois physiques altérées. Les LLM évalués y jouent le rôle d'explorateurs : ils manipulent des objets, conçoivent des outils et mènent des expériences de leur propre initiative, sans tâche de recherche imposée ni indice sur la nature de l'anomalie. D'autres agents LLM interviennent en parallèle pour générer et vérifier les scènes, valider la conception des outils, et évaluer la justesse des conclusions formulées au regard des lois réellement modifiées et du journal d'exploration. Ce dispositif permet de faire évoluer les scènes en fonction de ce qui a déjà été exploré, et de faire tourner l'ensemble du cycle sans intervention humaine.
Sur les douze modèles testés, un seul, désigné GPT-6-Astra, parvient à identifier correctement les lois altérées, avec un taux de réussite de 16,7%. Les onze autres modèles obtiennent un score nul. L'analyse des journaux d'exploration montre que les anomalies restent souvent non investiguées, et que même lorsqu'un comportement inhabituel est remarqué, son explication reste généralement partielle.
Ces résultats mettent en évidence un écart net entre la capacité des LLM actuels à répondre à des questions bien formulées et leur aptitude à mener une véritable démarche scientifique ouverte: repérer qu'un phénomène sort de l'ordinaire, formuler une hypothèse, puis concevoir des expériences pour la tester sans guidance extérieure. Ce type de benchmark, encore rare, rappelle que l'autonomie dans la découverte scientifique reste un défi largement non résolu pour les systèmes d'IA actuels.