Lorsqu'on demande à un modèle de langage si un effet secondaire a tendance à en précéder un autre après une vaccination, il produit souvent une réponse assurée, formulée comme un résultat scientifique, sans qu'aucun test statistique ne la sous-tende réellement. Ce type d'affirmation sur des tendances temporelles abonde en ligne, alors que seule une analyse rigoureuse sur les bonnes données permettrait de la valider ou de l'infirmer. Les benchmarks existants pour l'analyse de données par IA ne jugent généralement que la conclusion finale, en fournissant déjà les données pertinentes au modèle — ce qui masque des erreurs potentielles dans le choix du test, de l'hypothèse nulle ou des enregistrements à examiner.
Une équipe de recherche propose STRATA, un benchmark conçu pour évaluer non seulement le verdict final d'un modèle, mais chaque étape du raisonnement qui y mène. Il s'appuie sur 8 735 hypothèses formulées à partir de chronologies cliniques issues de signalements d'effets indésirables vaccinaux. Chaque hypothèse est accompagnée d'un plan de référence, d'un ensemble de preuves validé, de p-valeurs et d'un verdict, le tout dérivé selon un codebook rendu public et vérifié par un oracle déterministe — une méthode qui garantit la reproductibilité des résultats de référence.
Les auteurs introduisent également ART (articulate, retrieve, test), une approche en plusieurs étapes qui rend chaque décision du modèle inspectable séparément : formulation de l'hypothèse, récupération des preuves pertinentes, puis exécution du test statistique. Cette décomposition permet d'identifier précisément où un système se trompe, plutôt que de se contenter d'observer si la réponse finale est correcte.
Les expérimentations menées sur cinq configurations de modèles montrent que l'essentiel des échecs provient du choix des enregistrements jugés pertinents pour trancher l'hypothèse — un écart entre le verdict produit et les preuves réellement mobilisées, invisible si l'on ne mesure que la précision globale. L'approche ART permet de combler la majeure partie de cet écart et rapproche un modèle ouvert de 31 milliards de paramètres à 0,01 près des performances des modèles les plus avancés, évalués selon le même protocole. Les modèles de pointe, eux, n'atteignent ce niveau que lorsqu'on leur fournit directement le codebook de référence.
Ce travail souligne un point souvent négligé dans l'évaluation des IA appliquées à la santé : une réponse correcte peut cacher un raisonnement défaillant, ce qui pose un risque réel dans un domaine où une conclusion erronée a des conséquences concrètes.