Une équipe de chercheurs a présenté TasteVal, un benchmark conçu pour évaluer ce qu'ils appellent le 'flair de recherche expérimentale' des modèles d'IA de pointe — leur capacité à choisir des problèmes prometteurs, concevoir des expériences et tirer des conclusions pertinentes des résultats obtenus. Plutôt que de mesurer la performance brute sur une tâche, le benchmark se concentre sur l'efficacité en calcul : un système qui égale les résultats d'un expert humain en utilisant deux fois moins de calcul expérimental est considéré comme ayant deux fois plus de flair de recherche. Les auteurs estiment que ce multiplicateur d'efficacité constitue un facteur essentiel, mais souvent négligé, pour anticiper les progrès de l'IA, car il détermine la quantité de recherche utile qu'une quantité donnée de calcul peut produire.
Le benchmark comprend huit tâches ouvertes, inspirées de problèmes réels de R&D en IA de pointe. Pour isoler le jugement de recherche de la simple compétence en programmation, les modèles évalués agissent uniquement en tant que 'Chercheurs' qui conçoivent les expériences, tandis qu'un agent 'Codeur' fixe et distinct se charge de leur mise en œuvre et rapporte les résultats. Chaque exécution est limitée à un budget de 40 heures de calcul H100 ou 120 heures en temps réel. Les chercheurs ont recruté 24 experts humains, avec au moins deux par tâche, et ont retenu la meilleure tentative humaine par tâche comme référence de comparaison.
Sur les 20 modèles évalués, sortis entre 2023 et 2026, le plus performant — désigné Opus 5.5 — a dépassé la référence des experts humains, avec un multiplicateur d'efficacité de calcul de 2,3x, pour un coût par exécution environ trente fois inférieur à celui des experts humains. Plus notable encore, l'étude montre que ce multiplicateur d'efficacité double environ tous les trois mois depuis décembre 2025, une nette accélération par rapport à la période de doublement d'environ 14 mois observée entre 2023 et fin 2025.
Fait intéressant, lorsqu'on mesure uniquement la performance normalisée sur les tâches, sans tenir compte de l'efficacité en calcul, les chercheurs n'observent aucune accélération similaire : les modèles continuent de progresser à un rythme stable, avec un doublement de performance tous les 14,6 mois environ. Cela suggère que la rupture de tendance observée concerne spécifiquement la manière dont les modèles utilisent le calcul pour atteindre un niveau donné de qualité de recherche, et non leur plafond de capacité absolue. Les auteurs ont choisi de ne pas rendre publiques les tâches sous-jacentes, afin d'éviter toute contamination des futures données d'entraînement et de préserver l'utilité du benchmark pour suivre cette tendance dans la durée.