Mercor, entreprise connue pour sa plateforme de recrutement orientée IA, a publié une cartographie comparant la répartition des heures de travail aux États-Unis avec les tâches réellement évaluées par les benchmarks d'intelligence artificielle existants. Le constat central : environ 90 % du temps de travail américain porte sur des activités qui ne sont pas bien représentées dans les suites d'évaluation actuelles, qu'il s'agisse de MMLU, HumanEval ou d'autres références utilisées par les laboratoires pour mesurer les progrès des modèles.
L'étude souligne un déséquilibre structurel : la plupart des benchmarks se concentrent sur des domaines facilement quantifiables comme la programmation, les mathématiques ou la résolution de problèmes académiques, des tâches qui ne représentent qu'une fraction marginale de l'économie réelle. À l'inverse, des activités comme la gestion d'équipe, la négociation commerciale, le service client, la coordination logistique ou les tâches administratives complexes, qui occupent l'essentiel des travailleurs américains, restent largement absentes des grilles d'évaluation.
Cette asymétrie a des implications importantes pour l'interprétation des progrès annoncés par les éditeurs de modèles. Un score élevé sur un benchmark de codage ou de raisonnement mathématique ne dit que peu de choses sur la capacité réelle d'un système à remplacer ou assister un travailleur dans la majorité des métiers existants. Mercor, qui opère justement à l'intersection du recrutement et de l'évaluation des compétences, a un intérêt direct à documenter ce fossé, puisque son activité consiste précisément à qualifier des travailleurs humains et, de plus en plus, à constituer des données d'entraînement reflétant des tâches professionnelles réelles.
Au-delà de l'angle commercial de l'entreprise, ce travail rejoint une critique plus large formulée par plusieurs chercheurs en IA : les benchmarks actuels mesurent ce qui est facile à mesurer, pas nécessairement ce qui compte économiquement. À mesure que les discussions sur l'automatisation du travail s'intensifient, ce type d'analyse invite à une lecture plus prudente des annonces de performance, et à investir davantage dans des évaluations représentatives de la diversité réelle des métiers.