Le papier intitulé « Last Translation Benchmark », déposé sur arXiv début septembre, se distingue avant tout par l'ampleur de sa liste d'auteurs : plus de deux cents contributeurs, issus d'universités et de laboratoires du monde entier, dont plusieurs figures reconnues de la traduction automatique comme Philipp Koehn, Alexandra Birch, Rachel Bawden ou Ondřej Bojar. Cette mobilisation massive rappelle les initiatives communautaires qui ont façonné l'évaluation en traitement automatique des langues, à l'image de FLORES ou des campagnes WMT, où la diversité linguistique des contributeurs est directement mise au service de la couverture du benchmark.
Le résumé technique complet du travail n'est pas accessible dans son intégralité, mais le titre et la composition de l'équipe suggèrent un objectif ambitieux : produire un jeu de test suffisamment complet et rigoureux pour servir de référence durable, potentiellement pour de nombreuses paires de langues, y compris des langues peu dotées en ressources numériques. La présence d'auteurs originaires ou spécialistes de langues aussi variées que l'arabe, le vietnamien, l'indonésien, le kurde ou le géorgien laisse penser que l'un des apports du projet concerne l'élargissement de la couverture linguistique des benchmarks existants.
Ce type d'initiative s'inscrit dans un contexte où les grands modèles de langage sont de plus en plus utilisés comme systèmes de traduction, rendant nécessaire une évaluation plus fine et plus représentative que les jeux de test historiques, souvent centrés sur un nombre restreint de langues à fort volume de données. La multiplication des contributeurs natifs permet en principe de limiter les biais culturels et linguistiques qui affectent souvent les benchmarks conçus par des équipes plus restreintes.
Sans accès au détail méthodologique complet, il est difficile d'évaluer précisément la portée scientifique de ce travail. Toutefois, la structure collaborative du projet, comparable par son ampleur à des initiatives open-source de grande échelle, constitue en elle-même un signal intéressant sur l'évolution des pratiques de recherche en traduction automatique, où la validation communautaire prend une place croissante face à la domination des grands modèles génériques.