Une nouvelle étude sur arXiv remet en question la manière dont l'industrie mesure les progrès en matière de sécurité des modèles de langage. En analysant 450 000 réponses générées par 15 versions de GPT, de GPT-2 à GPT-5, sur des invites ciblant explicitement les hommes ou les femmes, les auteurs constatent que les scores de toxicité baissent effectivement au fil des générations, mais que ce recul masque une recomposition plus profonde des biais plutôt qu'une réduction réelle. Ils qualifient ce phénomène de « blanchiment du préjudice » (harm laundering).
Le constat le plus frappant concerne la disparition des contenus de violence sexuelle explicite, très présents dans les réponses de GPT-2 ciblant les femmes, mais absents dès GPT-4. Ce progrès apparent s'accompagne toutefois d'une asymétrie persistante : les réponses ciblant les hommes gagnent en représentations positives — figures de l'aidant, expression émotionnelle, posture d'allié — que les réponses ciblant les femmes n'obtiennent pas dans la même mesure. Chez GPT-5, un exemple marquant illustre cette dérive : un groupe thématique de près de 2 000 documents présente le cancer du sein comme un enjeu de défense des droits des hommes, sans qu'aucun équivalent structurant n'apparaisse côté féminin.
Les chercheurs notent également une inversion des scores de sentiment autour de GPT-4 : les premiers modèles dévalorisaient les femmes, tandis que les versions plus récentes semblent sur-corriger, ce qui réduit paradoxalement la diversité thématique des réponses les concernant. Cette diversité chute de 36 % par rapport aux réponses ciblant les hommes au moment du basculement de GPT-4. Un indicateur de biais représentationnel (REGARD) montre une corrélation positive avec la date de sortie des modèles, tandis que l'indicateur de toxicité classique (Detoxify) évolue en sens inverse — signe que la baisse des scores de toxicité n'est pas synonyme de baisse réelle du préjudice.
Cette recherche a des implications directes pour l'évaluation des modèles de langage : les classificateurs de surface utilisés aujourd'hui pour certifier la sécurité des systèmes pourraient valider des progrès illusoires. Les auteurs proposent un protocole de détection en trois étapes, applicable à tout modèle génératif, pour distinguer une réduction authentique du préjudice d'une simple redistribution de celui-ci sous une forme moins détectable.